🤖 machine learning

Reducing the Safety Tax in LLM Safety Alignment with On-Policy Self-Distillation

यह शोध पत्र ऑन-पॉलिसी सेल्फ-डिस्टिलेशन फॉर सेफ्टी अलाइनमेंट (OPSA) प्रस्तुत करता है, जो एक ऐसी विधि है जो एक फ्रोजन टीचर कॉपी से डेंस सुपरविजन के साथ मॉडल को उनके अपने रोलआउट्स पर प्रशिक्षित करके "सेफ्टी टैक्स" (सुरक्षा और तर्क के बीच का ट्रेडऑफ) को कम करती है, जिससे यह विभिन्न मॉडल स्केल्स पर मौजूदा ऑफ-पॉलिसी और एक्सटर्नल-टीचर दृष्टिकोणों से बेहतर प्रदर्शन करती है।

मूल लेखक: Yu Fu, Longxuan Yu, Haz Sameen Shahgir, Zhipeng Wei, Hui Liu, N. Benjamin Erichson, Yue Dong

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yu Fu, Longxuan Yu, Haz Sameen Shahgir, Zhipeng Wei, Hui Liu, N. Benjamin Erichson, Yue Dong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Reducing the Safety Tax in LLM Safety Alignment with On-Policy Self-Distillation" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "सेफ्टी टैक्स" (Safety Tax)

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली, रचनात्मक छात्र (एक लार्ज लैंग्वेज मॉडल) है जो गणित के सवाल हल करने, कोड लिखने और कहानियाँ सुनाने में बहुत अच्छा है। हालाँकि, वे कभी-कभी अनजाने में कुछ खतरनाक या अभद्र कह देते हैं।

इसे ठीक करने के लिए, शिक्षक (डेवलपर्स) हस्तक्षेप करते हैं और कहते हैं, "नहीं, ऐसा मत कहो। यहाँ सुरक्षित उत्तरों की एक सूची है।" छात्र इस सूची को रट लेता है। अब, वे बहुत सुरक्षित हैं। लेकिन एक पेंच है: बहुत अधिक सावधान रहने की कोशिश में, छात्र हानिरहित सवालों के जवाब देने से भी कतराने लगता है, या वह रचनात्मक रूप से सोचना बंद कर देता है। वे एक "सुरक्षित" रोबोट बन जाते हैं जो अब बहुत बुद्धिमान नहीं रहा।

पेपर इस बुद्धिमत्ता की हानि को "सेफ्टी टैक्स" (Safety Tax) कहता है। यह सुरक्षा के लिए चुकाई जाने वाली कीमत है: आपको एक सुरक्षित मॉडल तो मिलता है, लेकिन एक कम बुद्धिमान मॉडल।

यह क्यों होता है? (पुराना तरीका)

पेपर का तर्क है कि सुरक्षा सिखाने का पुराना तरीका किसी और द्वारा लिखी गई पाठ्यपुस्तक को कॉपी करने के लिए छात्र को मजबूर करने जैसा है।

मेल की कमी (The Mismatch): शिक्षक (AI) को किसी इंसान या किसी सुपर-स्मार्ट बाहरी AI द्वारा लिखे गए "सुरक्षित उत्तरों" को कॉपी करने के लिए कहा जाता है।
समस्या: छात्र का मस्तिष्क, पाठ्यपुस्तक के लेखक के मस्तिष्क से अलग तरह से काम करता है। जब छात्र पाठ्यपुस्तक की हूबहू नकल करने की कोशिश करता है, तो उसे अपनी स्वाभाविक सोच के पैटर्न को किताब में फिट होने के लिए खींचना (stretch) पड़ता है। यह "खिंचाव" उसकी स्वाभाविक तर्क करने की क्षमता को तोड़ देता है।
परिणाम: छात्र बुरे सवालों को मना करना सीख जाता है, लेकिन वह अच्छे सवालों के जवाब देने में भी हिचकिचाने लगता है या गणित करना भूल जाता है क्योंकि वह केवल पाठ्यपुस्तक जैसा दिखने की कोशिश में व्यस्त रहता है।

नया समाधान: OPSA ("स्व-चिंतन" विधि)

लेखकों ने एक नई विधि प्रस्तावित की है जिसे OPSA (ऑन-पॉलिसी सेफ्टी अलाइनमेंट) कहा जाता है। पाठ्यपुस्तक की नकल करने के बजाय, छात्र अपने स्वयं के होमवर्क का अभ्यास करके और अपने ही एक "सुरक्षित संस्करण" से फीडबैक प्राप्त करके सीखता है।

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

1. छात्र और शिक्षक एक ही व्यक्ति हैं

कल्पना कीजिए कि छात्र का एक जुड़वां भाई है।

छात्र (The Student): यह वह AI है जिसे हम प्रशिक्षित कर रहे हैं। यह अपने उत्तर स्वाभाविक रूप से उत्पन्न करता है।
शिक्षक (The Teacher): यह छात्र के मस्तिष्क की एक स्थिर (unchanging) प्रति है जो सुरक्षा सीखना शुरू करने से पहले की है। यह जुड़वां स्मार्ट है और इसमें एक "सेफ्टी स्विच" बना हुआ है।

2. "विशेषाधिकार प्राप्त संदर्भ" (The Privileged Context - सुरक्षा स्विच)

शिक्षक जुड़वां को एक विशेष निर्देश कार्ड मिलता है जो छात्र को अभी तक दिखाई नहीं देता है।

यदि प्रश्न खतरनाक है: शिक्षक को एक कार्ड मिलता है जिसमें लिखा होता है, "यह खतरनाक है। आपको मना करना चाहिए।" शिक्षक एक सुरक्षित, इनकार वाला उत्तर उत्पन्न करता है।
यदि प्रश्न हानिरहित है: शिक्षक को एक कार्ड मिलता है जिसमें लिखा होता है, "यह सुरक्षित है। मददगार बनें।" शिक्षक एक मददगार उत्तर उत्पन्न करता है।

3. "ऑन-पॉलिसी" अभ्यास

छात्र कार्ड देखे बिना उत्तर देने की कोशिश करता है।

परिदृश्य A (बुरा सवाल): छात्र कुछ जोखिम भरा कहने की शुरुआत करता है। शिक्षक (जो "खतरा" कार्ड देख रहा है) कहता है, "नहीं, रुको! इसके बजाय 'मैं यह नहीं कर सकता' कहो।" छात्र अपनी गलती करने ही वाला होता है, ठीक उसी क्षण अपना विचार बदलने के लिए सीख जाता है।
परिदृश्य B (अच्छा सवाल): छात्र (बहुत अधिक सावधान होते हुए) "मैं इसमें मदद नहीं कर सकता" कहना शुरू करता है। शिक्षक (जो "सुरक्षित" कार्ड देख रहा है) कहता है, "नहीं, यह ठीक है! आगे बढ़ो और उत्तर दो।" छात्र बहुत अधिक सावधान होने के बजाय सामान्य होने के लिए सीखता है।

4. "टोकन-लेवल" फीडबैक का जादू

यह सबसे महत्वपूर्ण हिस्सा है। पेपर कहता है कि सुरक्षा संबंधी निर्णय उत्तर के पहले कुछ शब्दों में होते हैं।

पुराना तरीका: शिक्षक कहता है, "आपका पूरा निबंध गलत है, इसे फिर से लिखें।" यह छात्र को भ्रमित करता है और उसकी लेखन शैली को बिगाड़ देता है।
OPSA तरीका: शिक्षक फुसफुसाता है, "शुरुआत में 'ज़रूर' (Sure) मत कहो; इसके बजाय 'मैं नहीं कर सकता' (I cannot) कहो।"
उपमा: यह एक टेनिस खिलाड़ी को उसके पूरे खेल की रणनीति को फिर से लिखने के लिए कहने के बजाय, मैच के दौरान उसके शॉट मारने के तरीके को सुधारने जैसा है। यह तर्क (reasoning) को बिगाड़े बिना सुरक्षा के मुद्दे को ठीक करता है।

उन्होंने सबसे अच्छा "निर्देश कार्ड" कैसे खोजा?

लेखकों ने महसूस किया कि सभी सुरक्षा निर्देश काम नहीं करते। कुछ बहुत कमजोर हैं, कुछ बहुत अजीब हैं। उन्होंने "टीचर फ्लिप रेट" (Teacher Flip Rate) नामक एक परीक्षण बनाया।

उन्होंने कई अलग-अलग निर्देश कार्डों का परीक्षण किया।
उन्होंने गिना कि एक कार्ड ने कितनी बार शिक्षक जुड़वां को एक खतरनाक उत्तर को सुरक्षित उत्तर में बदलने में सफलतापूर्वक मदद की।
उन्होंने उस कार्ड को चुना जो सबसे अच्छा काम करता था (उच्चतम "फ्लिप रेट") ताकि उसका उपयोग प्रशिक्षण के लिए किया जा सके।

उन्हें क्या मिला?

उन्होंने पांच अलग-अलग AI मॉडलों (छोटे से बड़े तक) पर इसका परीक्षण किया।

बेहतर सुरक्षा: इस नई विधि ने पुराने "पाठ्यपुस्तक नकल" वाले तरीके की तुलना में मॉडलों को अधिक सुरक्षित बनाया।
बेहतर तर्क (Reasoning): महत्वपूर्ण रूप से, मॉडलों ने अपनी बुद्धिमत्ता नहीं खोई। उन्होंने पुराने तरीके की तुलना में गणित करने और कोड लिखने की अपनी क्षमता को बहुत बेहतर बनाए रखा।
ट्रिक्स के खिलाफ मजबूती: जब हैकर्स ने मॉडलों को सुरक्षा नियमों को तोड़ने के लिए (जेलब्रेक का उपयोग करके) चालाकी करने की कोशिश की, तो नया तरीका बेहतर प्रदर्शन करता है, विशेष रूप से उन ट्रिक्स के खिलाफ जो मॉडल को गलत पहला शब्द बोलने के लिए मजबूर करती हैं।

निष्कर्ष

पेपर का दावा है कि AI को मूर्ख बनाए बिना सुरक्षित बनाने के लिए, हमें केवल उसे दूसरों के सुरक्षित उत्तर रटने के लिए मजबूर नहीं करना चाहिए। इसके बजाय, हमें AI को उसके अपने स्वाभाविक विचारों पर अभ्यास करने देना चाहिए और ठीक उसी क्षण उसका मार्गदर्शन करना चाहिए जब वह सुरक्षित या असुरक्षित होने का निर्णय लेता है। यह "सेफ्टी टैक्स" को कम रखता है, ताकि AI सुरक्षित और स्मार्ट दोनों बना रहे।

तकनीकी सारांश: ऑन-पॉलिसी सेल्फ-डिस्टिलेशन के साथ LLM सुरक्षा संरेखण में 'सेफ्टी टैक्स' को कम करना

समस्या की परिभाषा: सेफ्टी टैक्स और ऑफ-पॉलिसी मिसमैच

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर "सेफ्टी टैक्स" (safety tax) से ग्रस्त होते हैं, जो एक ऐसा ट्रेडऑफ है जहाँ सुरक्षा संरेखण (safety alignment) हानिकारक प्रश्नों के प्रति मजबूती तो बढ़ाता है, लेकिन सामान्य तर्क क्षमताओं (general reasoning abilities) को कम कर देता है। जबकि पूर्ववर्ती कार्य इस बात का श्रेय वितरण संबंधी विसंगति (distributional mismatch) को देते हैं—अर्थात, मानव या बाहरी मॉडलों से प्राप्त सुरक्षा प्रदर्शनों पर प्रशिक्षण देना जो लक्षित मॉडल के प्राकृतिक तर्क वितरण से भिन्न होते हैं—यह शोध पत्र एक दूसरे, विशिष्ट स्रोत की पहचान करता है: ऑफ-पॉलिसी ट्रेनिंग मिसमैच (off-policy training mismatch)।

भले ही सुरक्षा डेटा स्वयं-डिस्टिल (self-distilled) किया गया हो (जैसा कि ThinkSafe में लक्षित मॉडल द्वारा ही जनरेट किया गया है), मानक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) अभी भी ऑफ-पॉलिसी रहती है। यह स्थिर प्रदर्शनों (fixed demonstrations) पर अनुक्रम-स्तरीय नेगेटिव लॉग-लाइक्लीहुड (NLL) सुपरविजन लागू करता है, न कि मॉडल के अपने वर्तमान पॉलिसी से सैंपल किए गए ट्रेजेक्टरीज (trajectories) पर। लेखक तर्क देते हैं कि यह विशेष रूप से सुरक्षा के लिए हानिकारक है क्योंकि सुरक्षा संबंधी निर्णय (अस्वीकार बनाम अनुपालन) एक संकीर्ण "अर्ली-टोकन विंडो" (early-token window) और विशिष्ट सुरक्षा-महत्वपूर्ण टोकन में केंद्रित होते हैं। ऑफ-पॉलिसी SFT पूरे रिस्पॉन्स में ग्रेडिएंट्स को बिखेर देता है, जिससे वे इन महत्वपूर्ण निर्णय बिंदुओं को लक्षित करने में विफल रहते हैं, और इस प्रकार केवल एक मोटा (coarse) सुरक्षा सुपरविजन प्रदान करते हुए सामान्य तर्क को बाधित करते हैं।

कार्यप्रणाली: OPSA (ऑन-पॉलिसी सेफ्टी अलाइनमेंट)

यह शोध पत्र OPSA प्रस्तावित करता है, जो ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (OPSD) को सुरक्षा संरेखण के अनुकूल बनाता है। मुख्य तंत्र में शामिल है:

ऑन-पॉलिसी रोलआउट्स (On-Policy Rollouts): छात्र मॉडल ( $p_\theta$ ) हानिकारक और सौहार्दपूर्ण (benign) दोनों प्रॉम्प्ट्स के लिए अपने स्वयं के ट्रेजेक्टरीज (rollouts) जनरेट करता है।
प्रिविलेज्ड कॉन्टेक्स्ट टीचर (Privileged Context Teacher): बेस मॉडल ( $p_{\bar{\theta}}$ $p_{\overset{ˉ}{θ}}$ ) की एक फ्रीज की गई कॉपी 'टीचर' के रूप में कार्य करती है। महत्वपूर्ण रूप से, टीचर को प्रॉम्प्ट के साथ एक टाइप-कंडीशनल प्रिविलेज्ड कॉन्टेक्स्ट ( $c^*$ $c^{*}$ ) दिया जाता है:
- हानिकारक प्रॉम्प्ट्स ( $q_h$ ) के लिए, एक कॉन्टेक्स्ट ( $I_h$ ) लेटेंट रिफ्यूज़ल व्यवहार को सक्रिय करता है, जिससे टीचर सुरक्षित प्रतिक्रियाओं की ओर झुक जाता है।
- सौहार्दपूर्ण प्रॉम्प्ट्स ( $q_b$ ) के लिए, एक कॉन्टेक्स्ट ( $I_b$ ) ओवर-रिफ्यूज़ल को दबा देता है, जिससे मददगार व्यवहार बना रहता है।
डेंस पर-टोकन सुपरविजन (Dense Per-Token Supervision): अनुक्रम-स्तरीय NLL के बजाय, OPSA छात्र के अपने सैंपल किए गए रोलआउट्स के साथ, टीचर के वितरण (प्रिविलेज्ड कॉन्टेक्स्ट पर आधारित) और छात्र के वितरण (केवल प्रॉम्प्ट पर आधारित) के बीच प्रति-टोकन कुलबैक-लीब्लर (KL) डाइवर्जेंस को कम करता है:
$L_{OPSA}(\theta) = \sum \mathbb{E}_{y \sim p_\theta} \sum_{t} D_{KL}(p_{\bar{\theta}}(\cdot | c^*, q, y_{<t}) \parallel p_\theta(\cdot | q, y_{<t}))$
यह अपडेट्स को उन टोकन पर केंद्रित करता है जहाँ टीचर और छात्र अलग होते हैं, विशेष रूप से उस शुरुआती निर्णय विंडो को लक्षित करता है जहाँ सुरक्षा व्यवहार निर्धारित होते हैं।

कॉन्टेक्स्ट चयन के लिए टीचर फ्लिप रेट (TFR)

एक प्रभावी प्रिविलेज्ड कॉन्टेक्स्ट चुनने के लिए, जो मनमाना न हो, एक चुनौती है। लेखक प्रभावी कॉन्टेक्स्ट ( $c^*$ ) चुनने के लिए टीचर फ्लिप रेट (TFR) को एक ट्रेनिंग-फ्री मेट्रिक के रूप में पेश करते हैं। TFR उन हानिकारक प्रश्नों के अंश को मापता है जहाँ प्रिविलेज्ड कॉन्टेक्ट फ्रीज्ड टीचर के ग्रीडी रिस्पॉन्स को असुरक्षित से सुरक्षित में बदल देता है। लेखक अनुभवजन्य रूप से प्रदर्शित करते हैं कि उच्च TFR, पोस्ट-ट्रेनिंग हानिकारकता में कमी के साथ मोनोटोनिक रूप से सह-संबंधित है, जो कॉन्टेक्स्ट चयन के लिए एक विश्वसनीय मानदंड के रूप में TFR को मान्य करता है।

मुख्य योगदान

सेफ्टी टैक्स का यांत्रिक निदान (Mechanistic Diagnosis): शोध पत्र सुरक्षा टैक्स के दूसरे स्रोत के रूप में ऑफ-पॉलिसी ट्रेनिंग मिसमैच की पहचान करता है। टोकन-स्तरीय विश्लेषण प्रकट करता है कि सुरक्षा सुधार शुरुआती स्थितियों और विशिष्ट टोकन में अत्यधिक केंद्रित होते हैं, जिसे मानक SFT प्रभावी ढंग से लक्षित करने में विफल रहता है, भले ही डेटा इन-डिस्ट्रीब्यूशन हो।
OPSA फ्रेमवर्क: एक ऑन-पॉलिसी सुरक्षा संरेखण फ्रेमवर्क का परिचय जो छात्र-सैंपलed रोलआउट्स पर डेंस पर-टोकन KL सुपरविजन का उपयोग करता है। यह दृष्टिकोण मॉडल को उसके अपने जनरेशन पाथ्स पर संरेखित करता है, जिससे सुरक्षा-तर्क (safety-reasoning) का ट्रेडऑफ सुधरता है।
TFR के माध्यम से कॉन्टेक्स्ट चयन: प्रभावी सुरक्षा टीचर बनाने के एक तरीके के रूप में टीचर फ्लिप रेट का प्रस्ताव। यह सुनिश्चित करता है कि प्रिविलेज्ड कॉन्टेक्स्ट केवल सुरक्षित दिखने वाले प्रदर्शनों को ही नहीं, बल्कि सार्थक लेटेंट सुरक्षा तर्क को सक्रिय करे।

प्रयोगात्मक परिणाम

लेखकों ने दो रीजनिंग मॉडल परिवारों (Qwen3 और DeepSeek-R1-Distill) और पांच पैरामीटर स्केल्स (0.6B से 8B) में OPSA का मूल्यांकन किया।

सेफ्टी-रीजनिंग ट्रेडऑफ: मैच किए गए प्रॉम्प्ट्स और फुल-पैरामीटर फाइन-ट्यूनिंग के तहत, OPSA ने ऑफ-पॉलिसी बेसलाइन्स (जिसमें ThinkSafe और SafeChain शामिल हैं) को लगातार पछाड़ा।
- सुरक्षा (Safety): OPSA ने ThinkSafe पर औसतन कंपोजिट सेफ्टी स्कोर गेन के रूप में +4.00 अंक प्राप्त किए।
- तर्क (Reasoning): OPSA ने तर्क क्षमताओं को संरक्षित और बेहतर किया, रीजनिंग बेंचमार्क्स (GSM8K, MATH500, GPQA, HumanEval, MBPP) पर औसतन +3.04 अंक का लाभ दिखाया।
- स्केल सेंसिटिविटी: सबसे बड़े लाभ छोटे मॉडल्स पर देखे गए (जैसे, R1-Distill-1.5B पर +8.85 अंक और Qwen3-0.6B पर +5.49 अंक)।
अनुकूली जेलब्रेक मजबूती (Adaptive Jailbreak Robustness): OPSA ने अनुकूली जेलब्रेक हमलों, विशेष रूप से प्रीफिलिंग (Prefilling) हमलों के विरुद्ध बेहतर मजबूती प्रदर्शित की (जो शुरुआती रिस्पॉन्स टोकन में हस्तक्षेप करते हैं)। Qwen3-1.7B और Qwen3-8B पर, OPSA ने प्रीफिलिंग अटैक सक्सेस रेट को शून्य तक कम कर दिया। हालांकि, पेपर नोट करता है कि पूरी तरह से एडैप्टिव सर्च हमले (PAIR) एक सीमा बने हुए हैं, जिसमें मिश्रित परिणाम मिले हैं।
डेटा दक्षता: OPSA के प्रदर्शन लाभ विभिन्न ट्रेनिंग सेट साइज और बेनाइन-टू-हार्मफुल डेटा अनुपात में बने रहे, जो डेटा की कमी और संरचनात्मक बदलावों के प्रति इसकी मजबूती को दर्शाता है।

महत्व और दावे

पेपर का दावा है कि सुरक्षा टैक्स को कम करने के लिए न केवल यह नियंत्रित करना आवश्यक है कि कौन से प्रदर्शन सुपरविजन प्रदान करते हैं, बल्कि यह भी कि वह सुपरविजन कहाँ और किनके ट्रेजेक्टरीज पर लागू किया जाता है। फिक्स्ड ट्रेसेस के ऑफ-पॉलिसी इमिटेशन से मॉडल के अपने जनरेशन पाथ्स के ऑन-पॉलिसी डेंस सुपरविजन की ओर शिफ्ट होकर, OPSA सुरक्षा संरेखण में विशिष्ट संरचनात्मक मिसमैच को संबोधित करता है।

लेखक विनम्रतापूर्वक दावा करते हैं कि उनके निष्कर्ष बताते हैं कि प्रभावी सुरक्षा संरेखण मॉडल के अपने ट्रेजेक्टरीज पर एक स्थानीयकृत सुधार (localized correction) समस्या है। जबकि OPSA शुरुआती रिस्पॉन्स टोकन को लक्षित करने वाले हमलों के खिलाफ मजबूती में काफी सुधार करता है, पेपर स्वीकार करता है कि पूरी तरह से एडैप्टिव इटरेटिव सर्च हमले अभी भी एक चुनौती बने हुए हैं, जो यह सुझाव देते हैं कि डेंस ऑन-पॉलिसी सुपरविजन सभी प्रतिकूल परिदृश्यों के लिए एक व्यापक समाधान नहीं है। यह कार्य इस बात पर जोर देता है कि प्रभावी सुरक्षा संरेखण को मॉडल को उसके अपने तर्क वितरण के साथ संरेखित करना चाहिए और प्रिविलेज्ड कॉन्टेक्स्ट के माध्यम से लेटेंट सुरक्षा क्षमताओं को सक्रिय करना चाहिए।