💬 NLP

SG-OPD: Sign-Gated On-Policy Distillation via Sign-Consistency Gating and Phased Teacher Sampling

यह शोध पत्र साइन-गेटेड ऑन-पॉलिसी डिस्टिलेशन (SG-OPD) को प्रस्तुत करता है, जो एक विधि है जो फेज़्ड सैंपलिंग और साइन-कंसिस्टेंसी चेक के माध्यम से टीचर सिग्नल्स को गेट करने के लिए एक बाइनरी वेरीफायर का उपयोग करके ऑन-पॉलिसी डिस्टिलेशन को बढ़ाता है, जिससे प्रतियोगिता-स्तर के गणितीय तर्क बेंचमार्क पर प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Haoran Xu, Hongyu Wang, Yifei Gao, Jiaze Li, Xiaofeng Zhang, Xiaosong Yuan

प्रकाशित 2026-06-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haoran Xu, Hongyu Wang, Yifei Gao, Jiaze Li, Xiaofeng Zhang, Xiaosong Yuan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक युवा प्रशिक्षु (छात्र) को जटिल गणितीय पहेलियों को हल करना सिखाने की कोशिश कर रहे हैं। आपके पास एक मास्टर गणितज्ञ (शिक्षक) है जो उत्तर जानता है, लेकिन प्रशिक्षु अभी शुरुआत ही कर रहा है और अक्सर भटक जाता है।

एक शोध पत्र एक नई शिक्षण पद्धति पेश करता है जिसे SG-OPD कहा जाता है। यह समझने के लिए कि यह क्यों विशेष है, आइए पुराने तरीकों के दोषों और SG-OPD उन्हें कैसे ठीक करता है, इसे देखें।

समस्या: दो तरीके जिनसे पुराने तरीके विफल होते हैं

पहले, शोधकर्ताओं ने दो मुख्य दृष्टिकोणों का उपयोग करने का प्रयास किया, लेकिन दोनों में छिपे हुए जाल थे:

"घोस्ट" (भूत) की समस्या (ट्रैजेक्टरी मिसमैच):
कल्पना कीजिए कि प्रशिक्षु इतना नया है कि पहेली सुलझाने के उनके पहले प्रयास पूरी तरह से गलत और बेतुके हैं। यदि आप उन्हें तुरंत मास्टर के सटीक समाधान की नकल करने के लिए मजबूर करते हैं, तो मास्टर के निर्देश प्रशिक्षु के लिए समझ में नहीं आते क्योंकि उनका शुरुआती बिंदु बहुत अलग है। यह एक बच्चे को कैलकुलस सिखाने जैसा है जैसे कि उन्हें पीएचडी थीसिस दिखाकर। मास्टर से मिलने वाला "सिग्नल" शोर में दब जाता है क्योंकि छात्र बहुत पीछे होता है।
"गलत सलाह" की समस्या (टोकन विश्वसनीयता):
भले ही प्रशिक्षु सही रास्ते पर हो, मास्टर हर एक कदम पर पूर्ण नहीं होता है। कभी-कभी, मास्टर किसी विशिष्ट शब्द या संख्या को पसंद कर सकता है जो वास्तव में छात्र को सही उत्तर से दूर ले जाती है, भले ही अंतिम परिणाम ठीक दिखे। यदि छात्र मास्टर के हर कदम की अंधाधुंध नकल करता है, तो वे मास्टर के कहने पर गलत मोड़ ले सकते हैं, और बाद में उन्हें एहसास होगा कि वह एक मृत अंत था।

समाधान: SG-OPD (एक स्मार्ट कोच)

लेखक SG-OPD का प्रस्ताव करते हैं, जो एक स्मार्ट कोच की तरह कार्य करता है जो यह तय करने के लिए कि कब मास्टर पर भरोसा करना है और कब उन्हें अनदेखा करना है, एक बाइनरी वेरीफायर (एक सरल "सही/गलत" चेकर) का उपयोग करता है। यह दो चरणों में होता है:

1. वॉर्म-अप चरण: "सुरक्षा जाल" (फेज्ड टीचर सैंपलिंग)

रूपक: जब प्रशिक्षु अभी शुरुआत कर रहा होता है ("कोल्ड स्टार्ट"), तो वह अंधेरे में भटक रहा होता है। कोच मास्टर की नोटबुक से कुछ सत्यापित (verified) उदाहरण लाता है—केवल वे जिन्हें चेकर निश्चित रूप से सही बताता है।
यह कैसे काम करता है: शुरुआत में, छात्र इन सुरक्षित, सत्यापित मास्टर उदाहरणों से सीखता है ताकि एक आधार बन सके। जैसे-जैसे छात्र बेहतर होता है, कोच धीरे-धीरे उन्हें मास्टर के नोट्स दिखाना बंद कर देता है और उन्हें अपने दम पर अभ्यास करने के लिए मजबूर करता है। यह छात्र के अव्यवस्थित शुरुआती प्रयासों और मास्टर के सटीक तर्क के बीच के अंतर को पाटता है।

2. स्टेप-बाय-स्टेप चरण: "ट्रस्ट सिग्नल" (साइन-कंसिस्टेंसी गेटिंग)

रूपक: अब छात्र अपने आप समस्याओं को हल कर रहा है। कोच छात्र द्वारा लिखे गए हर एक शब्द (टोकन) पर नज़र रखता है।
- परिदृश्य A (सहमति): छात्र एक कदम लिखता है, "सही/गलत" चेकर कहता है "अच्छा काम किया!" (सकारात्मक सिग्नल), और मास्टर भी कहता है "अच्छा काम किया!" (सitive सिग्नल)।
  - कार्रवाई: कोच चिल्लाता है, "आगे बढ़ो!" और छात्र को इस कदम को और अधिक बढ़ाने (amplify) के लिए कहता है। इसे एक्सट्रपलेशन (Extrapolation) कहा जाता है।
- परिदृश्य B (संघर्ष): छात्र एक कदम लिखता है, चेकर कहता है "अच्छा काम किया!" (सकारात्मक सिग्नल), लेकिन मास्टर कहता है "मुझे यह शब्द पसंद नहीं है, इसे बदलो" (नकारात्मक सिग्नल)।
  - कार्रवाई: कोच कहता है, "रुको, यहाँ मास्टर की बात मत सुनो।" छात्र इस विशिष्ट कदम पर मास्टर की नकारात्मक प्रतिक्रिया को अनदेखा कर देता है और उस दिशा को बनाए रखता है जिसे चेकर ने अनुमोदित किया था। इसे इंटरपलेशन (Interpolation) कहा जाता है।

यह बेहतर क्यों है

शोधकर्ताओं ने कठिन गणित प्रतियोगिताओं (जैसे AIME और HMMT) पर इसका परीक्षण किया। यहाँ उन्हें क्या पता चला:

बेहतर स्कोर: SG-OPD ने लगातार मानक तरीकों को पछाड़ दिया। औसतन, इसने पुराने तरीके की तुलना में "पास रेट" (कम से कम एक बार सही उत्तर प्राप्त करना) में महत्वपूर्ण अंतर से सुधार किया।
स्थिरता: जब शोधकर्ताओं ने पुराने तरीकों को "अधिक आक्रामक" (छात्र को तेजी से सीखने के लिए प्रेरित करना) बनाने का प्रयास किया, तो पुराने तरीके क्रैश हो गए और विफल हो गए। हालाँकि, SG-OPD स्थिर रहा और सुधार करता रहा क्योंकि इसे पता था कि कब मास्टर पर भरोसा करना है और कब उन्हें अनदेखा करना है।
कोई "कोलैप्स" नहीं: कुछ AI प्रशिक्षण में, बहुत अधिक दबाव डालने से मॉडल अन्वेषण करना बंद कर देता है और बस एक ही उबाऊ उत्तर दोहराने लगता है। SG-OPD ने उच्च स्कोर प्राप्त करते हुए भी छात्र की सोचने की प्रक्रिया को विविध और रचनात्मक बनाए रखा।

सारांश

SG-OPD एक शिक्षण रणनीति है जो एक "सही/गलत" चेकर का उपयोग एक फिल्टर के रूप में करती है। यह छात्र को सुरक्षित रूप से शुरू करने के लिए मास्टर के ज्ञान का उपयोग करता है, लेकिन फिर यह तय करने के लिए कि मास्टर की सलाह वास्तव में सहायक है या वह छात्र को गलत रास्ते पर ले जा रही है, यह कदम-दर-कदम चेकर का उपयोग करता है। यह छात्र को पहले की तुलना में अधिक तेज़ी से और अधिक सटीक रूप से सीखने की अनुमति देता है।

तकनीकी सारांश: साइन-गेटेड ऑन-पॉलिसी डिस्टिलेशन (SG-OPD)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ऑन-पॉलिसी डिस्टिलेशन (OPD) की सीमाओं को संबोधित करता है, जो एक ऐसी तकनीक है जहाँ एक स्टूडेंट मॉडल को एक अधिक शक्तिशाली टीचर मॉडल से प्राप्त सघन प्रति-टोकन (per-token) पर्यवेक्षण का उपयोग करके अपने स्वयं के ट्राजेक्टरीज़ (trajectories) पर प्रशिक्षित किया जाता है। जबकि OPD अक्सर ऑफ-पॉलिसी डिस्टिलेशन और मानक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) से बेहतर प्रदर्शन करता है, लेखकों ने पहचान की है कि इसकी प्रभावशीलता दो अंतर्निहित धारणाओं पर निर्भर करती है जो व्यवहार में अक्सर विफल हो जाती हैं, विशेष रूप से स्ट्रॉन्ग-टू-वीक (strong-to-weak) सेटिंग्स में (जैसे, एक बड़े रीजनिंग मॉडल को छोटे मॉडल में डिस्टिल करना):

नाजुक ट्राजेक्टरी-स्तरीय संरेखण (Fragile Trajectory-Level Alignment): कोल्ड-स्टार्ट परिदृश्यों में, एक कमजोर स्टूडेंट के रोलआउट्स अक्सर टीचर के ट्राजेक्टरी सपोर्ट से बहुत दूर होते हैं। इसके परिणामस्वरूप, रिवर्स-KL सिग्नल (जो OPD का मूल है) सूचनात्मक पर्यवेक्षण के बजाय शोर (noise) से प्रभावित होता है, जिससे शुरुआती प्रशिक्षण अस्थिर हो जाता है।
गैर-समान टोकन-स्तरीय विश्वसनीयता (Non-Uniform Token-Level Reliability): यहाँ तक कि उन रोलआउट्स पर भी जिन्हें एक बाहरी वेरीफायर द्वारा सही प्रमाणित किया गया है, टीचर की प्रति-टोकन प्राथमिकताएं "वेरिफायर-करेक्ट" दिशा के विपरीत हो सकती हैं। टीचर उन टोकन को कम संभाव्यता (low probability) दे सकता है जो वास्तव में एक वैध समाधान पथ के लिए आवश्यक हैं। इन टोकनों पर रिवर्स-KL ग्रेडिएंट को अंधाधुंध रूप से बढ़ाना वैध ट्राजेक्टरीज़ को दंडित करता है।

2. कार्यप्रणाली: SG-OPD (Methodology: SG-OPD)

लेखक साइन-गेटेड ऑन-पॉलिसी डिस्टिलेशन (SG-OPD) का प्रस्ताव करते हैं, जो एक फ्रेमवर्क है जो दो पूरक स्तरों पर: सैंपल स्तर (sample level) और टोकन स्तर (token level) पर, एक बाइनरी वेरीफायर को टीचर के लिए एक 'ट्रस्ट सिग्नल' के रूप में उपयोग करता है।

A. सैंपल स्तर: फेज़्ड टीचर सैंपलिंग (Phased Teacher Sampling - PTS)
कोल्ड-स्टार्ट में ट्राजेक्टरी-स्तरीय संरेखण की विफलता को संबोधित करने के लिए, SG-OPD सत्यापित टीचर रोलआउट्स पर आधारित एक सहायक लॉस (auxiliary loss) पेश करता है।

तंत्र (Mechanism): प्रशिक्षण के शुरुआती चरणों के दौरान, मिनी-बैच को विभाजित किया जाता है। प्रॉम्प्ट्स का एक हिस्सा टीचर ( $\pi^*$ ) से सैंपल किया जाता है, और केवल वे ट्राजेक्टरीज़ रखी जाती हैं जिन्हें सही सत्यापित किया गया है। ये एक क्रॉस-एन्ट्रॉपी (CE) लॉस के माध्यम से एक "एंकर" के रूप में कार्य करते हैं।
एनीलिंग (Annealing): इस टीचर गाइडेंस को एक तीन-चरणीय कोसाइन शेड्यूल ( $\alpha(t)$ ) द्वारा भारित किया जाता है। यह वितरण अंतराल (distribution gap) को पाटने के लिए कोल्ड-स्टार्ट के दौरान उच्च रहता है और शून्य तक घटता जाता है, जिससे यह सुनिश्चित होता है कि एसिम्प्टोटिक (asymptotic) प्रशिक्षण वितरण पूरी तरह से ऑन-पॉलिसी (स्टूडेंट-जनरेटेड) बना रहे।

B. टोकन स्तर: साइन-कंसिस्टेंसी गेटिंग (Sign-Consistency Gating)
टोकन-स्तरीय विश्वसनीयता की विफलता को संबोधित करने के लिए, SG-OPD अपडेट को वेरीफायर के आउटकम सिग्नल और टीचर के प्रेफरेंस सिग्नल के बीच सहमति के आधार पर रूट करता है।

सिग्नल (Signals):
- $a_1(t)$ : एक बाइनरी वेरीफायर (जैसे, GRPO स्टाइल) से आउटकम-स्तरीय एडवांटेज, जो यह दर्शाता है कि ट्राजेक्टरी सही है या नहीं।
- $a_2(t)$ : टीचर से रिवर्स-KL एडवांटेज (OPD सिग्नल)।
द गेट (The Gate): एक बाइनरी गेट $g_t$ $g_{t}$ को $1[a_1(t) \cdot a_2(t) > 0]$ $1 [a_{1} (t) \cdot a_{2} (t) > 0]$ के रूप में परिभाषित किया गया है।
- कंसेंसस टोकन्स (Consensus Tokens - $g_t=1$ ): वेरीफायर और टीचर दिशा पर सहमत हैं। इन टोकनों पर उच्च एक्सट्रपोलेशन स्ट्रेंथ ( $\lambda_{high}$ ) का उपयोग करके एक्सट्रपोलेशन (बढ़ा हुआ अपडेट) किया जाता है।
- कॉन्फ्लिक्ट टोकन्स (Conflict Tokens - $g_t=0$ ): सिग्नल असहमत हैं (उदाहरण के लिए, टीचर एक ऐसे टोकन को दबा देता है जो सही उत्तर की ओर ले जाता है)। इन टोकनों पर इंटरपोलेशन (नरम किया गया अपडेट) किया जाता है या इन्हें मास्क किया जाता है, जिससे स्टूडेंट को सत्यापित समाधानों से दूर जाने से रोका जाता है।
स्थिरता (Stability): बड़े आउटलियर एडवांटेज को ग्रेडिएंट पर हावी होने से रोकने के लिए एक डिटैच्ड क्लिपिंग वेट लागू किया जाता है।

अंतिम ऑब्जेक्टिव (objective) टोकन-स्तरीय गेटेड पॉलिसी ग्रेडिएंट लॉस को फेज़्ड सैंपल-स्तरीय टीचर एंकर लॉस के साथ जोड़ता है।

3. मुख्य योगदान (Key Contributions)

विफलता मोड की पहचान: यह शोध पत्र OPD की दो संरचनात्मक सीमाओं का स्पष्ट रूप से विश्लेषण करता है: कोल्ड-स्टार्ट में ट्राजेक्टरी-स्तरीय संरेखण की नाजुकता और सही ट्राजेक्टरीज़ पर भी टीचर की प्राथमिकताओं की गैर-समान विश्वसनीयता।
SG-OPD फ्रेमवर्क: एक दो-स्तर के फ्रेमवर्क का प्रस्ताव जो बाइनरी वेरीफायर को ट्रस्ट सिग्नल के रूप में उपयोग करता है। यह कोल्ड-स्टार्ट को स्थिर करने के लिए फेज़्ड टीचर सैंपलिंग और सिग्नल सहमति के आधार पर टोकन अपडेट को चुनिंदा रूप से एक्सट्रपोलेट या इंटरपोलेट करने के लिए साइन-कंसिस्टेंसी गेटिंग को जोड़ता है।
अनुभवजन्य सत्यापन (Empirical Validation): प्रतियोगिता-स्तर के गणितीय तर्क बेंचमार्क पर व्यापक प्रयोगों से पता चलता है कि SG-OPD लगातार मानक OPD और एक्सट्रपोलेटेड वेरिएंट (ExOPD) से बेहतर प्रदर्शन करता है, विशेष रूप से उन स्थितियों में जहाँ यूनिफॉर्म एक्सट्रपोलेशन के कारण प्रशिक्षण विफल (collapse) हो जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोगों में Qwen3-1.7B को स्टूडेंट और Qwen3-4B-Non-Thinking-RL-Math (स्टेप 500) को टीचर के रूप में उपयोग किया गया, और चार बेंचमार्क पर मूल्यांकन किया गया: AIME24, AIME25, HMMT25-Feb, और HMMT25-Nov।

प्रदर्शन लाभ (Performance Gains): SG-OPD ने सभी मेट्रिक्स पर उच्चतम औसत स्कोर प्राप्त किया।
- avg@32: 29.53% (OPD से +1.98 और ExOPD से +1.54 का सुधार)।
- pass@32: 59.17% (OPD से +7.50 और ExOPD से +5.00 का सुधार)।
एब्लेशन अध्ययन (Ablation Studies):
- पाया गया कि साइन-कंसिस्टेंसी गेट एक्सट्रपोलेशन स्ट्रेंथ की "सुरक्षित सीमा" (safe range) को बढ़ाता है। जबकि यूनिफॉर्म एक्सट्रपोलेशन (ExOPD) उच्च $\lambda$ (जैसे, $\lambda=1.8$ ) पर कोलैप्स हो गया, SG-OPD ने समान स्ट्रेंथ पर प्रदर्शन को बनाए रखा या सुधारा।
- अकेले PTS ने OPD की तुलना में प्रदर्शन में सुधार किया, लेकिन PTS और साइन-गेट के संयोजन ने लगभग योगात्मक (additive) लाभ दिए, जो उनकी ऑर्थोगोनैलिटी (orthogonality) की पुष्टि करते हैं।
प्रशिक्षण गतिशीलता (Training Dynamics): SG-OPD ने OPD और ExOPD की तुलना में उच्च प्रशिक्षण रिवॉर्ड प्राप्त किया और उच्च पॉलिसी एंट्रॉपी बनाए रखी, जो यह दर्शाता है कि गेटिंग मैकेनिज्म कंसेंसस को बढ़ाता है बिना एक्सप्लोरेशन को समाप्त किए।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि SG-OPD, स्टूडेंट ट्राजेक्टरीज़ और टीचर प्रेफरेंसेस के बीच मिसअलाइनमेंट को स्पष्ट रूप से संभालकर, ऑन-पॉलिसी डिस्टिलेशन के लिए अधिक मजबूत और स्थिर दृष्टिकोण प्रदान करता है।

ट्रस्ट सिग्नल: यह प्रदर्शित करता है कि एक बाइनरी वेरीफायर टीचर के लिए एक विश्वसनीय ट्रस्ट सिग्नल के रूप में कार्य कर सकता है, जिससे मॉडल को वहां "पीछे हटने" (back off) की अनुमति मिलती है जहाँ टीचर अविश्वसनीय है (कॉन्फ्लिक्ट टोकन्स) और वहां "आगे बढ़ने" (lean in) की अनुमति मिलती है जहाँ वे सहमत हैं (कंसेंसस टोकन्स)।
स्थिरता: यह विधि उन एक्सट्रपोलेशन स्ट्रेंथ पर भी स्थिर रहती है जो यूनिफॉर्म एक्सट्रपोलेशन विधियों को विचलन (diverge) की ओर ले जाती हैं, प्रभावी रूप से "अप्राप्य" (untrainable) क्षेत्रों को उच्च-प्रदर्शन वाले क्षेत्रों में बदल देती है।
दायरा (Scope): लेखक नोट करते हैं कि वर्तमान सत्यापन बाइनरी वेरीफायर के साथ गणितीय तर्क तक सीमित है। वे सुझाव देते हैं कि यह दृष्टिकोण अन्य वेरीफायर-शैली के कार्यों (जैसे, यूनिट टेस्ट के साथ कोड) में सामान्य हो सकता है, लेकिन वे स्वीकार करते हैं कि उन कार्यों के लिए जहाँ अंतिम उत्तर गलत है लेकिन मध्यवर्ती चरण उपयोगी हैं, प्रोसेस-लेवल सर्टिफिकेट (स्टेप-बाय-स्टेप वेरिफिकेशन) एक आवश्यक विस्तार होगा।

यह कार्य डिस्टिलेशन पाइपलाइन में एक पद्धतिगत सुधार के रूप में प्रस्तुत किया गया है, जो स्ट्रॉन्ग-टू-वीक डिस्टिलेशन सेटिंग्स में देखे गए विशिष्ट संरचनात्मक विफलता मोड के लिए समाधान प्रदान करता है।