💬 NLP

Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation

यह शोध पत्र स्ट्रॉन्ग-टू-वीक ऑन-पॉलिसी डिस्टिलेशन (strong-to-weak on-policy distillation) में "लोकल टीचबिलिटी कोलैप्स" (local teachability collapse) की पहचान करता है, जहाँ बाद के ट्राजेक्टरी सेगमेंट्स में भेदभावपूर्ण शिक्षक फीडबैक की कमी के कारण समान पर्यवेक्षण विफल हो जाता है, और एक ट्राजेक्टरी-विशिष्ट रिलीज़ नियम प्रस्तावित करता है जो निरंतर विभिन्न बेंचमार्क पर मानक विधियों से बेहतर प्रदर्शन करने के लिए डाउनवर्ड चेंज पॉइंट (downward change point) का पता चलते ही सघन पर्यवेक्षण को काट देता है।

मूल लेखक: Kaiyuan Liu, Ziyuan Zhuang, Yang Bai, Bing Wang, Rongxiang Weng, Jieping Ye

प्रकाशित 2026-05-14

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kaiyuan Liu, Ziyuan Zhuang, Yang Bai, Bing Wang, Rongxiang Weng, Jieping Ye

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: जब शिक्षक उपयोगी होना बंद कर देता है

कल्पना कीजिए कि आप एक ग्रैंडमास्टर (शिक्षक) से शतरंज खेलना सीख रहे हैं। आप एक चाल चलते हैं और ग्रैंडमास्टर आपसे कहता है, "यह एक अच्छी चाल थी," या "यह एक बुरी चाल थी।" इसे ऑन-पॉलिसी डिस्टिलेशन (On-Policy Distillation) कहा जाता है। आप एक खेल खेलते हैं, शिक्षक आपकी चालों को ग्रेड देता है, और आप अगली बार बेहतर खेलने के लिए उस फीडबैक से सीखते हैं।

आमतौर पर, शोधकर्ता यह मान लेते हैं कि यदि शिक्षक बुद्धिमान है, तो उन्हें खेल के हर एक कदम पर, पहले ओपनिंग से लेकर आखिरी चेकमेट तक, ग्रेड देना चाहिए। तर्क यह है: "अधिक फीडबैक हमेशा बेहतर होता है।"

यह पेपर कहता है: "इतनी जल्दी नहीं।"

लेखकों ने पाया कि एक विशिष्ट सेटअप में—जहाँ एक बहुत ही स्मार्ट शिक्षक एक बहुत छोटे, कमजोर छात्र को सिखा रहा है—शिक्षक का फीडबैक अक्सर खेल के बीच में ही उपयोगी होना बंद हो जाता है। वे इस समस्या को "लोकल टीचबिलिटी कोलैप्स" (Local Teachability Collapse) कहते हैं।

समस्या: "फ्लैटलाइनिंग" फीडबैक

ग्रैंडमास्टर के फीडबैक को एक दिशा-सूचक यंत्र (कम्पास) की तरह समझें।

खेल की शुरुआत में: कम्पास पागलों की तरह घूम रहा है। ग्रैंडमास्टर कहता है, "बाएं मत जाओ, दाएं जाओ! वह प्यादा मत उठाओ!" एक अच्छी चाल और एक बुरी चाल के बीच का अंतर बहुत बड़ा है। फीडबैक में हाई कॉन्ट्रास्ट (High Contrast) है और यह बहुत उपयोगी है।
खेल के अंत में: आप दोनों एक ऐसे बोर्ड को देख रहे हैं जहाँ परिणाम लगभग तय हो चुका है। ग्रैंडमास्टर अभी भी कह सकता है, "हाँ, वह एक अच्छी चाल थी," लेकिन आपके मूव और अगली सबसे अच्छी चाल के बीच का अंतर बहुत मामूली है। कम्पास अब घूम नहीं रहा है; यह बस अस्पष्ट रूप से उत्तर दिशा की ओर इशारा कर रहा है।

पेपर में पाया गया कि भले ही शिक्षक तकनीकी रूप से अभी भी "बोल" रहा है और स्कोर दे रहा है, लेकिन कॉन्ट्रास्ट (एक अच्छी चाल और थोड़ी कम अच्छी चाल के बीच स्पष्ट अंतर करने की क्षमता) गायब हो जाता है। फीडबैक "फ्लैट" हो जाता है। यदि आप इस फ्लैट, लो-कॉन्ट्रास्ट फीडबैक पर प्रशिक्षण जारी रखते हैं, तो आप बहुत कुछ नहीं सीख रहे होते; आप केवल शोर (noise) सुन रहे होते हैं।

समाधान: "फेड-आउट" नियम

शिक्षक को पूरे खेल के दौरान सुनने के बजाय, लेखक एक स्मार्ट नियम प्रस्तावित करते हैं: सुनना तब बंद कर दें जब शिक्षक विशिष्ट (specific) होना बंद कर दे।

उन्होंने एक ऐसा सिस्टम बनाया है जो एक वॉल्यूम नॉब या फेड-आउट स्विच की तरह काम करता है:

"मार्जिन" की जाँच करें: हर स्टेप पर, सिस्टम पूछता है: "क्या शिक्षक छात्र के शीर्ष दो विकल्पों के बीच अंतर को स्पष्ट रूप से बता सकता है?"
कर्व (Curve) पर नज़र रखें: जैसे-जैसे खेल आगे बढ़ता है, यह अंतर बताने की क्षमता आमतौर पर गिरती जाती है।
कट-ऑफ (Cut-off): सिस्टम एक सांख्यिकीय परीक्षण (जिसे BIC-स्टाइल चेंज-पॉइंट कहा जाता है) का उपयोग यह पता लगाने के लिए करता है कि शिक्षक का फीडबैक ठीक कब "फ्लैट" होने लगता है।
फेड आउट (Fade Out): एक बार जब वह बिंदु आ जाता है, तो सिस्टम छात्र को उस विशिष्ट खेल के शेष भाग के लिए शिक्षक से सीखने से रोक देता है। यह अनिवार्य रूप से कहता है, "तुम समझ गए हो; बाकी का खेल केवल भरने के लिए है।"

यह क्यों काम करता है (उपमा)

कल्पना कीजिए कि एक संगीत शिक्षक एक छात्र को पियानो बजाना सिखा रहा है।

शुरुआत में: शिक्षक बहुत विशिष्ट है। "तुम्हारी उंगलियां यहाँ बहुत सख्त हैं," "वह नोट थोड़ा तीखा था," "तुमने लय मिस कर दी।" यह हाई-वैल्यू फीडबैक है।
बाद में: छात्र बस अंतिम कॉर्ड्स (chords) बजा रहा है। शिक्षक कह सकता है, "अच्छा काम किया," लेकिन अंतिम कॉर्ड को पूरी तरह से बजाने और उसे 95% सही बजाने के बीच का अंतर नगण्य है। शिक्षक की विशिष्ट निर्देश देने की क्षमता कोलैप्स हो गई है।

यदि छात्र गाने के अंत में शिक्षक के अस्पष्ट "अच्छा काम किया" से सीखने की कोशिश करता रहता है, तो वे ओवरथिंक करना शुरू कर सकते हैं या भ्रमित हो सकते हैं। उस क्षण पर सबक रोकना जहाँ विशिष्ट सलाह समाप्त हो जाती है, छात्र को केवल उन हिस्सों पर ध्यान केंद्रित करने में मदद करता है जहाँ वे वास्तव में सुधार कर सकते हैं।

उन्होंने क्या पाया

शोधकर्ताओं ने गणित की समस्याओं का उपयोग करके AI मॉडल (विशेष रूप से Qwen3 परिवार) पर इसका परीक्षण किया।

पुराना तरीका: शिक्षक को पूरा उत्तर ग्रेड करने दें। छात्र का औसत स्कोर 36.8% रहा।
नया तरीका (Fade-Out): शिक्षक को तब रोक दें जब उनकी सलाह अस्पष्ट होने लगे। छात्र का स्कोर उछलकर 40.1% हो गया।

उन्होंने यह भी पाया कि यह तरीका केवल गणित में ही नहीं, बल्कि इसने AI को अन्य कार्यों (जैसे कोडिंग) के लिए अपनी सामान्य बुद्धिमत्ता को पुराने तरीकों की तुलना में बेहतर बनाए रखने में भी मदद की।

सारांश

यह पेपर तर्क देता है कि अधिक फीडबैक हमेशा बेहतर नहीं होता। यदि शिक्षक की सलाह अस्पष्ट और भेदभाव रहित (low contrast) हो जाती है, तो सुनते रहने के बजाय सुनना बंद कर देना बेहतर है। स्वचालित रूप से यह पता लगाकर कि शिक्षक की "टीचेबिलिटी" कब कोलैप्स होती है और फेड-आउट करके पर्यवेक्षण को रोकने से, छात्र अधिक कुशलता से सीखता है और बेहतर प्रदर्शन करता है।

तकनीकी सारांश: प्रिफिक्स टीच, सफिक्स फेड: स्ट्रॉन्ग-टू-वीक ऑन-पॉलिसी डिस्टिलेशन में लोकल टीचबिलिटी कोलैप्स

1. समस्या की परिभाषा

यह शोध पत्र ऑन-पॉलिसी डिस्टिलेशन (OPD) में एक विशिष्ट विफलता मोड को संबोधित करता है, विशेष रूप से स्ट्रॉन्ग-टू-वीक (strong-to-weak) सेटिंग्स में जहाँ एक काफी बड़े टीचर मॉडल द्वारा एक छोटे स्टूडेंट मॉडल को सुपरवाइज किया जाता है। जबकि पूर्व साहित्य यह मानता है कि यदि टीचर फीडबैक उपलब्ध हो, तो पूरी जनरेटेड ट्रैजेक्टरी (trajectory) में सघन पर्यवेक्षण (dense supervision) समान रूप से फायदेमंद होता है, लेखक तर्क देते हैं कि यह धारणा अत्यधिक सामान्यीकृत (coarse) है।

पहचाना गया मुख्य मुद्दा लोकल टीचबिलिटी कोलैप्स (Local Teachability Collapse) है। स्ट्रॉन्ग-टू-वीक OPD में, भले ही पूरे रिस्पॉन्स के दौरान एक गैर-शून्य (non-zero) टीचर-स्टूडेंट एडवांटेज बना रहे, लेकिन बाद के खंडों (segments) में टीचर के फीडबैक का लोकल कॉन्ट्रास्ट (local contrast) अक्सर कम हो जाता है। विशेष रूप से:

टीचर एक ग्लोबल प्रेफरेंस सिग्नल (non-zero mean advantage) प्रदान करना जारी रख सकता है।
हालांकि, इस सिग्नल की विभेदक शक्ति (discriminative power) घट जाती है; टीचर स्थानीय क्षेत्र में स्टूडेंट के टॉप कैंडिडेट एक्शन्स के बीच स्पष्ट अंतर करने में विफल रहता है।
इन लो-कॉन्ट्रास्ट वाले क्षेत्रों में सघन पर्यवेक्षण लागू करने से "लो-इंफॉर्मेटिव नॉइज़" पर अनुकूलन (optimize) होता है, न कि स्टूडेंट के लिए सार्थक प्राथमिकता प्रदान करने के लिए, जिससे प्रदर्शन में गिरावट आ सकती है या आउट-ऑफ-डोमेन क्षमताओं को संरक्षित करने में विफलता हो सकती है।

2. कार्यप्रणाली (Methodology)

लेखक लोकल टीचबिलिटी कोलैप्स को कम करने के लिए एक ट्रैजेक्टरी-विशिष्ट रिलीज़ नियम (trajectory-specific release rule) प्रस्तावित करते हैं। एक समान पर्यवेक्षण लागू करने या एक निश्चित ग्लोबल प्रिफिक्स लंबाई का उपयोग करने के बजाय, यह विधि टीचर के सिग्नल की स्थानीय उपयोगिता के आधार पर यह निर्धारित करती है कि सघन पर्यवेक्षण को कहाँ समाप्त (truncate) किया जाए।

विधि के प्रमुख घटक:

स्टेट-लोकल टीचर मार्जिन (State-Local Teacher Margin):
- सैंपल किए गए टोकन एडवांटेज ( $A_t$ ) के वेरिएंस पर निर्भर रहने के बजाय, जो अस्थिर हो सकता है, यह विधि स्टूडेंट के पहुंच योग्य (reachable) एक्शन्स के बीच टीचर की भेदभाव करने की क्षमता का मूल्यांकन करती है।
- प्रत्येक प्रिफिक्स पर, स्टूडेंट का टॉप- $K$ कैंडिडेट सेट ( $C_t$ ) बनाया जाता है।
- टीचर का नियरेस्ट-कॉम्पिटिटर मार्जिन ( $M_t$ ) $C_t$ के भीतर टीचर के टॉप-1 और टॉप-2 कैंडिडेट्स के लॉग-प्रोबेबिलिटी अंतर के रूप में गणना किया जाता है:
  $M_t = \log p_T(a^{(1)}_t) - \log p_T(a^{(2)}_t)$
- $M_t$ में निरंतर गिरावट यह दर्शाती है कि टीचर का मार्गदर्शन स्थानीय रूप से सपाट (flat) हो गया है (कम एक्शन योग्य)।
सेंटेंस-लेवल एग्रीगेशन (Sentence-Level Aggregation):
- टोकन-लेवल आर्टिफैक्ट्स को कम करने के लिए, मार्जिन को NLTK-टोकनाइज्ड सेंटेंस सेगमेंट्स ( $B_i$ ) पर एग्रीगेट किया जाता है।
- सेगमेंट-लेवल सिग्नल $S_i$ को इस प्रकार परिभाषित किया गया है:
  $S_i = \log \left(1 + \frac{1}{|B_i|} \sum_{t \in B_i} M_t \right)$
BIC-स्टाइल चेंज पॉइंट डिटेक्शन (BIC-Style Change Point Detection):
- डाउनवर्ड शिफ्ट (नीचे की ओर बदलाव) का पता लगाने के लिए $\{S_i\}$ के सीक्वेंस का विश्लेषण किया जाता है।
- विधि एक "नो-चेंज" मॉडल ( $H_0$ ) की तुलना एक "वन-ड्रॉप" मॉडल ( $H_1$ ) से करती है जहाँ एक चेंज पॉइंट $\tau$ मौजूद है जिससे औसत सिग्नल गिरता है ( $\mu_{pre} > \mu_{post}$ )।
- इष्टतम चेंज पॉइंट $\tau^*$ चुनने के लिए एक प्रोफाइल्ड RSS-BIC मानदंड का उपयोग किया जाता है, जो रैंडम उतार-चढ़ाव से होने वाले फॉल्स पॉजिटिव को रोकने के लिए मॉडल कॉम्प्लेक्सिटी को दंडित (penalize) करता है।
- यदि एक महत्वपूर्ण डाउनवर्ड चेंज का पता चलता है, तो डिटेक्ट किए गए सेगमेंट बाउंड्री के बाद के सभी टोकन के लिए सघन पर्यवेक्षण को मास्क (mask out) कर दिया जाता है।
लॉस मास रीस्केलिंग (Loss Mass Rescaling):
- यह सुनिश्चित करने के लिए कि ट्रंकेशन के बावजूद ग्रेडिएंट मैग्नीट्यूड सुसंगत रहे, रिटेन किए गए प्रिफिक्स एडवांसेज को रीस्केल किया जाता है:
  $A'_t = A_t \cdot q_t \cdot \frac{\sum l_t}{\sum l_t q_t}$
- यहाँ, $q_t$ प्रिफिक्स मास्क है (कट से पहले 1, बाद में 0), और $l_t$ मूल लॉस मास्क है।

3. प्रमुख योगदान

यह शोध पत्र तीन प्राथमिक योगदान देता है:

लोकल टीचबिलिटी कोलैप्स की पहचान: लेखकों ने निदान किया है कि स्ट्रॉन्ग-टू-वीक OPD में, टीचर-स्टूडेंट एडवांटेज गैर-शून्य रह सकता है जबकि लोकल डिस्क्रिमिनेटिव पावर (कॉन्ट्रास्ट) कम हो जाता है। यह प्रकट करता है कि पूरी ट्रैजेक्टरी पर सघन पर्यवेक्षण हमेशा इष्टतम नहीं होता है।
एक ट्रैजेक्टरी-विशिष्ट रिलीज़ नियम: वे एक तंत्र पेश करते हैं जो यह निर्धारित करता है कि क्या टीचर फीडबैक स्थानीय रूप से एक्शन योग्य है। यह नियम स्टूडेंट के टॉप- $K$ कैंडिडेट्स पर टीचर के टॉप-1/टॉप-2 मार्जिन का उपयोग करता है, इसे सेंटेंस सेगमेंट्स पर एग्रीगेट करता है, और एक सांख्यिकीय डाउनवर्ड चेंज पॉइंट के बाद पर्यवेक्षण को समाप्त करता है।
अनुभवजन्य सत्यापन (Empirical Validation): इस विधि को विभिन्न Qwen3 स्ट्रॉन्ग-टू-वीक डिस्टिलेशन सेटिंग्स (1.7B, 4B, और 8B स्टूडेंट्स) पर मान्य किया गया है। रिलीज़ नियम इन-डोमेन बेंचमार्क्स पर स्टैंडर्ड फुल-ट्रैजेक्टरी OPD और फिक्स्ड-प्रिफिक्स बेसलाइन्स की तुलना में लगातार बेहतर प्रदर्शन करता है और आउट-ऑफ-डोमेन क्षमताओं को बेहतर ढंग से संरक्षित करता है।

4. प्रयोगात्मक परिणाम

प्रयोग Qwen3 मॉडल फैमिली (टीचर: Qwen3-30B-A3B-Instruct-2507; स्टूडेंट्स: 1.7B, 4B, 8B) का उपयोग करके पांच इन-डोमेन मैथ बेंचमार्क्स (AIME25, HMMT25, MATH500, Minerva) और एक आउट-ऑफ-डोमेन बेंचमार्क (GPQA) पर किए गए।

प्रदर्शन लाभ: 1.7B स्टूडेंट के लिए, प्रस्तावित विधि ने पांच मैथ बेंचमार्क्स पर 40.1% का औसत स्कोर प्राप्त किया, जबकि स्टैंडर्ड फुल OPD के लिए यह 36.8% और सर्वश्रेष्ठ फिक्स्ड-प्रिफिक्स बेसलाइन (2048 टोकन) के लिए 39.3% था।
आउट-ऑफ-डोमेन संरक्षण: विधि ने फुल OPD (40.7%) की तुलना में GPQA स्कोर (42.4%) में सुधार किया, जो बेहतर सामान्य क्षमताओं के संरक्षण का सुझाव देता है।
स्केलिंग: लाभ बड़े स्टूडेंट्स (4B और 8B) के लिए भी बने रहे, जहाँ रिलीज़ नियम ने फुल OPD और अन्य बेसलाइन्स (जैसे, 8B के लिए 55.2% AVG बनाम फुल OPD के लिए 53.1%) को लगातार पछाड़ दिया।
एब्लेशन (Ablation): एक "रैंडम रिलीज़" कंट्रोल (सैंपल्स के बीच रिलीज़ पॉइंट्स को बदलना) ने कम प्रदर्शन (38.0% AVG) दिया, जो पुष्टि करता है कि रिलीज़ पॉइंट को विशिष्ट ट्रैजेक्टरी के लोकल-टीचबिलिटी सिग्नल के साथ जोड़ा जाना चाहिए।
सपोर्ट साइज संवेदनशीलता: विधि स्टूडेंट के टॉप- $K$ सपोर्ट साइज ( $K \in \{2, 4, 16, 32\}$ ) में भिन्नता के प्रति मजबूत थी, जिसमें $K=4$ ने सर्वोत्तम परिणाम दिए।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि प्रभावी स्ट्रॉन्ग-टू-वीक ऑन-पॉलिसी डिस्टिलेशन के लिए न केवल टीचर गाइडेंस की उपलब्धता बल्कि उसकी लोकल यूटिलिटी का मूल्यांकन करना भी आवश्यक है।

मुख्य अंतर्दृष्टि: सघन पर्यवेक्षण को उन ट्रैजेक्टरी क्षेत्रों पर केंद्रित किया जाना चाहिए जहाँ टीचर का फीडबैक विभेदक (discriminative) बना रहता है। एक बार जब टीचर का लोकल कॉन्ट्रास्ट कोलैप्स हो जाता है (सपाट हो जाता है), तो निरंतर सघन पर्यवेक्षण नगण्य लर्निंग सिग्नल प्रदान करता है और शोर (noise) पेश कर सकता है।
व्यावहारिक निहितार्थ: प्रस्तावित रिलीज़ नियम अंडरलाइंग OPD ऑब्जेक्टिव को बदले बिना पर्यवेक्षण को "फेड" (fade) करने का एक सिद्धांतपूर्ण तरीका प्रदान करता है। यह सुनिश्चित करता है कि जनरेटेड फीडबैक स्टूडेंट के लिए "टीचेबल" (teachable) बना रहे।
विनम्रता (Modesty): लेखक नोट करते हैं कि उनका वर्तमान कार्यान्वयन फुल रोलआउट जनरेशन के बाद एक डायग्नोस्टिक पास करता है और स्वाभाविक रूप से जनरेशन प्रक्रिया को छोटा नहीं करता है (FastOPD के विपरीत), जिसका अर्थ है कि दक्षता लाभ (efficiency gains) टीचबिलिटी सिग्नल के सत्यापन के लिए एक माध्यमिक विचार है। वे स्पष्ट रूप से कहते हैं कि नियम एक व्यावहारिक ह्यूरिस्टिक है जो केंद्रीय दावे को मान्य करता है, न कि यह एक सैद्धांतिक गारंटी है कि सभी पोस्ट-रिलीज़ टोकन हानिकारक हैं।