🤖 AI

Adaptive Teacher Exposure for Self-Distillation in LLM Reasoning

यह शोध पत्र एडेप्टिव टीचर एक्सपोज़र फॉर सेल्फ-डिस्टिलेशन (ATESD) को प्रस्तुत करता है, जो एक नवीन विधि है जो गतिशील रूप से यह सीखना सीखती है कि ऑन-पॉलिसी प्रशिक्षण के दौरान एक शिक्षक मॉडल छात्र को कितनी विशेषाधिकार प्राप्त तर्क (privileged reasoning) प्रकट करता है, जिससे एक्सपोज़र मिसमैच (exposure mismatch) का समाधान होता है और चुनौतीपूर्ण गणितीय तर्क बेंचमार्क पर मौजूदा सेल्फ-डिस्टिलेशन और आरएल (RL) बेसलाइन की तुलना में काफी बेहतर प्रदर्शन होता है।

मूल लेखक: Zihao Han, Tiangang Zhang, Huaibin Wang, Yilun Sun

प्रकाशित 2026-05-13

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zihao Han, Tiangang Zhang, Huaibin Wang, Yilun Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक युवा प्रशिक्षु (apprentice) को जटिल गणित की समस्याओं को हल करना सिखाने की कोशिश कर रहे हैं। आपके पास एक अत्यंत बुद्धिमान गुरु ("शिक्षक") और एक छात्र ("विद्यार्थी") है। दोनों वास्तव में एक ही व्यक्ति हैं, जो सीखने के अलग-अलग चरणों में हैं, लेकिन इस पाठ के लिए, हम उन्हें दो अलग-अलग भूमिकाओं के रूप में मानेंगे।

सीखने के मानक तरीके (जिसे On-Policy Self-Distillation कहा जाता है) में, गुरु समस्या के संपूर्ण समाधान को देखता है—जिसमें तर्क का हर एक चरण, कठिन सूत्र और अंतिम उत्तर भी शामिल है—और फिर वह विद्यार्थी को उन्हीं चरणों के माध्यम से मार्गदर्शन करने का प्रयास करता है।

इस शोध पत्र के लेखकों ने इस दृष्टिकोण में एक दोष खोजा है: गुरु अक्सर विद्यार्थी की तुलना में बहुत अधिक बुद्धिमान होता है।

समस्या: "अत्यधिक उजागर" शिक्षक (The "Over-Exposed" Teacher)

इसे इस प्रकार समझें:

परिदृश्य A (आसान समस्या): समस्या है "2 + 3"। गुरु का पूर्ण समाधान कहता है, "2 से शुरू करें, 3 गिनें: 3, 4, 5, उत्तर 5 है।" यह विद्यार्थी के लिए समझना आसान है। शिक्षण बहुत अच्छा काम करता है।
परिदृश्य B (कठिन समस्या): समस्या एक जटिल द्विघात समीकरण (quadratic equation) है। गुरु का पूर्ण समाधान सीधे उन्नत कैलकुलस, विवेचक (discriminants) और जटिल सूत्रों में कूद जाता है। विद्यार्थी, जो अभी भी बुनियादी बीजगणित सीख रहा है, इसे देखकर सोचता है, "मुझे समझ नहीं आ रहा कि यहाँ क्या हो रहा है।"

शोध पत्र इसे Teacher-Side Exposure Mismatch कहता है। जब गुरु पूरे, उन्नत तर्क (विशेषाधिकार प्राप्त जानकारी) को देखता है, तो पाठ विद्यार्थी के लिए बहुत कठिन हो जाता है। विद्यार्थी अभिभूत हो जाता है, और सीखने की प्रक्रिया रुक जाती है।

पिछले तरीकों ने माना था कि "अधिक जानकारी हमेशा बेहतर होती है।" यह शोध पत्र तर्क देता है कि जल्द ही पूरा उत्तर देख लेना वास्तव में सीखने में बाधा डाल सकता है।

समाधान: ATESD (Adaptive Teacher Exposure)

लेखक ATESD नामक एक नया सिस्टम प्रस्तावित करते हैं। इसमें गुरु को हमेशा पूर्ण समाधान दिखाने के बजाय, ATESD गुरु के ज्ञान के लिए एक स्मार्ट फिल्टर या डिमर स्विच (dimmer switch) की तरह कार्य करता है।

यह इस प्रकार काम करता है, एक रचनात्मक उपमा का उपयोग करते हुए:

1. डिमर स्विच (एक्सपोज़र अनुपात)
कल्पना कीजिए कि गुरु का समाधान एक चमकदार रोशनी है।

पूर्ण एक्सपोज़र (पुराना तरीका): रोशनी इतनी तेज़ है कि आँखें चौंधिया जाती हैं (100%)। विद्यार्थी चकाचौंध हो जाता है और रास्ता नहीं देख पाता।
अनुकूली एक्सपोज़र (नया तरीका): सिस्टम एक "डिमर स्विच" पेश करता है (जिसे $\alpha$ $α$ द्वारा दर्शाया गया है)।
- आसान समस्याओं के लिए, स्विच को ऊपर की ओर रखा जाता है (विद्यार्थी पूर्ण तर्क को संभाल सकता है)।
- कठिन समस्याओं के लिए, स्विच को नीचे किया जाता है (गुरु केवल शुरुआती कुछ चरण या केवल अंतिम उत्तर दिखाता है, बीच के जटिल भाग को छिपा देता है)।

2. स्मार्ट कोच (The Beta Controller)
सिस्टम को कैसे पता चलता है कि रोशनी को कब कम करना है? इसके लिए एक छोटा, स्मार्ट AI कोच ("बीटा-पॉलिसी कंट्रोलर") है।

यह कोच विद्यार्थी की प्रगति पर नज़र रखता है। क्या विद्यार्थी संघर्ष कर रहा है? क्या पाठ बहुत आसान है?
इन संकेतों के आधार पर, कोच निर्णय लेता है: "ठीक है, इस अगले बैच के लिए, चलिए गुरु को समाधान का 50% दिखाते हैं," या "चलिए 20% दिखाते हैं।"
यह कोई निश्चित नियम नहीं है; कोच सीखता है और वास्तविक समय में समायोजन करता है।

3. "इंतज़ार और देखो" इनाम (Delayed Credit)
यह सबसे कठिन हिस्सा है। यदि आप डिमर स्विच बदलते हैं, तो आप तुरंत विद्यार्थी को स्मार्ट होते हुए नहीं देख पाएंगे। स्विच बदलने के बाद विद्यार्थी के वास्तव में सीखने में कुछ अभ्यास दौर लग सकते हैं।

पुराना तरीका: यदि निर्णय के तुरंत बाद पाठ आसान नहीं हुआ, तो कोच सोचेगा, "बुरा निर्णय, स्विच को वापस बदल दो!"
ATESD तरीका: कोच धैर्यवान है। वह विद्यार्थी के अभ्यास के कुछ दौरों के पूरा होने तक प्रतीक्षा करता है। यदि उस निर्णय के कारण विद्यार्थी बाद में वास्तव में बेहतर हो रहा है, तो कोच को एक "इनाम" मिलता है। यह कोच को ऐसे निर्णय लेने के लिए प्रशिक्षित करता है जो केवल वर्तमान क्षण के लिए नहीं, बल्कि लंबे समय के लिए विद्यार्थी की मदद करें।

परिणाम

लेखकों ने विभिन्न आकार के AI मॉडलों (छोटे, मध्यम और बड़े) का उपयोग करके कुछ बहुत कठिन गणित प्रतियोगिताओं (जैसे AIME और HMMT) पर इसका परीक्षण किया।

परिणाम: नया तरीका (ATESD) लगातार पुराने "पूर्ण एक्सपोज़र" वाले तरीके से बेहतर रहा।
उपमा: यह ऐसा है जैसे यह महसूस करना कि एक मास्टर शेफ को एक नौसिखिए को एक साथ सभी गुप्त सामग्री और तकनीकें नहीं दिखानी चाहिए। सही समय पर सही मात्रा में जानकारी दिखाकर, विद्यार्थी तेज़ी से सीखता है और अधिक समस्याओं को सही ढंग से हल करता है।

सारांश

शोध पत्र का दावा है कि AI तर्क (reasoning) में, गुरु के कुछ "गुप्त ज्ञान" को छिपाना वास्तव में विद्यार्थी को बेहतर तरीके से सीखने में मदद कर सकता है। किसी भी दिए गए क्षण में यह तय करने के लिए कि कितना जानकारी प्रकट करनी है, एक स्मार्ट सिस्टम का उपयोग करके, AI एक बहुत अधिक प्रभावी शिक्षार्थी बन जाता है, बजाय इसके कि उसे हर बार पूर्ण, भारी-भरकम उत्तर को घूरने के लिए मजबूर किया जाए।

तकनीकी सारांश: LLM रीजनिंग के लिए सेल्फ-डिस्टिलेशन हेतु एडेप्टिव टीचर एक्सपोजर (ATESD)

1. समस्या विवरण: टीचर-साइड एक्सपोजर मिसमैच (Teacher-Side Exposure Mismatch)

जबकि ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (OPSD) लार्ज लैंग्वेज मॉडल (LLM) की रीजनिंग को सुधारने के लिए एक प्रमुख विधि के रूप में उभरा है—जो छात्र (student) के अपने रोलआउट्स के साथ सुपरविजन को संरेखित करता है—यह शोध पत्र एक महत्वपूर्ण, पहले अनछुए बॉटलनेक की पहचान करता है: टीचर-साइड एक्सपोजर मिसमैच।

मानक OPSD में, "टीचर" (मॉडल की एक फ्रोजन कॉपी) टोकन-लेवल सुपरविजन प्रदान करते समय पूर्ण संदर्भ समाधान (प्रिविलेज्ड चेन-ऑफ-थॉट) पर आधारित होता है। लेखक तर्क देते हैं कि यह डिफ़ॉल्ट धारणा—कि अधिक प्रिविलेज्ड जानकारी हमेशा बेहतर सुपरविजन होती है—दोषपूर्ण है।

मिसमैच (Mismatch): जब पूर्ण संदर्भ रीजनिंग (full reference reasoning) छात्र की वर्तमान क्षमता से बहुत अधिक हो जाती है (जो कठिन समस्याओं में सामान्य है), तो परिणामी टोकन लक्ष्य (token targets) अवशोषित करने के लिए बहुत अधिक शक्तिशाली हो जाते हैं। टीचर का प्रेडिक्टिव डिस्ट्रीब्यूशन उन टोकन्स पर अत्यधिक केंद्रित और शार्प हो जाता है जिन्हें छात्र अभी तक उत्पन्न नहीं कर सकता है, जिससे एक ऐसा सुपरविजन सिग्नल बनता है जो सूचनात्मक तो है लेकिन सीखने योग्य (unlearnable) नहीं है।
अनुभवजन्य साक्ष्य (Empirical Evidence): AIME 2024 पर फिक्स्ड एक्सपोजर लेवल्स ( $\alpha \in [0, 1]$ $α \in [0, 1]$ ) के नियंत्रित स्वीप्स दो प्रमुख पैटर्न प्रकट करते हैं:
1. फुल एक्सपोजर की उप-इष्टतमता (Suboptimality of Full Exposure): इंटरमीडिएट एक्सपोजर लेवल्स (जैसे, $\alpha=0.5$ ) अक्सर फुल एक्सपोजर ( $\alpha=1.0$ ) से बेहतर प्रदर्शन करते हैं।
2. मोनोटोनिक मिसमैच ग्रोथ (Monotonic Mismatch Growth): टीचर-स्टूडेंट डिस्ट्रीब्यूशन मिसमैच (ऑन-पॉलिसी KL डाइवर्जेंस और टॉप-1 डिसएग्रीमेंट द्वारा मापा गया) जैसे-जैसे टीचर अधिक प्रिविलेज्ड रीजनिंग देखता है, मोनोटोनिक रूप से बढ़ता है।
3. रेजीम डिपेंडेंसी (Regime Dependency): इष्टतम एक्सपोजर लेवल समस्या की कठिनाई के अनुसार बदलता है (आसान समस्याएं फुल एक्सपोजर पसंद करती हैं; कठिन समस्याएं कम एक्सपोजर पसंद करती हैं), जो यह सुझाव देता है कि एक एकल निश्चित डिफ़ॉल्ट अपर्याप्त है।

2. कार्यप्रणाली: ATESD

इसे संबोधित करने के लिए, लेखक एडेप्टिव टीचर एक्सपोजर फॉर सेल्फ-डिस्टिलेशन (ATESD) प्रस्तावित करते हैं। यह फ्रेमवर्क टीचर एक्सपोजर को एक फिक्स्ड हाइपरपैरामीटर के रूप में नहीं, बल्कि एक लर्नेबल, ट्रेनिंग-स्टेट-कंडीशन्ड कंट्रोल वेरिएबल के रूप में मानता है।

मुख्य घटक

एक्सपोजर-मॉड्यूलेटेड टीचर (Exposure-Modulated Teacher):
- पूर्ण संदर्भ $y^*$ पर आधारित होने के बजाय, टीचर एक ट्रंकेटेड प्रीफिक्स $truncate(y^*, \alpha_t)$ पर आधारित होता है, जहाँ $\alpha_t \in [0, 1]$ एक्सपोजर रेशियो है।
- ट्रंकेशन केवल रीजनिंग प्रीफिक्स पर लागू होता है; टास्क कंस्ट्रेंट बनाए रखने के लिए अंतिम बॉक्स्ड आंसर को हमेशा सुरक्षित रखा जाता है।
- स्टूडेंट रोलआउट प्रोटोकॉल अपरिवर्तित रहता है (केवल प्रॉब्लम-ओनली प्रॉम्प्ट से ऑन-पॉलिसी सैंपलिंग), यह सुनिश्चित करता है कि तुलना टीचर के कॉन्टेक्स्ट के प्रभाव को अलग करती है।
बीटा एक्सपोजर कंट्रोलर ( $\pi_\phi$ ):
- एक लाइटवेट मल्टी-लेयर पर्सपेप्ट्रॉन (MLP) कॉम्पैक्ट ट्रेनिंग-स्टेट स्टैटिस्टिक्स (जैसे, हालिया लॉस, मिसमैच EMAs, स्टूडेंट सेल्फ-कॉन्फिडेंस) को बीटा डिस्ट्रीब्यूशन के कंसंट्रेशन पैरामीटर्स $(a_t, b_t)$ में मैप करता है।
- कंट्रोलर $H$ स्टूडेंट अपडेट्स के एक होल्ड विंडो के लिए एक ग्लोबल एक्सपोजर रेशियो $\alpha_t$ सैंपल करता है। यह सुनिश्चित करता है कि एक एकल निर्णय एक छोटे एपिसोड को नियंत्रित करे, जिससे स्थिर क्रेडिट असाइनमेंट संभव हो सके।
- बीटा डिस्ट्रीब्यूशन को यूनिमोडल ( $a, b > 1$ ) के रूप में प्रतिबंधित किया गया है, जिससे पॉलिसी को अलग-अलग कॉन्फिडेंस के साथ एक पसंदीदा एक्सपोजर लेवल सीखने की अनुमति मिलती है।
डिलेड क्रेडिट के साथ क्लोज्ड-लूप ट्रेनिंग (Closed-Loop Training with Delayed Credit):
- चुनौती: एक्सपोजर के निर्णय छात्र की भविष्य की लर्निंग प्रोग्रेस को प्रभावित करते हैं, न कि केवल तत्काल लॉस को। एक हाई-एक्सपोजर निर्णय अस्थायी लॉस स्पाइक के बावजूद दीर्घकालिक रूप से फायदेमंद हो सकता है।
- समाधान: कंट्रोलर को एक डिस्काउंटेड लर्निंग-प्रोग्रेस रिवॉर्ड का उपयोग करके REINFORCE के माध्यम से प्रशिक्षित किया जाता है।
- रिवॉर्ड सिग्नल ( $R$ ): दो भागों से बना है:
  - $G_{lp}$ : एक लुकअहेड विंडो ( $L$ स्टेप्स) पर पॉजिटिव लॉस इम्प्रूवमेंट्स का डिस्काउंटेड सम।
  - $G_{gt}$ : वेरिफाइड रेफरेंस टोकन्स के लॉग-प्रोबेबिलिटी पर आधारित एक टीचर-ग्राउंडेड क्रेडिट स्कोर, जो यह सुनिश्चित करता है कि चुना गया एक्सपोजर अभी भी ग्राउंड ट्रुथ के साथ संरेखित है।
- यह दृष्टिकोण ऑन-पॉलिसी डिस्टिलेशन में अंतर्निहित डिलेड क्रेडिट असाइनमेंट समस्या को हल करता है, जो वन-स्टेप लॉस प्रॉक्सी के मायोपिक बायस (myopic bias) से बचता है।

3. मुख्य योगदान

टीचर-साइड एक्सपोजर मिसमैच की पहचान: पेपर इस अवलोकन को औपचारिक रूप देता है कि पूर्ण प्रिविलेज्ड रीजनिंग सार्वभौमिक रूप से इष्टतम नहीं है और एक्सपोजर के साथ मिसमैच बढ़ता है, जो फिक्स्ड डिफॉल्ट्स से एडेप्टिव कंट्रोल की ओर बदलाव को प्रेरित करता है।
ATESD फ्रेमवर्क: एक नवीन विधि जो एक्सपोजर को एक निरंतर, लर्न करने योग्य वेरिएबल के रूप में मॉडल करती है (बीटा-पॉलिसी कंट्रोलर के माध्यम से), जिसे टू-टाइमस्केल शेड्यूल (फास्ट स्टूडेंट अपडेट्स, स्लो कंट्रोलर अपडेट्स) और डिलेड रिवॉर्ड सिग्नल्स के साथ प्रशिक्षित किया जाता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि एडेप्टिव एक्सपोजर विभिन्न मॉडल स्केल्स और रीजनिंग बेंचमार्क्स पर फिक्स्ड एक्सपोजर और मानक बेसलाइन्स की तुलना में लगातार बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन Qwen3 मॉडल्स (1.7B, 4B, और 8B) का उपयोग करके AIME 2024, AIME 2025, और HMMT 2025 पर किया गया।

प्रदर्शन लाभ (Performance Gains): ATESD ने लगातार OPSD बेसलाइन और अन्य RL/डिस्टिलेशन बेसलाइन्स को पछाड़ दिया।
- Qwen3-1.7B: OPSD पर +0.95 Average@12 पॉइंट्स।
- Qwen3-4B: OPSD पर +2.05 Average@12 पॉइंट्स (65.65 Average@12 तक पहुँचना)।
- Qwen3-8B: OPSD पर +2.33 Average@12 पॉइंट्स।
एब्लेशन निष्कर्ष (Ablation Findings):
- डिलेड क्रेडिट: डिलेड लुकअहेड रिवॉर्ड को हटाने पर (वन-स्टेप फीडबैक का उपयोग करने पर) प्रदर्शन में काफी गिरावट आई (52.22 बनाम 59.17), जो लॉन्ग-होरिजन क्रेडिट असाइनमेंट की आवश्यकता की पुष्टि करता है।
- लर्न्ड बनाम फिक्स्ड: लर्न की गई पॉलिसी (59.17) ने सबसे अच्छे फिक्स्ड एक्सपोजर सेटिंग (57.44) और अनकंट्रोल्ड स्टोकेस्टिक एक्सपोजर (54.94) को पछाड़ दिया, जो यह सिद्ध करता है कि कंट्रोलर एक स्टेटिक ऑप्टिमल कांस्टेंट चुनने के बजाय एक डायनेमिक स्ट्रैटेजी सीखता है।
- मिसमैच में कमी: फिक्स्ड पॉजिटिव ट्रेजेक्टरीज पर, एडेप्टिव एक्सपोजर ने टोकन-लेवल टीचर-स्टूडेंट KL डाइवर्जेंस को कम कर दिया (0.0136 से 0.0061), जो दर्शाता है कि यह टीचर को छात्र को ओवर-कंस्ट्रेंट करने से रोकता है।

5. महत्व और दावे

पेपर का दावा है कि एडेप्टिव टीचर एक्सपोजर रीजनिंग सेल्फ-डिस्टिलेशन के लिए एक प्रभावी नया अक्ष (axis) है। टीचर के प्रिविलेज्ड इंफॉर्मेशन तक पहुंच को एक फिक्स्ड धारणा के बजाय एक कंट्रोलेबल वेरिएबल मानकर, ATESD रोलआउट मिसमैच के सुपरविजन-साइड एनालॉग को हल करता है।

लेखक इस बात पर जोर देते हैं कि उनका योगदान केवल एक नया करिकुलम या अलग स्टूडेंट ट्रेनिंग डिस्ट्रीब्यूशन नहीं है, बल्कि एक मौलिक बदलाव है कि टीचर कैसे रेफरेंस सॉल्यूशंस पर कंडीशन करता है। यह विधि स्थापित करती है कि:

फुल एक्सपोजर एक उप-इष्टतम डिफ़ॉल्ट है।
एक्सपोजर को छात्र के वर्तमान लर्निंग रेजीम के साथ मेल खाना चाहिए।
इस एक्सपोजर को सीखने के लिए RL में उपयोग किए जाने वाले डिलेड क्रेडिट असाइनमेंट मैकेनिज्म की आवश्यकता होती है।

पेपर निष्कर्ष निकालता है कि ATESD पोस्ट-ट्रेनिंग रीजनिंग मॉडल्स के लिए एक मजबूत, स्केलेबल सुधार प्रदान करता है, विशेष रूप से जैसे-जैसे मॉडल क्षमता बढ़ती है, जबकि यह नोट करता है कि भविष्य के कार्य प्रति-सैंपल कठिनाई कंडीशनिंग और गणितीय प्रतियोगिताओं से परे व्यापक रीजनिंग डोमेन में अनुप्रयोगों की खोज कर सकते हैं।