💻 computer science

Tailoring Teaching to Aptitude: Direction-Adaptive Self-Distillation for LLM Reasoning

यह शोध पत्र डायरेक्शन-एडेप्टिव सेल्फ-डिस्टिलेशन (DASD) प्रस्तुत करता है, जो बड़े भाषा मॉडलों (LLMs) के लिए एक नवीन पोस्ट-ट्रेनिंग प्रतिमान है जो टोकन अनिश्चितता के आधार पर शिक्षक पर्यवेक्षण को गतिशील रूप से रूट करके जटिल तर्क में सुधार करता है—जो अन्वेषण (exploration) को बनाए रखने के लिए उच्च-एन्ट्रॉपी वाले टोकन को शिक्षक से दूर धकेलता है और निष्पादन सटीकता सुनिश्चित करने के लिए निम्न-एन्ट्रॉपी वाले टोकन को उसकी ओर खींचता है।

मूल लेखक: Hongbin Zhang, Chaozheng Wang, Kehai Chen, Youcheng Pan, Yang Xiang, Jinpeng Wang, Min Zhang

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hongbin Zhang, Chaozheng Wang, Kehai Chen, Youcheng Pan, Yang Xiang, Jinpeng Wang, Min Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Tailoring Teaching to Aptitude: Direction-Adaptive Self-Distillation for LLM Reasoning" का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए हिंदी अनुवाद दिया गया है।

बड़ी समस्या: "अति-आत्मविश्वासी" शिक्षक

कल्पना कीजिए कि आप एक छात्र को एक बहुत ही कठिन गणितीय पहेली हल करना सिखा रहे हैं। आपके पास एक "शिक्षक" (Teacher) संस्करण है जिसने पहले से ही उत्तर कुंजी (answer key) देख ली है (इसे privileged information कहा जाता है)।

एक मानक विधि जिसे On-Policy Self-Distillation (OPSD) कहा जाता है, उसमें शिक्षक उत्तर कुंजी को देखता है और कहता है, "बिल्कुल वैसा ही करो जैसा मैं कर रहा हूँ।" छात्र (Student) शिक्षक की पूरी तरह से नकल करने की कोशिश करता है।

शोध का निष्कर्ष: यह आसान चरणों के लिए तो बहुत अच्छा काम करता है, लेकिन कठिन समस्याओं के लिए यह छात्र का दिमाग खराब कर देता है।

क्यों? वास्तविक तर्क (reasoning) के लिए अनिश्चितता (uncertainty) की आवश्यकता होती है। जब एक बुद्धिमान विचारक किसी कठिन मोड़ पर आता है, तो वह रुकता है और कहता है, "रुको, शायद मुझे दूसरा रास्ता आज़माना चाहिए?" या "हम्म, मुझे इसे दोबारा जांच लेना चाहिए।" इन्हें exploratory markers कहा जाता है।
खामी: क्योंकि शिक्षक के पास उत्तर कुंजी है, वह कभी अनिश्चित नहीं होता। वह कभी "रुको" या "हम्म" नहीं कहता। वह बस आत्मविश्वास के साथ सही रास्ते पर आगे बढ़ता रहता है। जब छात्र इसकी नकल करता है, तो वह रुकने, खोजने या अपना विचार बदलने की क्षमता खो देता है। वह एक ऐसा रोबोट बन जाता है जो आत्मविश्वास के साथ खाई में गिर जाता है क्योंकि उसने कभी दोनों तरफ देखना नहीं सीखा।

विफल प्रयास

शोधकर्ताओं ने दो सरल सुधारों की कोशिश की, और दोनों विफल रहे:

"नकलची" (Conformity): "शिक्षक की हुबहू नकल करो।"
- परिणाम: छात्र आत्मविश्वासी तो बन जाता है लेकिन अन्वेषण (explore) करना बंद कर देता है। वह रचनात्मक समाधानों को मिस कर देता है।
"विद्रोही" (Novelty): "शिक्कर के ठीक विपरीत करो।"
- परिणाम: छात्र बहुत अधिक "रुको" और "हम्म" कहना शुरू कर देता है, लेकिन वह आसान चरणों पर भी गलतियाँ करने लगता है क्योंकि वह शिक्षक के खिलाफ लड़ रहा होता है, भले ही शिक्षक सही हो।

समाधान: "Direction-Adaptive Self-Distillation" (DASD)

यह शोध पत्र एक स्मार्ट तरीका प्रस्तावित करता है, जिसे वे DASD कहते हैं। छात्र को हमेशा नकल करने या हमेशा विद्रोह करने के लिए कहने के बजाय, DASD एक ट्रैफिक पुलिसकर्मी की तरह काम करता है जो उस विशिष्ट क्षण में छात्र की उलझन के आधार पर नियम बदल देता है।

छात्र की विचार प्रक्रिया को एक जंगल की यात्रा के रूप में सोचें:

1. "स्कैफोल्डिंग" (Low Entropy / आसान चरण)

स्थिति: छात्र एक सीधे, पक्के रास्ते पर चल रहा है। वह अगले कदम के बारे में 99% सुनिश्चित है (जैसे, "2 + 2 = 4")।
DASD का नियम: शिक्षक का अनुसरण करें।
उपमा: जब आप एक सीधे हाईवे पर गाड़ी चला रहे होते हैं, तो आपको GPS का पालन करना चाहिए। यह कुशल है और आपको मूर्खतापूर्ण गलतियाँ करने से रोकता है। शिक्षक इन नियमित चरणों को स्थिर करने में मदद करता है।

2. "रास्ते का मोड़" (High Entropy / कठिन निर्णय)

स्थिति: छात्र एक जटिल चौराहे पर पहुँचता है। वह बहुत भ्रमित है (high entropy)। कई संभावित रास्ते हैं, और उसे नहीं पता कि कौन सा सही है।
DASD का नियम: शिक्षक से दूर हटें।
उपमा: शिक्षक, जिसने उत्तर कुंजी देख ली है, पहले से ही एक विशिष्ट पथ की ओर इशारा कर रहा है। यदि छात्र तुरंत उसका अनुसरण करता है, तो वह अन्य विकल्पों को खोजना बंद कर देता है। DASD छात्र से कहता है: "शिक्षक अभी बहुत आत्मविश्वासी है। उन्हें अनदेखा करें! अन्य रास्तों को खोजने के लिए निकल पड़ें।" यह छात्र को रुकने, विकल्पों पर विचार करने और संभावित रूप से शिक्षक द्वारा चुने गए पहले विकल्प से बेहतर समाधान खोजने के लिए मजबूर करता है।

यह व्यवहार में कैसे काम करता है

यह सिस्टम हर एक शब्द को उत्पन्न करते समय छात्र की "अनिश्चितता" (entropy) को मापता है:

कम अनिश्चितता? छात्र को सटीकता सुनिश्चित करने के लिए शिक्षक की ओर खींचें।
उच्च अनिश्चितता? छात्र को रचनात्मकता और अन्वेषण को बढ़ावा देने के लिए शिक्षक से दूर धकेलें।

परिणाम

शोधकर्ताओं ने छह अलग-अलग गणितीय बेंचमार्क (जैसे AIME और Olympiad की समस्याएं) पर इसका परीक्षण किया।

परिणाम: DASD ने सभी अन्य विधियों को हरा दिया, जिसमें मानक "नकलची" (Copycat) और "विद्रोही" (Contrarian) दृष्टिकोण भी शामिल थे।
क्यों? इसने एक साथ दो काम किए:
1. चरणों को सटीक रखा (आसान हिस्सों पर शिक्षक का पालन करके)।
2. सोच को लचीला बनाए रखा (कठिन हिस्सों पर शिक्षक को अनदेखा करके)।

सारांश

यह शोध पत्र तर्क देता है कि AI को तर्क करना सिखाने के लिए "एक ही आकार सबके लिए उपयुक्त नहीं होता" (one size does not fit all)।

यदि आप एक AI को हमेशा एक "पूर्ण" शिक्षक की नकल करने के लिए मजबूर करते हैं, तो वह रचनात्मक रूप से सोचना बंद कर देता है।
यदि आप उसे हमेशा विद्रोह करने के लिए मजबूर करते हैं, तो वह सटीक होना बंद कर देता है।
DASD एक "गोल्डिलॉक्स" (Goldilocks) दृष्टिकोण है: यह शिक्षक की बात तब सुनता है जब रास्ता साफ हो, लेकिन जब रास्ता धुंधला हो जाता है तो छात्र को शिक्षक को अनदेखा करने और अन्वेषण करने के लिए कहता है। यह AI को अपने "निष्पादन कौशल" (execution muscles) को तेज रखते हुए अपने "अन्वेषण कौशल" (exploration muscles) को मजबूत रखकर कठिन समस्याओं को हल करने की अनुमति देता है।

तकनीकी सारांश: LLM तर्क के लिए दिशा-अनुकूलित स्व-डिस्टिलेशन (Direction-Adaptive Self-Distillation)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ऑन-पॉलिसी स्व-डिस्टिलेशन (On-Policy Self-Distillation - OPSD) में एक महत्वपूर्ण विफलता मोड को संबोधित करता है, जो लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए एक उभरता हुआ पोस्ट-ट्रेनिंग प्रतिमान (paradigm) है। OPSD में, एक मॉडल छात्र और शिक्षक दोनों की भूमिका निभाता है: "छात्र" रोलआउट उत्पन्न करता है, जबकि उसी मॉडल का एक "विशेषाधिकार प्राप्त" (privileged) संस्करण (जो संदर्भ निशानों, संकेतों या फीडबैक पर आधारित होता है) सघन टोकन-स्तरीय पर्यवेक्षण (dense token-level supervision) प्रदान करने के लिए शिक्षक के रूप में कार्य करता है।

जबकि OPSD का लक्ष्य वेरिफिएबल रिवॉर्ड्स से लर्निंग फ्रॉम वेरिफिएबल रिवॉर्ड्स (RLVR) के परिणाम-आधारित पर्यवेक्षण को सूक्ष्म मार्गदर्शन के साथ जोड़ना है, हाल के अध्ययन संकेत देते हैं कि यह जटिल तर्क (complex reasoning) को खराब कर देता है। लेखक इस गिरावट को एक दिशात्मक बेमेल (directional mismatch) के रूप में निदान करते हैं:

समान आकर्षण (Uniform Attraction): मानक OPSD एक समान "आकर्षक" बल लागू करता है, जो छात्र को विशेषाधिकार प्राप्त शिक्षक के वितरण की ओर खींचता है।
परिणाम: यह भविष्यवाणी अनिश्चितता (predictive uncertainty) (जैसे "रुको," "हम्म," या "वैकल्पिक रूप से" जैसे एपिस्टेमिक मार्कर) को दबा देता है, जो अन्वेषण (exploration), परिकल्पना संशोधन (hypothesis revision) और आत्म-सुधार के लिए अत्यंत महत्वपूर्ण हैं।
विरोधाभास (The Paradox): अनिश्चितता को बहाल करने के लिए केवल दिशा को उलटना (छात्र को शिक्षक से दूर धकेलना) विफल रहता है क्योंकि यह लो-एंट्रॉपी स्कैफोल्डिंग टोकन्स (नियमित निष्पादन चरण) को दूषित कर देता है, जिससे निष्पादन त्रुटियां होती हैं।

मूल समस्या यह है कि एक एकल पर्यवेक्षण दिशा (या तो आकर्षण या प्रतिकर्षण) उच्च-एंट्रॉपी निर्णय बिंदुओं पर अन्वेषण को बनाए रखने और निम्न-एंट्रॉपी नियमित चरणों पर निष्पादन को स्थिर करने के लिए एक साथ कार्य नहीं कर सकती है।

2. कार्यप्रणाली: दिशा-अनुकूलित स्व-डिस्टिलेशन (DASD)

लेखक डायरेक्शन-एडेप्टिव सेल्फ-डिस्टिलेशन (DASD) का प्रस्ताव करते हैं, जो विशेषाधिकार प्राप्त स्व-डिस्टिलेशन को साधारण अनुकरण (imitation) के बजाय एंट्रॉपी-रूटेड दिशात्मक पर्यवेक्षण (entropy-routed directional supervision) के रूप में पुनर्गठित करता है। यह विधि प्रत्येक टोकन पर छात्र की प्रेडिक्टिव एंट्रॉपी ( $H_t$ ) के आधार पर शिक्षक के दबाव की दिशा को गतिशील रूप से बदल देती है।

मुख्य तंत्र (Core Mechanism)

DASD स्व-डिस्टिलेशन उद्देश्य में एक हस्ताक्षरित गुणांक (signed coefficient), $\omega_t \in [-1, 1]$ पेश करता है। यह गुणांक यह निर्धारित करता है कि छात्र को विशेषाधिकार प्राप्त शिक्षक की ओर खींचा जाएगा (आकर्षक) या उससे दूर धकेला जाएगा (प्रतिकर्षक)।

एंट्रॉपी रूटिंग (Entropy Routing):
- उच्च-एंट्रॉपी टोकन (Forks): उन निर्णय बिंदुओं पर जहाँ छात्र अनिश्चित है ( $H_t$ उच्च है), विशेषाधिकार प्राप्त शिक्षक का मार्गदर्शन एक बाधा के रूप में माना जाता है जो वैकल्पिक तर्क पथों को समय से पहले समाप्त कर सकता है। DASD प्रतिकर्षक दबाव (repulsive pressure) (ऋणात्मक $\omega_t$ ) लागू करता है ताकि छात्र को दूर धकेला जा सके, जिससे अन्वेषण और परिकल्पना संशोधन की क्षमता बनी रहे।
- निम्न-एंट्रॉपी टोकन (Scaffolding): उन नियमित निष्पादन चरणों पर जहाँ छात्र आश्वस्त है ( $H_t$ निम्न है), विशेषाधिकार प्राप्त शिक्षक स्थिर और सही मार्गदर्शन प्रदान करता है। DASD आकर्षक दबाव (attractive pressure) (धनात्मक $\omega_t$ ) लागू करता है ताकि छात्र को शिक्षक की ओर खींचा जा सके, जिससे चरण-स्तरीय निष्पादन स्थिर हो और स्थानीय त्रुटियों से बचा जा सके।
गणितीय सूत्रीकरण (Mathematical Formulation):
यह उद्देश्य एक वैश्विक वेरिफायर एंकर के साथ एक स्थानीय, हस्ताक्षरित डिस्टिलेशन टर्म को जोड़ता है। टोकन $t$ के लिए हस्ताक्षरित लॉस है:
$\tilde{D}_t^{(i)}(\theta) = \omega_t^{(i)} \cdot \text{KL}\left( \pi_\theta(\cdot | x, o_{<t}^{(i)}) \parallel \text{sg}[\pi_\theta(\cdot | x, r, o_{<t}^{(i)})] \right)$
जहाँ:
- $\omega_t^{(i)}$ की गणना वर्तमान टोकन की एंट्रॉपी के प्रक्षेपवक्र (trajectory) की एंट्रॉपी क्वांटाइल से विचलन के आधार पर एक tanh राउटर का उपयोग करके की जाती है।
- एक गैप-गेट (gap-gate) (सिग्मॉइड फंक्शन) लॉग-एविडेंस गैप के आधार पर परिमाण को नियंत्रित करता है, यह सुनिश्चित करता है कि केवल विश्वसनीय असहमति ही अपडेट को प्रभावित करे।
- वैश्विक वेरिफायर (जैसे, प्रोग्रामेटिक रिवॉर्ड) प्रक्षेपवध्य-स्तर की शुद्धता के लिए एंकर बना रहता है, जबकि स्व-शिक्षक स्थानीय दिशात्मक संकेत प्रदान करता है।
प्रशिक्षण गतिशीलता (Training Dynamics):
यह विधि बैकबोन के रूप में ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का उपयोग करती है। एडवांटेज टर्म को दिशात्मक सुधार शामिल करने के लिए समायोजित किया जाता है: $\hat{A}_t = A_G + \beta \omega_t \bar{\delta}_t$ । यह मॉडल को प्रशिक्षण के दौरान विशेषाधिकार प्राप्त ट्रेस से सीखने की अनुमति देता है बिना अनुमान (inference) के समय उस ट्रेस की आवश्यकता के।

3. प्रमुख योगदान (Key Contributions)

यह शोध पत्र तीन प्राथमिक योगदान करता है:

टोकन-स्तरीय दिशात्मक बेमेल का निदान: लेखकों ने पहचान की है कि OPSD गिरावट विषम टोकन आबादी पर एक समान पर्यवेक्षण दिशा लागू करने से आती है। वे प्रमाण देते हैं कि अनुरूपता (conformity) उच्च-एंट्रॉपी फोर्क्स (अन्वेषण को दबाना) को नुकसान पहुँचाती है, जबकि विचलन निम्न-एंट्रॉपी स्कैफोल्डिंग (निष्पादन को दूषित करना) को नुकसान पहुँचाता है।
DASD का प्रस्ताव: वे एक एंट्रॉपी-रूटेड उद्देश्य पेश करते हैं जो विशेषाधिकार प्राप्त स्व-शिक्षक सिग्नल को गतिशील रूप से रूट करता है: अन्वेषण बनाए रखने के लिए फोर्क्स के लिए प्रतिकर्षक, और स्थिरता सुनिश्चित करने के लिए स्कैफोल्डिंग के लिए आकर्षक।
अनुभवजन्य सत्यापन (Empirical Validation): छह गणितीय तर्क बेंचमार्क (MATH500, Minerva, HMMT25, OlympiadBench, AIME24, AIME25) पर तीन मॉडल स्केल्स (Qwen3-1.7B, 4B, और 8B) पर व्यापक प्रयोगों के माध्यम से, वे दिखाते हैं कि DASD तर्क प्रक्रिया के "स्वास्थ्य" को बनाए रखते हुए तर्क प्रदर्शन में सुधार करता है—साथ में कठोर चरण निष्पादन और लचीला आत्म-सुधार प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने छह गणितीय तर्क बेंचमार्क (MATH500, Minerva, HMMT25, OlympiadBench, AIME24, AIME25) पर तीन मॉडल स्केल्स (Qwen3-1.7B, 4B, और 8B) पर DASD का मूल्यांकन किया।

प्रदर्शन: DASD ने सभी स्केल्स और बेंचमार्क पर सर्वश्रेष्ठ मैक्रो Avg@16 प्राप्त किया। लाभ कठिन, प्रतियोगिता-शैली के बेंचमार्क (जैसे, HMMT25, AIME25) पर सबसे अधिक स्पष्ट थे जिनमें कई संभावित समाधान पथों को बनाए रखने की आवश्यकता होती है।
बेसलाइन के साथ तुलना: DASD ने GRPO, HEPO और विभिन्न स्व-डिस्टिलेशन विधियों (OPSD, SDPO, RLSD, SRPO) सहित मजबूत बेसलाइनों को पछाड़ दिया। विशेष रूप से, जबकि मानक OPSD अक्सर बेस मॉडल के करीब या उससे भी खराब प्रदर्शन करता था, DASD ने लगातार RLVR बेसलाइन में सुधार किया।
Pass@k स्केलिंग: DASD ने बेहतर Pass@k स्केलिंग प्रदर्शित की, जो यह दर्शाता है कि यह केवल एक एकल नियत (deterministic) भविष्यवाणी को तेज करने के बजाय समाधान पथों के सेट (विविधता) का विस्तार करता है।
तर्क स्वास्थ्य (Reasoning Health): नैदानिक मेट्रिक्स ने पुष्टि की कि DASD चरण सटीकता (निष्पादन गुणवत्ता) और अन्वेषण घनत्व (एपिस्टेमिक मार्कर की आवृत्ति और संशोधन दर) दोनों को बनाए रखता है, जबकि OPSD ने अन्वेषण को कम कर दिया और GRPO अक्सर पर्याप्त आत्म-सुधार की कमी रखता था।
सामान्यीकरण (Generalization): विधि ने क्रॉस-डोमेन (कोड, वैज्ञानिक तर्क, टूल उपयोग) और क्रॉस-फैमिली (Olmo, Llama) मूल्यांकन में निरंतर सुधार दिखाया, जो सुझाव देता है कि तंत्र केवल Qwen3 आर्किटेक्चर या गणित डोमेन तक सीमित नहीं है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि स्व-डिस्टिल्ड रीजनिंग के लिए उत्पादक लीवर पर्यवेक्षण की शक्ति नहीं, बल्कि पर्यवेक्षण की दिशा है।

तंत्र अंतर्दृष्टि: यह कार्य स्थापित करता है कि एंट्रॉपी केवल अपडेट के भार (weighting) के लिए एक परिमाण नॉब (magnitude knob) नहीं है (जैसा कि पूर्व एंट्रॉपी-निर्देशित विधियों में है), बल्कि विशेषाधिकार प्राप्त शिक्षक दबाव के लिए एक संकेत चयनकर्ता (sign selector) है।
प्रतिमान परिवर्तन (Paradigm Shift): यह इस धारणा को चुनौती देता है कि स्व-डिस्टिलेशन को विशुद्ध रूप से आकर्षक होना चाहिए। महत्वपूर्ण निर्णय बिंदुओं पर विशेषाधिकार प्राप्त शिक्षक से "दूर धकेलने" की अनुमति देकर, DASD उस ट्रेन-इन्फरेंस मिसमैच को हल करता है जहाँ मॉडल एक ऐसा समाधान-कंडीशन्ड स्टाइल सीख लेता है जो विशेषाधिकार प्राप्त जानकारी अनुपस्थित होने पर विफल हो जाता है।
व्यावहारिक प्रभाव: DASD एक तरीका प्रदान करता है जिससे प्रशिक्षण के दौरान सत्यापित ट्रेसेस (verified traces) जैसे विशेषाधिकार प्राप्त जानकारी का लाभ उठाकर तर्क मजबूती (reasoning robustness) में सुधार किया जा सकता है, बिना बाहरी शिक्षकों की आवश्यकता के या जटिल समस्याओं को हल करने के लिए आवश्यक खोजपूर्ण व्यवहार का त्याग किए।

लेखक निष्कर्ष निकालते हैं कि हालांकि यह विधि (विशेषाधिकार प्राप्त स्व-डिस्टिलेशन प्रतिमान की एक विशेषता के रूप में) प्रशिक्षण के दौरान सत्यापित ट्रेसेस की आवश्यकता को विरासत में लेती है, यह सफलतापूर्वक अनुमान (inference) के समय विशेषाधिकार प्राप्त संदर्भ की आवश्यकता को अलग करने में सफल होती है और साथ ही तर्क क्षमताओं को महत्वपूर्ण रूप से बढ़ाती है।