💬 NLP

Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation

यह शोध पत्र जनरलाइज्ड ऑन-पॉलिसी डिस्टिलेशन (G-OPD) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो लचीले रेफरेंस मॉडल और रिवॉर्ड स्केलिंग को सक्षम करके मानक ऑन-पॉलिसी डिस्टिलेशन का विस्तार करता है, यह प्रदर्शित करते हुए कि रिवॉर्ड एक्सट्रपलेशन (ExOPD) छात्रों को शिक्षक के प्रदर्शन से आगे बढ़ने की अनुमति देता है और शिक्षक के प्री-आरएल बेस मॉडल का उपयोग एक रेफरेंस के रूप में स्ट्रॉन्ग-टू-वीक सेटिंग्स में डिस्टिलेशन को और अधिक बढ़ाता है।

मूल लेखक: Wenkai Yang, Weijie Liu, Ruobing Xie, Kai Yang, Saiyong Yang, Yankai Lin

प्रकाशित 2026-02-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenkai Yang, Weijie Liu, Ruobing Xie, Kai Yang, Saiyong Yang, Yankai Lin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी तस्वीर: "गुरु से भी आगे निकलने वाला छात्र"

कल्पना कीजिए कि आप एक छात्र हैं जो जटिल गणित के सवाल हल करना या कोड लिखना सीखने की कोशिश कर रहे हैं। आपके पास एक शिक्षक (एक बहुत बुद्धिमान AI) है और एक छात्र (एक छोटा, कम बुद्धिमान AI) है।

आमतौर पर, जब हम छात्र को सिखाते हैं, तो हम दो में से एक विधि का उपयोग करते हैं:

ऑफ-पॉलिसी (किताब वाला तरीका): शिक्षक सवाल हल करता है, उनके उत्तर लिखता है, और छात्र बस उन्हें रट लेता है। छात्र कभी भी खुद से सवाल हल करने की कोशिश नहीं करता; वह बस शिक्षक का होमवर्क कॉपी करता है।
ऑन-पॉलिसी (ट्यूशन वाला तरीका): छात्र खुद सवाल हल करने की कोशिश करता है। जब वह कहीं अटक जाता है या गलती करता है, तो शिक्षक छात्र के अपने काम को देखता है और कहता है, "वास्तव में, इस विशिष्ट चरण के लिए, तुम्हें Y के बजाय X करना चाहिए था।" छात्र अपनी गलतियों से वास्तविक समय (real-time) में सीखता है।

समस्या: "ट्यूशन वाला तरीका" (On-Policy Distillation) बेहतरीन है, लेकिन इसकी एक सीमा (ceiling) है। छात्र आमतौर पर शिक्षक के जितना ही अच्छा बन पाता है, लेकिन शायद ही कभी उनसे बेहतर हो पाता है। वे शिक्षक की सीमाओं की नकल करने में ही फंसे रह जाते हैं।

समाधान: यह पेपर एक नई तकनीक पेश करता है जिसे ExOPD (Extrapolated On-Policy Distillation) कहा जाता है। यह एक "सुपर-चार्जर" देने जैसा है जो छात्र को न केवल कॉपी करने, बल्कि शिक्षक से आगे निकलने की अनुमति देता है।

गुप्त नुस्खा: "रिवॉर्ड एक्सट्रपलेशन" (Reward Extrapolation)

यह समझने के लिए कि यह कैसे काम करता है, आइए उन दो मुख्य सामग्रियों को देखें जिन्हें लेखकों ने इस रेसिपी में जोड़ा है:

1. "वॉल्यूम नॉब" (रिवॉर्ड स्केलिंग फैक्टर)

मानक ट्यूशन में, शिक्षक की सलाह और छात्र का अपना आत्मविश्वास बिल्कुल संतुलित (50/50) होता है।

पेपर का विचार: क्या होगा अगर हम शिक्षक की सलाह का वॉल्यूम बढ़ा दें?
उपमा: कल्पना कीजिए कि एक कोच एक एथलीट से कहता है, "तुमने वह लैप 10 सेकंड में पूरा किया। यह अच्छा है।"
- मानक विधि: एथलीट सोचता है, "ठीक है, मैं 10 सेकंड दौड़ने की कोशिश करूँगा।"
- ExOPD (एक्सट्रपलेशन): कोच कहता है, "तुमने 10 सेकंड दौड़ लगाई, लेकिन कल्पना करो कि तुम और भी तेज़ दौड़ सकते थे, यह देखते हुए कि तुम कितने बेहतर हो सकते थे!" कोच अच्छा करने के इनाम (reward) को बढ़ा-चढ़ाकर बताता है।
- परिणाम: रिवॉर्ड सिग्नल को "एक्सट्रपलेट" (खींचने) करके, छात्र को अधिक मेहनत करने और ऐसे समाधान खोजने के लिए प्रेरित किया जाता है जो शिक्षक ने सोचे भी नहीं थे। यह एक छात्र को यह कहने जैसा है, "तुम्हें A मिला, लेकिन कल्पना करो कि तुम 'आउट ऑफ द बॉक्स' सोचकर A+ भी प्राप्त कर सकते थे।"

2. "रेफरेंस पॉइंट" (सही बेसलाइन चुनना)

जब शिक्षक फीडबैक देता है, तो वह छात्र के उत्तर की तुलना एक "रेफरेंस मॉडल" (एक बेसलाइन कि क्या अपेक्षित है) से करता है।

समस्या: यदि शिक्षक एक विशाल 30-बिलियन पैरामीटर वाला दिमाग है और छात्र एक छोटा 1.7-बिलियन पैरामीटर वाला दिमाग है, तो सीधे तुलना करना अनुचित है। यह एक पेशेवर शेफ की तुलना एक छोटे बच्चे से करने जैसा है। बच्चे की "गलतियाँ" बहुत बड़ी दिखती हैं क्योंकि उनके बीच का अंतर बहुत बड़ा है।
सुधार: पेपर सुझाव देता है कि छात्र के बेस के बजाय शिक्षक के प्री-ट्रेनिंग सेल्फ (वह शिक्षक जो विशिष्ट कौशल सीखने से पहले था) को रेफरेंस पॉइंट के रूप में उपयोग किया जाए।
उपमा: बच्चे की तुलना पेशेवर शेफ से करने के बजाय, हम बच्चे की तुलना शेफ के युवा स्वरूप (कुलीनरी स्कूल जाने से पहले) से करते हैं। यह फीडबैक को अधिक सटीक और कम शोर वाला बनाता है, जिससे छात्र तेजी से सीख पाता है।

प्रयोगों में क्या हुआ?

शोधकर्ताओं ने दो कठिन कार्यों पर इसका परीक्षण किया: गणितीय तर्क (Math Reasoning) और कोड जनरेशन (Code Generation)।

परिदृश्य A: कई विशेषज्ञों को मिलाना (द "ऑल-स्टार टीम")

कल्पना कीजिए कि आपके पास एक गणित के शिक्षक और एक कोडिंग के शिक्षक हैं। दोनों विशेषज्ञ हैं, लेकिन वे केवल अपने विषय को जानते हैं। आप उन्हें एक "सुपर स्टूडेंट" में बदलना चाहते हैं जो दोनों में अच्छा हो।

पुराना तरीका: छात्र दोनों से सीखता है लेकिन दोनों में औसत ही रहता है, या मूल शिक्षकों के जितना ही अच्छा होता है।
ExOPD तरीका: "वॉल्यूम नॉब" (एक्सट्रपलेशन) का उपयोग करके, छात्र ने कौशल को इतनी अच्छी तरह से संयोजित करना सीखा कि नया छात्र दोनों मूल शिक्षकों से बेहतर बन गया। यह एक ऐसे छात्र जैसा है जिसने गणित के जीनियस और कोडिंग के जादूगर दोनों से पढ़ाई करने के बाद, दोनों अपने मेंटर्स से बेहतर गणितज्ञ और बेहतर कोडर बन गया।

परिदृश्य B: बड़ा शिक्षक, छोटा छात्र (द "मेंटरशिप")

यह क्लासिक "स्ट्रॉन्ग-टू-वीक" सेटअप है।

परिणाम: भले ही छात्र शिक्षक से बहुत छोटा हो, ExOPD ने छात्र को मानक विधियों की तुलना में काफी बेहतर प्रदर्शन करने में मदद की।
बोनस: जब उन्होंने "रेफरेंस पॉइंट" सुधार का उपयोग किया (शिक्षक के युवा स्वरूप से तुलना करना), तो छात्र ने और भी बेहतर प्रदर्शन किया।

यह क्यों मायने रखता है?

छत को तोड़ना (Breaking the Ceiling): पहले हम सोचते थे कि एक छात्र अपने शिक्षक से कभी स्मार्ट नहीं हो सकता जिससे वह सीख रहा है। यह पेपर साबित करता है कि सही "वॉल्यूम नॉब" के साथ, छात्र इस सीमा को तोड़ सकते हैं।
दक्षता (Efficiency): यह AI को प्रशिक्षित करने का एक अधिक कुशल तरीका है। भारी मात्रा में नए डेटा या कंप्यूटिंग पावर की आवश्यकता के बजाय, हम बस यह बदलकर कि AI को मिलने वाले फीडबैक की व्याख्या कैसे की जाए, काम चला सकते हैं।
एकीकृत बुद्धिमत्ता (Unified Intelligence): यह "विशेषज्ञता" की समस्या को हल करता है। आप विभिन्न विशिष्ट AI को लेकर उन्हें एक सामान्य AI में मिला सकते हैं जो वास्तव में उनके हिस्सों के योग से भी बेहतर है।

एक वाक्य में सारांश

यह पेपर AI छात्रों को केवल अपने शिक्षकों की नकल करना बंद करने और अच्छा करने के लिए पुरस्कारों को बढ़ा-चढ़ाकर दिखाकर "अति-उपलब्धि" (over-achieving) हासिल करना सिखाता है, जिससे वे उन विशेषज्ञों से भी स्मार्ट बन सकते हैं जिन्होंने उन्हें सिखाया है।

यहाँ शोध पत्र "Learning beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ऑन-पॉलिसी डिस्टिलेशन (OPD) लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए एक शक्तिशाली पोस्ट-ट्रेनिंग प्रतिमान (paradigm) के रूप में उभरा है, जहाँ एक स्टूडेंट मॉडल, स्टूडेंट द्वारा स्वयं जनरेट किए गए ट्रेजेक्टरीज पर टीचर के लॉजिट डिस्ट्रीब्यूशन से सीखता है। हालाँकि OPD, ऑफ-पॉलिसी डिस्टिलेशन (SFT) और मानक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) की तुलना में अनुभवजन्य रूप से बेहतर प्रदर्शन करता है, लेकिन इसके सैद्धांतिक आधार अभी भी कम खोजे गए हैं।

वर्तमान OPD परिदृश्य में मुख्य सीमाएँ शामिल हैं:

सैद्धांतिक स्पष्टता का अभाव: OPD और डेंस KL-कन्स्ट्रेंड RL के बीच संबंध पूरी तरह से स्थापित नहीं है।
फिक्स्ड वेटिंग (Fixed Weighting): मानक OPD रिवॉर्ड सिग्नल (टीचर लॉजिट्स) और KL रेगुलराइजेशन (रेफरेंस मॉडल) के बीच वेट को 1:1 के अनुपात में अप्रत्यक्ष रूप से स्थिर कर देता है, जो लचीलेपन को सीमित करता है।
परफॉरमेंस सीलिंग (Performance Ceiling): मल्टी-टीचर सेटिंग्स (डोमेन विशेषज्ञों को मर्ज करने) या स्ट्रोंग-टू-वीक डिस्टिलेशन में, मानक OPD अक्सर सर्वश्रेष्ठ टीचर के प्रदर्शन को पार करने या टीचर की क्षमताओं को पूरी तरह से पुनः प्राप्त करने में संघर्ष करता है।
रेफरेंस मॉडल की कठोरता: OPD में रेफरेंस मॉडल का चयन अक्सर मनमाना होता है या स्टूडेंट के शुरुआती स्टेट तक सीमित होता है, जो स्ट्रोंग-टू-वीक परिदृश्यों में शोर (noise) पैदा कर सकता है।

2. कार्यप्रणाली: जनरलाइज्ड ऑन-पॉलिसी डिस्टिलेशन (G-OPD)

लेखक G-OPD प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो सैद्धांतिक रूप से OPD को डेंस RL के साथ एकीकृत करता है और दो प्रमुख सामान्यीकरण (generalizations) पेश करता है: एक लचीला रेफरेंस मॉडल और एक रिवॉर्ड स्केलिंग फैक्टर।

सैद्धांतिक आधार (Theoretical Foundation)

लेखक यह व्युत्पन्न करते हैं कि मानक OPD, डेंस KL-कन्स्ट्रेंड RL का एक विशेष मामला है जहाँ:

रिवॉर्ड फंक्शन टीचर और रेफरेंस मॉडल का लॉग-रेशियो है: $r(x, y) = \log \frac{\pi^*(y|x)}{\pi_{ref}(y|x)}$ ।
रिवॉर्ड टर्म और KL रेगुलराइजेशन समान रूप से वेट किए गए हैं ( $\beta = 1$ )।
रेफरेंस मॉडल $\pi_{ref}$ कोई भी मॉडल हो सकता है, न कि केवल पॉलिसी का शुरुआती चेकपॉइंट।

G-OPD का ऑब्जेक्टिव (The G-OPD Objective)

OPD को सामान्य बनाने के लिए, लेखक एक रिवॉर्ड स्केलिंग फैक्टर ( $\lambda$ ) और एक लचीला रेफरेंस मॉडल ( $\pi_{ref}$ ) पेश करते हैं। ऑब्जेक्टिव फंक्शन को इस प्रकार तैयार किया गया है:

$J_{G-OPD}(\theta) = \max_{\theta} \mathbb{E}_{x \sim D, y \sim \pi_\theta} \left[ \lambda \log \frac{\pi^*(y|x)}{\pi_{ref}(y|x)} - D_{KL}(\pi_\theta(y|x) \parallel \pi_{ref}(y|x)) \right]$

जहाँ:

$\pi^*$ : टीचर पॉलिसी।
$\pi_\theta$ : ऑप्टिमाइज़ की जा रही स्टूडेंट पॉलिसी।
$\pi_{ref}$ : एक लचीला रेफरेंस मॉडल।
$\lambda$ : KL रेगुलराइजेशन के विरुद्ध रिवॉर्ड टर्म के सापेक्ष वेट को नियंत्रित करने वाला हाइपरपैरामीटर।

प्रमुख वेरिएंट और अंतर्दृष्टि (Key Variants & Insights)

रिवॉर्ड एक्सट्रपलेशन (ExOPD, $\lambda > 1$ ):
- जब $\lambda > 1$ होता है, तो स्टूडेंट को टीचर के लॉग-प्रोबेबिलिटीज से परे एक "एक्स्ट्रा शिफ्ट टर्म" को फिट करने के लिए प्रोत्साहित किया जाता है।
- परिकल्पना (Hypothesis): यह स्टूडेंट को टीचर की क्षमता की सीमा से आगे सीखने की अनुमति देता है, जिससे संभावित रूप से विशिष्ट डोमेन में टीचर से बेहतर प्रदर्शन किया जा सकता है।
- उपयोग: यह विशेष रूप से मल्टी-टीचर डिस्टिलेशन में प्रभावी है, जहाँ एक एकीकृत स्टूडेंट को कई डोमेन-विशिष्ट RL विशेषज्ञों के ज्ञान को मर्ज करने के लिए प्रशिक्षित किया जाता है।
रिवॉर्ड करेक्शन (स्ट्रोंग-टू-वीक डिस्टिलेशन):
- एक बड़े टीचर से छोटे स्टूडेंट को डिस्टिल करते समय, डिफॉल्ट रेफरेंस मॉडल स्टूडेंट का बेस मॉडल ( $\pi_{student\_base}$ ) होता है।
- अंतर्दृष्टि: टीचर और स्टूडेंट के बीच मौलिक क्षमता अंतर के कारण इमपलिसिट रिवॉर्ड $\log \frac{\pi^*}{\pi_{student\_base}}$ शोर युक्त (noisy) हो सकता है।
- करेक्शन: यदि टीचर का प्री-RL बेस मॉडल ( $\pi_{teacher\_base}$ ) उपलब्ध है, तो उसे रेफरेंस मॉडल के रूप में उपयोग करने से एक स्वच्छ और अधिक सटीक रिवॉर्ड सिग्नल ( $\log \frac{\pi^*}{\pi_{teacher\_base}}$ ) प्राप्त होता है, जिससे प्रदर्शन में सुधार होता है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक एकीकरण: यह स्थापित किया गया कि OPD, फिक्स्ड वेट के साथ डेंस KL-कन्स्ट्रेंड RL का एक विशेष मामला है, जो इसे विस्तारित करने के लिए एक कठोर सैद्धांतिक आधार प्रदान करता है।
G-OPD फ्रेमवर्क: एक ट्यूनेबल रिवॉर्ड स्केलिंग फैक्टर ( $\lambda$ ) और लचीले रेफरेंस मॉडल चयन के साथ एक सामान्यीकृत ऑब्जेक्टिव प्रस्तावित किया गया।
ExOPD की खोज: यह प्रदर्शित किया गया कि $\lambda > 1$ (रिवॉर्ड एक्सट्रपलेशन) सेट करने से मानक OPD से लगातार बेहतर प्रदर्शन होता है और यह मल्टी-टीचर सेटिंग्स में सभी डोमेन टीचर्स को पछाड़ने में सक्षम हो सकता है।
रिवॉर्ड करेक्शन रणनीति: पहचाना गया कि स्ट्रोंग-टू-वीक डिस्टिलेशन में टीचर के प्री-RL वेरिएंट को रेफरेंस मॉडल के रूप में उपयोग करने से शोर कम होता है और डिस्टिलेशन की प्रभावकारिता में सुधार होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग मैथ रीजनिंग (AIME, HMMT) और कोड जनरेशन (HumanEval, MBPP, LiveCodeBench) कार्यों पर किए गए।

A. सेम-साइज़ डिस्टिलेशन (सिंगल और मल्टी-टीचर)

सेटअप: स्टूडेंट और टीचर्स का आकार समान है (Qwen3-4B)। टीचर्स डोमेन-विशिष्ट RL वेरिएंट (Math/Code) हैं।
निष्कर्ष:
- $\lambda < 1$ (इंटरपोलेशन): बेस मॉडल और टीचर के बीच व्यवहार उत्पन्न करता है।
- $\lambda = 1$ (मानक OPD): टीचर के प्रदर्शन के करीब पहुँचता है।
- $\lambda > 1$ (ExOPD): $\lambda = 1.25$ के साथ, ExOPD ने लगातार मानक OPD और डोमेन टीचर्स दोनों को पीछे छोड़ दिया।
- मल्टी-टीचर: मैथ और कोड विशेषज्ञों को मर्ज करने में, ExOPD एकमात्र तरीका था जिसने सभी बेंचमार्क्स पर दोनों व्यक्तिगत डोमेन टीचर्स से बेहतर प्रदर्शन करने वाला एक एकीकृत स्टूडेंट बनाया।
- स्थिरता (Stability): अत्यधिक एक्सट्रपलेशन ( $\lambda = 1.5$ ) अस्थिरता की ओर ले गया, जो बताता है कि एक इष्टतम रेंज मौजूद है।

B. स्ट्रोंग-टू-वीक डिस्टिलेशन

सेटअप: एक बड़े टीचर (Qwen3-30B) को छोटे स्टूडेंट्स (Qwen3-1.7B और Qwen3-4B) में डिस्टिल करना।
निष्कर्ष:
- ExOPD बनाम OPD: ExOPD ने मानक OPD और SFT की तुलना में काफी बेहतर प्रदर्शन किया (जैसे, औसत सटीकता में +2.3% से +2.7% का सुधार)।
- रिवॉर्ड करेक्शन: जब टीचर के प्री-RL बेस मॉडल को रेफरेंस के रूप में उपयोग किया गया (पेपर में सिम्युलेट किया गया), तो प्रदर्शन में और सुधार हुआ (जैसे, मानक ExOPD के 51.3% के मुकाबले ~52.3% औसत सटीकता तक पहुँचना), जो "रिवॉर्ड करेक्शन" परिकल्पना को प्रमाणित करता है।

5. महत्व और निहितार्थ (Significance and Implications)

टीचर की सीलिंग को तोड़ना: यह पेपर इस पारंपरिक धारणा को चुनौती देता है कि एक स्टूडेंट डिस्टिलेशन में अपने टीचर से बेहतर नहीं हो सकता। रिवॉर्ड सिग्नल को एक्सट्रपलेट करके, ExOPD स्टूडेंट को टीचर के विशिष्ट ट्रेनिंग डिस्ट्रीब्यूशन से परे सामान्यीकरण करने की अनुमति देता है।
कुशल मल्टी-टास्क लर्निंग: ExOPD कई विशिष्ट RL मॉडल्स को एक सिंगल जनरलिस्ट मॉडल में मर्ज करने के लिए एक मजबूत समाधान प्रदान करता है, बिना SFT या मानक OPD में देखी जाने वाली कैटास्ट्रोफिक फॉरगेटिंग या सब-ऑप्टिमैलिटी के।
व्यावहारिक मार्गदर्शन: यह कार्य अभ्यासकर्ताओं (practitioners) को कार्रवाई योग्य दिशा-निर्देश प्रदान करता है:
- प्रदर्शन की सीमाओं को आगे बढ़ाने के लिए $\lambda > 1$ (जैसे, 1.25) का उपयोग करें।
- स्ट्रोंग-टू-वीक डिस्टिलेशन में, यदि टीचर का प्री-RL चेकपॉइंट उपलब्ध है, तो शोर को कम करने के लिए उसे ही रेफरेंस मॉडल के रूप में उपयोग करें।
सैद्धांतिक सेतु: यह डिस्टिलेशन और RL के बीच के अंतर को पाटता है, यह सुझाव देता है कि कई RL तकनीकों (जैसे रिवॉर्ड स्केलिंग) को सैद्धांतिक गारंटी के साथ सीधे डिस्टिलेशन पर लागू किया जा सकता है।

संक्षेप में, यह कार्य ऑन-पॉलिसी डिस्टिलेशन को एक साधारण इमिटेशन टास्क से बदलकर एक लचीले, सामान्यीकृत ऑप्टिमाइज़ेशन फ्रेमवर्क में बदल देता है जो उनके टीचर की क्षमताओं से अधिक क्षमता वाले मॉडल बनाने में सक्षम है।