🤖 machine learning

PowerOPD: Stabilizing On-Policy Distillation with Bounded Power Transformation

PowerOPD अनबाउंडेड (unbounded) लॉग-रेशियो रिवॉर्ड के स्थान पर बॉक्स-कॉक्स पावर ट्रांसफॉर्मेशन से व्युत्पन्न स्वाभाविक रूप से बाउंडेड और साइन-कंसिस्टेंट (sign-consistent) रिवॉर्ड्स के एक परिवार को प्रतिस्थापित करके मानक ऑन-पॉलिसी डिस्टिलेशन की गंभीर प्रशिक्षण अस्थिरता और सैंपल अक्षमता को संबोधित करता है, जिससे कई रीजनिंग बेंचमार्क और मॉडल पेयर्स में बेहतर प्रदर्शन और दक्षता प्राप्त होती है।

मूल लेखक: Anhao Zhao, Junlong Tong, Yingqi Fan, Ping Nie, Wenjie Li, Xiaoyu Shen

प्रकाशित 2026-06-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anhao Zhao, Junlong Tong, Yingqi Fan, Ping Nie, Wenjie Li, Xiaoyu Shen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन प्रशिक्षु (Student) को एक कुशल शिल्पकार (Teacher) को देखते हुए लिखना सिखाने की कोशिश कर रहे हैं।

लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया में, इस प्रक्रिया को On-Policy Distillation कहा जाता है। लक्ष्य यह है कि प्रशिक्षु अपने स्वयं के ड्राफ्ट पर अभ्यास करते हुए शिक्षक की शैली से सीख सके।

समस्या: "चिल्लाने वाला" शिक्षक

मानक तरीका (जिसे Vanilla OPD कहा जाता है) इस प्रकार काम करता है: हर बार जब प्रशिक्षु एक शब्द लिखता है, तो शिक्षक उसकी तुलना उस शब्द से करता है जो वे लिखते।

यदि प्रशिक्षु एक ऐसा शब्द चुनता है जिसे शिक्षक पसंद करता है, तो शिक्षक उच्च स्कोर देता है।
यदि प्रशिक्षु एक अजीब शब्द चुनता है जिसे शिक्षक नापसंद करता है, तो वह कम स्कोर देता है।

खामी: पेपर का तर्क है कि मानक तरीकों में उपयोग किया जाने वाला "स्कोरिंग सिस्टम" टूटा हुआ है। यह ऐसा है जैसे एक शिक्षक जो कोमल "0 से 10" का स्कोर देने के बजाय, एक लॉगरिदमिक स्केल का उपयोग करता है जो -50 से +50 तक बेतहाशा बदल सकता है।

"दुर्लभ टोकन" का जाल (The "Rare Token" Trap): यदि प्रशिक्षु एक बहुत ही दुर्लभ शब्द चुनता है जिसे शिक्षक नापसंद करता है, तो स्कोर गिरकर -50 हो जाता है। यह एकल, दुर्लभ गलती एक विशाल, चिल्लाता हुआ संकेत भेजती है जो पूरे पाठ (lesson) को दबा देता है।
शुरुआती गलती: ये चिल्लाते हुए स्कोर ज्यादातर वाक्य के शुरुआत में होते हैं। यदि प्रशिक्षु पहला शब्द गलत चुन लेता है, तो शिक्षक की घबराहट वाली प्रतिक्रिया पूरे वाक्य को बर्बाद कर देती है, जिससे प्रशिक्षु भ्रम के चक्रव्यूह में फंस जाता है।
परिणाम: प्रशिक्षु भ्रमित हो जाता है, प्रशिक्षण में बहुत समय लगता है, और वे कभी भी मास्टर के स्तर तक नहीं पहुँच पाते।

लेखकों ने इसे "क्लिपिंग" (शिक्षक को शांत रहने के लिए कहना) या "नॉर्मलाइजिंग" (औसत निकालना) करके ठीक करने की कोशिश की, लेकिन ये एक टूटी हुई टांग पर पट्टी लगाने जैसे थे। अंतर्निहित गणित अभी भी त्रुटिपूर्ण था।

समाधान: PowerOPD (एक "सीमित" शिक्षक)

लेखक PowerOPD नामक एक नई विधि प्रस्तावित करते हैं। एक चिल्लाते हुए, असीमित स्केल के बजाय, वे एक बाउंडेड (bounded) स्कोरिंग सिस्टम बनाने के लिए एक गणितीय ट्रिक (जिसे Box-Cox transformation कहा जाता है) का उपयोग करते हैं।

इसे इस प्रकार समझें:

पुरानी विधि: शिक्षक की आवाज़ एक माइक्रोफ़ोन की तरह है जिसकी कोई वॉल्यूम सीमा नहीं है। यदि छात्र एक छोटी सी गलती करता है, तो शिक्षक इतना ज़ोर से चिल्लाता है कि छात्र के कान टूट जाते हैं।
PowerOPD: शिक्षक की आवाज़ एक सुरक्षित, अधिकतम वॉल्यूम पर सीमित है। भले ही छात्र एक भयानक गलती करे, शिक्षक कहता है, "यह बुरा है," लेकिन वॉल्यूम कभी भी एक सुरक्षित सीमा से ऊपर नहीं जाता है।

इस नए सिस्टम के पास दो महाशक्तियाँ हैं:

यह बाउंडेड (Bounded) है: स्कोर कभी पागल नहीं हो सकते। वे एक सुरक्षित सीमा (जैसे -1 से +1) के भीतर रहते हैं।
यह सुसंगत (Consistent) है: यह हमेशा सही दिशा दिखाता है। यदि शिक्षक को शब्द पसंद आता है, तो स्कोर सकारात्मक होता है; यदि वे उसे नापसंद करते हैं, तो यह नकारात्मक होता है। यह कभी भी यह समझने में भ्रमित नहीं होता कि छात्र को किस दिशा में धकेलना है।

परिणाम: स्मार्ट, तेज़ और शांत

पेपर ने विभिन्न आकार के AI मॉडल्स का उपयोग करके गणित की समस्याओं पर इस नई विधि का परीक्षण किया। यहाँ हुआ:

बेहतर ग्रेड: प्रशिक्षु बहुत तेज़ी से सीखा और गणित की समस्याओं को हल करने में काफी बेहतर हुआ (औसतन 6.37% अधिक सटीकता)।
छोटे, स्पष्ट उत्तर: पुरानी विधि ने प्रशिक्षु को बहुत लंबा लिखने के लिए प्रेरित किया, जिससे वे अक्सर अधिकतम लंबाई की सीमा तक पहुँच जाते थे। PowerOPD ने प्रशिक्षु को संक्षिप्त होना सिखाया, जिससे वे छोटे और सीधे उत्तर देते हैं।
सस्ता प्रशिक्षण: क्योंकि प्रशिक्षण बहुत अधिक स्थिर था, इसलिए इसे लंबे समय तक चलाने की आवश्यकता नहीं थी। इसने पुराने तरीके के सबसे महंगे संस्करण की तुलना में 59% समय और 23% कंप्यूटर मेमोरी बचाई।
"अल्फा" नॉब (The "Alpha" Knob): इस विधि में एक सेटिंग है जिसे Alpha (α) कहा जाता है। इस नॉब को ऊपर घुमाने से शिक्षक और भी अधिक केंद्रित हो जाता है। उच्च अल्फा मानों ने प्रशिक्षु को तेज़ी से सीखने, छोटे उत्तर देने और प्रशिक्षण प्रक्रिया को अविश्वसनीय रूप से सुचारू बनाए रखने में मदद की (ग्रेडिएंट शोर 3,000 गुना कम हो गया)।

निष्कर्ष

पेपर का दावा है कि AI मॉडल्स को सिखाने का पुराना तरीका इसलिए टूटा हुआ था क्योंकि "रिवॉर्ड्स" (स्कोर) बहुत अनियंत्रित और बेतहाशा थे। एक नए, गणितीय रूप से "बाउंडेड" स्कोरिंग सिस्टम में स्विच करके, उन्होंने अस्थिरता को ठीक कर दिया। यह AI मॉडल्स को एक-दूसरे से बहुत अधिक कुशलता से सीखने की अनुमति देता है, जिससे कम समय और कम कंप्यूटर पावर में बेहतर परिणाम मिलते हैं।

नोट: पेपर ने विशेष रूप से Qwen3 मॉडल्स का उपयोग करके गणितीय तर्क कार्यों पर इसका परीक्षण किया है। यह दावा नहीं करता है कि ये परिणाम चिकित्सा निदान, रचनात्मक लेखन या अन्य विशिष्ट वास्तविक दुनिया के अनुप्रयोगों पर लागू होते हैं।

तकनीकी सारांश: PowerOPD

समस्या विवरण

Large Language Models (LLMs) के लिए मानक On-Policy Distillation (OPD) का लक्ष्य छात्र नीति (student policy) द्वारा उत्पन्न ट्राजेक्टरीज का उपयोग करके शिक्षक (teacher) और छात्र के बीच reverse-KL divergence को कम करना है। पूर्ण-शब्दावली (full-vocabulary) गणना की कम्प्यूटेशनल लागत से बचने के लिए, आधुनिक कार्यान्वयन छात्र द्वारा सैंपल किए गए टोकन के आधार पर एक सिंगल-सैंपल मोंटे कार्लो एस्टीमेटर का उपयोग करके ऑब्जेक्टिव का अनुमान लगाते हैं।

लेखक पहचानते हैं कि यह "वैनिला OPD" दृष्टिकोण व्यवहार में गंभीर प्रशिक्षण विकृतियों (pathologies) से ग्रस्त है, जिनमें शामिल हैं:

सैंपल अक्षमता (Sample Inefficiency): डेंस टोकन-लेवल सुपरविजन के बावजूद, वैलिडेशन एक्यूरेसी अक्सर शुरू में गिर जाती है और सैकड़ों स्टेप्स तक रिकवर नहीं हो पाती है।
अस्थिर जनरेशन डायनेमिक्स (Unstable Generation Dynamics): रिस्पॉन्स लेंथ स्थिर होने से पहले बड़े उतार-चढ़ाव दिखाती है, जो यह संकेत देता है कि छात्र बार-बार अस्थिर जनरेशन शासन (regimes) में प्रवेश करता है।
परफॉरमेंस गैप (Performance Gap): वैनिला OPD एक ऐसी नीति पर अभिसरित (converge) होता है जो पूर्ण-शब्दावली OPD की तुलना में काफी कमजोर होती है (जैसे, MATH-500 पर 8.19-पॉइंट का अंतर)।

मूल कारण निदान (Root Cause Diagnosis):
पेपर इन विफलताओं का पता लॉग-रेशियो रिवॉर्ड ( $r_t = \log \frac{\pi_T(o_t|c_t)}{\pi_\theta(o_t|c_t)}$ ) से लगाता है। यह रिवॉर्ड संरचनात्मक रूप से अनबाउंड (unbounded) है:

उच्च विचरण (High Variance): लॉग-रेशियो अत्यधिक नकारात्मक मानों (लगभग -50 के पास) तक पहुँच सकता है, जिससे एकल दुर्लभ टोकन ग्रेडिएंट अपडेट्स पर हावी हो सकते हैं।
प्रारंभिक-स्थिति चरम (Early-Position Extremes): रिवॉर्ड के विशाल परिमाण छात्र रोलआउट के शुरुआती पदों को असमान रूप से प्रभावित करते हैं, जिससे प्रीफिक्स डिस्ट्रीब्यूशन अस्थिर हो जाता है और कैस्केडिंग त्रुटियां होती हैं।
निरंतरता (Persistence): ये चरम मान प्रशिक्षण के दौरान कम नहीं होते हैं, जिससे अनुकूलन प्रक्रिया के दौरान अस्थिरता बनी रहती है।
पोस्ट-हॉक सुधारों की विफलता (Failure of Post-Hoc Fixes): मानक सुदृढीकरण लर्निंग (reinforcement learning) स्थिरीकरण तकनीकें (clipping, tanh compression, Z-score normalization) विफल रहती हैं क्योंकि वे अनबाउंड लॉग-रेशियो के कंप्यूट होने के बाद काम करती हैं, जिससे मूल विरूपण (distortion) बना रहता है।

कार्यप्रणाली: PowerOPD

रिवॉर्ड की अनबाउंड प्रकृति को संबोधित करने के लिए, लेखक PowerOPD का प्रस्ताव करते हैं, जो रिवॉर्ड डिज़ाइन को एक पोस्ट-हॉक (post-hoc) रूप से लॉग-रेशियो को स्थिर करने के बजाय, एक सिद्धांत आधारित प्रायिकता-से-रिवॉर्ड मैपिंग सीखने के रूप में पुनर्गठित करता है।

मुख्य डिजाइन सिद्धांत

लेखक एक मजबूत OPD रिवॉर्ड के लिए दो आवश्यक गुण परिभाषित करते हैं:

सीमाबद्धता (Boundedness - P1): रिवॉर्ड फंक्शन $[0, 1]^2$ पर बाउंडेड होना चाहिए ताकि दुर्लभ मोंटे कार्लो घटनाएं विनाशकारी ग्रेडिएंट अपडेट को प्रेरित न कर सकें।
चिह्न निरंतरता (Sign Consistency - P2): रिवॉर्ड का चिह्न शिक्षक-छात्र प्रायिकता अंतर के साथ सही ढंग से संरेखित होना चाहिए (यदि शिक्षक उच्च प्रायिकता देता है तो सकारात्मक, अन्यथा नकारात्मक)।

बॉक्स-कॉक्स ट्रांसफॉर्मेशन (The Box-Cox Transformation)

लेखक मानक रिवॉर्ड ( $h(\pi_T) - h(\pi_\theta)$ ) की "ट्रांसफॉर्म-देन-सबट्रैक्ट" संरचना को बनाए रखते हैं, लेकिन अनबाउंड लॉगरिदमिक फंक्शन $h(x) = \log x$ को Box-Cox पावर ट्रांसफॉर्मेशन से बदल देते हैं:
$h_\alpha(x) = \frac{x^\alpha - 1}{\alpha}, \quad \alpha > 0$

यह PowerOPD रिवॉर्ड प्रदान करता है:
$r^\alpha_t = \text{sg}[\pi_T(o_t | c_t)^\alpha - \pi_\theta(o_t | c_t)^\alpha]$
जहाँ $\text{sg}$ स्टॉप-ग्रेडिएंट (stop-gradient) को दर्शाता है।

सीमाबद्धता (Boundedness): किसी भी $\alpha > 0$ के लिए, रिवॉर्ड सख्ती से $[-1, 1]$ के भीतर बाउंडेड है।
चिह्न निरंतरता (Sign Consistency): चूंकि $x^\alpha$ $\alpha > 0$ के लिए स्ट्रिक्टली इंक्रीजिंग है, इसलिए रिवॉर्ड का चिह्न प्रायिकता अंतर को सही ढंग से दर्शाता है।
अपभ्रष्ट सीमा (Degenerate Limit): मानक लॉग-रेशियो रिवॉर्ड को $\alpha \to 0$ के अपभ्रष्ट सीमा के रूप में प्राप्त किया जा सकता है।

सुधार का तंत्र

एक्सपोनेंट $\alpha$ रिवॉर्ड सेंसिटिविटी प्रोफाइल को नियंत्रित करता है:

छोटा $\alpha$ : कम प्रायिकता वाले टोकन के प्रति उच्च संवेदनशीलता बनाए रखता है, जो लॉग-रेशियो के दुर्लभ घटनाओं पर जोर देने जैसा है लेकिन बाउंडेड रहता है।
बड़ा $\alpha$ : कम प्रायिकता वाले टोकनों के लिए अंतर को कम (attenuate) करता है। यह उन टोकनों के लिए रिवॉर्ड को दबा देता है जिन्हें दोनों मॉडल कम प्रायिकता देते हैं (अविश्वसनीय माप) और अपना ध्यान उन टोकनों पर केंद्रित करता है जहाँ कम से कम एक मॉडल पर्याप्त प्रायिकता देता है। यह "हाई-लीवरेज" लेकिन सांख्यिकीय रूप से अविश्वसनीय पॉलिसी-ग्रेडिएंट टर्म्स को फ़िल्टर करता है।

प्रमुख योगदान

OPD विकृतियों का निदान: पेपर एक कठोर अनुभवजन्य और सैद्धांतिक निदान प्रदान करता है कि वैनिला OPD की प्रशिक्षण अस्थिरता अनबाउंड लॉग-रेशियो रिवॉर्ड से आती है, न कि पोस्ट-हॉक स्थिरीकरण की कमी से।
PowerOPD फ्रेमवर्क: $\alpha$ द्वारा पैरामीटराइज्ड, Box-Cox ट्रांसफॉर्मेशन से व्युत्पन्न एक परिवार के नेटीवली बाउंडेड, साइन-कंसिस्टेंट रिवॉर्ड्स का परिचय।
सैद्धांतिक अंतर्दृष्टि: यह प्रदर्शित करना कि लॉग-रेशियो व्यापक श्रेणी के बाउंडेड ट्रांसफॉर्मेशन का एक अपभ्रष्ट सीमा है और स्थिरता को पोस्ट-हैक के बजाय प्रायिकता-टू-रिवॉर्ड मैपिंग स्तर पर लागू किया जाना चाहिए।
दक्षता लाभ: यह दिखाना कि एक बाउंडेड सैंपलड-टोकन रिवॉर्ड, शब्दावली-व्यापी (vocabulary-wide) गणना से बचते हुए, पूर्ण-शब्दावली डिस्टिलेशन से बेहतर प्रदर्शन कर सकता है।

प्रयोगात्मक परिणाम

लेखकों ने चार Qwen3 टीचर-स्टूडेंट पेयर्स (0.6B/1.7B स्टूडेंट्स; 4B/8B टीचर्स) का उपयोग करके छह गणितीय तर्क बेंचमार्क (GSM8K, MATH-500, AMC23, AIME24/25, Minerva, Olympiad-Bench) पर PowerOPD का मूल्यांकन किया।

परफॉरमेंस गेन्स:

बनाम वैनिला OPD: PowerOPD ने बेंचमार्क-औसत लाभ के रूप में +6.37 (Avg@8) और +5.71 (Pass@8) तक हासिल किया। AMC23 जैसे विशिष्ट बेंचमार्क पर, लाभ +16.75 Avg@8 तक पहुँच गया।
बनाम पोस्ट-हॉक स्टेबलाइजेशन: इसने औसतन सर्वश्रेष्ठ पोस्ट-हॉक बेसलाइन्स (Clip, Tanh, Z-Score) को +3.01 (Avg@8) और +3.54 (Pass@8) से पछाड़ा।
बनाम फुल-वोकैबरी OPD: केवल सैंपलड टोकन का उपयोग करने के बावजूद, औसत रूप से फुल-वोकैबरी OPD से +2.59 (Avg@8) और +8.90 (Pass@8) अधिक प्राप्त किया।

दक्षता (Efficiency):

वॉल-क्लॉक टाइम (Wall-Clock Time): फुल-वोकैबरी OPD की तुलना में 59.2% कम हुआ।
पीक GPU मेमोरी: 23.1% कम हुई।
प्रशिक्षण डायनेमिक्स: PowerOPD ने वैनिला OPD में देखे गए प्रारंभिक एक्यूरेसी ड्रॉप और रिस्पॉन्स लेंथ ऑसिलेशन को समाप्त कर दिया। ग्रेडिएंट नॉर्म्स वैनिला OPD के शुरुआती स्पाइक की तुलना में >3,000× छोटे रखे गए।

$\alpha$ के साथ स्केलिंग:

बड़ा $\alpha$ आम तौर पर एक्यूरेसी में सुधार करता है, रिस्पॉन्स लेंथ को छोटा करता है (फुल-वोकैबरी OPD में सामान्य लेंथ इन्फ्लेशन को कम करता है), और प्रशिक्षण डायनेमिक्स को और अधिक स्थिर बनाता है।

महत्व और दावे

पेपर का दावा है कि PowerOPD रूट कॉज (अनबाउंड लॉग-रेशियो रिवॉर्ड) को संबोधित करके ऑन-पॉलिसी डिस्टिलेशन की मौलिक अनुकूलन कठिनाइयों को हल करता है। प्रायिकता-टू-रिवॉर्ड मैपिंग स्तर पर बाउंडेडनेस और साइन कंसिस्टेंसी को लागू करके, PowerOPD सक्षम बनाता है:

स्थिर प्रशिक्षण: पैथोलॉजिकल ट्रेनिंग डायनेमिक्स (एक्यूरेसी ड्रॉप, लेंथ ऑसिलेशन) का उन्मूलन।
बेहतर प्रदर्शन: वैनिला OPD और फुल-वोकैबरी OPD दोनों से उच्च एक्यूरेसी प्राप्त करना।
कम्प्यूटेशनल दक्षता: लगभग 60% कम्प्यूटेशनल लागत कम करते हुए फुल-वोकैबरी डिस्टिलेशन के प्रदर्शन से मेल खाना या उससे बेहतर प्रदर्शन करना।

लेखक नोट करते हैं कि उनके प्रयोग मुख्य रूप से गणितीय तर्क बेंचमार्क और Qwen3 मॉडल्स पर किए गए हैं, जो रिवॉर्ड डिज़ाइन के लिए एक नियंत्रित टेस्टबेड के रूप में कार्य करते हैं। वे सुझाव देते हैं कि भविष्य का कार्य कोड जनरेशन, इंस्ट्रक्शन फॉलोइंग और मल्टीलिंगुअल रीजनिंग पर इन लाभों को मान्य कर सकता है। इस पद्धति को रोलआउट जनरेशन या टीचर स्कोरिंग को संशोधित किए बिना मानक OPD पाइपलाइनों में रिवॉर्ड फंक्शन के लिए एक प्लग-एंड-प्ले रिप्लेसमेंट के रूप में प्रस्तुत किया गया है।