🤖 machine learning

OPD+: Rethinking the Advantage Design for On-Policy Distillation

यह शोध पत्र OPD+ प्रस्तुत करता है, जो एक सुधारात्मक ऑन-पॉलिसी डिस्टिलेशन फ्रेमवर्क है जो एडवांटेज एस्टीमेशन में मानक स्टॉप-ग्रेडिएंट ऑपरेशन्स के कारण होने वाले बायस को गणितीय रूप से सिद्ध करता है और एक जेनेरिक f-डाइवर्जेंस-आधारित अनुकूलन विधि प्रस्तावित करता है जो रीजनिंग और टूल-यूज़ बेंचमार्क पर प्रदर्शन में सुधार करती है।

मूल लेखक: Hanyang Zhao, Haoxian Chen, Han Lin, Genta Indra Winata, David Yao, Wenpin Tang

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hanyang Zhao, Haoxian Chen, Han Lin, Genta Indra Winata, David Yao, Wenpin Tang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक युवा प्रशिक्षु (Student Model) को एक मास्टर शेफ (Teacher Model) को देखकर जटिल पहेलियाँ हल करना सिखाने की कोशिश कर रहे हैं। प्रशिक्षु मास्टर के कौशल को देखता है, उनके कदमों की नकल करने की कोशिश करता है, और इस बात पर फीडबैक प्राप्त करता है कि वह मास्टर की रेसिपी के कितने करीब आया। इस प्रक्रिया को On-Policy Distillation (OPD) कहा जाता है।

लंबे समय तक, शोधकर्ताओं का मानना था कि फीडबैक देने का एक विशिष्ट "रेसिपी" (तरीका) सबसे अच्छा काम करता है: एक विधि जिसे Reverse KL कहा जाता है। यह ऐसा था जैसे कहना, "सीखने का एकमात्र तरीका ठीक इसी तरह अंतर को मापना है।"

हालाँकि, इस पेपर के लेखकों ने OPD+ के माध्यम से खोजा कि इस फीडबैक की गणना करने के तरीके में एक छिपा हुआ दोष था। उन्होंने पाया कि जिस तरह से फीडबैक दिया जा रहा था, वह वास्तव में त्रुटिपूर्ण था, जिससे भ्रम और खराब शिक्षण हो रहा था, विशेष रूप से जब अलग-अलग प्रकार के फीडबैक रेसिपी का उपयोग किया जा रहा था।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:

1. टूटा हुआ फीडबैक लूप (The "Stop Gradient" Problem)

पुराने तरीके में, जब प्रशिक्षु सीखने की कोशिश करता था, तो शिक्षक कहता था, "यह तुम्हारे कदम का स्कोर है," लेकिन फिर तुरंत उस स्कोर को फ्रीज (स्थिर) कर देता था ताकि वह बदल न सके। वे ऐसा इसलिए करते थे ताकि स्थिरता बनी रहे, जैसे एक शिक्षक एक स्थिर चार्ट की ओर इशारा करते हुए कहता है, "यह लक्ष्य है; इस बारे में चिंता न करें कि चार्ट कैसे बनाया गया था।"

यह पेपर तर्क देता है कि यह गणितीय रूप से गलत है।

उपमा: कल्पना कीजिए कि आप तीरंदाजी सीख रहे हैं। शिक्षक कहता है, "आपका तीर 5 इंच बाईं ओर लगा।" लेकिन फिर, शिक्षक कहता है, "इस बात की चिंता न करें कि मैंने उस 5 इंच की गणना कैसे की; बस इसे एक निश्चित तथ्य मानें।"
समस्या: वह "5 इंच" वास्तव में इस बात पर निर्भर करता है कि आप धनुष को कैसे पकड़े हुए हैं (छात्र की वर्तमान स्थिति)। यदि आप अपनी पकड़ बदलते हैं, तो दूरी बदल जाती है। गणना को फ्रीज करके, शिक्षक आपको एक झूठ दे रहा है। आप अपनी पकड़ को एक ऐसे नंबर के आधार पर समायोजित करने की कोशिश कर रहे हैं जो आपकी नई पकड़ के साथ अपडेट होने से इनकार करता है। इससे biased estimates (पक्षपाती अनुमान) होते हैं—आपको लगता है कि आप सुधार कर रहे हैं, लेकिन वास्तव में आप गलत दिशा में जा रहे हैं।

2. नया समाधान: OPD+

लेखक OPD+ का प्रस्ताव देते हैं, जो अनिवार्य रूप से "गणित को ठीक करना" है ताकि फीडबैक वास्तव में छात्र के सीखने के साथ अपडेट हो सके।

सुधार: स्कोर को फ्रीज करने के बजाय, OPD+ कहता है, "यह स्कोर है, और यह भी है कि यदि आप अपना हाथ हिलाते हैं तो यह स्कोर ठीक कैसे बदलता है।" यह फीडबैक में एक छोटा सा सुधार (correction term) जोड़ता है।
परिणाम: यह ऐसा है जैसे शिक्षक अब कहता है, "आपका तीर 5 इंच बाईं ओर लगा। लेकिन याद रखें, यदि आप अपनी पकड़ सख्त करते हैं, तो यह दूरी 1 इंच कम हो जाएगी।" यह छोटा सा सुधार सीखने की प्रक्रिया को ईमानदार और सटीक बनाता है।

3. आश्चर्य: अन्य रेसिपी भी काम करती हैं!

वर्षों तक, सभी ने सोचा कि Reverse KL ही छात्र और शिक्षक के बीच अंतर को मापने का एकमात्र अच्छा तरीका है। उन्हें लगा कि अन्य विधियाँ (जैसे Forward KL या JSD) बेकार हैं और उनसे छात्र का "कोलैप्स" (सीखना पूरी तरह बंद कर देना) हो जाएगा।

यह पेपर दिखाता है कि वे अन्य विधियाँ वास्तव में बुरी नहीं थीं; उन्हें केवल टूटे हुए फीडबैक लूप ( "Stop Gradient" समस्या) के कारण गलत तरीके से इस्तेमाल किया गया था।

उपमा: यह ऐसा है जैसे सभी ने सोचा कि एक विशिष्ट हथौड़ा ही कील ठोकने का एकमात्र उपकरण है। उन्होंने पेचकस (screwdriver) का उपयोग किया, और उससे लकड़ी टूट गई, इसलिए उन्होंने निष्कर्ष निकाला कि पेचकस बेकार हैं।
खोज: लेखकों ने पेचकस पकड़ने के तरीके (गणित) को ठीक किया। अचानक, पेचकस पूरी तरह से काम करने लगा! वास्तव में, कुछ मामलों में (जैसे JSD विधि), पेचकस हथौड़े से बेहतर काम कर रहा था, जिससे छात्र कठिन गणितीय समस्याओं को हल करने और उपकरणों का अधिक प्रभावी ढंग से उपयोग करने में सक्षम हुआ।

4. उन्होंने क्या टेस्ट किया?

उन्होंने दो बहुत कठिन कार्यों पर इनका परीक्षण किया:

गणितीय तर्क (Math Reasoning): उच्च स्तरीय प्रतियोगिता गणित (जैसे AIME और HMMT) को हल करना।
टूल का उपयोग (Tool Use): AI को समस्याओं को हल करने के लिए बाहरी उपकरणों (जैसे कैलकुलेटर या सर्च इंजन) का उपयोग करना सिखाना।

परिणाम:

पुराने तरीके (टूटे हुए गणित के साथ) ने कुछ सीखने की शैलियों को पूरी तरह से विफल (0% सटीकता) कर दिया।
नया तरीका (OPD+) इन विफलताओं को ठीक करता है।
"मानक" तरीके (Reverse KL) के लिए भी, नए गणित ने छात्र को तेजी से सीखने और प्रदर्शन के उच्चतम स्तर तक पहुँचने में मदद की।

सारांश

यह पेपर दावा करता है कि जिस तरह से हम वर्तमान में AI मॉडलों को एक-दूसरे की नकल करने के लिए सिखाते हैं, उसमें एक मौलिक गणितीय त्रुटि है। फीडबैक को "फ्रीज" करने के एक सिंगल लाइन के कोड को ठीक करके, हम:

सीखने की प्रक्रिया को गणितीय रूप से ईमानदार बना सकते हैं।
उन विभिन्न शिक्षण रणनीतियों की क्षमता को अनलॉक कर सकते हैं जिन्हें पहले टूटा हुआ माना जाता था।
कठिन कार्यों जैसे गणित और टूल उपयोग पर बेहतर परिणाम प्राप्त कर सकते हैं, यहाँ तक कि हमारे मौजूदा मॉडल्स के साथ भी।

संक्षेप में: फीडबैक को फ्रीज न करें। गणित को अपडेट होने दें, और AI बेहतर सीखता है।

तकनीकी सारांश: OPD+: ऑन-पॉलिसी डिस्टिलेशन के लिए एडवांटेज डिज़ाइन का पुनर्मूल्यांकन

1. समस्या विवरण (Problem Statement)

ऑन-पॉलिसी डिस्टिलेशन (OPD) एक ऐसी तकनीक है जिसका उपयोग सक्षम शिक्षक (teacher) भाषा मॉडलों से बेस स्टूडेंट (student) मॉडलों में क्षमताओं को स्थानांतरित करने के लिए किया जाता है। यह प्रक्रिया स्टूडेंट द्वारा जनरेट किए गए रोलआउट्स से प्राप्त एक सघन (dense), टोकन-लेवल सुपरविजन सिग्नल को ऑप्टिमाइज़ करके की जाती है। जबकि मौजूदा OPD कार्यान्वयन (जैसे, Tinker) अक्सर प्राथमिक उद्देश्य के रूप में कुलबैक-लीब्लर (KL) डाइवर्जेंस का उपयोग करते हैं, वे एक विशिष्ट डिज़ाइन विकल्प अपनाते हैं: रिवॉर्ड टर्म पर ग्रेडिएंट को रोकना (stopping the gradient) (जो स्टूडेंट और टीचर की लाइकलीहुड के बीच लॉग-रेशियो का अंतर है)।

यह डिज़ाइन संख्यात्मक स्थिरता (numerical stability) की इच्छा से प्रेरित है, जो डीप क्यू-नेटवर्क्स (DQN) में टारगेट नेटवर्क के समानांतर है। हालांकि, लेखक इस दृष्टिकोण में एक महत्वपूर्ण सैद्धांतिक दोष की पहचान करते हैं:

बायस्ड ग्रेडिएंट एस्टीमेट्स (Biased Gradient Estimates): सामान्य $f$ -डाइवर्जेंस के लिए, रिवॉर्ड फंक्शन स्टूडेंट पॉलिसी पैरामीटर्स $\theta$ पर निर्भर करता है। रिवॉर्ड टर्म पर ग्रेडिएंट रोकने से $\theta$ पर रिवॉर्ड की प्रत्यक्ष निर्भरता की अनदेखी होती है, जिससे गणितीय रूप से गलत ग्रेडिएंट एस्टीमेट्स प्राप्त होते हैं।
प्रदर्शन में गिरावट (Performance Degradation): यह बायस रिवर्स KL (Reverse KL) के अलावा अन्य डाइवर्जेंस फंक्शन (जैसे, फॉरवर्ड KL और जेन्सन-शैनन डाइवर्जेंस) के लिए विनाशकारी ट्रेनिंग कोलैप्स (catastrophic training collapse) का कारण बनता है, जिससे वे मानक OPD सेटिंग्स के तहत प्रशिक्षित करने योग्य नहीं रह जाते। यहाँ तक कि रिवर्स KL के लिए भी, हालांकि स्कोर आइडेंटिटी के कारण यह बायस सैद्धांतिक रूप से समाप्त हो जाता है, अनुभवजन्य परिणाम बताते हैं कि 'स्टॉप-ग्रेडिएंट' डिज़ाइन अभी भी सब-ऑप्टिमल प्रदर्शन देता है।

2. कार्यप्रणाली: OPD+ फ्रेमवर्क (Methodology: The OPD+ Framework)

यह शोध पत्र OPD+ का प्रस्ताव करता है, जो $f$ -डाइवर्जेंस के आधार पर ऑन-पॉलिसी डिस्टिलेशन के लिए एक सुधारा गया ऑप्टिमाइज़ेशन फ्रेमवर्क है, जो एडवांटेज डिज़ाइन का पुनर्मूल्यांकन करता है।

2.1 सैद्धांतिक आधार (Theoretical Foundation)

लेखक OPD उद्देश्य को स्टूडेंट पॉलिसी $p_\theta$ और टीचर पॉलिसी $q$ के बीच $f$ -डाइवर्जेंस को कम करने के रूप में तैयार करते हैं। ऑब्जेक्टिव फंक्शन को इस प्रकार परिभाषित किया गया है:
$J_f(\theta) = \mathbb{E}_{x \sim X, y \sim p_\theta(\cdot|x)} \left[ \sum_{n=1}^{L_y} f(u_{\theta,n}) \right]$
जहाँ $u_{\theta,n} = q(y_n | y_{<n}, x) / p_\theta(y_n | y_{<n}, x)$ टोकन-लेवल डेंसिटी रेश्यो है, और $f$ एक कॉनवेक्स (convex) फंक्शन है जहाँ $f(1)=0$ है।

2.2 सुधार (The Correction)

शोध पत्र इस उद्देश्य के वास्तविक ग्रेडिएंट को व्युत्पन्न करता है। मानक OPD एक "स्टॉप-ग्रेडिएंट" पॉलिसी ग्रेडिएंट एस्टीमेटर का उपयोग करता है जहाँ रिवॉर्ड $r = -f(u_{\theta,n})$ को स्थिर माना जाता है। लेखक दिखाते हैं कि वास्तविक ग्रेडिएंट में दो पद (terms) होते हैं:

मानक स्कोर-फंक्शन टर्म: $\mathbb{E}[r \nabla_\theta \log p_\theta]$ ।
एक डायरेक्ट रिवॉर्ड-ग्रेडिएंट टर्म: $\mathbb{E}[\nabla_\theta r]$ ।

एक सामान्य $f$ -डाइवर्जेंस के लिए, डायरेक्ट रिवॉर्ड-ग्रेडिएंट टर्म शून्य नहीं होता है। विशेष रूप से, $\nabla_\theta r = u_{\theta,n} f'(u_{\theta,n}) \nabla_\theta \log p_\theta$ है।
परिणामस्वरूप, सही एडवांटेज फंक्शन केवल $-f(u)$ नहीं है, बल्कि एक भारित (weighted) टर्म है:
$w_f(u) = -f(u) + u f'(u)$

2.3 विशेष मामला: रिवर्स KL (Special Case: Reverse KL)

रिवर्स KL के लिए, $f(u) = -\log u$ है। सुधार टर्म (correction term) बनता है:
$w(u) = -(-\log u) + u(-1/u) = \log u + 1$
अतिरिक्त $+1$ टर्म एक कांस्टेंट बेसलाइन (constant baseline) के रूप में कार्य करता है। चूंकि $\mathbb{E}[\nabla_\theta \log p_\theta] = 0$ (स्कोर आइडेंटिटी), यह टर्म सैद्धांतिक रूप से अपेक्षा (expectation) में शून्य हो जाता है। हालांकि, लेखक तर्क देते कि व्यवहार में, यह कांस्टेंट बेसलाइन एक वेरिएंस-रिडक्शन मैकेनिज्म के रूप में कार्य करता है, जिससे कन्वर्जेंस स्पीड और स्थिरता में सुधार होता है।

.4 कार्यान्वयन (Implementation)

मौजूदा OPD कार्यान्वयनों में OPD+ के लिए केवल एक सिंगल-लाइन कोड परिवर्तन की आवश्यकता होती है: कच्चे नेगेटिव डाइवर्जेंस रिवॉर्ड $-f(u)$ को सुधारा गया वेट $w_f(u)$ से बदलना। यह फ्रेमवर्क विभिन्न $f$ -डाइवर्जेंस का समर्थन करता है, जिसमें फॉरवर्ड KL, रिवर्स KL और जेन्सन-शैनन डाइवर्जेंस (JSD) शामिल हैं।

3. मुख्य योगदान (Key Contributions)

जेनेरिक ऑप्टिमाइज़ेशन फ्रेमवर्क: शोध पत्र सामान्य $f$ -डाइवर्जेंस पर आधारित ऑन-पॉलिसी डिस्टिलेशन के लिए एक एकीकृत फ्रेमवर्क प्रदान करता है, जो रिवॉर्ड की पॉलिसी पैरामीटर्स पर निर्भरता को ध्यान में रखते हुए सही ग्रेडिएंट और लॉस फंक्शन को व्युत्पन्न करता है।
बायस का सैद्धांतिक प्रमाण: यह गणितीय रूप से सिद्ध करता है कि मानक स्टॉप-ग्रेडिएंट ऑपरेशन सामान्य $f$ -डाइवर्जेंस के लिए बायस्ड ग्रेडिएंट एस्टीमेट्स की ओर ले जाता है, जो रिवॉर्ड को फिक्स्ड मानने के सामान्य अभ्यास को अमान्य करता है।
OPD+ एल्गोरिदम: लेखक OPD+ पेश करते हैं, जो सुधारा गया एल्गोरिदम है जो फॉरवर्ड KL और JSD में देखे गए ट्रेनिंग कोलैप्स को समाप्त करता है और रिवर्स KL के लिए भी प्रदर्शन में सुधार करता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह कार्य इस प्रचलित विश्वास को चुनौती देता कि ऑन-पॉलिसी डिस्टिलेशन के लिए रिवर्स KL ही एकमात्र व्यवहार्य डिस्टेंस मेट्रिक है, और यह प्रदर्शित करता है कि सही ढंग से ऑप्टिमाइज़ किए जाने पर अन्य डाइवर्जेंस इससे बेहतर प्रदर्शन कर सकते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने QWEN3 मॉडल फैमिली (1.7B और 8B पैरामीटर्स) पर दो अलग-अलग डोमेन में OPD+ का मूल्यांकन किया: कंपटीशन मैथमेटिक्स (DeepMath, AIME 24/25, HMMT 25) और एजेंटिक टूल यूज़ (Agentic Tool Use)।

4.1 "अनट्रेनेबल" डाइवर्जेंस का बचाव (Rescue of "Untrainable" Divergences)

मानक स्टॉप-ग्रेडिएंट डिज़ाइन (OPD) के तहत, फॉरवर्ड KL और JSD ने टूल-यूज़ कार्यों पर 0% सटीकता तक गिरकर विनाशकारी विफलता दिखाई और मैथ कार्यों पर SFT-इनिशियलाइज्ड बेसलाइन से मेल खाने में विफल रहे।

OPD+ सुधार: सुधारा गया एडवांटेज $w(u)$ लागू करके, OPD+ ने इस फेलियर मोड को पूरी तरह से समाप्त कर दिया।
JSD प्रदर्शन: JSD+ न केवल स्थिर हुआ बल्कि मानक रिवर्स KL बेसलाइन से आगे निकल गया। चुनौतीपूर्ण AIME 25 बेंचमार्क पर, JSD+ ने रिवर्स KL के 48.54% की तुलना में 50.42% सटीकता प्राप्त की। टूल यूज़ कार्य पर, JSD+ ने 60.29% तक पहुँचकर रिवर्स KL बेसलाइन (59.97%) को पछाड़ दिया।

4.2 रिवर्स KL पर सुधार (Improvement on Reverse KL)

यहाँ तक कि उस डोमेन में जहाँ रिवर्स KL पारंपरिक रूप से प्रभावी है, OPD+ ने सख्त अनुभवजन्य सुधार दिए:

AIME 24: रिवर्स KL+ ने 64.27% से सुधरकर 64.69% किया।
टूल यूज़: रिवर्स KL+ ने 59.97% से सुधरकर 61.44% किया।
कन्वर्जेंस: ट्रेनिंग डायनेमिक्स (चित्र 1) दिखाते हैं कि OPD+ वेरिएंट शुरुआती कन्वर्जेंस को तेज करते हैं और मानक बेसलाइन्स में देखी गई प्रदर्शन प्लेटो या गिरावट को रोकते हैं।

4.3 सेल्फ-डिस्टिलेशन (OPSD)

इसका सत्यापन ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (OPSD) सेटिंग में भी किया गया था, जहाँ मॉडल छात्र और शिक्षक दोनों के रूप में कार्य करता है (जहाँ शिक्षक प्रिविलेज्ड ग्राउंड-ट्रुथ सॉल्यूशंस पर कंडिशन किया गया है)। OPD+ ने सभी डाइवर्जेंस प्रकारों में वैनिला स्टॉप-ग्रेडिएंट वर्जनों की तुलना में लगातार बेहतर प्रदर्शन किया, जिसमें सुधारा गया रिवर्स KL सभी डाइवर्जेंस में सर्वश्रेष्ठ प्रदर्शन वाला रहा।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि ऑन-पॉलिसी डिस्टिलेशन में अन्य $f$ -डाइवर्जेंस (फॉरवर्ड KL, JSD) का ऐतिहासिक खराब प्रदर्शन स्वयं उन डाइवर्जेंस की आंतरिक सीमा नहीं है, बल्कि स्टॉप-ग्रेडिएंट डिज़ाइन के कारण होने वाले गलत निर्दिष्ट ग्रेडिएंट कोएफिशिएंट (mis-specified gradient coefficient) का एक साइड-इफेक्ट है।

एडवांटेज फंक्शन को $f$ -डाइवर्जेंस के गणितीय रूप से सुसंगत बनाकर, OPD+:

डिज़ाइन स्पेस का विस्तार करता है: यह डिस्टिलेशन के लिए विविध सांख्यिकीय दूरियों (statistical distances) के उपयोग को सक्षम बनाता है, जिससे रिवर्स KL के उद्योग मानक से परे विस्तार होता है।
प्रदर्शन में सुधार करता है: यह रीजनिंग और टूल-यूज़ बेंचमार्क पर नए स्टेट-ऑफ-द-आर्ट प्रदर्शन शिखर स्थापित करता है।
परंपराओं को चुनौती देता है: यह रिवर्स KL की अंतर्निहित श्रेष्ठता के सामान्य विश्वास पर सवाल उठाता है, यह सुझाव देते हुए कि स्थिरता ऑप्टिमाइज़ेशन विधि के आर्टिफैक्ट (artifact) के कारण थी, न कि डाइवर्जेंस के चुनाव के कारण।

लेखक निष्कर्ष निकालते हैं कि उनका कार्य एक अधिक गणितीय रूप से सही और अनुभवजन्य रूप से प्रभावी एल्गोरिदम प्रदान करता है, जो ऑन-पॉलिसी डिस्टिलेशन विधियों के लिए एडवांटेज फंक्शन के डिज़ाइन में आगे के शोध को प्रेरित कर सकता है। वे मॉडल स्केलिंग विश्लेषण और सिंगल-टोकन लाइकलीहुड बनाम लॉजिट डिस्टिलेशन के बीच तुलना के संबंध में सीमाओं को स्वीकार करते हैं, और इन्हें भविष्य के कार्य के रूप में नोट करते हैं।