💬 NLP

Reinforcement Learning from Rich Feedback with Distributional DAgger

यह शोध पत्र DistIL को प्रस्तुत करता है, जो एक वितरण संबंधी (distributional) DAgger-आधारित दृष्टिकोण है जो निरंतर सुधार (monotonic policy improvement) प्राप्त करने के लिए एक फॉरवर्ड क्रॉस-एन्ट्रॉपी ऑब्जेक्टिव के माध्यम से समृद्ध फीडबैक का लाभ उठाता है और मानक RLVR एवं सेल्फ-डिस्टिलेशन विधियों की तुलना में रीजनिंग, कोडिंग और गणितीय कार्यों में बेहतर प्रदर्शन करता है।

मूल लेखक: Rishabh Agrawal, Jacob Fein-Ashley, Paria Rashidinejad

प्रकाशित 2026-06-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rishabh Agrawal, Jacob Fein-Ashley, Paria Rashidinejad

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन छात्र को जटिल पहेलियाँ हल करना सिखा रहे हैं, जैसे कि कोड लिखना, गणित की समस्याओं को हल करना, या वैज्ञानिक अवधारणाओं को समझाना।

पुराना तरीका (RLVR): "पास/फेल" परीक्षा
वर्तमान में, इन AI मॉडलों को प्रशिक्षित करने का सबसे लोकप्रिय तरीका एक अंतिम परीक्षा देने जैसा है जिसमें केवल एक फीडबैक मिलता है: "पास" या "फेल"।

छात्र एक समस्या को हल करने का प्रयास करता है।
यदि अंतिम उत्तर सही है, तो उन्हें एक स्वर्ण स्टार मिलता है। यदि गलत है, तो उन्हें लाल 'X' मिलता है।
समस्या: शिक्षक उन्हें यह नहीं बताता कि वे क्यों असफल हुए। क्या उन्होंने पहले चरण में गलती की? बीच में? या अंत में? क्योंकि फीडबैक केवल अंत में एक एकल "पास/फेल" है, छात्र को यह अनुमान लगाने के लिए मजबूर होना पड़ता है कि किन विशिष्ट शब्दों या चरणों ने त्रुटि का कारण बना। यह कार चलाने सीखने जैसा है जहाँ आपको केवल यह बताया जाता है कि "आप दुर्घटनाग्रस्त हो गए" जब कार दीवार से टकराती है, बिना यह जाने कि आपने स्टीयरिंग बहुत जल्दी घुमाया, ब्रेक बहुत देर से लगाया, या शीशे देखना भूल गए।

नया विचार: समृद्ध फीडबैक (Rich Feedback)
वास्तविक दुनिया में, हमारे पास अक्सर बहुत बेहतर फीडबैक होता है।

कोडिंग में: हमें एरर लॉग मिलते हैं जो ठीक से दिखाते हैं कि कौन सी लाइन टूट गई।
गणित में: हमारे पास चरण-दर-चरण समाधान या संकेत हो सकते हैं।
विज्ञान में: हमें तर्क प्रक्रिया की आलोचना मिल सकती है।
पेपर का तर्क है कि हमें केवल अंतिम पास/फेल के बजाय इस "समृद्ध" फीडबैक का उपयोग करना चाहिए।

वर्तमान "समृद्ध" विधियों के साथ समस्या
शोधकर्ताओं ने इस समृद्ध फीडबैक का उपयोग करने के लिए AI मॉडल को छात्र और शिक्षक दोनों के रूप में कार्य करने के लिए आजमाया है। मॉडल एक समाधान उत्पन्न करता है, फीडबैक प्राप्त करता है, और फिर अपने ही "सुधारित" संस्करण की नकल करने का प्रयास करता है।
हालाँकि, लेखकों ने पाया कि इस तरह से किए जाने वाले वर्तमान तरीकों में दो प्रमुख खामियां हैं:

"गलत दिशा" का जाल (The "Wrong Direction" Trap): कभी-कभी, भले ही शिक्षक छात्र से अधिक बुद्धिमान हो, छात्र को सिखाने के लिए उपयोग किया गया गणित अनजाने में उन्हें सही उत्तर से दूर धकेल सकता है। यह एक कोच की तरह है जो खिलाड़ी से कहता है, "तुम गलत कर रहे हो," लेकिन विशिष्ट निर्देश के कारण खिलाड़ी अपने ही पैरों में उलझकर गिर जाता है।
"अंध बिंदु" की समस्या (The "Blind Spot" Problem): वर्तमान विधियाँ केवल तत्काल गलती को देखती हैं। यदि छात्र चरण 1 में एक छोटी सी गलती करता है जो चरण 10 में एक बड़ी आपदा की ओर ले जाती है, तो वर्तमान विधियाँ अक्सर चरण 1 को अनदेखा कर देती हैं क्योंकि त्रुटि चरण 10 में दिखाई दी थी। वे उन शुरुआती निर्णयों को श्रेय (या दोष) देने में विफल रहती हैं जिन्होंने बाद की समस्या का कारण बनाया।

समाधान: DistIL (डिस्ट्रिब्यूशनल इमिटेशन लर्निंग)
लेखक एक नया एल्गोरिदम प्रस्तावित करते हैं जिसे DistIL कहा जाता है। "DAgger" नामक एक क्लासिक तकनीक पर आधारित इस नए, स्मार्ट कोचिंग तरीके के रूप में इसकी कल्पना करें।

DistIL कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:

"भविष्य-दृष्टि" वाला कोच (The "Future-Proof" Coach): केवल अभी हो रही गलती को देखने के बजाय, DistIL पूरी यात्रा को देखता है। यदि छात्र शुरुआत में एक छोटा सा चुनाव करता है जो बाद में बुरे परिणाम की ओर ले जाता है, तो DistIL उस बुरे परिणाम को वापस शुरुआत तक ट्रैक करता है और कहता है, "हे, वह पहला चुनाव ही समस्या था!" इसे फ्यूचर-अवेयर क्रेडिट असाइनमेंट कहा जाता है।
"प्रत्यक्ष अनुकरण" का नियम (The "Direct Imitation" Rule): जटिल गणित का उपयोग करने के बजाय जो कभी-कभी दिशा को गलत कर देता है, DistIL एक सरल "फॉरवर्ड क्रॉस-एन्ट्रॉपी" नियम का उपयोग करता है। कल्पना करें कि शिक्षक कहता है, "बिल्कुल वैसा ही करो जैसा मैं करता हूँ।" DistIL बस सही पथ चुनने की शिक्षक की संभावना (probability) से मेल बिठाने का प्रयास करता है। लेखक गणितीय रूप से सिद्ध करते हैं कि यह विधि हमेशा छात्र को सही दिशा में ले जाती है (मोनोटोनिक इम्प्रूवमेंट) और उन्हें कभी भी अनजाने में बदतर नहीं बनाती है।
ब्लैक-बॉक्स के अनुकूल (Black-Box Friendly): यह विधि लचीली है। यह एक मानव विशेषज्ञ, एक कंप्यूटर प्रोग्राम, या एक अन्य AI मॉडल से सीख सकती है, भले ही वह "शिक्षक" एक ब्लैक बॉक्स हो (आप उसके मस्तिष्क के अंदर नहीं देख सकते, आप केवल उसके उत्तर देखते हैं)।

परिणाम
टीम ने तीन कठिन कार्यों पर DistIL का परीक्षण किया:

वैज्ञानिक तर्क (Scientific Reasoning): (जीव विज्ञान, रसायन विज्ञान, भौतिकी)। DistIL पिछले तरीकों की तुलना में तेजी से और अधिक स्थिरता से सीखा, जो समय के साथ भ्रमित और अस्थिर हो जाते थे।
कोडिंग: जब AI को ऐसा कोड लिखना था जो वास्तव में चलता हो, तो DistIL ने केवल अंतिम "पास/फेल" देखने वाले तरीकों की तुलना में एरर लॉग का उपयोग करके बेहतर सुधार किया।
कठिन गणित: अत्यंत कठिन गणितीय समस्याओं पर जहाँ AI आमतौर पर पूरी तरह विफल हो जाता है, DistIL सही समाधानों से सीखने और अपनी सफलता दर में महत्वपूर्ण सुधार करने में सक्षम रहा, जबकि अन्य विधियाँ सुधार करने में भी विफल रहीं।

सारांश में
यह पेपर DistIL को पेश करता है, जो केवल अंतिम ग्रेड के बजाय विस्तृत फीडबैक (जैसे एरर लॉग या चरण-दर-चरण संकेत) का उपयोग करके AI मॉडलों को सिखाने का एक नया तरीका है। यह मौजूदा विधियों की खामियों को ठीक करता है क्योंकि यह सुनिश्चित करता है कि AI हमेशा सही दिशा में सीखता है और शुरुआती गलतियों को उनके बाद के परिणामों से जोड़ता है। परिणाम यह है कि एक AI जो तेजी से, अधिक स्थिरता से सीखता है और कठिन समस्याओं को हल करता है।

तकनीकी सारांश: डिस्ट्रीब्यूशनल DAgger के साथ समृद्ध फीडबैक से सुदृढीकरण शिक्षण (Reinforcement Learning)

समस्या का निरूपण

यह शोध पत्र तर्क मॉडल प्रशिक्षण (reasoning model training) के प्रमुख प्रतिमान: 'वेरिफिएबल रिवॉर्ड्स से सुदृढीकरण शिक्षण' (RLVR) की सीमाओं को संबोधित करता है। RLVR में, मॉडल कई संभावित समाधान उत्पन्न करते हैं, और प्रत्येक को अंतिम उत्तर के आधार पर एक एकल बाइनरी रिवॉर्ड (सही/गलत) दिया जाता है। यह दृष्टिकोण दो गंभीर दोषों से ग्रस्त है:

खराब क्रेडिट असाइनमेंट (Poor Credit Assignment): टर्मिनल रिवॉर्ड को प्रतिक्रिया के सभी टोकन में समान रूप से प्रसारित किया जाता है, जिससे यह अंतर करने में विफलता होती है कि किन विशिष्ट तर्क चरणों ने सफलता या विफलता में योगदान दिया।
अवेरिफिएबल डोमेन में अनुपयुक्तता: RLVR अंतिम उत्तरों के स्वचालित सत्यापन पर निर्भर करता है, जो इसे उन कार्यों के लिए अनुपयुक्त बनाता है जहाँ ग्राउंड-ट्रुथ उत्तर उपलब्ध नहीं हैं या जाँचने में कठिन हैं।

जबकि कई सेटिंग्स "समृद्ध फीडबैक" (जैसे निष्पादन ट्रेस, त्रुटि लॉग, विशेषज्ञ सुधार, या स्व-मूल्यांकन) प्रदान करती हैं, वर्तमान विधियाँ जो ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (जैसे SDPO, OPSD) के माध्यम से इसका लाभ उठाने का प्रयास करती हैं, वे सैद्धांतिक और व्यावहारिक बाधाओं का सामना करती हैं। मौजूदा दृष्टिकोण आमतौर पर छात्र नीति (student policy) और फीडबैक-कंडीशन्ड शिक्षक नीति (teacher policy) के बीच $f$ -डाइवर्जेंस (जैसे रिवर्स KL या जेन्सन-शैनन) को कम करने का प्रयास करते हैं। लेखक तर्क देते हैं कि ये विधियाँ निरंतर नीति सुधार (monotonic policy improvement) की गारंटी नहीं देती हैं और अनुक्रम-स्तरीय क्रेडिट असाइनमेंट करने में विफल रहती हैं, जो अक्सर उप-इष्टतम अभिसरण (suboptimal convergence) की ओर ले जाती हैं।

कार्यप्रणाली: DistIL

लेखक DistIL (डिस्ट्रीब्यूशनल इमिटेशन लर्निंग) प्रस्तावित करते हैं, जो समृद्ध फीडबैक के साथ सुदृढीकरण शिक्षण के लिए अनुकूलित क्लासिक DAgger एल्गोरिदम का एक डिस्ट्रीब्यूशनल संस्करण है।

मुख्य उद्देश्य

DistIL छात्र नीति ( $\pi_\theta$ ) और छात्र द्वारा विज़िट किए गए स्टेट्स पर फीडबैक-कंडीशन्ड शिक्षक नीति ( $\pi_T$ ) के बीच एक फॉरवर्ड क्रॉस-एन्ट्रॉपी लॉस को ऑप्टिमाइज़ करता है:
$\mathcal{L}_{\text{DistIL}}(\theta) := \mathbb{E}_{x \sim \rho, y \sim \pi_\theta(\cdot|x)} \left[ \sum_{t=1}^H H_\times(\pi_T(\cdot | s_t), \pi_\theta(\cdot | s_t)) \right]$
जहाँ $H_\times(p, q) = -\mathbb{E}_{y \sim p}[\log q(y)]$ फॉरवर्ड क्रॉस-एन्ट्रॉपी है। महत्वपूर्ण रूप से, शिक्षक $\pi_T$ समृद्ध फीडबैक $f$ (जैसे निष्पादन लॉग या ग्राउंड ट्रुथ) पर कंडिशन किया गया है, लेकिन छात्र अपडेट के दौरान इसे स्थिर रखा जाता है।

ग्रेडिएंट और क्रेडिट असाइनमेंट

पिछले सेल्फ-डिस्टिलेशन तरीकों के विपरीत जो केवल स्थानीय टोकन-वाइज विसंगतियों (जो प्रभावी रूप से स्टेट डिस्ट्रीब्यूशन को फ्रीज कर देती हैं) का उपयोग करके ग्रेडिएंट का अनुमान लगाते हैं, DistIL पूर्ण ग्रेडिएंट्स (full gradients) का उपयोग करता है। ग्रेडिएंट दो भागों में विभाजित होता है:

लोकल इमिटेशन: एक शिक्षक-वेटेड टर्म जो छात्र को वर्तमान स्टेट पर शिक्षक के डिस्ट्रीब्यूशन से मेल खाने के लिए अपडेट करता है।
फ्यूचर-अवेयर क्रेडिट असाइनमेंट: एक टर्म जो भविष्य के टाइमस्टेप्स पर देखे गए क्रॉस-एन्ट्रॉपी मतभेद को पिछले निर्णयों तक वापस प्रसारित करता है। यह सुनिश्चित करता है कि शुरुआती टोकन विकल्प, जो उच्च शिक्षक-छात्र असहमति वाले पथ की ओर ले जाते हैं, उन्हें उचित क्रेडिट या दंड प्राप्त हो।
एल्गोरिदम ब्लैक-बॉक्स शिक्षकों (बाहरी मॉडल या मानव विशेषज्ञ) का समर्थन करता है क्योंकि इसे शिक्षक के लॉग-प्रोबेबिलिटी तक पहुँच की आवश्यकता नहीं है, केवल सैंपल्स या ऑब्जेक्टिव का अनुमान लगाने की क्षमता आवश्यक है।

मुख्य योगदान

1. मौजूदा विधियों की सैद्धांतिक सीमाएँ

यह शोध पत्र औपचारिक प्रमाण प्रदान करता है कि $f$ -डाइवर्जेंस (रिवर्स KL और जेसन-शैनन सहित) पर आधारित मौजूदा ऑन-पॉलिसी सेल्फ-डिस्टिलेशन ऑब्जेक्टिव दो मौलिक समस्याओं से ग्रस्त हैं:

कोई मोनोटोनिक इम्प्रूवमेंट गारंटी नहीं: भले ही शिक्षक का अपेक्षित रिवॉर्ड छात्र से अधिक हो, $f$ -डाइवर्जेंस को कम करने से यह गारंटी नहीं मिलती कि नेचुरल ग्रेडिएंट स्टेप छात्र के अपेक्षित रिवॉर्ड को बढ़ाएगा। लॉग-रेशियो द्वारा वेटिंग के कारण अपडेट की दिशा अनजाने में उप-इष्टतम कार्यों की संभावना बढ़ा सकती है।
लोकल एप्रोक्सिमेशन के माध्यम से उप-इष्टतम अभिसरण: "फ्यूचर-क्रेडिट" टर्म (वर्तमान कार्यों का भविष्य के स्टेट डिस्ट्रीबशन पर प्रभाव) को अनदेखा करके, स्थानीय ग्रेडिएंट एप्रोक्सिमेशन स्पष्ट रूप से उप-इष्टतम नीतियों पर अभिसरण कर सकते हैं। लेखक सिद्ध करते हैं कि सरल दो-स्टेप MDPs में, स्थानीय अपडेट उन शुरुआती निर्णयों को क्रेडिट देने में विफल हो सकते हैं जो उच्च-रिवॉर्ड स्टेट्स तक पहुँचने के लिए महत्वपूर्ण हैं।

2. DistIL की सैद्धांतिक गारंटी

DistIL के पास ऐसे गुण हैं जो ऑप्टिमाइजेशन को रिवॉर्ड मैक्सिमाइजेशन के साथ संरेखित करते हैं:

मोनोटोनिक पॉलिसी इम्प्रूवमेंट: मानक लोकल रियलिजेबिलिटी धारणाओं के तहत, फॉरवर्ड क्रॉस-एन्ट्रॉपी ऑब्जेक्टिव यह गारंटी देता है कि एक बेहतर शिक्षक की ओर बढ़ने से छात्र का अपेक्षित रिवॉर्ड बढ़ता है।
रिग्रेट बाउंड्स (Regret Bounds): एल्गोरिदम एक सबलीनियर रिग्रेट बाउंड स्वीकार करता है, जिसका अभिसरण दर कंसेंट्रैबिलिटी गुणांकों और शिक्षक के वेरिएंस पर निर्भर करता है।
Pass@N ऑप्टिमाइजेशन: यह सिद्ध किया गया है कि ऑब्जेक्टिव टीचर-वेटेड लाइकलीहुड ऑफ सक्सेस के निचले स्तर (lower bound) को मैक्सिमाइज करता है। यह एक सिद्धांतपूर्ण स्पष्टीकरण प्रदान करता है कि क्यों DistIL सभी $N$ के लिए Pass@N मेट्रिक्स (N सैंपल्स में से कम से कम एक सही उत्तर उत्पन्न करने की संभावना) में सुधार करता है।

3. अनुभवजन्य प्रदर्शन (Empirical Performance)

DistIL का मूल्यांकन तीन डोमेन में किया गया:

वैज्ञानिक तर्क (Scientific Reasoning): SciKnowEval (रसायन विज्ञान, भौतिकी, जीव विज्ञान, सामग्री विज्ञान) पर, DistIL ने SDPO, GRPO (ऑन-पॉलिसी और ऑफ-पॉलिसी) को पछाड़ दिया और उच्च Best@16 और Maj@16 स्कोर प्राप्त किया। विशेष रूप से, DistIL ने स्थिर प्रशिक्षण दिखाया, जबकि SDPO ने कुछ डोमेन में महत्वपूर्ण दोलन (oscillations) और प्रदर्शन पतन प्रदर्शित किया।
कोडिंग: LiveCodeBench पर, निष्पादन ट्रेस (execution traces) को फीडबैक के रूप में उपयोग करते हुए, DistIL ने सटीक शुद्धता (exact correctness) और आंशिक सटीकता (partial accuracy) दोनों में SDPO और GRPO को पछाड़ दिया।
कठिन गणितीय तर्क (Hard Mathematical Reasoning): चुनौतीपूर्ण समस्याओं (AIME, HMT) पर, जहाँ बेस मॉडल की पास रेट शून्य है, RLVR विधियाँ (GRPO) शून्य एडवांटेज सिग्नल के कारण सुधार करने में विफल रहीं। DistIL ने प्रदर्शन में सुधार करने के लिए ग्राउंड-ट्रुथ समाधानों का सफलतापूर्वक लाभ उठाया, जिससे यह सेल्फ-डिस्टिलेशन बेसलाइन्स (SDPO, OPSD) और SFT से बेहतर साबित हुआ।

महत्व और दावे

यह शोध पत्र दावा करता है कि DistIL, समृद्ध फीडबैक से सीखने के लिए एक सैद्धांतिक रूप से स्थापित ढांचा प्रदान करके इमिटेशन लर्निंग और सुदृढीकरण शिक्षण के बीच के अंतर को पाटता है। इसका महत्व निम्नलिखित में निहित है:

ऑब्जेक्टिव को ठीक करना: $f$ -डाइवर्जेंस मिनिमाइजेशन (जो रिवॉर्ड-मिसअलाइन्ड हो सकता है) से हटकर फॉरवर्ड क्रॉस-एन्ट्रॉपी की ओर बढ़ना, जो एक बेहतर शिक्षक होने पर मोनोटोनिक सुधार की गारंटी देता है।
अनुक्रम-स्तरीय शिक्षण को सक्षम बनाना: पूर्ण ग्रेडिएंट्स का उपयोग करके, DistIL लॉन्ग-होरिज़न रीजनिंग में निहित क्रेडिट असाइनमेंट समस्या को हल करता है, यह सुनिश्चित करता है कि शुरुआती निर्णयों का मूल्यांकन उनके डाउनस्ट्रीम परिणामों के आधार पर किया जाए।
व्यावहारिक मजबूती: यह विधि ब्लैक-बॉक्स शिक्षकों और विविध फीडबैक प्रकारों (बाइनरी करेक्टनेस से लेकर निष्पादन लॉग तक) के साथ काम करती है, जो इसे मानक RLVR की तुलना में तर्क कार्यों की एक विस्तृत श्रृंखला के लिए लागू करने योग्य बनाती है।

लेखकों का निष्कर्ष है कि रिवॉर्ड-अलाइन्ड ऑब्जेक्टिव और फ्यूचर-अवेयर क्रेडिट असाइनमेंट का संयोजन समृद्ध फीडबैक को रीजनिंग मॉडल्स में प्रभावी ढंग से डिस्टिल करने के लिए आवश्यक है, जो अत्याधुनिक बेसलाइन्स पर निरंतर अनुभवजन्य लाभ की ओर ले जाता है।