🤖 machine learning

Localizing Credit at the Divergence: Path-Conditioned Self-Distillation for LLM Reasoning

यह शोध पत्र हिंडसाइट सेल्फ-डिस्टिलेशन (HSD) का प्रस्ताव करता है, जो एक ऐसी विधि है जो महत्वपूर्ण विचलन बिंदुओं पर सघन, पथ-विशिष्ट मार्गदर्शन प्रदान करने के लिए सफल पीयर रोलआउट्स पर एक टीचर मॉडल को कंडिशन करके लंबे रीजनिंग ट्रेसेस में टोकन-स्तरीय क्रेडिट असाइनमेंट में सुधार करती है, जिससे गणित और कोड बेंचमार्क पर मौजूदा सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) और डिस्टिलेशन बेसलाइनों से बेहतर प्रदर्शन होता है।

मूल लेखक: Yu Li, Shu Hong, Tian Lan

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yu Li, Shu Hong, Tian Lan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक छात्र को एक जटिल गणितीय समस्या हल करना सिखा रहे हैं। आप उन्हें एक प्रश्न देते हैं, और वे कागज पर एक लंबी, चरण-दर-चरण तर्क प्रक्रिया लिखते हैं। बिल्कुल अंत में, वे एक अंतिम उत्तर लिखते हैं।

समस्या: "मौन शिक्षक" (The Silent Teacher)
पारंपरिक AI प्रशिक्षण (विशेष रूप से एक विधि जिसे 'रीइन्फोर्समेंट लर्निंग' कहा जाता है) में, शिक्षक केवल अंतिम उत्तर को देखता है।

यदि उत्तर गलत है, तो शिक्षक कहता है, "बुरा काम किया," और पूरे निबंध के लिए एक ही "थम्स डाउन" (अंगूठा नीचे) देता है।
छात्र को यह पता नहीं चलता कि वह कहाँ गलत हुआ। क्या उसने पहले चरण में गलती की? बीच में? या बस आखिरी गणना में?
क्योंकि शिक्षक केवल अंतिम परिणाम देखता है, इसलिए वह तर्क प्रक्रिया के लंबे, भ्रमित करने वाले मध्य भागों के दौरान "मौन" रहता है। वह उस विशिष्ट वाक्य की ओर इशारा नहीं कर सकता जहाँ उसका तर्क टूट गया।
यह उन कार्यों के लिए विशेष रूप से बुरा है जहाँ उत्तर बहुत छोटा होता है (जैसे कि एक एकल संख्या)। यदि उत्तर केवल "42" है, तो शिक्षक के पास यह जानने का कोई तरीका नहीं है कि छात्र द्वारा लिखे गए 500 शब्दों में से कौन सा शब्द उस संख्या तक ले गया, या किस शब्द ने गलती की।

पुराना समाधान: "उत्तर-आधारित" डिस्टिलेशन (Answer-Conditioned Distillation)
शोधकर्ताओं ने एक स्मार्ट दृष्टिकोण आज़माया जिसे "सेल्फ-डिस्टिलेशन" कहा जाता है। यहाँ, AI दो भूमिकाएँ निभाता है:

छात्र: बिना किसी मदद के समस्या को हल करने का प्रयास करता है।
शिक्षक: सही अंतिम उत्तर को जानते हुए समस्या को हल करने का प्रयास करता है।

विचार यह है कि यदि शिक्षक जानता है कि उत्तर "42" है, तो वह छात्र का बेहतर मार्गदर्शन कर सकता है। लेकिन शोध में एक दोष पाया गया: यदि उत्तर केवल एक छोटी संख्या है, तो शिक्षक को अभी भी यह नहीं पता कि वहाँ तक कैसे पहुँचना है। शिक्षक मध्य चरणों के दौरान मौन रहता है क्योंकि अंतिम उत्तर पथ के बारे में पर्याप्त संकेत नहीं देता है। यह एक हाइकर (पर्वतारोही) को बताने जैसा है कि, "शिखर पहाड़ के ऊपर है," लेकिन उसे रास्ता नहीं दिखाना। हाइकर अभी भी जंगल में खो जाता है।

नया समाधान: "हाइंडसाइट सेल्फ-डिस्टिलेशन" (Hindsight Self-Distillation - HSD)
लेखक एक चतुर नई तकनीक प्रस्तावित करते हैं जिसे हाइंडसाइट सेल्फ-डिस्टिलेशन कहा जाता है। केवल अंतिम उत्तर को देखने के बजाय, शिक्षक एक सफल साथी (successful peer) को देखता है।

यह इस प्रकार काम करता है:

शिक्षक 8 छात्रों (AI 8 अलग-अलग प्रयास उत्पन्न करता है) से एक ही समस्या को हल करने के लिए कहता है।
7 छात्र विफल होते हैं। 1 छात्र सफल होता है।
शिक्षक सफल छात्र के पूरे निबंध को लेता है और उसे विफल छात्रों को दिखाता है।
शिक्षक कहता है: "छात्र #4 को देखें। उन्होंने सही उत्तर प्राप्त किया। आप दोनों (छात्र #1 और #2) पहले 50 शब्दों के लिए छात्र #4 के ठीक उसी पथ का अनुसरण कर रहे थे। लेकिन, शब्द 51 पर, आपने गलत मोड़ लिया। यहीं पर आपको अपनी सोच बदलने की आवश्यकता है।"

यह क्यों काम करता है (वह "विचलन" का क्षण)
जादू विचलन बिंदु (divergence point) पर होता—वह सटीक क्षण जहाँ असफल छात्र का पथ सफल छात्र के पथ से अलग हो जाता है।

विभाजन से पहले: शिक्षक शांत रहता है क्योंकि दोनों छात्र एक ही काम कर रहे थे।
विभादन के समय: शिक्षक चिल्लाता है, "रुको! सफल पथ को देखो! तुम बाईं ओर गए, लेकिन तुम्हें दाईं ओर जाना चाहिए था!"
विभाजन के बाद: शिक्षक का मार्गदर्शन फीका पड़ जाता है क्योंकि असफल छात्र अब एक पूरी तरह से अलग ट्रैक पर है।

यह AI को प्रत्येक शब्द के लिए एक सटीक "क्रेडिट स्कोर" देता है। यह AI को बताता है कि ठीक किस शब्द ने विफलता का कारण बना, बजाय इसके कि केवल यह कहे कि "पूरा निबंध खराब था।"

परिणाम
शोधकर्ताओं ने गणित और कोडिंग की समस्याओं का उपयोग करके दो शक्तिशाली AI मॉडल (Qwen3-8B और Qwen3-32B) पर इसका परीक्षण किया।

परीक्षण: उन्होंने AIME (गणित प्रतियोगिताओं) जैसे कठिन बेंचमार्क का उपयोग किया जहाँ उत्तर छोटी संख्याएँ होती हैं।
परिणाम: HSD ने हर अन्य विधि को हरा दिया, जिसमें मानक "थम्स अप/डाउन" विधियाँ और पुराने "केवल उत्तर" वाले शिक्षक विधियाँ शामिल हैं।
बड़ी जीत: सुधार सबसे कठिन, छोटे-उत्तर वाले कार्यों पर सबसे अधिक था। यह साबित करता है कि AI को एक "सफल साथी के पथ" के साथ तुलना करने के लिए देना, केवल अंतिम उत्तर देने की तुलना में बहुत बेहतर है।

सारांश में
केवल अंतिम परीक्षा का ग्रेड देने के बजाय, यह विधि AI को अपने ही सत्र में किए गए एक सफल प्रयास के विरुद्ध अपने असफल प्रयासों की तुलना करके सीखने की अनुमति देती है। यह उस सटीक क्षण को उजागर करता है जहाँ तर्क पटरी से उतर गया था, जिससे AI अधिक तेज़ी से और अधिक सटीकता से सीख सकता है।

तकनीकी सारांश: विचलन पर क्रेडिट का स्थानीयकरण (Localizing Credit at the Divergence)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वेरिफिएबल रिवॉर्ड्स से रिइन्फोर्समेंट लर्निंग (RLVR) में एक मौलिक बाधा को संबोधित करता है: टोकन-स्तरीय क्रेडिट असाइनमेंट (token-level credit assignment)।

मानक RLVR पाइपलाइनों (जैसे, GRPO) में, रोलआउट्स का एक समूह सैंपल किया जाता है, एक वेरीफायर द्वारा स्कोर किया जाता है, और एक स्केलर एडवांटेज के आधार पर अपडेट किया जाता है। यह स्केलर पूरी ट्राजेक्टरी (trajectory) के प्रत्येक टोकन के लिए समान होता है। फलस्वरूप, जबकि मॉडल यह सीखता है कि एक ट्राजेक्टरी विफल रही, वह यह पहचानने में असमर्थ रहता है कि विफलता का मूल स्रोत कहाँ था। एक लंबी रीजनिंग ट्रेस (reasoning trace) में एक सही सेटअप, एक एकल त्रुटिपूर्ण बीजगणितीय चरण (algebraic step), और उस त्रुटि से प्राप्त अंतिम उत्तर हो सकता है; स्केलर पूरे अनुक्रम (sequence) को समान रूप से मानता है, और विशिष्ट विचलन बिंदु (point of divergence) को दंडित करने में विफल रहता है।

ऑन-पॉलिसी सेल्फ-डिस्टिलेशन (On-policy self-distillation) इसे इस रूप में हल करने का प्रयास करता है कि मॉडल को छात्र (प्रॉम्ट के आधार पर) और शिक्षक (प्रॉम्ट प्लस विशेषाधिकार प्राप्त संदर्भ, आमतौर पर ग्राउंड-ट्रुथ उत्तर $a^\star$ के आधार पर) दोनों के रूप में उपयोग किया जाए। शिक्षक और छात्र वितरणों के बीच कलबैक-लीब्लर (KL) डाइवर्जेंस एक सघन (dense), प्रति-टोकन ग्रेडिएंट प्रदान करता है।

हालाँकि, लेखक विशेषाधिकार प्राप्त संदर्भ ( $c = a^\star$ ) के मानक चयन में एक महत्वपूर्ण दोष की पहचान करते हैं: एंडपॉइंट कॉन्टेक्स्ट बॉटलनेक (Endpoint Context Bottleneck)।

संक्षिप्त उत्तरों (terse answers) वाले कार्यों पर (जैसे, AIME, जहाँ उत्तर 3-अंकों की संख्या है), ग्राउंड-ट्रूथ उत्तर केवल अंतिम टोकन स्पैन को ही सीमित करता है।
यह उस मध्यवर्ती रीजनिंग पथ (reasoning path) के बारे में कोई जानकारी प्रदान नहीं करता जो उस उत्तर तक पहुँचने के लिए आवश्यक है।
अनुभवजन्य रूप से (Empirically), उत्तर-कंडीशन्ड शिक्षक अधिकांश रीजनिंग चेन में "साइलेंस" (निकट-शून्य प्रेडिक्टिव शिफ्ट) उत्पन्न करते हैं, जिसमें सिग्नल केवल अंतिम उत्तर के पास दिखाई देते हैं। यह मॉडल को ठीक उसी स्थान पर मार्गदर्शन के बिना छोड़ देता है जहाँ पथ-स्तरीय सुधार (path-level correction) की सबसे अधिक आवश्यकता होती है।

2. कार्यप्रणाली: हिंडसाइट सेल्फ-डिस्टिलेशन (Hindsight Self-Distillation - HSD)

लेखक हिंडसाइट सेल्फ-डिस्टिलेशन (HSD) का प्रस्ताव करते हैं, एक ऐसी विधि जो विशेषाधिकार प्राप्त संदर्भ को एक एंडपॉइंट (उत्तर) से बदलकर एक पथ (path) (एक सफल पीयर ट्राजेक्टरी) में स्थानांतरित करती है।

मुख्य तंत्र (Core Mechanism)

शिक्षक को केवल ग्राउंड-ट्रुथ उत्तर $a^\star$ पर कंडीशन करने के बजाय, HSD शिक्षक को एक सफल पीयर रोलआउट ( $o^+$ ) पर कंडीशन करता है, जो उसी ट्रेनिंग ग्रुप से लिया गया है, और उसके साथ उत्तर को भी शामिल करता है।

इनपुट: एक विफल रोलआउट $o_i$ के लिए, यदि समूह में एक सफल रोलआउट $o^+$ मौजूद है, तो शिक्षक को $c_i = (a^\star, o^+)$ पर कंडीशन किया जाता है।
फ़ालबैक (Fallback): यदि समूह में कोई भी पीयर सफल नहीं होता है ( $S_i = \emptyset$ ), तो यह विधि मानक एंडपॉइंट कॉन्टेक्स्ट $c_i = a^\star$ पर वापस लौट जाती है।
लागत: इसके लिए किसी अतिरिक्त सैंपलिंग की आवश्यकता नहीं है। सफल पीयर पहले से ही मानक ग्रुप-रिलेटिव सैंपलिंग प्रक्रिया (जैसे, GRPO का $G$ रोलआउट का समूह) के हिस्से के रूप में जेनरेट किया जा चुका होता है।

सैद्धांतिक औचित्य (Theoretical Justification)

आदर्श क्रेडिट: आदर्श प्रति-टोकन क्रेडिट उन टोकन का पक्ष लेना चाहिए जो अंततः वेरीफायर की सफलता की संभावना को बढ़ाते हैं।
पथ-स्तरीय जानकारी: एक सफल पीयर $o^+$ , सफलता-कंडीशन्ड पॉलिसी $\pi^+$ का एक सटीक सैंपल है। $o^+$ को कॉन्टेक्स्ट के रूप में प्रदान करके, शिक्षक को रीजनिंग पथ के पूर्ण सफल निरंतरता (continuation) तक पहुँच प्राप्त होती है।
स्थानीयकरण (Localization): जब एक विफल रोलआउट $o_i$ $o_{i}$ और एक सफल पीयर $o^+$ $o^{+}$ एक विचलन बिंदु $\tau$ $τ$ तक एक ही प्रीफिक्स साझा करते हैं:
- विचलन-पूर्व ( $t < \tau$ ): शिक्षक और छात्र एक ही प्रीफिक्स देखते हैं। यहाँ क्रेडिट निकट-शून्य होता है ("साइलेंस फ्लोर")।
- विचलन पर ( $t = \tau$ ): शिक्षक सफल निरंतरता $o^+_{\tau}$ देखता है, जबकि छात्र विफल टोकन जेनरेट करता है। KL डाइवर्जेंस में उछाल आता है, जिससे ठीक त्रुटि के बिंदु पर एक मजबूत, स्थानीयकृत ग्रेडिएंट सिग्नल बनता है।
- विचलन-पश्चात ( $t > \tau$ ): जैसे-जैसे छात्र का प्रीफिक्स प्रदर्शन (demonstration) से दूर होता जाता है, सिग्नल कम होता जाता है।

3. मुख्य योगदान (Key Contributions)

एंडपॉइंट कॉन्टेक्स्ट फेलियर का निदान: शोध पत्र प्रदर्शित करता है कि एंडपॉइंट-कंडीशन्ड सेल्फ-डिस्टिलेशन संक्षिप्त-उत्तर वाले बेंचमार्क पर विफल होता है क्योंकि उत्तर एक सूचनात्मक सीमा ( $\log V_k$ ) आरोपित करता है जो मध्यवर्ती रीजनिंग पथ को बाधित करने के लिए अपर्याप्त है। शिक्षक उन रीजनिंग स्टेप्स पर "शांत" रहता है जो सबसे महत्वपूर्ण हैं।
हिंडसाइट सेल्फ-डिस्टिलेशन (HSD): ट्रेनिंग लूप में एक न्यूनतम, एक-लाइन संशोधन जो शिक्षक को एक सफल पीयर ट्राजेक्टरी पर कंडीशन करता है। यह क्रेडिट असाइनमेंट परिदृश्य को बदल देता है, ग्रेडिएंट सिग्नल को विचलन स्थिति $\tau$ पर स्थानीयकृत करता है।
अनुभवजन्य सत्यापन (Empirical Validation): गणित (MATH, GSM8K, AIME) और कोड (APPS, LiveCodeBench) बेंचमार्क पर Qwen3-8B और Qwen3-32B पर नियंत्रित तुलना।
- HSD, GRPO वेरिएंट्स और ऑन-पॉलिसी डिस्टिलेशन बेसलाइन्स (OPSD, SDPO, RLSD) के मुकाबले स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त करता है।
- लाभ संक्षिप्त-उत्तर वाले कार्यों (जैसे, AIME) पर सबसे अधिक स्पष्ट हैं, जहाँ एंडपॉइंट कॉन्टेक्स्ट सबसे कमजोर होता है। उदाहरण के लिए, HSD, AIME-24 पर GRPO बेसलाइन से >5 पॉइंट्स और 32B मॉडल के लिए AIME-24 पर >7 पॉइंट्स अधिक बेहतर प्रदर्शन करता है।
- अनुभवजन्य क्रेडिट प्रोफाइल सिद्धांत की पुष्टि करता है: साझा प्रीफिक्स पर निकट-शून्य मान और विचलन बिंदु पर एक तीव्र उछाल।

4. परिणाम और विश्लेषण (Results and Analysis)

प्रदर्शन: HSD गणित और कोड बेंचमार्क पर दोनों मॉडल स्केल्स पर सभी बेसलाइन्स को पछाड़ता है। सबसे मजबूत नॉन-HSD बेसलाइन (GRPO और OPSD का हाइब्रिड) पर इसका सुधार निरंतर है, जो बताता है कि पथ-आधारित पर्यवेक्षण (path-based supervision), स्पार्स रिवॉर्ड्स और एंडपॉइंट डिस्टिलेशन के रैखिक संयोजन से परे मूल्य जोड़ता है।
क्रेडिट स्थानीयकरण: प्रति-टोकन क्रेडिट प्रोफाइल का विश्लेषण दिखाता है कि HSD विचलन बिंदु $\tau$ के ±8 टोकन के भीतर लगभग 55% क्रेडिट मास को केंद्रित करता है। इसके विपरीत, बेसलाइन विधियाँ (OPSD) क्रेडिट को समान रूप से फैला देती हैं या साइलेंस बैंड में रहती हैं।
कवरेज: HSD की प्रभावशीलता एक सफल पीयर की उपस्थिति पर निर्भर करती है। सफल पीयर होने की संभावना तब चरम पर होती है जब समूह की सफलता दर $p$ मध्यम होती है (समूह आकार 8 के लिए लगभग 0.25)। यह इस अवलोकन के अनुरूप है कि HSD, HumanEval+ (जहाँ सफलता दर उच्च है, जिससे कम विफल रोलआउट बचते हैं) की तुलना में AIME (जहाँ सफलता दर कम-से-मध्यम है) पर सबसे बड़े लाभ देता है।
कंप्यूट लागत: HSD, लंबे टीचर कॉन्टेक्स्ट के कारण प्रत्येक स्टेप पर OPSD की तुलना में मामूली ओवरहेड (लगभग 25% अधिक वॉल-क्लॉक टाइम) लेता है, लेकिन इसके लिए अतिरिक्त रोलआउट की आवश्यकता नहीं होती है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि वर्तमान ऑन-पॉलिसी डिस्टिलेशन की प्राथमिक सीमा डिस्टिलेशन की विधि नहीं, बल्कि विशेषाधिकार प्राप्त संदर्भ का चुनाव है। एक एंडपॉइंट कॉन्टेक्स्ट (उत्तर) से पथ कॉन्टेक्स्ट (सफल पीयर) की ओर बढ़कर, HSD बाहरी रिवॉर्ड मॉडल या अतिरिक्त सैंपलिंग की आवश्यकता के बिना क्रेडिट असाइनमेंट को स्थानीयकृत करने की क्षमता को अनलॉक करता है।

लेखक HSD को एक सरल, प्रभावी संशोधन के रूप में प्रस्तुत करते हैं जो संक्षिप्त-उत्तर वाले कार्यों पर शिक्षकों के "साइलेंस" को हल करता है। यह कार्य सुझाव देता है कि एक ही ट्रेनिंग ग्रुप के भीतर एक सफल पीयर का "हिंडसाइट" (hindsight) गहन, पथ-स्तरीय पर्यवेक्षण के लिए एक पर्याप्त और शक्तिशाली सिग्नल है, जो प्रभावी रूप से ग्रुप-रिलेटिव सैंपलिंग तंत्र को सघन, पथ-स्तरीय पर्यवेक्षण के स्रोत में बदल देता है।

स्वीकृत सीमाएँ (Limitations Acknowledged):

HSD एक सफल पीयर के अस्तित्व पर निर्भर करता है; यदि पूरा समूह विफल हो जाता है, तो यह कमजोर एंडपॉइंट सिग्नल पर वापस चला जाता है।
विधि का मूल्यांकन प्रोग्रामेटिक वेरीफायर वाले गणित और कोड पर किया गया है; शोर वाले रिवॉर्ड्स (noisy rewards), मल्टी-टर्न इंटरैक्शन, या इंस्ट्रक्शन-ट्यून्ड स्टार्टिंग पॉइंट्स पर इसकी प्रयोज्यता अभी स्थापित नहीं हुई है।
"हार्ड टेल" ऑफ डिफिकल्टी (जहाँ सफलता दर अत्यंत कम है) में कम कवरेज की समस्या हो सकती है, जो भविष्य के कार्यों के लिए एक संभावित क्षेत्र है जिसमें पिछले सफलताओं का बफरिंग शामिल हो सकता है।