💬 NLP

Escaping the KL Agreement Trap in On-Policy Distillation

यह शोध पत्र KAT प्रस्तुत करता है, जो ऑन-पॉलिसी डिस्टिलेशन (on-policy distillation) के लिए एक अनुकूलन योग्य टर्मिनेशन नियम है जो उन लो-केएल एग्रीमेंट ट्रैप्स (low-KL agreement traps) का पता लगाता है और उन्हें फ़िल्टर करता है जहाँ शिक्षक छात्र की त्रुटियों को सुधारने में विफल रहते हैं, जिससे रोलआउट लंबाई को कम करते हुए गणितीय तर्क सटीकता में महत्वपूर्ण सुधार होता है।

मूल लेखक: Haoran Xin, Anhao Zhao, Ying Sun, Jin Li, Xiaoyu Shen, Hui Xiong

प्रकाशित 2026-06-09

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Haoran Xin, Anhao Zhao, Ying Sun, Jin Li, Xiaoyu Shen, Hui Xiong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक युवा प्रशिक्षु (छात्र) को जटिल गणितीय पहेलियाँ हल करना सिखा रहे हैं। आपके पास एक मास्टर विशेषज्ञ (शिक्षक) है जो छात्र के काम को चरण-दर-चरण देखता है।

मानक पद्धति में, जिसका इस शोध पत्र में वर्णन किया गया है, छात्र अपना पूरा समाधान शुरू से अंत तक लिखता है। फिर शिक्षक छात्र द्वारा लिखे गए हर एक शब्द को ग्रेड देता है, चाहे उत्तर की शुरुआत कितनी भी मूर्खतापूर्ण या गलत क्यों न रही हो।

समस्या: "एग्रीमेंट ट्रैप" (सहमति का जाल)

शोधकर्ताओं ने इस पद्धति में एक चालाकी भरी समस्या खोजी है, जिसे वे "लो-केएल एग्रीमेंट ट्रैप" (Low-KL Agreement Trap) कहते हैं।

यह इस प्रकार होता है:

गलती: छात्र शुरुआत में एक छोटी सी त्रुटि करता है (जैसे भूलभुलैया में गलत रास्ता चुन लेना)।
जाल: क्योंकि अब छात्र एक गलत रास्ते पर फंस गया है, शिक्षक उन्हें सुधारना बंद कर देता है। इसके बजाय, शिक्षक बातचीत जारी रखने के लिए उस क्षण में छात्र जो कुछ भी कह रहा है, उससे सहमत होने लगता है।
- उपमा: कल्पना कीजिए कि छात्र कहता है, "आसमान हरा है।" एक अच्छा शिक्षक कहेगा, "नहीं, आसमान नीला है।" लेकिन इस जाल में, शिक्षक सोचता है, "खैर, अगर आसमान हरा है, तो घास नीली होनी चाहिए," और वह तर्क से सहमत हो जाता है।
धोखा: क्योंकि शिक्षक छात्र के गलत तर्क से सहमत हो रहा है, उनके उत्तरों के बीच की "दूरी" (जिसे KL divergence कहा जाता है) बहुत कम हो जाती है।
बर्बादी: कंप्यूटर इसे देखकर सोचता है, "शानदार! वे पूरी तरह से सहमत हैं! यह उच्च-गुणवत्ता वाली सीख है!" और इस तरह यह उन बेकार शब्दों पर प्रशिक्षण देना जारी रखता है। छात्र अपने ही चक्रव्यूह में घूमता रहता है, और शिक्षक बस सिर हिलाकर सहमति जताता रहता है, जिससे समय और ऊर्जा बर्बाद होती है।

शोध पत्र इसे एक "ट्रैप" (जाल) कहता है क्योंकि सिस्टम डिजेनरेट एग्रीमेंट (degenerate agreement) के लूप में फंस जाता है—यानी सही उत्तर को सुधारने के बजाय गलत उत्तर पर सहमति जताना।

समाधान: KAT (एक "स्टॉप साइन")

इसे ठीक करने के लिए, लेखकों ने एक नया नियम बनाया जिसे KAT (KL Agreement Trap Termination) कहा जाता है। KAT को एक स्मार्ट "स्टॉप साइन" (रोकने का संकेत) के रूप में समझें।

छात्र को पूरा उत्तर लिखने देने के बजाय, KAT वास्तविक समय में शिक्षक और छात्र के बीच की "दूरी" पर नज़र रखता है।

वॉचडॉग (निगरानीकर्ता): KAT इस बात की निगरानी करता है कि क्या शिक्षक और छात्र बहुत आसानी से और बहुत लंबे समय तक एक-दूसरे से सहमत हो रहे हैं।
ट्रिगर: यदि वे कुछ सेकंड तक लगातार गलत शब्दों पर सहमत होते हैं, तो KAT समझ जाता है, "ओह नहीं, हम जाल में फंस गए हैं!"
कार्रवाई: KAT तुरंत ब्रेक लगा देता है। यह उत्तर के बाकी हिस्से को काट देता है। छात्र लिखना बंद कर देता है, और कंप्यूटर उस शेष टेक्स्ट को हटा देता है।

महत्वपूर्ण बात यह है कि KAT उत्तरों को किसी यादृच्छिक लंबाई पर नहीं काटता है (जैसे "100 शब्दों के बाद रुकें")। यह केवल तभी रुकता है जब यह पता चलता है कि शिक्षक ने छात्र को सुधारने के बजाय बस उसकी गलती से mindless सहमति देना शुरू कर दिया है।

परिणाम: तेज़ और स्मार्ट

इस शोध पत्र ने गणित की समस्याओं पर इसका परीक्षण किया और प्रभावशाली परिणाम पाए:

बेहतर ग्रेड: छात्र तेज़ी से सीखे और उनके स्कोर बेहतर हुए (लगभग 2.6% से 3.4% बेहतर) क्योंकि वे अपनी गलतियों पर अभ्यास करके समय बर्बाद नहीं कर रहे थे।
कम बर्बाद समय: छात्रों द्वारा लिखे गए उत्तरों की औसत लंबाई लगभग 60% कम हो गई। सिस्टम ने उस "फालतू बातों" और "बकवास" को रोकना शुरू कर दिया जो गलती के बाद उत्पन्न होती है।
दक्षता: इसने कंप्यूटिंग पावर की भारी बचत की (लग लगभग 60% कम), क्योंकि इसे उत्तरों के बेकार हिस्सों को प्रोसेस करने की आवश्यकता नहीं पड़ी।

सारांश

सरल शब्दोंми में, शोध पत्र कहता है: शिक्षक को केवल इसलिए छात्र की गलतियों पर सिर हिलाकर सहमति नहीं देनी चाहिए क्योंकि वे "सहमत" हो रहे हैं। यदि शिक्षक और छात्र एक गलत रास्ते पर सहमत होने के लूप में फंस जाते हैं, तो पाठ को तुरंत रोक दें। गलत हिस्सों को जल्दी काटकर, छात्र बेहतर, तेज़ और कम ऊर्जा के साथ सीखता है।

तकनीकी सारांश: ऑन-पॉलिसी डिस्टिलेशन में KL एग्रीमेंट ट्रैप से बचना

1. समस्या की परिभाषा

ऑन-पॉलिसी डिस्टिलेशन (OPD) छात्र मॉडल (student models) को बड़े शिक्षक मॉडल (teacher models) की क्षमताओं को स्थानांतरित करने के लिए एक शक्तिशाली विधि के रूप में उभरा है, जो छात्र द्वारा उत्पन्न रोलआउट्स (rollouts) पर सघन, टोकन-स्तरीय पर्यवेक्षण (token-level supervision) प्रदान करता है। हालाँकि, यह शोध पत्र एक महत्वपूर्ण विफलता मोड की पहचान करता है जिसे लो-KL एग्रीमेंट ट्रैप (low-KL agreement trap) कहा जाता है।

मानक OPD में, छात्र और शिक्षक के बीच कम रिवर्स कुलबैक-लीब्लर (KL) डाइवर्जेंस को आमतौर पर प्रगति या संरेखण (alignment) के संकेत के रूप में देखा जाता है। लेखक देखते हैं कि जैसे-जैसे छात्र का रोलआउट आगे बढ़ता है, यह एक "करप्टेड प्रीफिक्स" (corrupted prefix) (जैसे, शुरुआती तर्क त्रुटि या एक दोहराव वाला क्षय पैटर्न) में जा सकता है। इस बिगड़े हुए स्टेट के आधार पर, शिक्षक मॉडल ऐसे निरंतरता (continuations) उत्पन्न कर सकता है जो स्थानीय रूप से तो तर्कसंगत लग सकते हैं लेकिन सूचनात्मक नहीं होते, जिसके परिणामस्वरूप कम KL डाइवर्जेंस प्राप्त होता है। यह एक अपभ्रष्ट सहमति (degenerate agreement) बनाता है: शिक्षक और छात्र सहमत तो हैं, लेकिन सिग्नल कमजोर है क्योंकि शिक्षक छात्र की त्रुटि को सुधारने के बजाय केवल छात्र की त्रुटि का ही अनुसरण कर रहा है।

यह शोध पत्र तर्क देता है कि मौजूदा OPD विधियाँ पूरे रोलआउट को उपयोगी पर्यवेक्षण मानती हैं। फलस्वरूप, वे उन टोकनों पर गणना व्यर्थ करती हैं जो ट्रैप में प्रवेश करने के बाद आते हैं, जहाँ पर्यवेक्षण सिग्नल या तो बहुत हल्का हो जाता है या हानिकारक होता है, जिससे अनुकूलन प्रक्रिया (optimization process) गलत दिशा में जा सकती है।

2. कार्यप्रणाली: KAT (KL एग्रीमेंट ट्रैप टर्मिनेशन)

इसे संबोधित करने के लिए, लेखक KAT का प्रस्ताव करते हैं, जो एक ऑनलाइन रोलआउट टर्मिनेशन नियम है जिसे मूल OPD ऑब्जेक्टिव को बदले बिना या किसी सहायक मॉडल की आवश्यकता के बिना, इन अपभ्रष्ट सहमति क्षेत्रों का पता लगाने और उन्हें फ़िल्टर करने के लिए डिज़ाइन किया गया है।

मुख्य तंत्र:
KAT उसी रिवर्स KL डाइवर्जेंस ( $d_t$ ) का पुन: उपयोग करता है जो OPD प्रक्रिया के दौरान पहले से ही कंप्यूट किया जा चुका होता है। एक एकल टोकन के KL को थ्रेशोल्ड करने के बजाय, KAT $W$ टोकनों की एक विंडो के औसत KL के स्लाइडिंग-विंडो सांख्यिकी (sliding-window statistic) ( $z_t$ ) की निगरानी करता है।

अनुकूली थ्रेशोल्डिंग (Adaptive Thresholding):
यह पहचानते हुए कि प्रशिक्षण के दौरान KL डाइवर्जेंस का पैमाना बदलता रहता है, KAT एक गतिशील, डेटा-संचालित थ्रेशोल्ड ( $s_k$ ) का उपयोग करता है:

वॉर्मअप चरण (Warmup Phase): प्रारंभिक $K$ ऑप्टिमाइज़र स्टेप्स के दौरान, KAT पूर्ण हो चुके रोलआउट्स से न्यूनतम स्लाइडिंग-विंडिंग KL मानों ( $m(\hat{y})$ ) को एक FIFO बफर में एकत्र करता है।
कैलिब्रेशन (Calibration): वॉर्मअप के बाद, स्टॉपिंग थ्रेशोल्ड को बफर के हालिया मिनिमा के $(1-\eta)$ -क्वांटाइल के रूप में सेट किया जाता है। यह सुनिश्चित करता है कि नियम विकसित होते छात्र पॉलिसी और KL स्केल के अनुकूल हो सके।

टर्मिनेशन लॉजिक (Termination Logic):
एक रोलआउट को ऑनलाइन तब समाप्त कर दिया जाता है जब स्लाइडिंग-विंडो KL सांख्यिकी $T$ लगातार विंडोज़ के लिए अनुकूली थ्रेशोल्ड से नीचे रहती है। महत्वपूर्ण रूप से, KAT में एक छूट अवधि (exemption length $L_0$ ) शामिल है ताकि रोलआउट के प्रारंभिक चरण के दौरान समय से पहले समाप्ति को रोका जा सके जहाँ KL स्वाभाविक रूप से गिरता है। एक बार ट्रिगर की पुष्टि हो जाने के बाद, रोलआउट को पहले लो-KL विंडो के प्रारंभ में ही काट दिया जाता है, और आगे के टोकन जेनरेट या पर्यवेक्षण के लिए उपयोग नहीं किए जाते हैं।

3. मुख्य योगदान

यह शोध पत्र तीन प्राथमिक योगदान देता है:

लो-KL एग्रीमेंट ट्रैप की पहचान: लेखक OPD में एक विशिष्ट विफलता मोड का वर्णन करते हैं जहाँ निरंतर कम KL, लाभकारी संरेखण के बजाय एक "करप्टेड प्रीफिक्स" पर "अपभ्रष्ट सहमति" को दर्शाता है।
पर्यवेक्षण गुणवत्ता का विश्लेषण: ग्रेडिएंट ज्योमेट्री विश्लेषण (ग्रेडिएंट्स को प्रिंसिपल अपडेट सबस्पेस पर प्रोजेक्ट करके) और वोकैबुलरी विज़ुअलाइज़ेशन के माध्यम से, शोध पत्र प्रदर्शित करता है कि:
- "एग्रीमेंट" और "पोस्ट-एग्रीमेंट" चरणों में ग्रेडिएंट्स, प्रिंसिपल पैरामीटर अपडेट दिशाओं के साथ खराब संरेखण रखते हैं।
- इन क्षेत्रों में शिक्षक की वोकैबुलरी तर्क-संबंधी टोकनों से बदलकर स्थानीय सतही अंशों (local surface fragments) या सामान्य निरंतरता (generic continuations) में बदल जाती है।
- यदि ट्रैप के बाद KL थोड़ा बढ़ भी जाता है, तो भी पर्यवेक्षण की गुणवत्ता में सुधार नहीं होता है।
KAT का प्रस्ताव: एक अनुकूली, ऑनलाइन टर्मिनेशन नियम जो अनइंफॉर्मेटिव सफिक्स (uninformative suffixes) को फ़िल्टर करता है। यह केवल प्रति टोकन $O(1)$ बुककीपिंग के साथ, सूचनात्मक प्रीफिक्स पर अपडेट को केंद्रित करके प्रशिक्षण दक्षता और सटीकता में सुधार करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने दो छात्र स्केल्स (Qwen3-0.7B/1.6B और Qwen3-4B) और एक Qwen3-8B शिक्षक का उपयोग करके चार गणितीय तर्क बेंचमार्क (AMC, MATH500, MinervaMath, AIME24) पर KAT का मूल्यांकन किया।

प्रदर्शन लाभ:

सटीकता (Accuracy): KAT ने मानक OPD की तुलना में औसत avg@k सटीकता में 2.66% और pass@k में 3.43% का सुधार किया।
दक्षता (Efficiency): औसत रोलआउट लंबाई में 59.73% की कमी आई (लगभग 1480 से घटकर ~596 टोकन)।
प्रशिक्षण लागत (Training Cost): 4B छात्र पर, KAT ने मानक OPD की तुलना में प्रशिक्षण समय को 2.4x (26.28h से 11.00h) कम किया और कंप्यूट उपयोग को 59.4% कम किया।

तुलनात्मक विश्लेषण:

फिक्स्ड प्रीफिक्स के विरुद्ध: KAT ने फिक्स्ड-लेंथ ट्रंकेशन (जैसे, 1024 या 2048 टोकन) से बेहतर प्रदर्शन किया, यह प्रदर्शित करते हुए कि ट्रंकेशन पॉइंट की गुणवत्ता स्वयं लंबाई से अधिक महत्वपूर्ण है। फिक्स्ड प्रीफिक्स अक्सर उपयोगी तर्क को काट देते हैं या बेकार सफिक्स को बनाए रखते हैं।
रैंडम टर्मिनेशन के विरुद्ध: KAT ने रैंडम ट्रंकेशन से काफी बेहतर प्रदर्शन किया, जो पुष्टि करता है कि लो-KL सिग्नल केवल एक लेंथ मेट्रिक के बजाय कमजोर पर्यवेक्षण का एक विशिष्ट संकेतक है।
एब्लेशन (Ablation): प्रशिक्षण से "एग्रीमेंट" और "पोस्ट-एग्रीमेंट" चरणों को हटाने (जैसा कि KAT करता है) से शामिल करने की तुलना में उच्च सटीकता प्राप्त हुई, जो यह प्रमाणित करता है कि ये क्षेत्र कमजोर या हानिकारक सिग्नल प्रदान करते हैं।

5. महत्व और दावे

शोध पत्र का दावा है कि KAT, यह मौलिक रूप से पुनर्विचार करके कि पर्यवेक्षण सिग्नल्स का उपयोग कैसे किया जाए, ऑन-पॉलिसी डिस्टिलेशन के लिए एक अधिक प्रभावी और कुशल दृष्टिकोण प्रदान करता है। यह पहचानकर कि लो KL हमेशा सौम्य (benign) नहीं होता है, यह विधि अनइंफॉर्मेटिव टोकनों के साथ लर्निंग सिग्नल के क्षरण को रोकती है।

लेखक इस बात पर जोर देते हैं कि KAT इन लाभों को OPD ऑब्जेक्टिव को बदले बिना या नए लॉस फंक्शन्स या सहायक मॉडल्स को पेश किए बिना प्राप्त करता है। यह ऑनलाइन, अनुकूली निर्णय लेने के लिए मौजूदा रिवर्स KL गणना का लाभ उठाता है। शोध पत्र निष्कर्ष निकालता है कि KAT, विशेष रूप से गणितीय तर्क कार्यों में जहाँ तर्क पथ आसानी से अपरिवर्तनीय अवस्थाओं (unrecoverable states) में गिर सकते हैं, OPD को अधिक प्रभावी (उच्च सटीकता) और अधिक कुशल (कम कंप्यूट) बनाता है।

सीमाएं नोट की गईं:
लेखक विनम्रतापूर्वक नोट करते हैं कि यह कार्य गणितीय तर्क पर केंद्रित है। कोड जनरेशन, ओपन-एंडेड इंस्ट्रक्शन फॉलोइंग, या मल्टी-टर्न इंटरैक्शन जैसे व्यापक डोमेन में टर्मिनेशन नियम के व्यवहार का अध्ययन किया जाना बाकी है। इसके अतिरिक्त, हालांकि हाइपरपैरामीटर्स सहज हैं, विविध सेटिंग्स में ट्यूनिंग के लिए अधिक व्यवस्थित मार्गदर्शन इसकी उपयोगिता में सुधार कर सकता है।