TRACE: Distilling Where It Matters via Token-Routed Self On-Policy Alignment
यह शोध पत्र TRACE का प्रस्ताव करता है, जो एक टोकन-रूटेड सेल्फ-डिस्टिलेशन विधि है जो सत्यापन योग्य पुरस्कारों (verifiable rewards) के साथ सुदृढीकरण शिक्षण (reinforcement learning) के दौरान एनोटेटर द्वारा चिह्नित महत्वपूर्ण स्पैन (critical spans) पर चुनिंदा रूप से KL डाइवर्जेंस लागू करती है, जिससे ग्रेडिएंट बर्बादी और विशेषाधिकार प्राप्त सूचना रिसाव (privileged-information leakage) को कम किया जाता है, जिससे मानक GRPO और फुल-रिस्पॉन्स सेल्फ-डिस्टिलेशन बेसलाइनों की तुलना में लॉन्ग-हॉरइजन मैथ रीजनिंग और आउट-ऑफ-डिस्ट्रीब्यूशन जनरलाइजेशन में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को जटिल गणित की समस्याएँ हल करना सिखा रहे हैं। आपके पास एक "शिक्षक" (एक स्मार्ट AI) और एक "छात्र" (वह AI जिसे आप प्रशिक्षित करने की कोशिश कर रहे हैं) है।
अतीत में, शोधकर्ताओं ने On-Policy Self-Distillation नामक एक विधि का परीक्षण किया था। विचार सरल था: छात्र को एक उत्तर उत्पन्न करने दें, फिर शिक्षक पूरे उत्तर को देखेगा और कहेगा, "तुमने यह सही किया, और यह, और यह..." पूरी प्रक्रिया के दौरान। फिर छात्र शिक्षक के हर कदम की नकल करने की कोशिश करेगा।
समस्या: "ओवर-टीचर" प्रभाव (The "Over-Teacher" Effect)
यह शोध पत्र तर्क देता है कि यह "सब कुछ कॉपी करने" वाला दृष्टिकोण वास्तव में हानिकारक है, विशेष रूप से लंबे, जटिल तर्क कार्यों के लिए।
- उपमा: कल्पना कीजिए कि एक छात्र 10 पन्नों की परीक्षा दे रहा है। शिक्षक पूरे उत्तर में हर शब्द को लाल रंग से हाइलाइट करता है, और कहता है, "बिल्कुल इसी तरह करो।"
- परिणाम: छात्र अभिभूत (overwhelmed) हो जाता है। वे अपने आप सोचना बंद कर देते हैं। उनके उत्तर छोटे हो जाते हैं (क्योंकि वे बहुत अधिक लिखने से डरते हैं), वे बेतरतीब ढंग से अनुमान लगाने लगते हैं (उनकी "एंट्रॉपी" बढ़ जाती है), और अंततः वे परीक्षा में विफल हो जाते हैं। शोध पत्र इसे "ग्रैनुलैरिटी मिसमैच" (granularity mismatch) कहता है। छात्र को हर शब्द पर सुधार की आवश्यकता नहीं है; उन्हें केवल उन कुछ महत्वपूर्ण चरणों पर मदद की आवश्यकता है जहाँ वे अटक सकते हैं या गलती कर सकते हैं।
समाधान: TRACE (Token-Routed Alignment for Critical Reasoning)
लेखक TRACE प्रस्तावित करते हैं। पूरे निबंध को सुधारने के बजाय, TRACE एक स्मार्ट ट्यूटर की तरह कार्य करता है जो केवल विशिष्ट, महत्वपूर्ण क्षणों की ओर इशारा करता है।
TRACE कैसे काम करता है, यहाँ एक सरल उपमा दी गई है:
1. "स्पॉटलाइट" (Token-Routed)
पूरे पन्ने पर रोशनी डालने के बजाय, TRACE एक स्पॉटलाइट का उपयोग करता है।
- एनोटेटर (The Annotator): एक सहायक (जो स्वयं छात्र भी हो सकता है!) छात्र के उत्तर को देखता है और केवल "क्रिटिकल स्पैन" (Critical Spans) को चिह्नित करता है। ये वे कुछ वाक्य हैं जहाँ तर्क या तो शानदार (Key Spans) है या खतरनाक रूप से गलत (Error Spans) है।
- नियम: स्पॉटलाइट उत्तर के केवल लगभग 25% हिस्से को कवर करती है। बाकी के उत्तर को अकेला छोड़ दिया जाता है।
2. "दो-उपकरण" दृष्टिकोण (FKL बनाम RKL)
एक बार जब स्पॉटलाइट किसी विशिष्ट भाग पर केंद्रित हो जाती है, तो TRACE देखे गए दृश्य के आधार पर दो अलग-अलग उपकरणों का उपयोग करता है:
- यदि छात्र संघर्ष कर रहा है (Under-allocated): शिक्षक कहता है, "हे, तुम इस महत्वपूर्ण चरण को अनदेखा कर रहे हो! मुझे देखो और इस तरह करो।" इसे Forward KL (FKL) कहा जाता है। यह छात्र को सही रास्ते पर ध्यान देने के लिए प्रेरित करता है।
- यदि छात्र आत्मविश्वास से गलत है (Over-confident): छात्र कहता है, "मुझे यकीन है कि यह सही है!" लेकिन वास्तव में वह गलत है। शिक्षक कहता है, "नहीं, रुको! तुम बहुत आश्वस्त हो। पीछे हटो।" इसे Reverse KL (RKL) कहा जाता है। यह गलत दिशा में छात्र के आत्मविश्वास को कम करता है।
3. "धुंधला होता संकेत" (Decay)
TRACE का सबसे महत्वपूर्ण हिस्सा यह है कि शिक्षक की मदद अस्थायी है।
- उपमा: कल्पना कीजिए कि शिक्षक अभ्यास परीक्षा के दौरान छात्र को एक संकेत दे रहा है। शुरू में, संकेत तेज और स्पष्ट होता है। लेकिन जैसे-जैसे छात्र बेहतर होता जाता है, संकेत धीरे-धीरे धीमा और शांत होता जाता है जब तक कि वह पूरी तरह से गायब न हो जाए।
- परिणाम: लगभग 40 चरणों के एक छोटे "वार्म-अप" काल के बाद, शिक्षक पूरी तरह से बोलना बंद कर देता है। छात्र अपने स्वयं के तर्क (Reinforcement Learning) का उपयोग करके समस्याओं को हल करने के लिए स्वतंत्र है, लेकिन वे उस संक्षिप्त मार्गदर्शन की अवधि में महत्वपूर्ण आदतें सीख चुके होते हैं। यह छात्र को शिक्षक पर निर्भर होने से रोकता है।
यह क्यों काम करता है (परिणाम)
इस शोध पत्र ने गणित की समस्याओं (जैसे समीकरणों को हल करना) और सामान्य ज्ञान के प्रश्नों (GPQA) पर इसका परीक्षण किया।
- "ऑल-टोकन" विधियाँ विफल रहीं: जब अन्य विधियों ने पूरे उत्तर को सुधारने की कोशिश की, तो AI का प्रदर्शन गिर गया, और उनके उत्तर छोटे और कम रचनात्मक होने लगे।
- TRACE सफल रहा: केवल महत्वपूर्ण हिस्सों को सुधारने और फिर धीरे-धीरे हट जाने से, TRACE ने मानक विधि की तुलना में गणित के स्कोर में महत्वपूर्ण अंतर (औसतन लगभग 2.76%) से सुधार किया।
- "सेल्फ-टॉट" बोनस: यहाँ तक कि जब AI स्वयं अपना ट्यूटर बनता है (बिना किसी मानव या अधिक शक्तिशाली AI की सहायता के), तब भी TRACE अच्छी तरह से काम करता है। यह साबित करता है कि यह विधि केवल किसी सुपर-स्मार्ट शिक्षक के ज्ञान को आयात करके "चीटिंग" नहीं कर रही है; यह वास्तव में AI को बेहतर तरीके से सीखना सिखा रही है।
संक्षेप में:
TRACE एक ऐसे कोच की तरह है जो खेल में हर गलती के लिए खिलाड़ी पर चिल्लाता नहीं है। इसके बजाय, कोच महत्वपूर्ण क्षणों का इंतजार करता है, एक सटीक, विशिष्ट सुधार देता है, और फिर खिलाड़ी को अपने दम पर खेलने देने के लिए पीछे हट जाता है। यह खिलाड़ी को केंद्रित, आत्मविश्वासी और लंबे, कठिन चुनौतियों को बिना थके (burnout) संभालने में सक्षम रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।