🤖 machine learning

Trust-Region Behavior Blending for On-Policy Distillation

यह शोध पत्र ट्रस्ट-रीजन बिहेवियर ब्लेंडिंग (TRB) का प्रस्ताव देता है, जो ऑन-पॉलिसी डिस्टिलेशन के लिए एक वॉर्मअप विधि है जो एक KL ट्रस्ट रीजन के भीतर छात्र की पॉलिसी को शिक्षक के साथ ब्लेंड करके शुरुआती प्रशिक्षण को स्थिर करती है और फिर शुद्ध छात्र रोलआउट्स की ओर एनेलिंग (annealing) करती है, जिससे गणितीय-तर्क कार्यों में प्रदर्शन में सुधार होता है।

मूल लेखक: Daniil Plyusov, Alexey Gorbatovski, Alexey Malakhov, Nikita Balagansky, Boris Shaposhnikov, Daria Korotyshova, Daniil Gavrilov

प्रकाशित 2026-06-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniil Plyusov, Alexey Gorbatovski, Alexey Malakhov, Nikita Balagansky, Boris Shaposhnikov, Daria Korotyshova, Daniil Gavrilov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Trust-Region Behavior Blending for On-Policy Distillation" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: एक छात्र को सोचना सिखाना

कल्पना कीजिए कि आप एक युवा छात्र (Student AI) को एक बुद्धिमान प्रोफेसर (Teacher AI) के अध्ययन के माध्यम से जटिल गणित के सवाल हल करना सिखाने की कोशिश कर रहे हैं।

पुराने तरीके में (Offline Distillation), आप छात्र को प्रोफेसर के सटीक उत्तरों से भरी एक पाठ्यपुस्तक देते हैं। छात्र उन्हें रट लेता है। लेकिन एक समस्या है: जब छात्र वास्तविक परीक्षा देता है, तो उसे अपने उत्तर खुद से बनाने होते हैं। चूंकि उन्होंने कभी अपने स्वयं के चरणों (steps) को उत्पन्न करने का अभ्यास नहीं किया, इसलिए वे भ्रमित हो जाते हैं और शुरुआत में गलतियाँ करते हैं।

इसे ठीक करने के लिए, शोधकर्ताओं ने On-Policy Distillation (OPD) विकसित किया। पाठ्यपुस्तक के बजाय, छात्र अपने उत्तर खुद चरण-दर-चरण बनाता है, और प्रोफेसर वास्तविक समय में उसे सुधारता है। यह बेहतर है क्योंकि यह वास्तविक परीक्षा की स्थितियों से मेल खाता है।

हालाँकि, OPD में एक दोष है: शुरुआत में, छात्र बहुत कमजोर होता है। यदि आप उन्हें तुरंत अपने उत्तर खुद बनाने देते हैं, तो वे एक बहुत ही खराब, निरर्थक पहला वाक्य बना सकते हैं। यदि प्रोफेसर एक खराब वाक्य को सुधारने की कोशिश करता है, तो यह एक ऐसे घर को ठीक करने जैसा है जो अभी तक बना ही नहीं है। "सिग्नल" इतना कमजोर है कि वह उपयोगी नहीं हो पाता।

समाधान: Trust-Region Behavior Blending (TRB)

लेखकों ने एक नई विधि प्रस्तावित की है जिसे Trust-Region Behavior Blending (TRB) कहा जाता है। इसे "स्मार्ट गाइड के साथ ट्रेनिंग व्हील्स" वाले दृष्टिकोण के रूप में सोचें।

1. "Trust Region" (सुरक्षा बुलबुला/Safety Bubble)

कल्पना कीजिए कि छात्र एक खेत में चल रहा है। Student Policy वह रास्ता है जिसे छात्र स्वाभाविक रूप से लेना चाहता है। Teacher Policy वह रास्ता है जिसे प्रोफेसर लेगा।

यदि छात्र रास्ते से बहुत दूर भटक जाता है, तो प्रोफेसर की सलाह का कोई अर्थ नहीं रह जाता। TRB एक "Trust Region" बनाता है—छात्र के वर्तमान पथ के चारों ओर एक सुरक्षा बुलबुला।

नियम: छात्र को प्रोफेसर के पथ की ओर थोड़ा आगे बढ़ने की अनुमति है, लेकिन वे अपने स्वयं के प्राकृतिक अंदाज से बहुत दूर नहीं भटक सकते।
लक्ष्य: प्रोफेसर के पथ का वह सबसे करीबी संभव संस्करण खोजना जो अभी भी छात्र के सुरक्षा बुलबुले के भीतर रहता है।

2. "Blending" (एक सुचारू मिश्रण)

छात्र को प्रोफेसर की पूरी तरह नकल करने के लिए मजबूर करने (जो बहुत कठिन है) या उन्हें बिना किसी दिशा के भटकने देने (जो बहुत अव्यवस्थित है) के बजाय, TRB दोनों को ब्लेंड (blend) करता है।

यह एक "हाइब्रिड" पथ बनाता है जो काफी हद तक छात्र जैसा दिखता है लेकिन इसमें प्रोफेसर का पर्याप्त ज्ञान होता है ताकि छात्र एक ऐसे ट्रैक पर रहे जिससे वास्तव में सीखा जा सके।
यह एक डांस इंस्ट्रक्टर द्वारा एक नौसिखिए का मार्गदर्शन करने जैसा है: "अपना पैर यहाँ चलाओ (मेरी तरह), लेकिन अपना संतुलन वहाँ बनाए रखो (तुम्हारी तरह)।"

3. "Warmup" (ट्रेनिंग व्हील्स को हटाना)

TRB का सबसे महत्वपूर्ण हिस्सा यह है कि यह अस्थायी है।

शुरुआती दिन: "Trust Region" चौड़ा होता है। यह सुनिश्चित करने के लिए कि पहले कुछ कदम उच्च गुणवत्ता वाले हों, छात्र को प्रोफेसर से बहुत मदद मिलती है।
फीका पड़ना (The Fade): जैसे-जैसे प्रशिक्षण जारी रहता है, "Trust Region" छोटा होता जाता है। प्रोफेसर पीछे हट जाता है।
अंत: अंततः, क्षेत्र पूरी तरह से गायब हो जाता है। छात्र अब अपने दम पर चल रहा है, लेकिन उसने शुरुआत से ही सही आदतें सीख ली हैं।

यह बेहतर क्यों काम करता है (परिणाम)

पेपर ने गणितीय तर्क कार्यों (जैसे बीजगणित या ज्यामिति के सवालों को हल करना) पर विभिन्न आकारों के AI मॉडल का उपयोग करके इस पद्धति का परीक्षण किया।

तुलना: उन्होंने TRB की तुलना इनसे की:
- Vanilla OPD: छात्र को तुरंत अकेले भटकने देना।
- SKD: प्रोफेसर को कभी-कभी नियंत्रण लेने और छात्र को विशिष्ट शब्द बोलने के लिए मजबूर करने देना।
- SFT Warmup: शुरू करने से पहले मानक पर्यवेक्षित शिक्षण (supervised learning) का एक छोटा दौर।
परिणाम: TRB औसतन जीत गया।
- इसने "Vanilla OPD" की तुलना में छात्र को बेहतर गुणवत्ता वाले चरणों के साथ शुरुआत करने में मदद की।
- यह इस बात पर निर्भर नहीं था कि प्रोफेसर पूरी तरह से नियंत्रण ले ले (जैसा कि SKD में होता है), जो कभी-कभी छात्र को भ्रमित कर सकता है कि उन्हें वास्तव में क्या होना चाहिए।
- इसने केवल "वार्मअप" करने या एक छोटा मानक पाठ देने की तुलना में बेहतर काम किया।

ट्रेड-ऑफ (Trade-off)

इसमें एक छोटी सी लागत है। क्योंकि TRB के लिए शुरुआती चरण के दौरान प्रोफेसर को छात्र के साथ "ऑनलाइन" (सोचते हुए और डिकोड करते हुए) होना आवश्यक है, इसलिए इसमें प्रशिक्षण चलाने के लिए थोड़े अधिक कंप्यूटर पावर और समय की आवश्यकता होती है। हालाँकि, चूंकि यह केवल "warmup" चरण के दौरान होता है, इसलिए अतिरिक्त लागत अस्थायी है, और अंतिम परिणाम एक स्मार्ट छात्र होता है।

सारांश उपमा (Summary Analogy)

पुराना तरीका (Offline): एक छात्र को उस शहर का नक्शा देना जिसे उसने कभी देखा ही नहीं है। वे सड़कों को रट लेते हैं लेकिन जब उन्हें खुद गाड़ी चलानी पड़ती है तो वे खो जाते हैं।
OPD (On-Policy): छात्र को गाड़ी चलाने देना, जिसमें एक को-पायलट उन्हें सुधार रहा है। लेकिन अगर छात्र सीधे झील में गाड़ी चलाने लगे, तो को-पायलट के सुधार बेकार हैं।
TRB: को-पायलट पहले कुछ मिनटों के दौरान स्टीयरिंग को धीरे से घुमाता है ताकि कार सड़क पर रहे (ट्रस्ट रीजन के अंदर), यह सुनिश्चित करने के लिए कि छात्र सही ढंग से गाड़ी चलाने का एहसास सीख सके। एक बार जब छात्र स्थिर हो जाता है, तो को-पायलट हाथ छोड़ देता है, और छात्र अपने आप बेहतरीन तरीके से गाड़ी चलाता है।

तकनीकी सारांश: ऑन-पॉलिसी डिस्टिलेशन के लिए ट्रस्ट-रीजन बिहेवियर ब्लेंडिंग (TRB)

समस्या विवरण

ऑन-पॉलिसी डिस्टिलेशन (OPD), जो ऑफलाइन नॉलेज डिस्टिलेशन में निहित 'प्रिफिक्स मिसमैच' (prefix mismatch) को संबोधित करता है, इसमें छात्र मॉडल (student model) को उसके अपने वर्तमान पॉलिसी से लिए गए प्रिफिक्स पर प्रशिक्षित किया जाता है जबकि एक अधिक शक्तिशाली शिक्षक (teacher) के साथ मिलान किया जाता है। हालाँकि, यह दृष्टिकोण प्रशिक्षण के शुरुआती चरणों में एक महत्वपूर्ण नाजुकता पैदा करता है: कमजोर छात्र मॉडल अक्सर निम्न-गुणवत्ता वाले प्रिफिक्स उत्पन्न करते हैं। जब छात्र का ट्राजेक्टरी वितरण (trajectory distribution) खराब होता है, तो शिक्षक पर्यवेक्षण (teacher supervision) निम्न-गुणवत्ता वाले या "अनुपयोगी" प्रिफिक्स पर लागू होता है, जिससे सीखने के संकेत (learning signal) की प्रभावशीलता सीमित हो जाती है।

इस प्रक्रिया को स्थिर करने के प्रयास अक्सर संग्रह को ऑफ-पॉलिसी (off-policy) की ओर ले जाते हैं (जैसे, शिक्षक टोकन इंजेक्ट करना या लक्ष्य वितरण को बदलना), जो लक्षित प्रशिक्षण वितरण को बाधित कर सकते हैं। इसके विपरीत, शुद्ध छात्र रोलआउट (pure student rollouts) वितरण को सुरक्षित रखते हैं लेकिन प्रारंभिक गुणवत्ता में खराब होते हैं। मुख्य चुनौती प्रशिक्षण प्रक्रिया को स्थायी रूप से ऑफ-पॉलिसी में बदले बिना या मूल प्रति-प्रिफिक्स डिस्टिलेशन उद्देश्य को बदले बिना, प्रारंभिक रोलआउट की गुणवत्ता में सुधार करना है।

कार्यप्रणाली: ट्रस्ट-रीजन बिहेवियर ब्लेंडिंग (TRB)

लेखक ट्रस्ट-रीजन बिहेवियर ब्लेंडिंग (TRB) का प्रस्ताव करते हैं, जो एक वॉर्मअप विधि है जिसे प्रारंभिक रोलआउट संग्रह चरण के दौरान व्यवहार नीति (behavior policy) को नियंत्रित करने के लिए डिज़ाइन किया गया है। TRB इस सिद्धांत पर कार्य करता है कि एक ऐसी व्यवहार नीति खोजा जाए जो शिक्षक के जितना संभव हो सके करीब हो, लेकिन वर्तमान छात्र नीति के केंद्र में एक "ट्रस्ट रीजन" (trust region) के भीतर सख्ती से सीमित हो।

1. प्रति-प्रिफिक्स अनुकूलन (Per-Prefix Optimization)
प्रत्येक जनरेशन प्रिफिक्स $h$ पर, TRB एक व्यवहार नीति $\mu^*(\cdot | h)$ को एक निरंतर बाधा-युक्त अनुकूलन समस्या को हल करके परिभाषित करता है। इसका उद्देश्य छात्र नीति $\pi_S$ के सापेक्ष KL डाइवर्जेंस (KL divergence) की बाधा के अधीन, शिक्षक नीति $\pi_T$ के प्रति क्लैब-लेब्लर (Kullback-Leibler) डाइवर्जेंस को कम करना है:

$\mu^*(\cdot | h) = \arg \min_{\mu} D_{KL}(\mu \parallel \pi_T) \quad \text{सर्त (s.t.)} \quad D_{KL}(\mu \parallel \pi_S) \le \epsilon$

यहाँ, $\epsilon$ छात्र से अनुमत स्थानीय विचलन (local deviation) को दर्शाता है। यह फॉर्मूलेशन सुनिश्चित करता है कि सैंपलिंग वितरण शिक्षक-समर्थित टोकन की ओर खींचा जाए लेकिन छात्र-केंद्रित ट्रस्ट रीजन के भीतर सीमित रहे।

2. क्लोज्ड-फॉर्म समाधान (Closed-Form Solution)
यह अनुकूलन एक क्लोज्ड-फॉर्म समाधान देता है जहाँ व्यवहार नीति, छात्र और शिक्षक नीतियों के बीच एक ज्यामितीय इंटरपोलेशन (geometric interpolation) है:
$\mu_\beta(a | h) = \frac{\pi_S(a | h)^{1-\beta} \pi_T(a | h)^\beta}{Z_\beta(h)}$
गुणांक $\beta^*(h)$ $[0, 1]$ में सबसे बड़ा व्यवहार्य मान है जिससे KL बाधा संतुष्ट होती है। यदि शिक्षक पहले से ही ट्रस्ट रीजन के भीतर है, तो $\mu^*$ शिक्षक बन जाता है; यदि $\epsilon=0$ है, तो यह छात्र में वापस बदल जाता है।

3. एनेल्ड वॉर्मअप (Annealed Warmup)
TRB केवल एक प्रारंभिक वॉर्मअप चरण के दौरान लागू किया जाता है। KL बजट $\epsilon$ को एक क्षितिज $K$ के ऊपर रैखिक रूप से शून्य तक एनील (anneal) किया जाता है:
$\epsilon_k = \epsilon_0 \left(1 - \frac{k}{K}\right)$
यह प्रशिक्षण की शुरुआत में प्रिफिक्स की गुणवत्ता में सुधार के लिए मजबूत शिक्षक मार्गदर्शन की अनुमति देता है, जबकि जैसे-जैसे छात्र बेहतर होता है, रोलआउट संग्रह को धीरे-धीरे शुद्ध छात्र सैंपलिंग की ओर वापस लाता है। महत्वपूर्ण बात यह है कि प्रति-प्रिफिक्स रिवर्स-KL डिस्टिलेशन लॉस अपरिवर्तित रहता है; केवल डेटा संग्रह नीति को संशोधित किया जाता है।

मुख्य योगदान

एक नवीन वॉर्मअप रणनीति: TRB केवल टोकन इंजेक्ट करने या लॉस फंक्शन को बदलने के बजाय, एक स्पष्ट छात्र-केंद्रित KL बाधा के तहत शिक्षक-निर्देशित नीति को अनुकूलित करके प्रारंभिक रोलआउट व्यवहार को नियंत्रित करने की एक विधि पेश करता है।
ऑन-पॉलिसी गुणों का संरक्षण: अन्य विधियों के विपरीत जो शिक्षक और छात्र नीतियों को स्थायी रूप रूप से मिश्रित करती हैं या लक्ष्य वितरण को बदल देती हैं, TRB यह सुनिश्चित करता है कि प्रशिक्षण अंततः शुद्ध ऑन-पॉलिसी रोलआउट पर वापस आ जाए, जिससे मुख्य प्रशिक्षण चरण के लिए लक्ष्य वितरण सुरक्षित रहता है।
सैद्धांतिक फॉर्मूलेशन: पेपर व्यवहार नीति के लिए एक क्लोज्ड-फॉर्म समाधान प्रदान करता है जो इंटरपोलेशन गुणांक के संबंध में KL डाइवर्जेंस की एकरूपता (monotonicity) द्वारा न्यायसंगत है, जो शिक्षक मार्गदर्शन और छात्र स्थिरता के बीच संतुलन बनाता है।

प्रयोगात्मक परिणाम

लेखकों ने दो गणितीय-तर्क (math-reasoning) डिस्टिलेशन सेटिंग्स में TRB का मूल्यांकन किया:

Qwen3-1.7B-Base जिसे Qwen3-8B से डिस्टिल किया गया।
Qwen3-0.6B-Base जिसे Qwen3-4B से डिस्टिल किया गया।

प्रदर्शन:

TRB ने दोनों सेटिंग्स में सभी तुलना की गई विधियों में सबसे मजबूत औसत प्रदर्शन प्राप्त किया, जिसने वेनिला OPD, फिक्स्ड- $\epsilon$ ब्लेंडिंग, Veto, SKD (इंटरलीव्ड टीचर इंजेक्शन), टेम्परेचर वॉर्मअप और SFT वॉर्मअप को पछाड़ दिया।
Qwen3-1.7B सेटिंग में, TRB ने वेनिला OPD के 32.3% की तुलना में 33.2% का औसत pass@1 प्राप्त किया।
Qwen3-0.6B सेटिंग में, TRB ने वेनिला OPD के 44.0% की तुलना में 44.4% प्राप्त किया।

विश्लेषण:

प्रारंभिक प्रशिक्षण गतिशीलता (Early Training Dynamics): ट्राजेक्टरी विश्लेषण (चित्र 2) से पता चलता है कि जबकि कुछ विधियाँ (जैसे SKD) शुरू में तेजी से ऊपर उठती हैं, वे आवश्यक रूप से उच्चतम अंतिम प्रदर्शन को बनाए नहीं रखती हैं। TRB एक "फास्ट स्टार्ट" प्रदान करता है जो बेहतर अंतिम परिणाम की ओर ले जाता है।
एन्ट्रॉपी और प्रिफिक्स गुणवत्ता: वॉर्मअप चरण के दौरान, TRB विज़िट किए गए प्रिफिक्स पर शिक्षक टोकन की माध्य एन्ट्रॉपी को कम करता है, जो उच्च-गुणवत्ता वाले मार्गदर्शन का संकेत देता है। स्टेप-0 प्रोब्स (चित्र 4) दर्शाते हैं कि TRB के तहत उत्पन्न प्रिफिक्स, वेनिला OPD प्रिफिक्स की तुलना में शिक्षक या छात्र दोनों द्वारा जारी किए जाने पर उच्च सफलता दर प्रदान करते हैं, जो सुझाव देता है कि TRB सफलतापूर्वक प्रारंभिक स्टेट डिस्ट्रीब्यूशन को अधिक सीखने योग्य ट्राजेक्टरीज की ओर स्थानांतरित करता है।

महत्व और दावे

पेपर का दावा है कि TRB प्रारंभिक डेटा वितरण की गुणवत्ता में सुधार करके ऑन-पॉलिसी डिस्टिलेशन की भंगुरता (brittleness) को प्रभावी ढंग से संबोधित करता है, बिना ऑन-पॉलिसी उद्देश्य से स्थायी रूप से विचलित हुए।

सीमित दायरा: लेखक स्पष्ट रूप से कहते हैं कि उनका अध्ययन Qwen3-Base पेयर्स के साथ दो गणित-तर्क सेटिंग्स और एक शुद्धता-आधारित मूल्यांकन प्रोटोकॉल तक सीमित है। वे यह दावा नहीं करते हैं कि विशिष्ट वॉर्मअप शेड्यूल्स अन्य डोमेन या शिक्षक-छात्र अंतराल में बिना किसी बदलाव के स्थानांतरित होंगे।
लागत ट्रेड-ऑफ: पेपर स्वीकार करता है कि ऑनलाइन शिक्षक डिकोडिंग और छात्र-शिक्षक सह-निवास (co-residency) की आवश्यकता के कारण वॉर्मअप चरण के दौरान TRB प्रशिक्षण-समय लागत को बढ़ाता है। हालाँकि, वे ध्यान देते हैं कि ये लागतें अस्थायी हैं, क्योंकि वॉर्मअप क्षितिज के बाद प्रशिक्षण मानक, अधिक कुशल OPD रनटाइम प्रोफाइल पर वापस आ जाता है।
मुख्य अंतर्दृष्टि: परिणाम बताते हैं कि शिक्षक-निर्देशित ऑफ-पॉलिसी व्यवहार तब सबसे अधिक फायदेमंद होता है जब छात्र द्वारा विज़िट किए गए प्रिफिक्स शिक्षक के साथ काफी मिसअलाइन (misaligned) होते हैं। एक बार जब यह मिसमैच हल हो जाता है, तो निरंतर ऑफ-पॉलिसी मार्गदर्शन घटते प्रतिफल (diminishing returns) दे सकता है, जो व्यवहार नीति को छात्र की ओर वापस एनील करने की रणनीति का समर्थन करता है।