तकनीकी सारांश: SAGE-OPD

समस्या विवरण (Problem Statement)

ऑन-पॉलिसी डिस्टिलेशन (OPD) ओपन-वेट रीजनिंग मॉडल्स को प्रशिक्षित करने के लिए एक अग्रणी दृष्टिकोण के रूप में उभरा है। यह छात्र नीतियों (student policies) को शिक्षक वितरणों (teacher distributions) के साथ संरेखित करता है, जो छात्र के अपने व्यवहार द्वारा प्रेरित प्रक्षेप पथों (trajectories) पर आधारित होता है, जिससे ऑफलाइन सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) में निहित एक्सपोज़र बायस (exposure bias) को कम किया जा सके। हालाँकि, मौजूदा OPD अनुसंधान मुख्य रूप से सिंगल-टर्न जनरेशन कार्यों पर केंद्रित है। जब इसे वास्तविक मल्टी-टर्न LLM एजेंट्स पर लागू किया जाता है, तो मानक OPD महत्वपूर्ण सीमाओं का सामना करता है:

1. कंपाउंडिंग एरर्स (Compounding Errors): मल्टी-टर्न इंटरैक्शन में, शुरुआती गलत क्रियाएं पर्यावरण की स्थिति को बदल देती हैं, जिससे बाद के अवलोकन (observations) विकृत हो जाते हैं और सुधार करना कठिन हो जाता है। यह एक ऐसा वितरण बदलाव (distribution shift) बनाता है जहाँ बाद के छात्र-प्रेरित इतिहास शिक्षक के लिए ऑफ-डिस्ट्रीब्यूशन हो जाते हैं।
2. टोकन-लेवल एलाइनमेंट की भंगुरता (Brittleness of Token-Level Alignment): मानक OPD समान रूप से घने टोकन-लेवल एलाइनमेंट को लागू करता है। यह उन अर्थपूर्ण रूप से वैध छात्र विकल्पों को अत्यधिक दंडित कर सकता है जो शिक्षक की विशिष्ट शब्दावली या स्थानीय अपघटन (local decomposition) से भिन्न होते हैं।
3. डीजनरेसी का सुदृढ़ीकरण (Reinforcement of Degeneracies): घने ग्रेडिएंट्स स्थानीय डीजनरेसी (जैसे बार-बार होने वाले विचार या क्रियाएं) को सुदृढ़ कर सकते हैं, यदि ये पैटर्न गलती से अनुकूल शिक्षक संभावनाओं (teacher likelihoods) को प्राप्त करते हैं।
4. अविश्वसनीय पर्यवेक्षण (Unreliable Supervision): जैसे-जैसे छात्र की त्रुटियां बढ़ती हैं, दूषित इतिहासों पर शिक्षक का भविष्य कहने वाला वितरण अनिश्चित हो सकता है। इन परिदृश्यों में समान रूप से OPD लागू करना अविश्वसनीय पर्यवेक्षण को प्रसारित करता है।

मुख्य प्रश्न जो संबोधित किया गया है वह यह है कि क्या मल्टी-टर्न OPD उन मोड़ों (turns) पर चुनिंदा रूप से पर्यवेक्षण लागू करके ऑन-पॉलिसी पर्यवेक्षण के लाभों को संरक्षित कर सकता है जहाँ हस्तक्षेप आवश्यक और विश्वसनीय दोनों है।

कार्यप्रणाली (Methodology): SAGE-OPD

लेखक SAGE-OPD (Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation) प्रस्तावित करते हैं, जो एक वर्िफायर-मुक्त (verifier-free) ढांचा है जिसे चुनिंदा रूप से शिक्षक पर्यवेक्षण आवंटित करने के लिए डिज़ाइन किया गया है। यह विधि तीन प्रमुख घटकों पर कार्य करती है:

1. टर्न-लेवल इंटरवेंशन (Turn-Level Intervention)

प्रक्षेप पथ (trajectory) को टोकन के एक सपाट अनुक्रम के रूप में मानने के बजाय, SAGE-OPD पर्यावरण फीडबैक के आधार पर प्रक्षेप पथ को टर्न्स (turns) में विभाजित करता है। प्रत्येक टर्न $t$ के लिए, पर्यवेक्षण की शक्ति को नियंत्रित करने के लिए एक असतत हस्तक्षेप चर (discrete intervention variable) $z_t \in \{\text{Skip, Weak, Strong}\}$ निर्धारित किया जाता है:

• Skip: छात्र प्रतिक्रिया स्वीकार्य है या अर्थपूर्ण रूप से लचीली है; कोई शिक्षक पर्यवेक्षण लागू नहीं किया जाता है ($w_t = 0$)।
• Weak: प्रतिक्रिया संभावित रूप से उप-इष्टतम (suboptimal) है लेकिन अनिश्चित है; आंशिक पर्यवेक्षण लागू किया जाता है ($w_t = \alpha$)।
• Strong: प्रतिक्रिया में स्पष्ट त्रुटियां हैं (जैसे, विफल टूल कॉल, छूटी हुई क्रियाएं); पूर्ण पर्यवेक्षण लागू किया जाता है ($w_t = 1$)।

$z_t$ का निर्धारण एक दो-चरणीय, वर्िफायर-मुक्त प्रक्रिया का पालन करता है:

1. डिटरमिनिस्टिक चेक (Deterministic Check): यदि पर्यावरण फीडबैक स्पष्ट निष्पादन विफलता (जैसे, मेलों-खाते एक्शन) का संकेत देता है, तो टर्न को तुरंत Strong असाइन किया जाता है।
2. शिक्षक निर्णय (Teacher Judgment): निष्पादनीय लेकिन संदिग्ध टर्न्स के लिए, इतिहास और फीडबैक के आधार पर टर्न को तीन श्रेणियों में से एक में वर्गीकृत करने के लिए शिक्षक से एक सक्रिय प्रॉम्प्ट के साथ पूछताछ की जाती है।

2. टीचर कॉन्फिडेंस वेटिंग (Teacher Confidence Weighting)

ऑफ-डिस्ट्रीब्यूशन इतिहासों पर शिक्षक पर्यवेक्षण की अविश्वसनीयता को संबोधित करने के लिए, SAGE-OPD एक कॉन्फिडेंस स्कोर $c_t$ पेश करता है। यह स्कोर वर्तमान टर्न के लिए शिक्षक की भविष्य कहने वाली निश्चितता को मापता है, जिसे छात्र की प्रतिक्रिया टोकन के औसत टॉप-1 प्रोबेबिलिटी के रूप में गणना किया जाता है:
$$c_t = \frac{1}{|a_t|} \sum_{i=1}^{|a_t|} \max_{v} \pi_\phi(v | h_t, a_{t,<i})$$
टर्न $t$ के लिए अंतिम चयनात्मक भार $s_t$, हस्तक्षेप भार $i_t$ और कॉन्फिडेंस स्कोर $c_t$ का उत्पाद है:
$$s_t = i_t \cdot c_t$$
यह सुनिश्चित करता है कि सशक्त पर्यवेक्षण केवल तभी लागू किया जाए जब हस्तक्षेप आवश्यक हो और शिक्षक सिग्नल विश्वसनीय हो।

3. लॉस नॉर्मलाइजेशन (Loss Normalization)

OPD लॉस को सीधे $s_t$ से गुणा करने से समग्र ग्रेडिएंट मैग्नीट्यूड कम हो जाता है, जो संभावित रूप से ऑप्टिमाइजेशन स्केल को बदल सकता है। चयनात्मक वेटिंग के प्रभाव को अलग करने के लिए, SAGE-OPD मानक OPD के समग्र लॉस स्केल को बनाए रखने के लिए एक नॉर्मलाइजेशन फैक्टर $Z$ लागू करता है, जबकि सापेक्ष टर्न-लेवल वेटिंग को बनाए रखता है:
$$L_{\text{SAGE-OPD}} = Z \sum_{t=0}^{T-1} s_t L_{\text{OPD}}(h_t, a_t)$$
जहाँ $Z$ मानक OPD के स्केल से मेल खाने के लिए भारित टोकन काउंट के योग को नॉर्मलाइज़ करता है।

मुख्य योगदान (Key Contributions)

1. फ्रेमवर्क प्रस्ताव: SAGE-OPD का परिचय, एक वर्िफायर-मुक्त चयनात्मक हस्तक्षेप ढांचा जो सभी छात्र-जनित टर्न्स में समान घने डिस्टिलेशन से बचते हुए ऑन-पॉलिसी लाभों को सुरक्षित रखता है।
2. तीन-घटक तंत्र: तीन पूरक घटकों की पहचान और एकीकरण:
   • टर्न-लेवल इंटरवेंशन: यह तय करता है कि पर्यवेक्षण की आवश्यकता है या नहीं।
   • टीचर कॉन्फिडेंस वेटिंग: यह तय करता है कि टोकन-लेवल सिग्नल पर कितना भरोसा किया जाए।
   • लॉस नॉर्मलाइजेशन: यह सुनिश्चित करता है कि ट्रेनिंग सिग्नल का स्केल मानक OPD के तुलनीय रहे।
3. अनुभवजन्य सत्यापन (Empirical Validation): एम्बोडीड इंटरैक्शन (ALFWorld), वैज्ञानिक कार्य समाधान (ScienceWorld), और सर्च-आधारित प्रश्नोत्तर (SearchQA) में प्रभावशीलता का प्रदर्शन।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने कई शिक्षक-छात्र जोड़ों के माध्यम से Qwen3 मॉडल्स (0.6B, 1.7B, 8B, 32B) का उपयोग करके SAGE-OPD का मूल्यांकन किया।

• ALFWorld: SAGE-OPD ने मानक OPD की तुलना में अनसीन सक्सेस रेट में 13.3% तक सापेक्ष सुधार हासिल किया। उदाहरण के लिए, Qwen3-1.7B छात्र और Qwen3-8B शिक्षक के साथ, अनसीन सक्सेस रेट 61.94% (Standard OPD) से बढ़कर 70.15% हो गई। इसने कार्यों को हल करने के लिए आवश्यक औसत टर्न्स की संख्या को भी लगातार कम किया।
• ScienceWorld: SAGE-OPD ने 8B और 32B शिक्षकों के साथ Qwen3-1.7B छात्र के लिए सर्वश्रेष्ठ सफलता दर प्राप्त की। विशेष रूप से, इसने Qwen3-0.6B छात्र के लिए मीन टास्क स्कोर को -12.88 (OPD) से बढ़ाकर +3.89 कर दिया, हालांकि यह थोड़े उच्च औसत टर्न्स के साथ आया, जो अधिक निरंतर अन्वेषण (exploration) का सुझाव देता है।
• SearchQA: SAGE-OPD ने Qwen3-8B से डिस्टिल्ड Qwen3-1.7B छात्र के लिए सर्वश्रेष्ठ औसत एग्जैक्ट मैच (EM) प्राप्त किया, जो 30.09 से सुधरकर 30.77 हो गया।
• ट्रेनिंग डायनेमिक्स: विश्लेषण ने दिखाया कि जबकि मानक OPD जल्दी संतृप्त (saturate) हो जाता है (अनसीन स्प्लिट्स पर लगभग 60-63% सफलता दर), SAGE-OPD बाद के प्रशिक्षण चरणों में सुधार जारी रखता है, जो केवल तेज़ प्रारंभिक अभिसरण (convergence) के बजाय बेहतर सामान्यीकरण (generalization) का संकेत देता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि प्रभावी मल्टी-टर्न ऑन-पॉलिसी डिस्टिलेशन ऑन-पॉलिसी रहना चाहिए लेकिन इसके लिए टोकन-लेवल घने पर्यवेक्षण की आवश्यकता नहीं है। SAGE-OPD का महत्व इसकी क्षमता में निहित है:

• कंपाउंडिंग एरर्स को कम करना: योग्य टर्न्स को चुनिंदा रूप से छोड़कर और केवल आवश्यकता होने पर हस्तक्षेप करके, यह दूषित इतिहासों पर अविश्वसनीय शिक्षक संकेतों के प्रसार को रोकता है।
• ओवर-करेक्शन से बचना: अर्थपूर्ण रूप से वैध विकल्पों और वास्तविक त्रुटियों के बीच अंतर करके, यह उन लचीले छात्र व्यवहारों को दंडित करने से बचता है जो शिक्षक की विशिष्ट शब्दावली से भिन्न होते हैं।
• बिना वर्िफायर के संचालित होना: RLVR (Reinforcement Learning with Verifiable Rewards) के विपरीत, SAGE-OPD को बाहरी वर्िफायर या पर्यावरण-परिभाषित रिवॉर्ड सिग्नल की आवश्यकता नहीं होती है, बल्कि यह पर्यावरण फीडबैक और शिक्षक निर्णय पर निर्भर करता है।

लेखक निष्कर्ष निकालते हैं कि शिक्षक पर्यवेक्षण को उन टर्न्स पर चुनिчески आवंटित किया जाना चाहिए जहाँ हस्तक्षेप आवश्यक और विश्वसनीय है, न कि पूरे प्रक्षेप पथ में समान रूप से लागू किया जाना चाहिए।