तकनीकी सारांश: TurnOPD

समस्या विवरण (Problem Statement)

ऑन-पॉलिसी डिस्टिलेशन (OPD) भाषा एजेंटों को प्रशिक्षित करने के लिए एक आशाजनक ढांचा है, जहाँ एक छात्र मॉडल (student model) एक मजबूत शिक्षक (teacher) से छात्र के अपने ही द्वारा उत्पन्न ट्रेजेक्टरीज (trajectories) पर शिक्षक के वितरण (distribution) से मेल खाकर सीखता है। हालाँकि, लॉन्ग-होराइजन एजेंट कार्यों (long-horizon agent tasks) (जिसमें मल्टी-टर्न इंटरैक्शन, टूल का उपयोग और पर्यावरणीय परिवर्तन शामिल हैं) पर वैनिला OPD लागू करने से दो महत्वपूर्ण अक्षमताएं सामने आती हैं जो प्रशिक्षण प्रदर्शन और संसाधन उपयोगिता को कम करती हैं:

1. बाहरी बेमेल (External Mismatch - रोलआउट डेप्थ): वैनिला OPD आमतौर पर फिक्स्ड, फुल-होराइजन रोलआउट का उपयोग करता है। लेखक पहचानते हैं कि रिवर्स-KL सुपरविजन सिग्नल शुरुआती टर्न्स की ओर अत्यधिक झुका हुआ होता है। जैसे-जैसे प्रशिक्षण आगे बढ़ता है और ट्रेजेक्टरीज लंबी होती जाती हैं, "टेल" (tail) टर्न्स अक्सर कमजोर, शोर वाले या गैर-सूचनात्मक KL सिग्नल प्रदान करते हैं। इन कम-उपयोगी चरणों पर पूर्ण-लंबाई वाले रोलआउट की गणना जारी रखना कंप्यूट संसाधनों की बर्बादी है।
2. आंतरिक बेमेल (Internal Mismatch - लॉस एलोकेशन): मानक ट्रेजेक्टरी-स्तरीय KL ऑब्जेक्टिव्स टोकन काउंट के आधार पर लॉस को नॉर्मलाइज़ करते हैं। चूंकि शुरुआती टर्न्स में अक्सर अधिक टोकन और उच्च प्रारंभिक KL डाइवर्जेंस होता है, वे लॉस बजट पर हावी हो जाते हैं। इसके परिणामस्वरूप, गहरे निर्णय लेने वाले टर्न्स (deeper decision turns)—जो लॉन्ग-होराइजन सफलता के लिए महत्वपूर्ण हैं लेकिन जिनमें कम टोकन और कम कच्चा KL होता है—अपर्याप्त सुपरविजन प्राप्त करते हैं। लेखक इसे एक कंटैमिनेशन-कंप्रेशन मैकेनिज्म (contamination-compression mechanism) के रूप में औपचारिक रूप देते हैं: जैसे-जैसे छात्र अधिक कॉन्टेक्स्ट जेनरेट करता है, अगला-टोकन वितरण फॉर्मेटिंग या दोहरावदार पैटर्न द्वारा तेजी से "फोर्स्ड" (forced) हो जाता है, जिससे दृश्यमान KL संकुचित (compress) हो जाता है, भले ही वास्तविक पॉलिसी मतभेद बने रहें। यह एक ऐसी स्थिति की ओर ले जाता है जहाँ प्रारंभिक व्यवहार संरेखित होने के बाद गहरे टर्न्स को अपर्याप्त रूप से प्रशिक्षित किया जाता है।

कार्यप्रणाली (Methodology): TurnOPD

इन बेमेल स्थितियों को संबोधित करने के लिए, लेखक TurnOPD प्रस्तावित करते हैं, जो एक टर्न-स्तरीय बजटिंग रणनीति है जो रोलआउट होराइजन और लॉस एलोकेशन दोनों को गतिशील रूप से प्रबंधित करती है। TurnOPD में दो एडेप्टिव कंट्रोलर्स शामिल हैं:

1. एडेप्टिव रोलआउट-डेप्थ बजटिंग (Adaptive Rollout-Depth Budgeting)

यह कंट्रोलर लो-सिग्नल टेल टर्न्स पर कंप्यूट बर्बाद करने से बचने के लिए इष्टतम रोलआउट लंबाई ($H_{ctrl}$) को गतिशील रूप से निर्धारित करता है। यह दो संकेतों को संश्लेषित करता है:

• एफिशिएंसी प्रॉक्सी ($H_{eff}$): सर्वाइवर-वेटेड रिवर्स-KL वितरण के सेंट्रॉइड (centroid) की गणना करता है। यह KL सिग्नल को डिस्टिलेशन मास के वितरण के रूप में मानता है, और सार्थक सुधार संकेतों (correction signals) के संकेंद्रण के आधार पर लक्षित गहराई को बदलता है।
• कवरेज लोअर बाउंड ($H_{cov}$): यह सुनिश्चित करता है कि रोलआउट पर्याप्त गहरा हो ताकि सफल ट्रेजेक्टरीज के एक विशिष्ट क्वांटाइल (जैसे, 80%) को कवर किया जा सके। यह कंट्रोलर को रोलआउट को बहुत अधिक आक्रामक तरीके से काटने से रोकता है, जिससे यह सुनिश्चित होता है कि छात्र अभी भी पर्याप्त सफल पूर्णताओं (completions) को देख सके।
• मैकेनिज्म: कंट्रोलर सांख्यिकी का अनुमान लगाने के लिए आवधिक पूर्ण-लंबाई वाले प्रोब रोलआउट का उपयोग करते हुए $H_{ctrl} = \max(H_{eff}, H_{cov})$ को अपडेट करता है, जबकि नियमित प्रशिक्षण चरणों में कैप किए गए होराइजन का उपयोग किया जाता है।

2. प्रोग्रेसिव टर्न-नॉर्मलाइज्ड लॉस बजटिंग (Progressive Turn-Normalized Loss Budgeting)

यह कंट्रोलर आंतरिक बेमेल को संबोधित करने के लिए लॉस एग्रीगेशन रणनीति को टोकन-लेवल से टर्न-बैलेंस्ड सुपरविजन की ओर धीरे-धीरे स्थानांतरित करता है।

• लीनियर ब्लेंडिंग (Linear Blending): एक हार्ड स्विच के बजाय, यह विधि मानक ट्रेजेक्टरी-लेवल वेट (जो टोकन काउंट के समानुपाती है, $q_{traj}$) और एक यूनिफॉर्म टर्न-लेवल वेट ($q_{turn}$) के बीच लीनियर इंटरपोलेशन करती है।
• प्रोग्रेशन (Progression): ब्लेंडिंग कोएफिशिएंट $\alpha$ प्रशिक्षण प्रगति के साथ रैखिक रूप से बढ़ता है। शुरुआत में ($\alpha \approx 0$), लॉस स्थिरता सुनिश्चित करने के लिए टोकन मास का पालन करता है। जैसे-जैसे प्रशिक्षण आगे बढ़ता है, $\alpha$ बढ़ता है, जिससे जटिल निर्णय लेने की प्रक्रिया को रिफाइन करने के लिए गहरे टर्न्स की ओर वेट शिफ्ट होता है।

मुख्य योगदान (Key Contributions)

1. टर्न-लेवल डायग्नोसिस: पेपर लॉन्ग-होराइजन सेटिंग्स में OPD का व्यवस्थित विश्लेषण प्रदान करता है, जो यह प्रकट करता है कि सुपरविजन सिग्नल और ऑप्टिमाइज़ेशन बजट टर्न्स के बीच गैर-समान रूप से वितरित होते हैं। यह "कंटैमिनेशन-कंप्रेशन" घटना की पहचान करता है जहाँ कॉन्टेक्स्ट-प्रेरित बाधाएं गहरे टर्न्स में दृश्यमान KL को कृत्रिम रूप से दबा देती हैं।
2. बेमेल का औपचारिकीकरण: लेखक "एक्सटर्नल मिसमैच" (फिक्स्ड डेप्थ बनाम परिवर्तनशील सिग्नल उपयोगिता) और "इंटरनल मिसमैच" (टोकन-वेटेड लॉस बनाम टर्न-लेवल महत्व) को वैनिला OPD की अक्षमता के मूल कारणों के रूप में औपचारिक रूप देते हैं।
3. TurnOPD फ्रेमवर्क: एक दोहरे कंट्रोलर सिस्टम का प्रस्ताव, जो रोलआउट डेप्थ और लॉस नॉर्मलाइजेशन दोनों को एक साथ अनुकूलित करता है, जो विशेष रूप से एजेंट इंटरैक्शन की टर्न-कंडीशन्ड प्रकृति के लिए तैयार किया गया है।
4. अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि TurnOPD, वैनिला OPD और अन्य बेसलाइन्स की तुलना में काफी कम प्रशिक्षण समय के साथ बेहतर प्रदर्शन प्राप्त करके 'एक्यूरेसी-टाइम फ्रंटियर' को आगे बढ़ाता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन प्रतिनिधि बेंचमार्क पर TurnOPD का मूल्यांकन किया: ALFWorld (एम्बॉडीड प्लानिंग), WebShop (वेब नेविगेशन), और Multi-Hop Search (इन्फॉर्मेशन रिट्रीवल)। उन्होंने विभिन्न स्टूडेंट-टीचर पेयर्स का उपयोग किया (जैसे, Qwen3-8B/9B टीचर्स से डिस्टिल्ड Qwen3-1.7B/4B स्टूडेंट्स)।

• एक्यूरेसी-टाइम फ्रंटियर: TurnOPD ने लगातार सर्वश्रेष्ठ "लीस्ट-टाइम" एक्यूरेसी (किसी भी विधि द्वारा 100 स्टेप्स पूरा करने के लिए आवश्यक न्यूनतम वॉल-क्लॉक समय के भीतर प्राप्त उच्चतम एक्यूरेसी) हासिल की।
  • ALFWorld-1.7B पर, TurnOPD ने Same-Step Avg@4 को 83.0 (वैनिला OPD) से बढ़ाकर 86.3 कर दिया, जबकि वॉल-क्लॉक समय को 4.42 घंटों से घटाकर 1.93 घंटे कर दिया (एक 2.29× स्पीडअप)।
  • WebShop पर, इसने समय को 1.57h से 1.24h तक कम करते हुए एक्यूरेसी में सुधार किया।
  • Multi-Hop Search पर, इसने साझा समय बजट के तहत वैनिला OPD से बेहतर प्रदर्शन करते हुए सर्वश्रेष्ठ Least-Time एक्यूरेसी प्राप्त की।
• एब्लेशन स्टडीज (Ablation Studies):
  • केवल एडेप्टिव डेप्थ: इसने वॉल टाइम को काफी कम कर दिया (~55%), लेकिन एक्यूरेसी में थोड़ी गिरावट आई, जो पुष्टि करता है कि रोलआउट को छोटा करना कंप्यूट बचाता है लेकिन लॉस-एलोकेशन की समस्या को हल नहीं करता है।
  • केवल लीनियर ब्लेंड नॉर्म: इसने गहरे टर्न्स में लॉस को पुनर्वितरित करके एक्यूरेसी में सुधार किया लेकिन वॉल टाइम को कम नहीं किया।
  • संयुक्त (Combined): पूर्ण TurnOPD दृष्टिकोण ने इष्टतम ट्रेड-ऑफ हासिल किया, जो दक्षता और ऑप्टिमाइज़ेशन दोनों लीवर्स का लाभ उठाता है।
• कंट्रोलर डायनेमिक्स: विश्लेषण ने दिखाया कि एडेप्टिव कंट्रोलर सफलतापूर्वक डायग्नोस्टिक सिग्नल्स को ट्रैक करता है, जो सफल ट्रेजेक्टरीज के उभरने के साथ रोलआउट डेप्थ को बढ़ाता है और दक्षता एवं कवरेज बाधाओं के बीच संतुलन बनाता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि TurnOPD लॉन्ग-होरइजन लैंग्वेज एजेंटों को प्रशिक्षित करने के लिए एक अधिक कुशल और प्रभावी ढांचा प्रदान करता है। इसका प्राथमिक महत्व सुपरविजन के प्रतिमान को एक फ्लैट टोकन पोजीशन से बदलकर एक विकसित होते इंटरैक्शन ट्रेस के भीतर टर्न-कंडीशंड निर्णय में ले जाने में निहित है।

लेखक तर्क देते हैं कि:

• लॉन्ग-होरइजन एजेंटों के लिए मानक KL सुपरविजन और फुल ट्रेजेक्टरीज के साथ नॉर्मलाइजेशन, पहचाने गए विशिष्ट संरचनात्मक बेमेल के कारण अपर्याप्त है।
• TurnOPD 'एक्यूरेसी-टाइम फ्रंटियर' को आगे बढ़ाता है, जिससे एजेंटों को 2.29× तेज़ प्रशिक्षण के साथ उच्च प्रदर्शन स्तर तक पहुँचने में मदद मिलती है।
• दृष्टिकोण विभिन्न मॉडल आकारों और कार्य प्रकारों में मजबूत है, जो यह सुझाव देता है कि टर्न-अवेयर बजटिंग एजेंट ट्रेनिंग के लिए एक सामान्यीकरण योग्य सिद्धांत है।

पेपर निष्कर्ष निकालता है कि TurnOPD एक टर्न-अवेयर और बजट-एडेप्टिव ट्रेनिंग की राह खोलता है, जो उन विशिष्ट चुनौतियों को संबोधित करता है जिन्हें वैनिला सीक्वेंस-जेनरेशन ऑब्जेक्टिव्स हल करने में विफल रहते हैं।