💬 NLP

Self-Induced Outcome Potential: Turn-Level Credit Assignment for Agents without Verifiers

यह शोधपत्र सेल्फ-इंड्यूस्ड आउटकम पोटेंशियल (SIOP) का प्रस्ताव करता है, जो एक नवीन फ्रेमवर्क है जो अंतिम उत्तरों को सिमेंटिक आउटकम मोड्स में क्लस्टर करके और उन मध्यवर्ती चरणों को पुरस्कृत करके लंबी अवधि के एलएलएम (LLM) एजेंटों के लिए टर्न-लेवल क्रेडिट असाइनमेंट को सक्षम बनाता है जो विश्वसनीय भविष्य की अवस्थाओं के लिए समर्थन बढ़ाते हैं, जिसमें बाहरी सत्यापनकर्ताओं या गोल्ड-आंसर पर्यवेक्षण की आवश्यकता नहीं होती है।

मूल लेखक: Senkang Hu, Yong Dai, Xudong Han, Zhengru Fang, Yuzhi Zhao, Sam Tak Wu Kwong, Yuguang Fang

प्रकाशित 2026-05-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Senkang Hu, Yong Dai, Xudong Han, Zhengru Fang, Yuzhi Zhao, Sam Tak Wu Kwong, Yuguang Fang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

द बिग प्रॉब्लम: लंबी यात्राओं का "ब्लैक बॉक्स"

कल्पना कीजिए कि आप एक छात्र को एक जटिल रहस्य सुलझाने का तरीका सिखा रहे हैं। छात्र को अंतिम उत्तर देने से पहले प्रश्न पूछने होंगे, सुराग खोजने होंगे और चरणों के माध्यम से सोचना होगा।

पारंपरिक प्रशिक्षण में, शिक्षक केवल अंत में फीडबैक देता है: "आपने सही उत्तर दिया!" या "आप गलत हो गए।" यह एक ऐसे कोच की तरह है जो एक सॉकर खिलाड़ी को पूरे 90 मिनट तक मैदान में दौड़ते हुए देखता है, लेकिन केवल अंतिम सेकंड में सीटी बजाकर कहता है "गोल!" या "मिस किया!"

समस्या यह है: किस विशिष्ट चाल ने मदद की? क्या खिलाड़ी ने मिनट 10 में गेंद को सही तरीके से पास किया था? क्या वे मिनट 45 में सही जगह पर दौड़े थे? यदि खिलाड़ी गोल कर देता है, तो हमें नहीं पता कि कौन से कदम अच्छे थे और कहाँ ऊर्जा बर्बाद हुई। यदि वे चूक जाते हैं, तो हमें नहीं पता कि क्या शुरुआत गलत हुई थी या अंत में बस फिसल गए।

AI की दुनिया में, इसे क्रेडिट असाइनमेंट प्रॉब्लम (credit assignment problem) कहा जाता है। लंबी, जटिल कार्यों के लिए (जैसे कि किसी प्रश्न का उत्तर देने के लिए वेब पर खोज करने वाला AI एजेंट), हमारे पास प्रशिक्षण के दौरान किसी "गोल्ड आंसर" (आदर्श उत्तर) से तुलना करने के लिए आमतौर पर कोई आधार नहीं होता, या हमारे पास हर एक चरण को ग्रेड करने के लिए कोई इंसान नहीं होता। इसलिए, AI बस अनुमान लगाता है, इस उम्मीद में कि अंतिम परिणाम सही होगा।

समाधान: SIOP (सेल्फ-इंड्यूस्ड आउटकम पोटेंशियल)

लेखक इन AI एजेंटों को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करते हैं जिसके लिए किसी मानव शिक्षक या हर चरण के लिए लिखे गए "सही उत्तर" की आवश्यकता नहीं है। वे इस पद्धति को SIOP कहते हैं।

यह कैसे काम करता है, यहाँ तीन सरल चरणों में दिया गया है:

1. "ग्रुप वोट" (सिमेंटिक क्लस्टरिंग)

यह पूछने के बजाय कि "क्या यह उत्तर 100% सही है?", AI अंतिम उत्तर के कई अलग-अलग संस्करण बनाता है (जैसे कि 100 छात्रों को एक ही पहेली हल करने के लिए कहना)।

उपमा: कल्पना कीजिए कि 100 छात्र अपने उत्तर लिखते हैं। कुछ कहते हैं "राजधानी पेरिस है," अन्य कहते हैं "पेरिस, फ्रांस," और कुछ कहते हैं "लंदन।"
जादू: AI इन उत्तरों को स्पेलिंग (वर्तनी) के बजाय उनके अर्थ (meaning) के आधार पर समूह में बांटता है। वह समझ जाता है कि "पेरिस" और "पेरिस, फ्रांस" एक ही "विचार" (एक सिमेंटिक क्लस्टर) हैं। वह अजीब "लंदन" वाले उत्तरों को अनदेखा कर देता है।
परिणाम: AI "संभावित भविष्यों का एक मानचित्र" बनाता है। वह देखता है कि उसके अधिकांश प्रयास "पेरिस" के विचार की ओर बढ़ रहे हैं, इसलिए वह विचार एक "विश्वसनीय लक्ष्य" बन जाता है।

2. "विश्वसनीयता की जांच" (कैलिब्रेशन)

सिर्फ इसलिए कि बहुत से छात्रों ने "पेरिस" के लिए वोट दिया है, इसका मतलब यह नहीं है कि वह सही है (हो सकता है कि उन सभी ने एक ही गलत किताब से नकल की हो)। AI को यह जांचने की आवश्यकता है कि क्या "पेरिस" समूह वास्तव में साक्ष्य (evidence) द्वारा समर्थित है।

उपमा: शिक्षक "पेरिस" समूह को देखता है और पूछता है, "क्या आपने इसे साबित करने के लिए कोई नक्शा या टिकट पाया?" यदि समूह के पास मजबूत सबूत हैं, तो उन्हें उच्च स्कोर मिलता है। यदि उन्होंने केवल अनुमान लगाया है, तो उन्हें कम स्कोर मिलता है, भले ही वे बहुमत में हों।
परिणाम: AI एक "टारगेट डिस्ट्रीब्यूशन" बनाता है। वह जानता है कि खोज के दौरान मिले साक्ष्यों के आधार पर कौन से भविष्य के परिणाम भरोसेमंद हैं।

3. "चरण-दर-चरण स्कोर" (टर्न-लेवल क्रेडिट)

अब मुख्य हिस्सा आता है। AI उन सभी चरणों को देखता है जो उसने उन उत्तरों तक पहुँचने के लिए लिए थे।

उपमा: कल्पना कीजिए कि छात्र एक रास्ते पर चल रहा है। हर कदम पर, AI पूछता है: "क्या इस कदम ने आपको 'पेरिस' समूह के करीब पहुँचाया?"
- यदि छात्र ने "फ्रांस की राजधानी" के बारे में खोजा और एक नक्शा पाया, तो AI कहता है, "बहुत बढ़िया! आप विश्वसनीय लक्ष्य के करीब पहुँच गए। +10 अंक।"
- यदि छात्र ने "पेरिस में सबसे अच्छा पिज्जा" खोजा (जो प्रश्न के लिए अप्रासंगिक है), तो AI कहता है, "आप लक्ष्य से दूर जा रहे हैं। -5 अंक।"
परिणाम: AI यात्रा के दौरान अच्छे कदम उठाना सीखता है, न कि केवल अंत में अच्छा परिणाम होने की उम्मीद करता है। उसे हर उस कदम के लिए पुरस्कृत किया जाता है जो एक "विश्वसनीय" उत्तर क्लस्टर तक पहुँचने की संभावना को बढ़ाता है।

यह एक बड़ी बात क्यों है

अधिकांश वर्तमान विधियाँ या तो:

अंत का इंतजार करती हैं: वे केवल अंत में एक स्कोर देती हैं (आउटकम RL)। यह धीमा और अक्षम है।
एक परफेक्ट आंसर की (Answer Key) की आवश्यकता होती है: उन्हें एक इंसान की आवश्यकता होती है जो कहे "यह विशिष्ट चरण सही था" (सुपरवाइज्ड लर्निंग)। यह महंगा है और नए कार्यों के लिए कठिन है।

SIOP अलग है क्योंकि:

यह अपने स्वयं के "आंसर की" का निर्माण करता है, यह देखकर कि AI स्वयं क्या उत्पन्न कर रहा है और समान विचारों को समूह में बाँटकर।
यह जाँचता है कि क्या वे विचार साक्ष्यों (जैसे खोज परिणाम) द्वारा समर्थित हैं।
यह AI को हर उस चरण के लिए पुरस्कृत करता है जो उन विश्वसनीय विचारों तक पहुँचने में मदद करता है।

परिणाम (जो पेपर दावा करता है)

लेखकों ने सात अलग-अलग प्रश्न-उत्तर बेंचमार्क (जैसे ट्रिकी ट्रिविया और मल्टी-स्टेप रिसर्च प्रश्न) पर इसका परीक्षण किया।

अनुमान लगाने से बेहतर: SIOP उन अन्य विधियों की तुलना में काफी बेहतर प्रदर्शन करता है जिनमें "गोल्ड आंसर" का उपयोग नहीं किया जाता (वेरिफायर-फ्री बेसलाइन्स)।
एक शिक्षक के लगभग बराबर: यह उन विधियों के प्रदर्शन के बहुत करीब पहुँच गया जिनके पास एक परफेक्ट आंसर की होती है, भले ही SIOP ने उसका उपयोग नहीं किया।
स्मार्ट सर्चिंग: AI ने जानकारी खोजने में अधिक कुशलता से सीखना शुरू किया, बेहतर प्रश्न पूछना और पर्याप्त जानकारी मिलने पर रुकना सीखा, बजाय इसके कि वह बिना किसी दिशा के भटकता रहे।

संक्षेप में

SIOP को एक ऐसे सेल्फ-ड्राइविंग कार के रूप में सोचें जिसके पास मंजिल का कोई GPS मैप नहीं है। इसके बजाय, वह रूट को 100 बार चलाती है। वह देखती है कि 90 बार, वह एक सुरक्षित, तार्किक पड़ोस (सिमेंटिक क्लस्टर) में समाप्त हुई। फिर वह जाँचती है कि जो सड़कें उसने ली थीं, वे वास्तव में साक्ष्यों से बनी थीं या नहीं। अंत में, वह टेप को पीछे घुमाती है और खुद को हर उस मोड़ के लिए "थम्स अप" देती है जिसने उसे उस सुरक्षित पड़ोस की सड़क पर बनाए रखा, और हर उस मोड़ के लिए "थम्स डाउन" देती है जो उसे डेड एंड (बंद गली) की ओर ले गया।

यह AI को बिना किसी मानव द्वारा हर चाल को ग्रेड किए, जटिल, लंबे समय तक चलने वाले कार्यों को स्वयं सीखने की अनुमति देता है।

तकनीकी सारांश: सेल्फ-इंड्यूस्ड आउटकम पोटेंशियल (SIOP)

समस्या विवरण (Problem Statement)

लंबे समय तक चलने वाले (long-horizon) लार्ज लैंग्वेज मॉडल (LLM) एजेंट, विशेष रूप से वे जो सर्च-ऑगमेंटेड रीजनिंग या टूल उपयोग में लगे होते हैं, मध्यवर्ती इंटरैक्शन टर्न (intermediate interaction turns) के आधार पर सफल या विफल होते हैं। हालांकि, मानक प्रशिक्षण प्रतिमान आमतौर पर आउटकम-लेवल सुपरविजन पर निर्भर करते हैं, जहाँ अंतिम उत्तर उत्पन्न होने के बाद ही रिवॉर्ड दिए जाते हैं। यह एक सुपरविजन मिसमैच (supervision mismatch) पैदा करता है: एक एकल टर्मिनल रिवॉर्ड उन विशिष्ट मध्यवर्ती विचारों, टूल कॉल्स, या अवलोकनों को विश्वसनीय रूप से क्रेडिट असाइन नहीं कर सकता जिन्होंने एजेंट की भविष्य की संभावनाओं में सुधार किया हो।

मौजूदा समाधान दो प्राथमिक सीमाओं का सामना करते हैं:

टर्न-लेवल शेपिंग मेथड्स (जैसे, IGPO, TIPS) के लिए "गोल्ड आंसर" या एक स्थिर, कार्य-विशिष्ट वेरीफायर तक पहुंच की आवश्यकता होती है ताकि पोटेंशियल-बेस्ड रिवॉर्ड्स की गणना की जा सके। ऐसी सुपरविजन अक्सर ओपन-एंडेड एजेंटिक सेटिंग्स में उपलब्ध नहीं होती है।
लेबल-फ्री रीइन्फोर्समेंट लर्निंग (RL) विधियां (जैसे, TTRL, EMPO) आउटपुट डिस्ट्रीब्यूशन से सिग्नल निकालते हैं लेकिन मुख्य रूप से ट्राजेक्टरी या उत्तर के स्तर पर कार्य करते हैं। वे विश्वसनीय अंतिम प्रतिक्रियाओं की पहचान तो करते हैं लेकिन उन मध्यवर्ती टर्न्स को वैल्यू असाइन करने में विफल रहते हैं जो उन परिणामों तक ले गए।

मुख्य चुनौती एक वेरिफायर-फ्री, टर्न-लेवल क्रेडिट असाइनमेंट तंत्र का निर्माण करना है जो बिना किसी ग्राउंड-ट्रुथ उत्तर की धारणा के, स्व-जनित संकेतों (self-generated signals) का लाभ उठा सके।

कार्यप्रणाली: सेल्फ-इंड्यूस्ड आउटकम पोटेंशियल (SIOP)

SIOP इसे इस प्रकार हल करता है कि अंतिम उत्तरों के सिमेंटिक क्लस्टर्स (semantic clusters) को लेटेंट फ्यूचर आउटकम स्टेट्स (latent future outcome states) के रूप में माना जाता है। एक निश्चित गोल्ड टारगेट पर निर्भर रहने के बजाय, यह ढांचा इन लेटेंट स्टेट्स पर एक क्वेरी-विशिष्ट टारगेट डिस्ट्रीब्यूशन बनाता है और टर्न्स को विश्वसनीय भविष्य के मोड्स (modes) के लिए सपोर्ट बढ़ाने की उनकी क्षमता के आधार पर रिवॉर्ड देता है।

1. सिमेंटिक आउटकम मोड्स और लेटेंट स्टेट्स

एक दिए गए क्वेरी $q$ के लिए, पॉलिसी $K$ रोलआउट्स को सैंपल करती है। अंतिम उत्तरों $\{y^{(k)}\}$ को द्विदिश सिमेंटिक एंटेलमेंट (bidirectional semantic entailment - एक NLI मॉडल का उपयोग करके) के आधार पर सिमेंटिक आउटकम मोड्स ( $C(q)$ ) में क्लस्टर किया जाता है। प्रत्येक क्लस्टर $c$ एक विशिष्ट सिमेंटिक परिकल्पना (hypothesis) का प्रतिनिधित्व करता है।

लेटेंट फ्यूचर स्टेट्स: ये क्लस्टर्स पोटेंशियल-बेस्ड शेपिंग के लिए भविष्य के स्टेट स्पेस के रूप में कार्य करते हैं।
रिलायबिलिटी कैलिब्रेशन: रॉ क्लस्टर फ्रीक्वेंसी ( $m(c|q)$ ) अपर्याप्त है, क्योंकि एक बार-बार आने वाला क्लस्टर मॉडल बायस के कारण लगातार गलत हो सकता है। SIOP एक रिलायबिलिटी सिग्नल $r(c, q)$ (जैसे, रिट्रीव्ड टूल ऑब्जर्वेशन से साक्ष्य समर्थन) पेश करता है ताकि एम्पिरिकल डिस्ट्रीब्यूशन को रीवेट किया जा सके।
टारगेट डिस्ट्रीब्यूशन: स्व-प्रेरित टारगेट डिस्ट्रीब्यूशन $q_\theta(c|q)$ को एम्पिरिकल मास को रिलायबिलिटी के साथ कैलिब्रेट करके बनाया जाता है:
$q_\theta(c|q) \propto m(c|q) \exp(\eta \cdot r(c, q))$
यह सुनिश्चित करता है कि बार-बार आने वाले लेकिन अविश्वसनीय मोड्स को कम वेट दिया जाए, जबकि कम बार आने वाले लेकिन साक्ष्य-समर्थित मोड्स को अधिक वेट दिया जाए।

2. मल्टी-रेफरेंस क्लस्टर सपोर्ट

विशिष्ट शब्दों के प्रति संवेदनशीलता से बचने के लिए, SIOP एक सिंगल प्रोटोटाइप उत्तर को स्कोर नहीं करता है। इसके बजाय, यह प्रत्येक क्लस्टर से नॉर्मलाइज्ड वेट $\alpha_y$ के साथ संदर्भ उत्तरों (reference answers) का एक छोटा सेट $R(c)$ चुनता है। प्रीफिक्स $\tau_{\le t}$ के दिए गए होने पर क्लस्टर $c$ के लिए सपोर्ट को इस प्रकार अनुमानित किया जाता है:
$\tilde{p}_\theta(c|\tau_{\le t}) = \sum_{y \in R(c)} \alpha_y p_\theta(y|\tau_{\le t})$
यह मल्टी-रेफरेंस दृष्टिकोण पूरे सिमेंटिक मोड के लिए एक मजबूत माप प्रदान करता है।

3. पोटेंशियल-बेस्ड टर्न-लेवल रिवॉर्ड्स

मुख्य नवाचार आउटकम पोटेंशियल $\Phi_\theta$ है, जिसे टर्न $t$ पर एक रोलआउट के रियलाइज्ड मोड $c^{(k)}$ के लिए परिभाषित किया गया है:
$\Phi_\theta(\tau_{\le t}^{(k)}, c^{(k)}) = q_\theta(c^{(k)}|q) \log \tilde{p}_\theta(c^{(k)}|\tau_{\le t}^{(k)})$
टर्न $t$ के लिए प्रोसेस रिवॉर्ड वर्तमान और पिछले प्रीफिक्स के बीच पोटेंशियल का अंतर है:
$r_{t,proc}^{(k)} = \Phi_\theta(\tau_{\le t}^{(k)}, c^{(k)}) - \Phi_\theta(\tau_{\le t-1}^{(k)}, c^{(k)})$
यह तब पॉजिटिव होता है जब कोई टर्न उस क्लस्टर के लिए मॉडल के सपोर्ट को बढ़ाता है जिसमें वह अंततः लैंड करता है, जिसे क्लस्टर की कैलिब्रेटेड रिलायबिलिटी द्वारा भारित (weighted) किया जाता है।

4. टर्न-लेवल एडवांटेज कंस्ट्रक्शन

पॉलिसी ऑप्टिमाइजेशन में इन रिवॉर्ड्स को एकीकृत करने के लिए:

ऑगमेंटेड इमीडिएट रिवॉर्ड: एक मिक्सिंग कोएफिशिएंट $\lambda$ प्रोसेस रिवॉर्ड को टर्मिनल आउटकम मास के साथ जोड़ता है, जिसे केवल अंतिम उत्तर टर्न पर जोड़ा जाता है।
ग्रुप-नॉर्मलाइज्ड एडवांटेज: रिवॉर्ड्स को एक क्वेरी ग्रुप (एक प्रॉम्प्ट के लिए सभी रोलआउट्स) के भीतर पूल किया जाता है, नॉर्मलाइज्ड (z-score) किया जाता है, और डिस्काउंटेड सम के माध्यम से बैकवर्ड प्रोपेगेट किया जाता है ताकि टर्न-लेवल एडवांटेज $A_t^{(k)}$ की गणना की जा सके।
टोकन-लेवल असाइनमेंट: स्टैंडर्ड GRPO के विपरीत, जो ट्राजेक्टरी-लेवल स्कोर ब्रॉडकास्ट करता है, SIOP उस विशिष्ट टर्न के भीतर उत्पन्न होने वाले ट्रेन करने योग्य टोकन को ही विशिष्ट टर्न एडवांटेज $A_t^{(k)}$ असाइन करता है।

मुख्य योगदान (Key Contributions)

वेरिफायर-फ्री टर्न-लेवल क्रेडिट असाइनमेंट: पेपर क्रेडिट असाइनमेंट को स्व-प्रेरित सिमेंटिक आउटकम मोड्स पर पोटेंशियल-बेस्ड लर्निंग के रूप में फॉर्म्युलेट करता है, जिससे गोल्ड आंसर या कार्य-विशिष्ट वेरीफायर की आवश्यकता समाप्त हो जाती है।
सेल्फ-इंड्यूस्ड आउटकम पोटेंशियल (SIOP): एक अभिनव रिवॉर्ड फंक्शन जो एम्पिरिकल आउटकम मोड्स को रिलायबिलिटी सिग्नल्स के साथ कैलिब्रेट करता है और क्लस्टर सपोर्ट के प्रीफिक्स-टू-प्रीफिक्स परिवर्तनों को टर्न-लेवल प्रोसेस रिवॉर्ड्स में बदल देता है।
ग्रैनुलर एडवांटेज कंस्ट्रक्शन: SIOP लंबे समय तक चलने वाले एजेंटों के लिए टर्न-विशिष्ट एडवांटेज बनाता है, जिससे प्रत्येक टर्न के भीतर ट्रेन करने योग्य टोकन को ही क्रेडिट दिया जाता है, जिससे ट्राजेक्टरी-लेवल स्कोर के "ब्रॉडकास्ट" से होने वाली बाधा से बचा जा सके जो मध्यवर्ती योगदानों को अस्पष्ट कर देती है।
सैद्धांतिक लक्षण वर्णन (Theoretical Characterization): लेखक सिद्ध करते हैं कि गोल्ड-आंसर शेपिंग के सुपरवाइज्ड लिमिट (जहाँ टारगेट डिस्ट्रीब्यूशन गोल्ड क्लस्टर पर केंद्रित होता है) में SIOP मानक गोल्ड-आंसर शेपिंग में बदल जाता है, और यह प्रदर्शित करते हैं कि यह ग्लोबल स्कोर ब्रॉडकास्ट करने के बजाय स्टेप-वाइज मार्जिनल सपोर्ट गेन को मापता है।

प्रयोगात्मक परिणाम (Experimental Results)

मेथड का मूल्यांकन सात सर्च-ऑगमेंटेड QA बेंचमार्क्स (NQ, TriviaQA, PopQA, HotpotQA, 2WikiMultiHop2QA, MuSiQue, Bamboogle) पर Qwen3-4B और Qwen3-8B बैकबोन का उपयोग करके किया गया।

प्रदर्शन: SIOP ने आउटकम-लेवल सिग्नल पर निर्भर verifier-free बेसलाइन्स (TTRL, EMPO) को लगातार पछाड़ा। 4B बैकबोन पर, SIOP ने सर्वश्रेष्ठ औसत verifier-free Exact Match (EM) और F1 प्राप्त किया, जो EMPO की तुलना में +0.7% EM और +1.8% F1 बेहतर है।
सुपरवाइज्ड बेसलाइन्स के साथ तुलना: SIOP ने गोल्ड-सुपरवाइज्ड आउटकम बेसलाइन्स (GRपो) के प्रदर्शन के करीब पहुँच लिया और बिना किसी गोल्ड लेबल के उपयोग के गोल्ड-सुपरवाइज्ड टर्न-लेवल बेसलाइन्स (IGPO) के अंतर को काफी कम कर दिया। विशेष रूप से, HotpotQA और 2Wiki जैसे मल्टी-हॉप बेंचमार्क्स पर, SIOP ने गोल्ड-सुपरवाज़्ड GRPO आउटकम बेसलाइन को भी पीछे छोड़ दिया।
एब्लेशन स्टडीज: रिलायबिलिटी कैलिब्रेशन, मल्टी-रेफरेंस सपोर्ट, या प्रति-टर्न प्रोसेस रिवॉर्ड को हटाने से प्रदर्शन में गिरावट आई, जिससे प्रत्येक घटक की आवश्यकता की पुष्टि हुई। विशेष रूप से, टर्न-लेवल एडवांटेज कंस्ट्रक्शन को महत्वपूर्ण दिखाया गया, क्योंकि एडवांटेज ब्रॉडकास्ट करने (जैसे स्टैंडर्ड GRPO) से प्रदर्शन घटकर लगभग आउटकम-ओनली लेवल पर आ गया।
ट्रेनिंग डायनेमिक्स: SIOP ने जनरेशन एंट्रॉपी को निचले स्तरों पर बनाए रखते हुए रेडंडेंट सर्च टर्न्स और रिस्पॉन्स लेंथ को कम किया, जो अधिक कुशल एक्सप्लोरेशन का संकेत देता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि SIOP सफलतापूर्वक आउटकम-लेवल रिलायबिलिटी और प्रोसेस-लेवल क्रेडिट असाइनमेंट के बीच के अंतर को भरता है, जहाँ ग्राउंड ट्रुथ उपलब्ध नहीं है। क्लस्टर्ड फाइनल आंसर्स को लेटेंट फ्यूचर स्टेट्स के रूप में मानकर, यह ढांचा इंफॉर्मेशन-पोटेंशियल शेपिंग को गोल्ड-आंसर सुपरविजन से verifier-free वातावरणों में सामान्य (generalize) करता है।

लेखक इस बात पर जोर देते हैं कि SIOP केवल बेहतर अंतिम उत्तरों का चयन नहीं करता है, बल्कि सक्रिय रूप से मध्यवर्ती रीजनिंग ट्राजेक्टरी को आकार देता है। यह विधि एजेंटों को यह सीखने में मदद करती है कि कौन से मध्यवर्ती इंटरैक्शन (जैसे, विशिष्ट सर्च क्वेरी या टूल कॉल) ट्राजेक्टरी को विश्वसनीय भविष्य के स्टेट्स की ओर ले जाते हैं, भले ही उन स्टेट्स की शुद्धता केवल उनके अपने सैंपल्स की निरंतरता और साक्ष्य समर्थन से ही अनुमानित की जा सके। यह उन ओपन-एंडेड डोमेन में इंटरैक्टिव एजेंटों को प्रशिक्षित करने का एक व्यावहारिक मार्ग प्रदान करता है जहाँ कार्य-विशिष्ट वेरीफायर बनाना असंभव है।