IterResearch: Rethinking Long-Horizon Agents with Interaction Scaling

तकनीकी सारांश: IterResearch

समस्या विवरण

डीप-रिसर्च एजेंटों में हालिया प्रगति ने बाहरी स्रोतों पर गतिशील तर्क (dynamic reasoning) के माध्यम से स्वायत्त ज्ञान निर्माण की क्षमता प्रदर्शित की है। हालाँकि, मौजूदा दृष्टिकोण मुख्य रूप से एक मोनो-कॉन्टेक्स्टुअल प्रतिमान (mono-contextual paradigm) पर निर्भर करते हैं, जहाँ सभी पुनर्प्राप्त जानकारी और मध्यवर्ती तर्क चरणों को एक ही, निरंतर विस्तारित संदर्भ विंडो (context window) में जोड़ा जाता है। लेखक लंबी अवधि के कार्यों (long-horizon tasks) के लिए इस प्रतिमान में दो महत्वपूर्ण विफलताओं की पहचान करते हैं:

1. कॉन्टेक्स्ट सफोकेशन (Context Suffocation): जैसे-जैसे संदर्भ विंडो पिछले इंटरैक्शन से भरती जाती है, सक्रिय तर्क के लिए उपलब्ध स्थान कम होता जाता है, जिससे सीमित प्रतिक्रियाएँ उत्पन्न होती हैं जो समय से पहले या सतही निष्कर्षों में बदल जाती हैं।
2. नॉइज़ कंटैमिनेशन (Noise Contamination): वेब खोजों और प्रारंभिक अन्वेषण त्रुटियों से अप्रासंगिक जानकारी स्थायी रूप से संदर्भ में समाहित हो जाती है, जिससे एक कैस्केडिंग हस्तक्षेप (cascading interference) पैदा होता है जो पूरी तर्क प्रक्रिया के दौरान सिग्नल की गुणवत्ता को कम कर देता है।

ये सीमाएँ मौजूदा एजेंटों को अन्वेषण की गहराई बढ़ने के साथ निरंतर तर्क क्षमता बनाए रखने से रोकती हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र IterResearch पेश करता है, जो एक नवीन इटरेटिव डीप-रिसर्च प्रतिमान है जो इंटरेक्शन स्केलिंग (Interaction Scaling) के दृष्टिकोण से लंबी अवधि के अनुसंधान की पुनर्कल्पना करता है। यह कार्यप्रणाली दो मुख्य घटकों पर आधारित है:

1. इटरेटिव डीप-रिसर्च प्रतिमान (MDP-प्रेरित आर्किटेक्चर)

रैखिक संदर्भ संचय (linear context accumulation) के बजाय, IterResearch एक MDP-आधारित फॉर्मूलेशन को अपनाता है जिसे टुपल $\langle S, D, E, T, R \rangle$ द्वारा परिभाषित किया गया है।

• स्टेट स्पेस ($S$): प्रत्येक स्टेट $s_t$ एक रणनीतिक रूप से पुनर्गठित वर्कस्पेस है जिसमें केवल आवश्यक तत्व शामिल हैं: स्थिर प्रश्न $q$, एक विकसित होती रिपोर्ट $M_t$ (जो सत्यापित निष्कर्षों के संकुचित मेमोरी के रूप में कार्य करती है), और पिछले चरण का तत्काल संदर्भ।
• डिसीजन स्पेस ($D$): पॉलिसी $\pi$ एक संयुक्त निर्णय $d_t$ उत्पन्न करती है जिसमें आंतरिक विचार ($Think_t$), एक अपडेटेड रिपोर्ट ($M_{t+1}$), और एक बाहरी क्रिया ($a_t$) शामिल है।
• ट्रांजिशन फंक्शन ($T$): महत्वपूर्ण रूप से, ट्रांजिशन फंक्शन इतिहास को जोड़ने के बजाय वर्कस्पेस को पुनर्गठित (reconstruct) करता है। ऐतिहासिक प्रक्षेपवक्र (historical trajectory) को जानबूझकर हटा दिया जाता है, जिसमें केवल संश्लेषित ज्ञान को अपडेटेड रिपोर्ट में संरक्षित किया जाता है। यह सुनिश्चित करता है कि वर्कस्पेस का आकार इंटरैक्शन राउंड की संख्या के बावजूद स्थिर ($O(1)$) बना रहे, जो सैद्धांतिक रूप से असीमित अन्वेषण को सक्षम बनाता है।

2. एफिशिएंसी-अवेयर पॉलिसी ऑप्टिमाइज़ेशन (EAPO)

इस इटरेटिव प्रतिमान को प्रभावी ढंग से प्रशिक्षित करने के लिए, लेखक EAPO प्रस्तावित करते हैं, जो दो चुनौतियों का समाधान करता है:

• जियोमेट्रिक रिवॉर्ड डिस्काउंटिंग (Geometric Reward Discounting): यह पहचानते हुए कि सभी सफल प्रक्षेपवत्तियाँ समान रूप से मूल्यवान नहीं होती हैं, लेखक मानक जियोमेट्रिक डिस्काउंटिंग ($r_t = \gamma^{T-t} \cdot R_T$) को अनुकूलित करते हैं। यह एक अंतर्निहित दक्षता दबाव (efficiency pressure) बनाता है, जो एजेंटों को व्यापक खोज के बजाय संक्षिप्त और केंद्रित अन्वेषण के माध्यम से सही निष्कर्ष तक पहुँचने के लिए प्रोत्साहित करता है।
• एडाप्टिव डाउनसैंपलिंग (Adaptive Downsampling): चूंकि इटरेटिव प्रतिमान प्रक्षेपवत्तियों को कई स्वतंत्र प्रशिक्षण नमूनों (प्रति राउंड एक) में विभाजित करता है, इसलिए सैंपल काउंट भिन्न होते हैं। लेखक डेटा-पैरेलल साइज के साथ ट्रेनिंग बैचों को संरेखित करने के लिए एडाप्टिव डाउनसैंपलिंग का उपयोग करते हैं, जिससे स्थिर डिस्ट्रिब्यूटेड ट्रेनिंग सुनिश्चित होती है और 99% से अधिक डेटा सुरक्षित रहता है।

प्रमुख योगदान

1. नवीन प्रतिमान: IterResearch का प्रस्ताव, जो एक विकसित होती रिपोर्ट मेमोरी बनाए रखकर और रणनीतिक वर्कस्पेस पुनर्गठन करके कॉन्टेक्स्ट सफोकेशन और नॉइज़ कंटैमिनेशन को समाप्त करता है।
2. प्रशिक्षण रणनीति: EAPO का विकास, जो दक्षता के लिए जियोमेट्रिक रिवॉर्ड डिस्काउंटिंग और परिवर्तनशील लंबाई वाली प्रक्षेपवत्तियों पर स्थिर प्रशिक्षण के लिए एडाप्टिव डाउनसैंपलिंग को जोड़ता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि IterResearch मौजूदा ओपन-सोर्स एजेंटों की तुलना में पर्याप्त सुधार प्राप्त करता है और फ्रंटियर प्रोप्राइटरी सिस्टम के साथ अंतर को कम करता है।

प्रयोगात्मक परिणाम

लेखकों ने छह चुनौतीपूर्ण बेंचमार्क: Humanity's Last Exam (HLE), BrowseComp, BrowseComp-zh, GAIA, Xbench-DeepSearch, और SEAL-0 पर IterResearch (Qwen3-30B-A3B पर आधारित) का मूल्यांकन किया।

• प्रदर्शन लाभ: IterResearch ने छह बेंचमार्क में मौजूदा ओपन-सोर्स एजेंटों पर औसतन +14.5 प्रतिशत अंक (pp) का सुधार हासिल किया। इसने सभी ओपन-सोर्स बेसलाइन को पीछे छोड़ दिया और फ्रंटियर प्रोप्राइटरी सिस्टम (जैसे HLE और BrowseComp-zh पर OpenAI के DeepResearch से बेहतर प्रदर्शन) के मुकाबले प्रतिस्पर्धी या श्रेष्ठ प्रदर्शन प्रदर्शित किया।
• इंटरेक्शन स्केलिंग: इस प्रतिमान ने अभूतपूर्व स्केलिंग क्षमता प्रदर्शित की, जो केवल 40K कॉन्टेक्स्ट लेंथ के साथ 2048 इंटरैक्शन तक विस्तृत हुई। जैसे-जैसे अधिकतम इंटरैक्शन सीमा 2 से बढ़कर 2048 हुई, प्रदर्शन नाटकीय रूप से 3.5% से 42.5% हो गया, जो कॉन्टेक्स्ट ओवरफ्लो के कारण मोनो-कॉन्टेक्स्टुअल दृष्टिकोणों के लिए संरचनात्मक रूप से असंभव कार्य है।
• क्रॉस-पैराडाइम ट्रांसफर: पाया गया कि IterResearch द्वारा उत्पन्न प्रक्षेपवत्तियां मोनो-कॉन्टेक्सुअल एजेंटों को प्रशिक्षण डेटा के रूप में उपयोग करने पर उन्हें महत्वपूर्ण रूप से बेहतर बनाती हैं, जो यह सुझाव देता है कि यह प्रतिमान श्रेष्ठ अन्वेषण व्यवहार (exploration behaviors) को प्रेरित करता है जो विभिन्न आर्किटेक्चरों में भी हस्तांतरणीय (transferable) है।
• प्रॉम्प्टिंग रणनीति: बिना किसी प्रशिक्षण के, फ्रंटियर मॉडल्स (जैसे o3, DeepSeek-V3.1) पर IterResearch प्रॉम्प्टिंग स्ट्रक्चर लागू करने से मानक ReAct प्रॉम्प्टिंग की तुलना में विशेष रूप से लंबी अवधि के कार्यों पर पर्याप्त सुधार प्राप्त हुआ (BrowseComp पर +19.2pp तक)।

महत्व और दावे

यह शोध पत्र IterResearch को एक वर्सेटाइल समाधान के रूप में प्रस्तुत करता है, जो एक प्रशिक्षित एजेंट और एक मॉडल-अग्नोस्टिक प्रॉम्प्टिंग प्रतिमान दोनों के रूप में प्रभावी है। लेखक तीन मौलिक अंतर्दृष्टि का दावा करते हैं:

1. इंटरेक्शन स्केलिंग: इटरेटिव प्रतिमान अत्यधिक इंटरेक्शन स्केलिंग को अनलॉक करता है, जो यह सुझाव देता है कि लंबी अवधि के कार्यों की कथित कठिनाई अंतर्निहित तर्क सीमाओं के बजाय अपर्याप्त अन्वेषण क्षमता से उत्पन्न होती है।
2. श्रेष्ठ अन्वेषण व्यवहार: यह प्रतिमान उच्च-गुणवत्ता वाले अन्वेषण व्यवहार को प्रेरित करता है जो हस्तांतरणीय प्रशिक्षण संकेत (training signals) बनाता है, यहाँ तक कि उन एजेंटों के लिए भी जो अलग-अलग आर्किटेक्चरल प्रतिमानों का उपयोग करते हैं।
3. मॉडल-अग्नोस्टिक प्रभावकारिता: वर्कस्पेस पुनर्गठन के साथ इटरेटिव स्ट्रक्चर एक मौलिक संज्ञानात्मक लाभ (cognitive advantage) प्रदान करता है, जो विशिष्ट फाइन-ट्यूनिंग की आवश्यकता के बिना विविध मॉडल आर्किटेक्चरों में प्रदर्शन में सुधार करता है।

यह कार्य निष्कर्ष निकालता है कि रैखिक संचय के बजाय रणनीतिक संश्लेषण के साथ पुनरावृत्ति (iteration), लंबी अवधि की तर्क चुनौतियों पर विजय पाने के लिए मौलिक है।