🤖 machine learning

ECHO: Prune to act, trace to learn with selective turn memory in agentic RL

यह शोध पत्र ECHO को प्रस्तुत करता है, जो लॉन्ग-होरिज़न लैंग्वेज एजेंटों के लिए एक चयनात्मक टर्न-मेमोरी फ्रेमवर्क है जो ट्रेस करने योग्य सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) और सूक्ष्म-स्तरीय साक्ष्य पुन: उपयोग को सक्षम करने के लिए वातावरण के टर्न्स को सोर्स-इंडेक्स्ड रिकॉर्ड्स में संकुचित करता है, जिससे मौजूदा कॉन्टेक्स्ट-मैनेजमेंट विधियों की तुलना में BrowseComp-Plus जैसे बेंचमार्क पर बेहतर प्रदर्शन और सामान्यीकरण प्राप्त होता है।

मूल लेखक: Zijun Xie, Binbin Zheng, Enlei Gong, Jihua Liu, Yuyang You, Lingfeng Liu, Jiayao Tang, Guanqun Zhao, Aoqi Hu, Zeyu Chen

प्रकाशित 2026-07-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zijun Xie, Binbin Zheng, Enlei Gong, Jihua Liu, Yuyang You, Lingfeng Liu, Jiayao Tang, Guanqun Zhao, Aoqi Hu, Zeyu Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जटिल रहस्य सुलझाने की कोशिश कर रहे हैं, एक जासूस के रूप में। आपके पास अपने नोट्स (आपके "कॉन्टेक्स्ट विंडो") में सुराग लिखने, गवाहों का इंटरव्यू लेने और सिद्धांत बनाने के लिए सीमित जगह है। यदि मामला कई दिनों तक चलता है, तो आपकी नोटबुक भर जाती है।

समस्या: "ब्लैक होल" नोटबुक
वर्तमान AI जासूसों के सामने भी एक समान समस्या आती है। जब वे लंबे समय तक जांच करते हैं, तो उन्हें नए नोट्स के लिए जगह बनाने के लिए पुराने नोट्स फेंकने पड़ते हैं।

पुराना तरीका (सारांश बनाना): कुछ जासूस इस समस्या को इस तरह हल करने की कोशिश करते हैं कि पिछले सप्ताह जो कुछ भी हुआ उसका एक वाक्य का सारांश लिख दें। "हमने बैंक देखा, फिर पार्क देखा, फिर लाइब्रेरी देखी।"
- दोष: यदि जासूस को बाद में एहसास होता है कि बैंक के सुरक्षा कैमरे का वह विशिष्ट विवरण ही मामले को सुलझाने की कुंजी थी, तो वह उसे ढूंढ नहीं सकता। सारांश बहुत अस्पष्ट है।
- सीखने का दोष: यदि जासूस मामला सुलझा लेता है, तो शिक्षक (AI ट्रेनर) को यह नहीं पता चलता कि किस विशिष्ट सुराग ने समाधान तक पहुँचाया। क्या यह बैंक वाले नोट की वजह से हुआ, पार्क वाले नोट की वजह से, या सिर्फ इसलिए क्योंकि जासूस ने सही अनुमान लगा लिया था? शिक्षक पूरे बिखरे हुए नोटबुक को पुरस्कृत करता है, जिसमें बेकार के हिस्से भी शामिल होते हैं।

समाधान: ECHO ("इंडेक्स कार्ड" प्रणाली)
यह शोध पत्र एक नई विधि प्रस्तुत करता है जिसे ECHO कहा जाता है। पुराने नोट्स को फेंकने या उन्हें एक धुंधले सारांश में बदलने के बजाय, ECHO प्रत्येक पूर्ण चरण (step) को एक अलग, क्रमांकित इंडेक्स कार्ड की तरह मानता है।

ECHO कैसे काम करता है, इसे सरल रूपकों के माध्यम से यहाँ समझाया गया है:

1. प्रून टू एक्ट (स्मार्ट फाइलिंग कैबिनेट)

जब जासूस की नोटबुक भर जाती है, तो ECHO केवल पुराने पन्ने नहीं हटाता। इसके बजाय, यह प्रत्येक पूर्ण चरण के लिए एक कॉम्पैक्ट इंडेक्स कार्ड बनाता है।

कार्ड: इसमें क्या हुआ उसका एक छोटा सारांश (जैसे, "पार्क में एक लाल जूता मिला") और एक स्थायी पता (एक पॉइंटर) होता है जो मूल विस्तृत रिपोर्ट की ओर संकेत करता है।
चयन: जब जासूस को जांच का नया चरण शुरू करने की आवश्यकता होती है, तो वे पूरी हिस्ट्री नहीं पढ़ते। वे अपने AI सहायक से पूछते हैं: "इनमें से कौन से इंडेक्स कार्ड वास्तव में रहस्य के अगले भाग को सुलझाने के लिए उपयोगी हैं?"
परिणाम: जासूस केवल उन विशिष्ट, प्रासंगिक कार्डों को निकालता है जिन्हें उन्हें अपने वर्तमान नोटबुक में फिट करने की आवश्यकता होती है। वे पूरा इतिहास साथ लेकर नहीं चलते, बल्कि केवल सबसे महत्वपूर्ण टुकड़ों को रखते हैं।

2. ट्रेस टू लर्न ("गोल्डन थ्रेड")

यह सबसे चतुर हिस्सा है। जब जासूस अंततः मामला सुलझा लेता है और उसे "सफलता!" का पुरस्कार मिलता है, तो ECHO ठीक उसी स्थान का पता लगाने के लिए उपयोग करता है जहाँ श्रेय (credit) दिया जाना चाहिए।

पुराना तरीका: शिक्षक कहता है, "अच्छा काम किया!" और जासूस द्वारा लिखे गए हर एक शब्द को पुरस्कार देता है, जिसमें वे समय भी शामिल है जब उन्होंने गलत सड़क तलाशी या एक बेकार सारांश लिखा। यह जासूस को भ्रमित करता है।
ECHO का तरीका: शिक्षक उन इंडेक्स कार्डों को देखता है जिन्हें जासूस ने अंतिम समाधान में शामिल किया था।
- "अंतिम उत्तर के लिए बहुत अच्छा काम किया।"
- "लाल जूता वाला कार्ड चुनने के लिए बहुत अच्छा काम किया।"
- "उस कार्ड को देखने का निर्णय लेने की क्रिया (action) के लिए बहुत अच्छा काम किया।"
- "उन समयों को अनदेखा करें जब आपने गलत सड़क तलाशी; हम उन्हें पुरस्कृत नहीं करेंगे।"

पुरस्कार को सीधे विशिष्ट साक्ष्य और उस साक्ष्य को चुनने की क्रिया से जोड़कर, AI बहुत तेज़ी से और अधिक सटीक रूप से सीखता है।

यह क्यों मायने रखता है (परिणाम)

इस शोध पत्र का परीक्षण "BrowseComp-Plus" बेंचमार्क पर किया गया है, जो एक बहुत कठिन, बहु-चरणीय इंटरनेट सर्च चुनौती की तरह है।

प्रतिस्पर्धा: अन्य विधियाँ (जैसे GRPO और SUPO) या तो बहुत जल्दी हार मान लेती हैं या अनंत खोज में खो जाती हैं, जिससे वे दोहराव वाले चरणों के समुद्र में फंस जाती हैं।
ECHO का प्रदर्शन: ECHO ने अन्य तरीकों (जैसे सारांश बनाने वाली विधियों) की तुलना में अधिक समस्याओं को हल किया (43.4% सटीकता)। महत्वपूर्ण रूप से, इसने यह सब बिना अंतहीन लूप में फंसे किया। इसने अन्य विधियों की तुलना में कम टर्न का उपयोग किया और कम "कचरा" डेटा उत्पन्न किया।

निष्कर्ष (Takeaway)
ECHO AI एजेंटों को चयनात्मक संग्रहकर्ता (selective archivists) बनना सिखाता है। यह कहता है: "केवल अपने अतीत का सारांश न दें; अपने अतीत का एक लेबल वाला मानचित्र रखें। जब आप सफल हों, तो उस मानचित्र को देखें कि आपने कौन से सुराग चुने थे, और खुद को एक स्मार्ट चयनकर्ता के रूप में पुरस्कृत करें, न कि केवल एक भाग्यशाली अनुमान लगाने वाले के रूप में।"

यह दृष्टिकोण AI एजेंटों को उनके अपने इतिहास से अभिभूत हुए बिना या बेकार खोजों में समय बर्बाद किए बिना लंबी, जटिल समस्याओं को हल करने में मदद करता है।

तकनीकी सारांश: ECHO - चयनात्मक टर्न मेमोरी के साथ एजेंटिक RL में 'प्रून टू एक्ट, ट्रेस टू लर्न' (Prune to Act, Trace to Learn)

1. समस्या विवरण

टूल-यूज़ वातावरण (जैसे सर्च, कोडिंग, डीप रिसर्च) में काम करने वाले लॉन्ग-होरिज़न लैंग्वेज एजेंट एक मौलिक बाधा का सामना करते हैं: एक सीमित कॉन्टेक्स्ट विंडो के भीतर उपयोगी ऐतिहासिक अवलोकनों (observations) को बनाए रखने की आवश्यकता, और साथ ही यह पहचानना कि किस विशिष्ट पिछले टर्न (turn) ने सफल अंतिम परिणाम में योगदान दिया ताकि सुदृढीकरण शिक्षण (Reinforcement Learning - RL) किया जा सके।

मौजूदा कॉन्टेक्स्ट-मैनेजमेंट विधियाँ (ट्रंकेशन, समराइजेशन) लंबे रोलआउट्स को सक्षम तो बनाती हैं, लेकिन दो जुड़ी हुई सीमाओं को पेश करती हैं:

सूक्ष्म-स्तरीय साक्ष्य का नुकसान (Loss of Fine-Grained Evidence): जैसे-जैसे टर्न्स की संख्या बढ़ती है, दूर के अवलोकन या तो हटा दिए जाते हैं या संकुचित अवस्थाओं (जैसे रोलिंग समरी) में समाहित कर दिए जाते हैं। यह जटिल तर्क (reasoning) के लिए आवश्यक विशिष्ट, सूक्ष्म साक्ष्य का पुन: उपयोग करने में नीति (policy) के लिए कठिन बना देता है।
क्रेडिट असाइनमेंट के लिए ट्रैसेबिलिटी का नुकसान (Loss of Traceability for Credit Assignment): एक बार जब मूल टर्न्स स्रोत-पताने योग्य (source-addressable) नहीं रह जाते (अर्थात कच्चे टोकन को सारांश द्वारा बदल दिया जाता है), तो परिणाम-आधारित RL सफल उत्तर का समर्थन करने वाले विशिष्ट साक्ष्य के साथ नीति अपडेट को संरेखित करने के लिए एक स्पष्ट पथ खो देता है। GRPO जैसी विधियों में मानक ट्रजेक्टरी-लेवल एडवांटेज असाइनमेंट, अनावश्यक खोज, आकस्मिक तर्क, या वास्तविक उपयोगी साक्ष्य जुटाने वाले चरणों के साथ-साथ सारांश-जनरेशन टोकन को भी घनीभूत रूप से सुदृढ़ करता है।

स्रोत-स्तर की एड्रेसबिलिटी की यह कमी अनुभवजन्य विफलता मोड (empirical failure modes) की ओर ले जाती है जहाँ लंबे रोलआउट के परिणामस्वरूप "टर्न प्रोलिफरेशन" (टर्न की अत्यधिक वृद्धि), बड़े ट्रजेक्टरी वॉल्यूम, और बिना आनुपातिक सटीकता लाभ के धीमा प्रशिक्षण होता है।

2. कार्यप्रणाली: ECHO

लेखक ECHO (सिलेक्टिव टर्न-मेमोरी फ्रेमवर्क) प्रस्तावित करते हैं, जो सोर्स-इंडेक्स्ड रिकंस्ट्रक्शन के माध्यम से इतिहास के पतन (history collapse) और ट्रैसेबल लर्निंग को संयुक्त रूप से संबोधित करने के लिए डिज़ाइन किया गया एक सिस्टम है। ECHO "प्रून टू एक्ट, ट्रेस टू लर्न" के सिद्धांत पर कार्य करता है।

2.1 चयनात्मक टर्न-मेमोरी रिकंस्ट्रक्शन (Selective Turn-Memory Reconstruction)

इतिहास को एक एकल सारांश अवस्था में समाहित करने के बजाय, ECHO मेमोरी रिकॉर्ड्स का एक गैर-संकुचित सेट बनाए रखता है।

सोर्स-इंडेक्स्ड टर्न मेमोरी: प्रत्येक पूर्ण टूल-यूज़ टर्न $u_i = (a_i, o_i)$ के बाद, एजेंट एक संक्षिप्त स्थानीय निष्कर्ष $s_i$ उत्पन्न करता है और इसे मेमोरी रिकॉर्ड $e_i = (i, \alpha_i, m_i)$ में पार्स करता है। यहाँ, $i$ स्रोत-टर्न इंडेक्स है, $\alpha_i$ एक्शन/टूल कॉल का एक संक्षिप्त रेंडरिंग है, और $m_i$ पार्स किया गया निष्कर्ष है। यह सेट $M_j$ मूल एनवायरनमेंट टर्न्स से जुड़ा रहता है, भले ही कच्चे अवलोकन सक्रिय कॉन्टेक्स्ट से बाहर हो जाएं।
ऑटोरेग्रेसिव मेमोरी सिलेक्शन: कंप्रेशन बाउंड्रीज़ पर, पॉलिसी को कार्य जारी रखने के लिए उपयोगी ऐतिहासिक मेमोरीज़ के एक उपसमूह (subset) को चुनने के लिए प्रेरित किया जाता है। चयन संदर्भ (selection context) में वर्तमान बाउंडेड स्टेट और सोर्स-इंडेक्स्ड मेमोरीज़ की एक रेंडर की गई सूची शामिल होती है। पॉलिसी उपयोगी साक्ष्य, बाधाओं, या विफल प्रयासों के सोर्स इंडेक्स ( $bI^{sel}_j$ ) आउटपुट करती है।
बाउंडेड कॉन्टेक्ट रिकंस्ट्रक्शन: अगले सेगमेंट के लिए पॉलिसी कॉन्टेक्स्ट को चयनित सोर्स मेमोरीज़ ( $M_j[bI^{sel}_j]$ ) को रेंडर करके और हालिया स्थानीय इंटरैक्शन को जोड़कर पुनर्गठित किया जाता है, जिससे यह सुनिश्चित होता है कि कॉन्टेक्स्ट बजट $B$ के भीतर रहे।

2.2 प्रोवेनेंस-गाइडेड क्रेडिट असाइनमेंट (Provenance-Guided Credit Assignment)

ECHO उन्हीं सोर्स इंडेक्स का उपयोग करता है जिन्हें कॉन्टेक्स्ट रिकंस्ट्रक्शन के लिए चुना गया था ताकि क्रेडिट को रूट किया जा सके, जिससे एक "प्रोवेनेंस ट्रेस" (provenance trace) बनता है।

टोकन-लेवल हार्ड क्रेडिट मास्क: उन विधियों के विपरीत जो पूरी ट्रजेक्टरी को पूरे टोकन पर एडवांटेज असाइन करती हैं, ECHO एक मास्क $\mu^{(n)}_q$ $μ_{q}^{(n)}$ बनाता है जो विशिष्ट टोकन को "क्रेडिट टोकन" के रूप में चिह्नित करता है:
1. अंतिम रिस्पॉन्स सेगमेंट के टोकन।
2. सोर्स टर्न्स के एक्शन टोकन जो अंतिम पुनर्गठित कॉन्टेक्स्ट में चुने गए हैं।
3. उन चयनित सोर्स टर्न्स के "लास्ट-टर्न फाइंडिंग" के टोकन।
4. मेमोरी-सिलेक्शन एक्शन स्पैन के दौरान उत्पन्न सभी टोकन।
पॉजिटिव एडवांटेज रूटिंग: बाइनरी वेरिफायर रिवार्ड्स के लिए, यदि ट्रजेक्टरी में सकारात्मक ग्रुप-रिलेटिव एडवांटेज ( $A^{(n)}_+ = \max(A^{(n)}, 0)$ ) है, तो एडवांटेज केवल इन क्रेडिट टोकन के माध्यम से रूट किया जाता है। यदि रोलआउट गलत है या बेसलाइन से कम है, तो संभावित रूप से भ्रामक चुने गए टर्न्स से शोर युक्त सुपरविजन (noisy supervision) से बचने के लिए ट्रैसेबल क्रेडिट असाइन नहीं किया जाता है।

3. मुख्य योगदान

पेपर निम्नलिखित योगदानों को औपचारिक रूप देता है और लागू करता है:

एकीकृत रिकंस्ट्रक्शन इंटरफेस: कॉन्टेक्स्ट-मैनेज्ड मल्टी-टर्न RL का एक औपचारिकीकरण जो हिस्ट्री स्टेट मैनेजमेंट, बाउंडेड-कॉन्टेक्स्ट रिकंस्ट्रक्शन और सोर्स-लेवल ट्रैसेबिलिटी को अलग करता है। यह ढांचा स्पष्ट रूप से उजागर करता है कि कैसे कोलैप्स्ड-हिस्ट्री विधियाँ आउटकम-क्रेडिट असाइनमेंट के लिए आवश्यक प्रोवेनेंस का बलिदान देती हैं।
ECHO फ्रेमवर्क: एक चयनात्मक टर्न-मेमोरी विधि जो पूर्ण टर्न्स को सोर्स-इंडेक्स्ड मेमोरीज़ के रूप में स्टोर करती है और ग्लोबल हिस्ट्री कोलैप्स के बजाय लर्नड सिलेक्शन के माध्यम से बाउंडेड कॉन्टेक्स्ट बनाती है।
प्रोवेनेंस-गाइडेड क्रेडिट असाइनमेंट: एक तंत्र जो चुने गए सोर्स इंडेक्स का पुन: उपयोग करता है ताकि पॉजिटिव आउटकम एडवांटेज को विशेष रूप से अंतिम उत्तर, चयनित ऐतिहासिक साक्ष्य टर्न्स, उनकी मेमोरी फाइंडिंग्स और चयन क्रियाओं (selection actions) तक रूट किया जा सके।
अनुभवजन्य सत्यापन (Empirical Validation): प्रदर्शनों का प्रदर्शन कि ECHO, रोलिंग-समरी बेसलाइन की तुलना में सटीकता में सुधार करता है और टर्न प्रोलिफरेशन तथा ट्रजेक्टरी वॉल्यूम को कम करता है, जो डेंस और Mixture-of-Experts (MoE) बैकबोन दोनों में निरंतर लाभ दिखाता है।

4. प्रयोगात्मक परिणाम

प्रयोग मुख्य रूप से BrowseComp-Plus, एक लॉन्ग-होरिज़न टूल-यूज़ QA बेंचमार्क पर, Qwen3-32B-Instruct और Qwen3-30B-A3B-Instruct (MoE) बैकबोन का उपयोग करके किए गए।

BrowseComp-Plus पर प्रदर्शन: ECHO ने 43.4% होल्ड-आउट सटीकता प्राप्त की, जो GRPO (28.9%) और रोलिंग-समरी बेसलाइन SUPO (36.1%) से काफी बेहतर है।
दक्षता: जबकि SUPO ने GRPO की तुलना में सटीकता में सुधार किया, यह तीव्र टर्न प्रोलिफरेशन (62.5 टर्न्स बनाम ECHO के 45.3) और 4.18x ट्रजेक्टरी स्प्लिट रेट से ग्रस्त था। ECHO ने कम टर्न्स (45.3) और कम ट्रजेक्टरी वॉल्यूम (प्रति रोलआउट 3.13 ट्रजेक्टरी) के साथ उच्च सटीकता बनाए रखी।
जीरो-शॉट जनरलाइजेशन: ECHO ने मल्टी-ऑब्जेक्टिव QA, कोड जनरेशन और डीप इंफॉर्मेशन सीकिंग बेंचमार्क पर बेहतर जनरलाइजेशन प्रदर्शित किया। डेंस बैकबोन पर, ECHO ने औसतन 40.2% प्राप्त किया, जो SUPO (34.8%) और GRPO (33.6%) से बेहतर है। MoE बैकबोन पर भी समान रुझान देखे गए।
एब्लेशन स्टडीज (Ablation Studies):
- लर्नड सिलेक्शन को स्टैटिक सिमेंटिक टॉप-k रिट्रीवल से बदलने पर सटीकता में काफी कमी आई, जो पॉलिसी-ड्रिवन सिलेक्शन की आवश्यकता की पुष्टि करता है।
- ट्रैसेबल क्रेडिट मास्क को हटाने (डेंस असाइनमेंट पर वापस जाने) से सटीकता और स्थिरता दोनों में कमी आई, जो प्रोवेनेंस-गाइडेड अपडेट्स के महत्व को प्रमाणित करता है।

5. महत्व और दावे

पेपर का दावा है कि कॉन्टेक्स्ट मैनेजमेंट के दौरान प्रोवेनेंस को संरक्षित करना लॉन्ग-होरिज़न सर्च को केवल लंबा बनाने के बजाय उसे अधिक उपयोगी बनाने के लिए एक व्यावहारिक तंत्र है।

एक्टिंग और लर्निंग का संरेखण: सोर्स-इंडेक्स्ड रिकंस्ट्रक्शन का उपयोग करके, ECHO भविष्य के निर्णयों के लिए रिटेन किए गए साक्ष्य को उस साक्ष्य के साथ संरेखित करता है जिसे सफल रोलआउट के बाद सुदृढ़ किया जाता है। यह कॉन्टेक्स्ट दक्षता (एक्टिंग) और क्रेडिट असाइनमेंट (लर्निंग) के बीच तनाव को हल करता है।
समराइजेशन से परे: परिणाम बताते हैं कि केवल समराइजेशन के माध्यम से रोलआउट को बढ़ाना (जैसा कि SUPO में है) अपर्याप्त है और यह अक्षम खोज व्यवहारों की ओर ले जा सकता है। ट्रैसेबल रिकंस्ट्रक्शन एजेंट को कार्य करने के लिए इतिहास को प्रून करने की अनुमति देता है, जबकि प्रभावी RL अपडेट के लिए आवश्यक विशिष्ट "ब्रेडक्रम्ब्स" (breadcrumbs) को बनाए रखता है।
सामान्यीकरण (Generalizability): यह फ्रेमवर्क किसी विशिष्ट बैकबोन आर्किटेक्चर तक सीमित नहीं है, जो विविध डोमेन में प्रभावी ढंग से ट्रांसफर होता है और डेंस एवं MoE दोनों मॉडल्स पर मजबूत प्रदर्शन दिखाता है।

लेखक सीमाओं को स्वीकार करते हुए कहते हैं कि ECHO क्रेडिट असाइनमेंट के लिए एक "फाइनल-ट्रेस एप्रोक्सिमेशन" (final-trace approximation) का उपयोग करता है (चुने गए टर्न्स के पूर्ण डिपेंडेंसी चेन को रिकर्सिवली फॉलो नहीं करता है) और मुख्य रूप से टेक्स्ट-बेस्ड टूल-यूज़ एजेंटों पर केंद्रित है, जिससे GUI और मल्टी-एजेंट सेटिंग्स भविष्य के कार्य के लिए छोड़ी गई हैं।