💬 NLP

ExpWeaver: LLM Agents Learn from Experience via Latent RAG

ExpWeaver एक एंड-टू-एंड अनुकूलित फ्रेमवर्क है जो LLM एजेंटों को लेटेंट रिट्रीवल-ऑगमेंटेड जनरेशन के माध्यम से अनुभव से सीखने में सक्षम बनाता है, जिससे विविध कार्यों में अत्याधुनिक प्रदर्शन प्राप्त होता है और पारंपरिक टेक्स्ट-आधारित रिट्रीवल विधियों की तुलना में टोकन ओवरहेड काफी कम हो जाता है और क्रॉस-डोमेन सामान्यीकरण में सुधार होता है।

मूल लेखक: Tao Feng, Tianyang Luo, Jingjun Xu, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tao Feng, Tianyang Luo, Jingjun Xu, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन भुलक्कड़ सहायक है जो एक पहेली को हल करने की कोशिश कर रहा है। हर बार जब वह अटक जाता है, तो वह मदद के लिए आपसे पूछता है।

पुराना तरीका (वर्तमान विधियाँ):
अतीत में, इस सहायक की मदद करने के लिए, आप एक विशाल भौतिक नोटबुक निकालते थे जिसमें हर उस बार के नोट्स भरे होते थे जब उसने इसी तरह की पहेली सुलझाई थी। आप पन्ने पलटते, सबसे प्रासंगिक नोट ढूंढते, और सहायक के फिर से प्रयास करने से पहले उसे पूरा नोट ज़ोर से पढ़कर सुनाते।

इस दृष्टिकोण की दो बड़ी समस्याएँ हैं:

यह धीमा और महंगा है: टेक्स्ट का पूरा पेज पढ़ने में समय लगता है और यह बहुत सारे "अटेंशन टोकन" (जैसे मानसिक ऊर्जा का एक सीमित बजट) खर्च करता है। यदि नोटबुक बहुत बड़ी है, तो सहायक अभिभूत (overwhelmed) हो जाता है।
यह कठोर है: सहायक बस शब्द सुनता है। वे वास्तव में पुराने नोट और नई समस्या के बीच के संबंध को महसूस नहीं कर पाते जब तक कि वे स्वयं टेक्स्ट को प्रोसेस न कर लें। यह एक कहानी सुनने जैसा है, बजाय इसके कि समाधान सहज रूप से समझ में आ जाए।

नया तरीका (ExpWeaver):
यह पेपर ExpWeaver पेश करता है, जो सहायक को अनुभव से सीखने में मदद करने का एक स्मार्ट तरीका है। एक भौतिक नोटबुक के बजाय, कल्पना कीजिए कि सहायक के अपने दिमाग के भीतर एक गुप्त, अदृश्य लाइब्रेरी है।

यहाँ बताया गया है कि सरल उपमाओं (analogies) का उपयोग करके ExpWeaver कैसे काम करता है:

1. अदृश्य लाइब्रेरी (Latent Space)

अनुभवों को लंबे पैराग्राफ के रूप में लिखने के बजाय, ExpWeweaver हर पिछली सफलता या विफलता को एक छोटे, सघन "मानसिक फिंगरप्रिंट" (एक गणितीय वेक्टर) में संकुचित (compress) कर देता है।

उपमा: इसे Spotify के "Shuffle" बटन की तरह समझें। आपको गाने के वाइब (vibe) को याद दिलाने के लिए पूरा गाना चलाने के बजाय, यह केवल 3 सेकंड की एक गूँज (hum) बजाता है जो तुरंत गाने की याद दिला देती है। सहायक को पूरी कहानी पढ़ने की ज़रूरत नहीं है; उसे बस उस "गूँज" की ज़रूरत है ताकि वह सबक को याद कर सके।

2. त्वरित जुड़ाव (Latent Retrieval)

जब सहायक के सामने एक नई समस्या आती है, तो वह लाइब्रेरी की खोज नहीं करता। इसके बजाय, वह अपने वर्तमान विचारों की अपनी "मानसिक फिंगरप्रिंट" की लाइब्रेरी के साथ तुरंत जाँच करता है।

उपमा: यह एक सुपर-स्मार्ट लाइब्रेरियन होने जैसा है जिसे आपको उस किताब का वर्णन करने की आवश्यकता नहीं है जो आप चाहते हैं। आप बस समस्या के बारे में सोचते हैं, और लाइब्रेरियन तुरंत आपको सटीक "मानसिक फिंगरप्रिंट" थमा देता है जो आपके वर्तमान मूड से मेल खाता है। यह बिना कुछ पढ़े, एक पल में, सहायक के दिमाग के अंदर ही होता है।

3. स्मार्ट मिक्सर (Gated Integration)

एक बार जब सहायक सही "मानसिक फिंगरप्रिंट" पा लेता है, तो वह इसे बस अपने विचारों में पेस्ट नहीं करता है। यह एक विशेष मिक्सिंग वाल्व (एक गेटेड मैकेनिज्म) का उपयोग करता है।

उपमा: कल्पना कीजिए कि आप स्टू (stew) बना रहे हैं। आपके पास अपने वर्तमान सामग्रियाँ (नई समस्या) हैं। आपके पास एक गुप्त मसाला मिश्रण (पुराना अनुभव) है। एक बुरा रसोइया पूरे मसाले के जार को डाल देता है, जिससे व्यंजन खराब हो जाता है। ExpWeaver एक मास्टर शेफ है जो स्टू को चखता है और मसाले के मिश्रण का ठीक उतना ही हिस्सा डालता है जितना आवश्यक है। कभी-कभी यह थोड़ा सा जोड़ता है; कभी-कभी बहुत अधिक, इस बात पर निर्भर करता है कि अभी डिश को किस चीज़ की ज़रूरत है। यह सुनिश्चित करता है कि पुराना अनुभव नई तर्कशक्ति पर हावी हुए बिना मदद करे।

4. परिणाम: तेज़ और स्मार्ट

इस नए तरीके का परीक्षण 13 अलग-अलग प्रकार के कार्यों पर किया गया, जिनमें गणित की समस्याओं को हल करना, कोड लिखना, रासायनिक प्रतिक्रियाओं की भविष्यवाणी करना और फिल्में रिकमेंड करना शामिल है।

स्कोर: ExpWeaver ने 13 में से 12 कार्यों में सर्वश्रेष्ठ मौजूदा विधियों को पछाड़ दिया।
दक्षता (Efficiency): क्योंकि इसे लंबे टेक्स्ट नोट्स को "पढ़ने" की आवश्यकता नहीं होती है, यह पुराने तरीकों की तुलना में 30% से 50% कम कंप्यूटिंग पावर (टोकन) का उपयोग करता है। यह वही उत्तर पाने के लिए एक बहुत छोटी बैटरी का उपयोग करने जैसा है।
अनुकूलन क्षमता (Adaptability): जब सहायक को एक पूरी तरह से नए प्रकार की समस्या (जैसे सामान्य गणित से केमिस्ट्री की ओर जाना) में डाला गया, तो ExpWeaver अन्य लोगों की तुलना में बहुत तेज़ी से सीख गया। इसने सीखा कि समस्या को हल करने का पैटर्न समान था, भले ही शब्द अलग थे।

सारांश में:
ExpWeaver एक ऐसा सिस्टम है जो AI एजेंटों को उनके पिछले गलतियों और सफलताओं से सीखना सिखाता है - डायरी पढ़ने के माध्यम से नहीं, बल्कि स्मृति को महसूस करने के माध्यम से। यह अनुभवों को छोटे, कुशल संकेतों में संकुचित करता है और उन्हें सीधे सोचने की प्रक्रिया में मिला देता है, जिससे AI लंबे टेक्स्ट पढ़ने में ऊर्जा बर्बाद किए बिना स्मार्ट, तेज़ और अधिक अनुकूलन योग्य बनता है।

तकनीकी सारांश: ExpWeaver: LLM एजेंट अनुभव के माध्यम से लेटेंट RAG द्वारा सीखते हैं

समस्या विवरण
पिछले इंटरैक्शन को पुन: प्रयोज्य अनुभवों के रूप में एकीकृत करना, LLM एजेंटों की योजना और तर्क क्षमता को बढ़ाने के लिए एक महत्वपूर्ण दृष्टिकोण है। हालांकि, मौजूदा विधियाँ मुख्य रूप से स्पष्ट टेक्स्ट स्पेस (explicit text space) तक ही सीमित हैं। वर्तमान दृष्टिकोण आमतौर पर अनुभवों को पाठ्य सारांशों के रूप में संग्रहीत करते हैं और उन्हें सिमेंटिक समानता के माध्यम से पुनर्प्राप्त (retrieve) करते हैं, और फिर उन्हें मॉडल के कॉन्टेक्स्ट विंडो में जोड़ देते हैं। यह प्रतिमान महत्वपूर्ण अक्षमताओं को जन्म देता है:

टोकन ओवरहेड (Token Overhead): स्पष्ट जुड़ाव (concatenation) कॉन्टेक्स्ट विंडो के पर्याप्त स्थान का उपभोग करता है, जिससे पुनर्प्राप्त किए जा सकने वाले अनुभवों की संख्या सीमित हो जाती है और इन्फरेंस लागत बढ़ जाती है।
वास्तुकला संबंधी अलगाव (Architectural Decoupling): अधिकांश विधियाँ एक अलग रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) मॉड्यूल (जैसे, एम्बेडिंग-आधारित रिट्रिवर या सर्च इंजन) का उपयोग करती हैं, जो LLM के आंतरिक प्रतिनिधित्व से स्वतंत्र रूप से कार्य करता है। यह अलगाव डाउनस्ट्रीम कार्य के उद्देश्य की ओर रिट्रीवल और जनरेशन के संयुक्त अनुकूलन (joint optimization) को रोकता है।
प्रतिनिधित्व संबंधी बाधाएं (Representational Bottlenecks): टेक्स्ट-स्तर का रिट्रीवल सतही सिमेंटिक समानता पर निर्भर करता है, जो जटिल तर्क या कोडिंग कार्यों के लिए आवश्यक समस्या-समाधान रणनीतियों के गहरे संरचनात्मक पत्राचार को पकड़ने में विफल हो सकता है।

कार्यप्रणाली: ExpWeaver
इन सीमाओं को दूर करने के लिए, लेखक ExpWeaver का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो LLM एजेंटों को लेटेंट रिट्रीवल-ऑगमेंटेड जनरेशन के माध्यम से अनुभव से सीखने में सक्षम बनाता है। पूर्ववर्ती कार्यों के विपरीत, ExpWeaver सीधे LLM के लेटेंट स्पेस के भीतर रिट्रीवल करता है, जिसके लिए किसी अलग RAG मॉड्यूल की आवश्यकता नहीं होती है। इस ढांचे में तीन मुख्य घटक शामिल हैं:

ऑन-पॉलिसी अलाइनमेंट के साथ एक्सपीरियंस बैंक:
- पिछले प्रक्षेप पथों (क्वेरी, रीजनिंग ट्रेस, आउटपुट, रिवॉर्ड) को पाठ्य सारांशों में संकुचित किया जाता है और उसी LLM ( $p_\theta$ ) का उपयोग करके घने लेटेंट एम्बेडिंग्स ( $z$ ) में एनकोड किया जाता है जिसका उपयोग जनरेशन के लिए किया जाता है।
- विशेष रूप से, एम्बेडिंग अंतिम ट्रांसफार्मर लेयर के अंतिम टोकन के हिडन स्टेट से प्राप्त की जाती है ( $z = h_\theta(s)$ )।
- यह डिज़ाइन ऑन-पॉलिसी अलाइनमेंट सुनिश्चित करता है: जैसे-जैसे प्रशिक्षण के दौरान पॉलिसी विकसित होती है, हालिया अनुभव स्वाभाविक रूप से एक संगत एम्बेडिंग क्षेत्र में निवास करते हैं, जो ऑन-पॉलिसी सुदृढीकरण लर्निंग (reinforcement learning) के समान एक अंतर्निहित 'रिसेंसी बायस' (recency bias) बनाता है।
लेटेंट रिट्रीवल-ऑगमेंटेड जनरेशन:
- लेटेंट रिट्रीवल: प्रत्येक डिकोडिंग स्टेप $t$ पर, वर्तमान हिडन स्टेट $h_t$ अनुभव बैंक से टॉप- $K$ अनुभव एम्बेडिंग्स ( $Z_t$ ) को कोसाइन समानता (cosine similarity) का उपयोग करके खोजने के लिए क्वेरी के रूप में कार्य करता है। इसके लिए किसी बाहरी रिट्रिवर की आवश्यकता नहीं है।
- क्रॉस-अटेंशन एग्रीगेशन: पुनर्प्राप्त एम्बेडिंग्स को एक लर्न करने योग्य क्वेरी टोकन ( $u$ ) का उपयोग करके क्रॉस-अटेंशन मैकेनिज्म के माध्यम से एकत्रित किया जाता है। यह मॉडल को वर्तमान जनरेशन स्टेट के आधार पर अनुभवों को गतिशील रूप से वेट (weight) करने की अनुमति देता है।
- गेटेड इंटीग्रेशन: एकत्रित अनुभव सिग्नल को एक गेटेड रेसिडुअल मैकेनिज्म के माध्यम से हिडन स्टेट में एकीकृत किया जाता है। लर्न करने योग्य रिटेंशन ( $r_t$ ) और इनपुट ( $i_t$ ) गेट्स, मिक्सिंग कोएफिशिएंट ( $a_t$ ) के साथ मिलकर, मूल हिडन स्टेट को बनाए रखने और बाहरी ज्ञान को शामिल करने के बीच संतुलन को नियंत्रित करते हैं। यह अत्यधिक अनुभव प्रभाव को मॉडल के तर्क प्रवाह को बाधित करने से रोकता है।
सुदृढीकरण लर्निंग के साथ एंड-टू-एंड ट्रेनिंग:
- पूरी पाइपलाइन (पॉलिसी $\theta$ और अनुभव पैरामीटर $\psi_{exp}$ ) को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करके संयुक्त रूप से अनुकूलित किया जाता है।
- यह ढांचा अनुभव-वर्धित डिकोडिंग के माध्यम से पाठ्य आउटपुट उत्पन्न करके जेनेरेटिव कार्यों (जैसे, QA, कोडिंग) और उम्मीदवार एम्बेडिंग्स के बीच प्रासंगिकता स्कोर की गणना करके रैंकिंग कार्यों (जैसे, अनुशंसा/recommendation) दोनों का समर्थन करता है।

प्रमुख योगदान

एकीकृत लेटेंट स्पेस फ्रेमवर्क: ExpWeaver रिट्रीवल और जनरेशन को एक साझा प्रतिनिधित्व स्थान के भीतर एकीकृत करता है, जिससे अलग रिट्रिवर की आवश्यकता समाप्त हो जाती है और टेक्स्ट कॉनकैटिनेशन का टोकन ओवरहेड भी बच जाता है।
अनुकूलन योग्य रिट्रीवल (Adaptive Retrieval): वर्तमान हिडन स्टेट के आधार पर प्रत्येक डिकोडिंग स्टेप पर रिट्रीवल करके, सिस्टम क्वेरी-निर्भर अनुभव उपयोग को सीखता है जो सतही टेक्स्ट ओवरलैप के बजाय गहरे संरचनात्मक पैटर्न को कैप्चर करता है।
कार्य तटस्थता (Task Agnosticism): यह आर्किटेक्चर प्रश्नोत्तर, गणितीय तर्क, कोड जनरेशन, वैज्ञानिक भविष्यवाणी और अनुक्रमिक अनुशंसा सहित विविध प्रकार के कार्यों में स्वाभाविक रूप से विस्तार करता है।

प्रायोगिक परिणाम
लेखकों ने तीन परिदृश्यों में 13 विविध कार्यों को कवर करने वाले एक बेंचमार्क ExpBench पर ExpWeaver का मूल्यांकन किया: जेनेरिक (QA, रीजनिंग, कोडिंग), वैज्ञानिक (फार्मास्युटिकल केमिस्ट्री), और अनुशंसा (Recommendation)।

प्रदर्शन: ExpWeв ने 13 में से 12 कार्यों पर स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए, जिसने सबसे मजबूत बेसलाइन (Search-R1) को औसतन 6.8% से पीछे छोड़ दिया।
टोकन दक्षता: जबकि Search-R1 जैसे टेक्स्ट-आधारित रिट्रीवल तरीकों को स्पष्ट कॉनकैटिनेशन के कारण 1.5–2× अधिक टोकन की आवश्यकता थी, ExpWeaver ने गैर-रिट्रीवल बेसलाइन्स (जैसे, HRPO) के समान टोकन दक्षता बनाए रखी, जिसमें केवल ~10% अधिक टोकन खर्च हुए जबकि काफी अधिक सटीकता प्रदान की गई।
सामान्यीकरण (Generalization): ExpWeaver ने बेहतर क्रॉस-डोमेन सामान्यीकरण प्रदर्शित किया। ज़ीरो-शॉट ट्रांसफर सेटिंग्स में, इसने सबसे मजबूत बेसलाइन को 16.32% और फ्यू-शॉट ट्रांसफर में 15.21% से पीछे छोड़ दिया, जो इंगित करता है कि लेटेंट अनुभव प्रतिनिधित्व अधिक हस्तांतरणीय समस्या-समाधान पैटर्न को कैप्चर करते हैं।
एब्लेशन स्टडीज (Ablation Studies): प्रयोगों ने सरल पूलिंग (pooling) के ऊपर क्रॉस-अटेंशन एग्रीगेशन की आवश्यकता की पुष्टि की और अनुभव एकीकरण के साथ हिडन स्टेट संरक्षण को संतुलित करने के लिए मिक्सिंग कोएफिशिएंट के लिए एक इष्टतम इनिशियलाइजेशन रेंज की पहचान की।

महत्व और दावे
यह पेपर दावा करता है कि ExpWeaver LLM एजेंटों के लिए अनुभव सीखने में एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है। स्पष्ट टेक्स्ट-स्तरीय संचालन से लेटेंट स्पेस इंटीग्रेशन की ओर बढ़कर, यह ढांचा पूर्ववर्ती विधियों की स्केलेबिलिटी और अनुकूलन क्षमता की बाधाओं को दूर करता है। लेखकों का तर्क है कि यह दृष्टिकोण एजेंटों को पिछले इंटरैक्शन से अधिक कुशलता से सीखने में सक्षम बनाता है, जिससे कम कंप्यूटेशनल लागत के साथ बेहतर प्रदर्शन प्राप्त होता है। इसके अलावा, प्रदर्शित क्रॉस-डोमेन सामान्यीकरण बताता है कि लेटेंट अनुभव प्रतिनिधित्व इतने मजबूत हैं कि वे अनदेखे डोमेन में सीखे गए पैटर्न को स्थानांतरित कर सकें, जो वैज्ञानिक अनुसंधान जैसे विशिष्ट क्षेत्रों में विकास को गति दे सकते हैं जहाँ लेबल किए गए डेटा की कमी होती है। यह कार्य ExpWeaver को बड़े भाषा मॉडलों में अधिक कुशल, एकीकृत और प्रभावी ज्ञान उपयोग की दिशा में एक कदम के रूप में स्थापित करता है।

1. अदृश्य लाइब्रेरी (Latent Space)

2. त्वरित जुड़ाव (Latent Retrieval)

3. स्मार्ट मिक्सर (Gated Integration)

4. परिणाम: तेज़ और स्मार्ट

इसी तरह के और पेपर