ExpGraph: Model-Agnostic Experience Learning with Graph-Structured Memory for LLM Agents

तकनीकी सारांश: ExpGraph

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) एजेंटों ने तर्क करने (reasoning), टूल के उपयोग और बहु-चरणीय परिवेश अंतःक्रिया (multi-step environment interaction) में मजबूत क्षमताएं प्रदर्शित की हैं। हालांकि, एक महत्वपूर्ण बाधा बनी हुई है: अधिकांश एजेंट "वन-शॉट एक्सेक्यूटर" (one-shot executors) के रूप में कार्य करते हैं, जो प्रत्येक कार्य को शून्य से हल करते हैं बिना सफल रणनीतियों या विफलता से सीखे गए सबक को व्यवस्थित रूप से पुन: उपयोग किए। एकत्रित अनुभव पर एक्सेक्यूटर को फाइन-ट्यून करना एक सामान्य समाधान है, लेकिन यह तेजी से विकसित होते LLMs के साथ अत्यधिक अ लचीला हो जाता है। जब कोई अधिक शक्तिशाली या उपयुक्त एक्सेक्यूटर उभरता है, तो अनुभव सीखने की प्रक्रिया के लिए विशिष्ट मॉडल इंस्टेंस को फिर से प्रशिक्षित करने की आवश्यकता होती है, जिससे सिस्टम एक विशेष मॉडल के साथ मजबूती से जुड़ (tightly coupled) जाता है। इसके अलावा, कई सक्षम LLMs क्लोज्ड-सोर्स, बहुत बड़े या अपडेट करने में महंगे हैं, जिससे पैरामीटर-स्तरीय संशोधन अव्यवहारिक हो जाता है।

इस कार्य द्वारा संबोधित मुख्य चुनौती है: एक LLM एजेंट कैसे संचित अनुभव से सीख सकता है जबकि स्वयं एक्सेक्यूटर को फ्रीज (frozen) और प्रतिस्थापनीय (replaceable) रखा जाए? मौजूदा तरीके अक्सर पुन: प्रयोज्य अनुभव को अलग-थलग रिकॉर्ड के रूप में देखते हैं या फ्लैट नियरएस्ट-नेबर मैचिंग (flat nearest-neighbor matching) पर निर्भर करते हैं, जो रणनीतियों, बाधाओं और विफलता पैटर्न की संबंधपरक प्रकृति को पकड़ने में विफल रहते हैं। इसके अतिरिक्त, सतही अर्थ संबंधी प्रासंगिकता (semantic relevance) हमेशा डाउनस्ट्रीम उपयोगिता के बराबर नहीं होती है; एक समान दिखने वाला अनुभव बहुत कम लाभ दे सकता है, जबकि एक संरचनात्मक रूप से संबंधित अनुभव एक महत्वपूर्ण हस्तांतरणीय रणनीति प्रदान कर सकता है।

कार्यप्रणाली: ExpGraph

लेखक ExpGraph का प्रस्ताव करते हैं, जो एक मॉडल-अज्ञेय (model-agnostic) अनुभव शिक्षण ढांचा है जो एक स्व-विकसित संबंधपरक स्मृति (self-evolving relational memory) और एक प्रशिक्षित रिट्रीवल कोपायलट (retrieval copilot) के माध्यम से फ्रीज LLM एक्सेक्यूटर्स में सुधार करता है। यह ढांचा निष्पादन (execution) को अनुभव शिक्षण से अलग करता है, जिससे एक ही बाहरी सिस्टम विभिन्न फ्रीज एक्सेक्यूटर्स को उनके पैरामीटर्स को संशोधित किए बिना बेहतर बना सकता है।

मुख्य घटक

1. अनुभव ग्राफ निर्माण (Experience Graph Construction):

   • ऐतिहासिक प्रक्षेप पथों ($\tau = (x, \xi, y, s)$) को संक्षिप्त प्राकृतिक भाषा अनुभव इकाइयों ($e$) में सारांशित किया जाता है।
   • उच्च-स्कोर वाले प्रक्षेप पथों को कौशल (skills) (सफल पैटर्न, ह्यूरिस्टिक्स) में संक्षेपित किया जाता है, जबकि कम-स्कोर वाले प्रक्षेप पथों को सबक (lessons) (विफलता मोड, बाधाएं) में संक्षेपित किया जाता है।
   • ये इकाइयां एक स्पार्स (sparse), अनडिरेक्टेड ग्राफ में नोड्स बनाती हैं। किनारे (edges) कोसाइन समानता थ्रेसहोल्ड के आधार पर अर्थपूर्ण या रणनीतिक रूप से संबंधित अनुभवों को जोड़ते हैं, जिससे एक ऐसी संरचना बनती है जो फ्लैट सूचियों से परे है।

2. उपयोगिता-निर्देशित ग्राफ रिट्रीवल (Utility-Guided Graph Retrieval):

   • रिट्रीवल कोपायलट (Retrieval Copilot): एक हल्का, प्रशिक्षित नीति ($\pi_{ret}$) प्रत्येक कार्य के लिए दो अनुकूल नियंत्रण चर (adaptive control variables) की भविष्यवाणी करता है:
     • $R$ (डिफ्यूजन डेप्थ/Diffusion Depth): ग्राफ अन्वेषण की व्यापकता को नियंत्रित करता है।
     • $W$ (उपयोगिता-उपयोगिता ट्रेड-ऑफ/Utility-Utility Trade-off): अर्थ संबंधी समानता और ऐतिहासिक उपयोगिता के बीच संतुलन को नियंत्रित करता है।
   • सिमेंटिक सीडिंग (Semantic Seeding): सिस्टम पहले कार्य एम्बेडिंग के माध्यम से कोसाइन समानता का उपयोग करके शीर्ष-$M$ सीड नोड्स की पहचान करता है।
   • ग्राफ डिफ्यूजन (Graph Diffusion): पर्सनलाइज्ड पेज रैंक (Personalized PageRank) का उपयोग करते हुए, सिस्टम सीड सेट से पूरे ग्राफ में फैलता है। रीस्टार्ट प्रोबेबिलिटी को $R$ द्वारा नियंत्रित किया जाता है, जिससे रिट्रीवल स्थानीय रह सकता है या संरचनात्मक रूप से संबंधित अनुभवों को खोजने के लिए आगे बढ़ सकता है।
   • उपयोगिता-जागरूक रैंकिंग (Utility-Aware Ranking): उम्मीदवारों को एक अपर कॉन्फिडेंस बाउंड (UCB) स्कोर का उपयोग करके पुन: रैंक किया जाता है जो अर्थ संबंधी प्रासंगिकता को अनुमानित उपयोगिता स्कोर ($u_v$) के साथ जोड़ता है। यह उच्च-मूल्य वाले अनुभवों का दोहन करने और कम-परीक्षित नोड्स का अन्वेषण करने को प्रोत्साहित करता है।

3. उपयोगिता फीडबैक से सीखना (Learning from Utility Feedback):

   • सिस्टम एक उपयोगिता-आधारित रिवॉर्ड (utility-grounded reward) तंत्र का उपयोग करता है। प्रत्येक कार्य के लिए, फ्रीज एक्सेक्यूटर का दो बार मूल्यांकन किया जाता है: एक रिट्रीव किए गए अनुभवों के साथ ($s_{with}$) और एक बिना अनुभवों के ($s_{without}$)।
   • रिवॉर्ड की गणना $r = (s_{with} - s_{without}) + \eta s_{with}$ के रूप में की जाती है, जो रिट्रीवल के मार्जिनल गेन को मापता है और पूर्ण कार्य गुणवत्ता सुनिश्चित करता है।
   • कोपायलट ऑप्टिमाइजेशन (Copilot Optimization): रिट्रीवल कोपायलट को प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) का उपयोग करके इस रिवॉर्ड को अधिकतम करने के लिए अनुकूलित किया जाता है, जिससे यह सीखने में मदद मिलती है कि ऐसे अनुभव रिट्रीव करें जो केवल अर्थ संबंधी मिलान के बजाय वास्तव में निष्पादन में सुधार करते हैं।
   • ऑनलाइन ग्राफ इवोल्यूशन (Online Graph Evolution): रिट्रीव किए गए नोड्स को रिवॉर्ड के आधार पर नए उपयोगिता सांख्यिकी के साथ अपडेट किया जाता है। नए प्रक्षेप पथों को सारांशित किया जाता है और ग्राफ में डाला जाता है, जबकि कम-उपयोगिता वाले नोड्स को हटा दिया जाता है, जिससे मेमोरी स्वयं विकसित (self-evolve) हो सकती है।

मुख्य योगदान

• मॉडल-अज्ञेय डिजाइन (Model-Agnostic Design): ExpGraph पहला ढांचा है जो ग्राफ-संरचित अनुभव, ग्राफ डिफ्यूजन, उपयोगिता-जागरूक रैंकिंग और फ्रीज एक्सेक्यूटर्स के लिए अनुकूलित रिट्रीवल को संयुक्त रूप से सपोर्ट करता है। इसके लिए अंतर्निहित LLM को फिर से प्रशिक्षित करने की आवश्यकता नहीं है।
• संबंधपरक स्मृति (Relational Memory): फ्लैट मेमोरी सिस्टम के विपरीत, ExpGraph अनुभवों को एक ग्राफ के रूप में व्यवस्थित करता है, जिससे उन हस्तांतरणीय रणनीतियों और विफलता पैटर्न की खोज संभव होती है जो तत्काल अर्थ संबंधी पड़ोसी नहीं हैं।
• अनुकूली रिट्रीवल नीति (Adaptive Retrieval Policy): एक रिट्रीवल कोपायलट का परिचय जो गतिशील रूप से डिफ्यूजन डेप्थ और प्रासंगिकता-उपयोगिता ट्रेड-ऑफ को नियंत्रित करता है, सिस्टम को कार्य की जटिलता और एक्सेक्यूटर की क्षमताओं के अनुकूल होने की अनुमति देता है।
• उपयोगिता-आधारित लर्निंग (Utility-Grounded Learning): वास्तविक डाउनस्ट्रीम प्रदर्शन लाभों (केवल समानता के बजाय) के आधार पर रिट्रीवल को अनुकूलित करके, सिस्टम केवल प्रासंगिक और वास्तव में उपयोगी अनुभवों के बीच अंतर करना सीखता है।

प्रयोगात्मक परिणाम

लेखकों ने सिंगल-टर्न स्टैटिक कार्यों (प्रश्न उत्तर, गणितीय तर्क, कोड जनरेशन) और मल्टी-स्टेप एजेंटिक वातावरण (ALFWorld, AppWorld) को कवर करते हुए ExpSuite पर ExpGraph का मूल्यांकन किया।

• प्रदर्शन लाभ (Performance Gains):
  • स्टैटिक कार्य: ExpGraph ने सबसे मजबूत बेसलाइन पर औसत स्कोर में 12.2% (छोटे एक्सेक्यूटर Llama-3.2-3B के साथ) और 4.7% (बड़े एक्सेक्यूटर Llama-3.1-8B के साथ) का सुधार किया।
  • एजेंटिक वातावरण: लाभ अधिक स्पष्ट थे, जिसने सबसे मजबूत बेसलाइन पर भारित औसत स्कोर में 21.4% (छोटा एक्सेक्यूटर) और 12.7% (बड़ा एक्सेक्यूटर) का सुधार किया।
  • दक्षता (Efficiency): ExpGraph ने एजेंटिक सेटिंग्स में सबसे कुशल प्रतिस्पर्धी बेसलाइन की तुलना में औसत इंटरैक्शन स्टेप्स को 12.7% और 21.6% कम कर दिया।
• सामान्यीकरण (Generalization): ढांचे ने मजबूत ज़ीरो-शॉट ट्रांसफर क्षमताएं प्रदर्शित कीं। छोटे एक्सेक्यूटर्स से सीखे गए अनुभव घटक बड़े एक्सेक्यूटर्स पर प्रभावी ढंग से स्थानांतरित हुए, और नॉन-रीज़निंग एक्सेक्यूटर्स के घटकों ने रीजनिंग-सक्षम मॉडल्स पर अच्छा प्रदर्शन किया।
• एब्लेशन स्टडीज (Ablation Studies): किसी भी प्रमुख घटक (ग्राफ संरचना, डिफ्यूजन, उपयोगिता रैंकिंग, या सिमिलैरिटी फ़िल्टरिंग) को हटाने से प्रदर्शन में लगातार गिरावट आई, जिससे पुष्टि हुई कि प्रभावी अनुभव पुन: उपयोग के लिए संयुक्त डिज़ाइन आवश्यक है।

महत्व और दावे

पेपर का दावा है कि ExpGraph LLM एजेंटों के लिए एक व्यावहारिक और एक्सेक्यूटर-अज्ञेय मार्ग प्रदान करता है ताकि वे अंतर्निहित एक्सेक्यूटर को फिर से प्रशिक्षित किए बिना अनुभव से सीख सकें। लेखक जोर देते हैं कि:

1. कमजोर एक्सेक्यूटर्स के लिए अनुभव का पुन: उपयोग महत्वपूर्ण है: सापेक्ष लाभ छोटे, कम सक्षम मॉडल्स के लिए काफी अधिक हैं, जो सुझाव देता है कि बाहरी अनुभव कमजोर अंतर्निहित तर्क या योजना क्षमताओं की भरपाई कर सकता है।
2. लॉन्ग-होरिजन कार्यों में मूल्य: लाभ उन एजेंटिक वातावरणों में सबसे अधिक स्पष्ट हैं जिनमें लॉन्ग-होरिजन निर्णय लेने की आवश्यकता होती है, जहाँ पिछले प्रक्षेप पथ सीधे कार्यों को निर्देशित कर सकते हैं और अनावश्यक अन्वेषण को कम कर सकते हैं।
3. निष्पादन से लर्निंग को अलग करना: एक्सेक्यूटर को एक प्रतिस्थापनीय टास्क सॉल्वर के रूप में मानकर और एक बाहरी सिस्टम के माध्यम से कैसे संदर्भ प्रदान किया जाए, यह सीखने के माध्यम से, ExpGraph फाइन-ट्यूनिंग-आधारित दृष्टिकोणों की अ लचीलेपन को संबोधित करता है।

लेखक निष्कर्ष निकालते हैं कि अनुभवों के बीच संबंधों को मॉडल करना और उपयोगिता-जागरूक अनुकूलित रिट्रीवल को सीखना, LLM एजेंटों को कार्य ज्ञान को प्रभावी ढंग से संचित करने और स्थानांतरित करने में सक्षम बनाने के लिए आवश्यक है, विशेष रूप से उन सेटिंग्स में जहाँ एक्सेक्यूटर को अपडेट नहीं किया जा सकता है।