GraphPlanner: Graph Memory-Augmented Agentic Routing for Multi-Agent LLMs

यहाँ "GraphPlanner: Graph Memory-Augmented Agentic Routing for Multi-Agent LLMs" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि LLM रूटिंग ने दक्षता और प्रदर्शन को संतुलित करने के लिए विविध मॉडलों को सफलतापूर्वक एकीकृत किया है, मौजूदा विधियाँ मुख्य रूप से सिंगल-राउंड (single-round) या मल्टी-राउंड (multi-round) सेटिंग्स तक सीमित हैं जिनमें वास्तविक एजेंटिक क्षमताओं का अभाव है।

• वर्तमान राउटरों की सीमाएँ:
  • सिंगल-राउंड राउटर: ये क्वेरी एम्बेडिंग के आधार पर वन-शॉट असाइनमेंट करते हैं, जिनमें कार्यों को विभाजित करने या कई मॉडलों के बीच समन्वय करने की क्षमता नहीं होती है।
  • मल्टी-राउंड राउटर: ये क्रमिक कॉल्स (sequential calls) की अनुमति तो देते हैं, लेकिन उन्हें एक सहकारी वर्कफ़्लो के बजाय स्वतंत्र चरणों के रूप में देखते हैं, जिससे रेडंडेंट कॉल्स, कॉन्टेक्स्ट संघर्ष और पूरक शक्तियों का लाभ उठाने में विफलता होती है।
  • मेमोरी का अभाव: मौजूदा राउटर भविष्य के रूटिंग निर्णयों को सूचित करने के लिए ऐतिहासिक इंटरेक्शन डेटा (पिछले वर्कफ़्लो, त्रुटियाँ और सफल सहयोग) का उपयोग शायद ही कभी करते हैं।
  • स्थिर भूमिकाएँ (Static Roles): वे आमतौर पर केवल एक मॉडल बैकबोन का चयन करते हैं, वर्कफ़्लो के भीतर विभिन्न मॉडलों को विशिष्ट एजेंट भूमिकाएं (जैसे, Planner, Executor) सौंपने की आवश्यकता को अनदेखा करते हैं।

मुख्य चुनौती यह है कि रूटिंग को एजेंटिक LLM सेटिंग्स में कैसे विस्तारित किया जाए जहाँ सिस्टम को गतिशील रूप से योजना बनानी, कार्यों को विभाजित करना, विभिन्न मॉडलों को विषम भूमिकाएँ सौंपना और सटीकता एवं कम्प्यूटेशनल लागत दोनों को अनुकूलित करने के लिए ऐतिहासिक मेमोरी का लाभ उठाना चाहिए।

2. कार्यप्रणाली: GraphPlanner (Methodology: GraphPlanner)

GraphPlanner एक विषम ग्राफ मेमोरी-ऑगमेंटेड एजेंटिक राउटर (heterogeneous graph memory-augmented agentic router) प्रस्तावित करता है जो वर्कफ़्लो जनरेशन को एक अनुक्रमिक निर्णय लेने की प्रक्रिया (sequential decision-making process) के रूप में तैयार करता है।

A. मार्कोव डिसीजन प्रोसेस (MDP) के रूप में सूत्रीकरण

रूटिंग प्रक्रिया को एक MDP $(S, A, T, r, \gamma)$ के रूप में मॉडल किया गया है:

• स्टेट ($S$): समाधान के अधीन वर्तमान क्वेरी द्वारा परिभाषित। कॉन्टेक्स्टुअल सिग्नल्स को एक विकसित होते वर्कफ़्लो मेमोरी ग्राफ के माध्यम से अप्रत्यक्ष रूप से कैप्चर किया जाता है।
• एक्शन ($A$): प्रत्येक चरण में, राउटर एक जोड़ी $(\alpha_t, m_t)$ चुनता है, जहाँ $\alpha_t$ एक एजेंट भूमिका (Planner, Executor, या Summarizer) है और $m_t$ एक विषम पूल से LLM बैकबोन है।
  • Planner: जटिल क्वेरीज़ को सब-क्वेरीज़ में विभाजित करता है।
  • Executor: प्रतिक्रियाएँ उत्पन्न करता है।
  • Summarizer: मध्यवर्ती आउटपुट को संक्षिप्त करता है।
  • Constraints: डायनेमिक मास्क सिमेंटिक वैधता सुनिश्चित करते हैं (जैसे, पहले चरण में Summarizer को रोकने के लिए)।
• ट्रांजिशन ($T$): एक्शन के आधार पर वर्कफ़्लो ग्राफ को अपडेट करता है (जैसे, क्वेरी को डीकंपोज़ करना या प्रतिक्रिया उत्पन्न करना)।
• रिवॉर्ड ($r$): एक कंपोजिट रिवॉर्ड जो टास्क यूटिलिटी (सटीकता, BLEU, आदि) और कम्प्यूटेशनल लागत (टोकन उपयोग, GPU समय) को संतुलित करता है।

B. हेटेरोजीनियस ग्राफ मेमोरी (GARNet)

मुख्य नवाचार GARNet है, जो एक हेटेरोजीनियस ग्राफ न्यूरल नेटवर्क है जो दो प्रकार की मेमोरी को एकीकृत करता है:

1. वर्कफ़्लो मेमोरी ग्राफ ($G_{workflow}$): वर्तमान क्वेरी की निष्पादन स्थिति (execution state) का प्रतिनिधित्व करता है, जो क्वेरी, रिस्पॉन्स और भूमिकाओं को जोड़ता है।
2. हिस्टोरिकल मेमोरी ग्राफ ($G_{history}$): पिछले इंटरेक्शन को एकत्रित करता है, सफल सहयोग पैटर्न, त्रुटि मोड और कुशल श्रम विभाजन को कैप्चर करता है।

प्रमुख आर्किटेक्चरल विशेषताएँ:

• शेयर्ड रोल हब नोड्स (Shared Role Hub Nodes): प्रत्येक भूमिका इंस्टेंस के लिए नए नोड्स बनाने के बजाय, GraphPlanner फिक्स्ड "रोल हब" नोड्स (जैसे, "LLaMA-Planner", "Gemma-Executor") का उपयोग करता है जो दोनों ग्राफों में साझा किए जाते हैं। यह मॉडल को एक एकीकृत इंटरफ़ेस के माध्यम से वर्तमान वर्कफ़्लो और ऐतिहासिक डेटा से जानकारी एकत्र करने की अनुमति देता है।
• नेस्टेड डुअल-ग्राफ एनकोडिंग: ऐतिहासिक ग्राफ को पहले एनकोड किया जाता है ताकि रोल हब एम्बेडिंग्स को अपडेट किया जा सके, जिन्हें फिर वर्कफ़्लो ग्राफ एनकोडर में इंजेक्ट किया जाता है। यह सुनिश्चित करता है कि वर्तमान निर्णय संचित ऐतिहासिक अनुभव से सूचित हो।
• मैसेज पासिंग: पड़ोसियों से संदेशों को एकत्रित करने के लिए रेसिडुअल कनेक्शन का उपयोग करता है, जिससे राउटर जटिल, हेटेरोजीनियस डिपेंडेंसी पर तर्क कर पाता है।

C. रीइन्फोर्समेंट लर्निंग के माध्यम से अनुकूलन

पॉलिसी नेटवर्क को प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) का उपयोग करके प्रशिक्षित किया जाता है। एजेंट अपेक्षित डिस्काउंटेड रिटर्न को अधिकतम करने के लिए सीखता है, जो संयुक्त रूप से इनके लिए अनुकूलित है:

• टास्क परफॉरमेंस: अंतिम उत्तर पर सटीकता।
• दक्षता: GPU लागत और टोकन उपयोग को कम करना।

3. प्रमुख योगदान (Key Contributions)

1. एजेंटिक रूटिंग फ्रेमवर्क: यह प्रतिमान को सरल मॉडल चयन से वर्कफ़्लो जनरेशन में बदल देता है, जहाँ राउटर प्रत्येक चरण में गतिशील रूप से एजेंट भूमिका और मॉडल बैकबोन दोनों का निर्णय लेता है।
2. हेटेरोजीनियस ग्राफ मेमोरी (GARNet): वर्तमान वर्कफ़्लो अवस्थाओं के साथ ऐतिहासिक इंटरेक्शन मेमोरी को कैप्चर करने और लाभ उठाने के लिए एक नवीन तंत्र पेश करता है। यह इंडक्टिव (लाइटवेट, बिना इतिहास के) और ट्रांसडक्टिव (इतिहास-जागरूक, उच्च प्रदर्शन) इन्फरेंस दोनों का समर्थन करता है।
3. संयुक्त अनुकूलन (Joint Optimization): RL के माध्यम से टास्क सटीकता और कम्प्यूटेशनल लागत के बीच संतुलन सफलतापूर्वक बनाता है, जिससे मल्टी-राउंड राउटरों के "ब्रूट फ़ोर्स" दृष्टिकोण से बचा जा सकता है।
4. सामान्यीकरण (Generalization): बिना फाइन-ट्यूनिंग के अनदेखे कार्यों और अनदेखे LLM बैकबोन्स पर मजबूत ज़ीरो-शॉट क्षमता प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 6 डोमेन (मैथ, कोड, कॉमनसेन्स, वर्ल्ड नॉलेज, पॉपुलर, आउट-ऑफ-डोमेन) में फैले 14 विविध कार्यों पर GraphPlanner का मूल्यांकन किया।

• बेसलाइन्स के विरुद्ध प्रदर्शन:
  • चरण 1 (फिक्स्ड वर्कफ़्लो के भीतर अनुकूलन): GraphPlanner ने सबसे मजबूत बेसलाइन्स पर औसत सटीकता में +3.8% का सुधार किया।
  • चरण 2 (इष्टतम वर्कफ़्लो जनरेट करना): GraphPlanner ने सर्वश्रेष्ठ बेसलाइन (Router-R1) की तुलना में +9.3% सटीकता में सुधार किया।
  • लागत दक्षता: इसने GPU लागत को नाटकीय रूप से 186.26 GiB (Router-R1) से घटाकर 1.04 GiB कर दिया, जबकि बेहतर सटीकता बनाए रखी।
• पारेटो फ्रंटियर (Pareto Frontier): GraphPlanner लगातार पारेटो फ्रंटियर बनाता है, जो सिंगल-राउंड और मल्टी-राउंड राउटरों की तुलना में समान लागत के लिए बेहतर सटीकता या समान सटीकता के लिए कम लागत प्रदान करता है।
• सामान्यीकरण:
  • अनदेखे कार्य: आउट-ऑफ-डोमेन कार्यों (LogicGrid, MGSM, CommonGen) पर 78% औसत सटीकता प्राप्त की, जो बेसलाइन्स (46–58%) से काफी बेहतर है।
  • अनदेखे LLMs: प्रशिक्षण के दौरान न देखे गए LLMs (जैसे, Mistral-Nemo, Mixtral वेरिएंट्स) के लिए मजबूत ज़ीरो-शॉट सामान्यीकरण प्रदर्शित किया।
• एब्लेशन स्टडीज (Ablation Studies):
  • ऐतिहासिक मेमोरी को हटाने से प्रदर्शन में भारी गिरावट आई, जो $G_{history}$ के मूल्य की पुष्टि करता है।
  • हेटेरोजीनियस ग्राफ एनकोडिंग ने होमोजेनियस ग्राफ वेरिएंट्स से बेहतर प्रदर्शन किया, जो एजेंट भूमिकाओं को अलग करने के महत्व को सिद्ध करता है।
  • ट्रांसडक्टिव मोड (इतिहास का उपयोग करना) ने उच्च सटीकता दी, जबकि इंडक्टिव मोड प्रतिस्पर्धी प्रदर्शन के साथ एक लाइटवेट विकल्प प्रदान करता है।

5. महत्व (Significance)

GraphPlanner मल्टी-एजेंट LLM सिस्टम के क्षेत्र में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

• स्केलेबिलिटी: एक हल्के ग्राफ-आधारित राउटर का उपयोग करके, यह कई LLMs को अंधाधुंध चलाने या भारी मल्टी-राउंड रीजनिंग लूप का उपयोग करने के विशाल कम्प्यूटेशनल ओवरहेड से बचता है।
• अनुकूलन क्षमता: यह स्थिर रूटिंग नियमों से आगे बढ़कर, ऐसे सिस्टम को सक्षम बनाता है जो विशिष्ट क्वेरी के लिए सबसे कुशल वर्कफ़्लो को गतिशील रूप से बनाने के लिए पिछले इंटरेक्शन से सीखते हैं।
• व्यावहारिकता: सटीकता में सुधार करते हुए GPU लागत को कई गुना कम करने की क्षमता जटिल एजेंटिक वर्कफ़्लो को वास्तविक दुनिया के परिनियोजन (deployment) के लिए व्यवहार्य बनाती है।
• भविष्य की दिशा: यह स्वचालित वर्कफ़्लो जनरेशन, हेटेरोजीनियस एजेंट सहयोग और बड़े पैमाने के AI सिस्टम में मेमोरी-ऑगमेंटेड रूटिंग में अनुसंधान के नए मार्ग खोलता है।

संक्षेप में, GraphPlanner हेटेरोजीनियस ग्राफ मेमोरी का लाभ उठाकर बुद्धिमान, लागत-जागरूक और संदर्भ-समृद्ध रूटिंग निर्णय लेने के माध्यम से स्टेटिक मॉडल रूटिंग और डायनेमिक एजेंटिक सहयोग के बीच के महत्वपूर्ण अंतर को पाटता है।