HieraMAS: Optimizing Intra-Node LLM Mixtures and Inter-Node Topology for Multi-Agent Systems

यहाँ "HieraMAS: Optimizing Intra-Node LLM Mixtures and Inter-Node Topology for Multi-Agent Systems" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) पर आधारित मौजूदा मल्टी-एजेंट सिस्टम (MAS) आमतौर पर प्रत्येक एजेंट को एक मोनोलिथिक यूनिट (monolithic unit) के रूप में देखते हैं। वर्तमान अनुकूलन प्रयास अलग-थलग आयामों पर केंद्रित हैं:

• कम्युनिकेशन टोपोलॉजी (Communication Topology): एजेंट कैसे जुड़ते हैं (जैसे, चेन, स्टार, पूर्णतः कनेक्टेड) इसे अनुकूलित करना।
• भूमिका निर्धारण (Role Assignment): कौन सा एजेंट कौन सा कार्य करेगा, यह निर्धारित करना।
• LLM रूटिंग (LLM Routing): किसी विशिष्ट भूमिका के लिए एक एकल बैकबोन मॉडल का चयन करना।

अंतराल (The Gap): ये दृष्टिकोण आंतरिक LLM मिश्रणों (internal LLM mixtures) का लाभ उठाने में विफल रहते हैं। हालिया शोध सुझाव देते हैं कि LLMs बेहतर प्रदर्शन करते हैं जब उन्हें सहायक इनपुट के रूप में अन्य मॉडल्स के आउटपुट प्रदान किए जाते हैं (इसे "सहयोगात्मकता" या "collaborativeness" की घटना कहा जाता है)। हालाँकि, वर्तमान MAS फ्रेमवर्क इंट्रा-एजेंट सहयोग को इंटर-एजेंट टोपोलॉजी अनुकूलन के साथ एकीकृत नहीं करते हैं।

मुख्य चुनौती (The Core Challenge): इंट्रा-नोड कॉन्फ़िगरेशन (LLM मिश्रण) और इंटर-नोड संरचनाओं (टोपोलॉजी) को संयुक्त रूप से अनुकूलित करने से गंभीर क्रेडिट असाइनमेंट (credit assignment) समस्याएं उत्पन्न होती हैं:

1. नोड-स्तरीय मास्किंग (Node-Level Masking): एक अंतिम कार्य रिवॉर्ड (task reward) उच्च हो सकता है क्योंकि अन्य एजेंटों ने किसी विशिष्ट नोड की त्रुटि की भरपाई की है, जिससे एक उप-इष्टतम (suboptimal) नोड कॉन्फ़िगरेशन का गलत सुदृढीकरण (reinforcement) हो जाता है।
2. एज-स्तरीय उलझाव (Edge-Level Entanglement): व्यक्तिगत संचार किनारों (edges) को अनुकूलित करना कठिन है क्योंकि एक एकल एज का योगदान भेजने और प्राप्त करने वाले दोनों नोड्स के व्यवहार के साथ उलझा हुआ होता है, जिससे उस विशिष्ट एज के प्रभाव को अलग करना कठिन हो जाता है।

2. कार्यप्रणाली: HieraMAS

HieraMAS एक पदानुक्रमित (hierarchical) फ्रेमवर्क पेश करता है जो इंट्रा-नोड और इंटर-नोड सहयोग को एकीकृत करता है।

A. मुख्य आर्किटेक्चर: सुपरनोड्स (Supernodes)

एकल एजेंटों के बजाय, HieraMAS सुपरनोड्स का उपयोग करता है।

• संरचना: प्रत्येक कार्यात्मक भूमिका (जैसे, "मैथ सॉल्वर") एक सुपरनोड है जिसमें प्रपोज-सिंथेसिस (Propose-Synthesis) संरचना होती है।
  • प्रपोजर्स ($W$): कई विषम (heterogeneous) LLMs विविध प्रस्ताव उत्पन्न करते हैं।
  • सिंथेसाइज़र (Synthesizer): एक एकल LLM इन प्रस्तावों को एक एकीकृत प्रतिक्रिया में संकलित करता है।
• लचीलापन: सिस्टम में एक विशेष "स्किप" (skip) टोकन शामिल है।
  • यदि किसी प्रपोजर के लिए चुना जाता है, तो उस प्रपोजर को हटा दिया जाता है (लागत कम करने के लिए)।
  • यदि सिंथेसाइज़र के लिए चुना जाता है, तो पूरा सुपरनोड (भूमिका) निष्क्रिय कर दिया जाता है (भूमिका छंटनी/role pruning)।

B. अनुकूलन आयाम (Optimization Dimensions)

HieraMAS तीन परस्पर जुड़े आयामों को संयुक्त रूप से अनुकूलित करता है:

1. ग्राफ टोपोलॉजी (Graph Topology): सुपरनोड्स के बीच संचार पैटर्न।
2. भूमिका छंटनी (Role Pruning): यह तय करना कि किसी विशिष्ट क्वेरी के लिए कौन सी कार्यात्मक भूमिकाएँ आवश्यक हैं।
3. LLM चयन (LLM Selection): प्रत्येक सुपरनोड के भीतर प्रपोजर और सिंथेसाइज़र पदों के लिए LLM का इष्टतम मिश्रण चुनना।

C. दो-चरणीय प्रशिक्षण एल्गोरिदम (Two-Stage Training Algorithm)

क्रेडिट असाइनमेंट चुनौतियों को हल करने के लिए, HieraMAS एक पृथक, दो-चरणीय प्रशिक्षण प्रक्रिया का उपयोग करता है:

चरण 1: सुपरनोड अनुकूलन (रैंडम ग्राफ के साथ)

• लक्ष्य: इष्टतम LLM चयन और भूमिका छंटनी सीखना।
• तंत्र: सिस्टम एक पूर्व-निर्मित पूल से रैंडमली सैंपल किए गए संचार टोपोलॉजी का उपयोग करके MAS को निष्पादित करता है। यह एक विशिष्ट ग्राफ संरचना के प्रति ओवरफिटिंग को रोकता है।
• चुनौती 1 (नोड मास्किंग) का समाधान: बहु-स्तरीय पुरस्कार (Multi-Level Rewards) का उपयोग करता है।
  • केवल अंतिम कार्य रिवॉर्ड ($R_{final}$) पर निर्भर रहने के बजाय, सिस्टम सिंथेसाइज़र के आउटपुट की गुणवत्ता के आधार पर नोड-स्तरीय रिवॉर्ड ($R_{node}$) की गणना करता है।
  • प्रभावी रिवॉर्ड: $R_{eff} = \alpha \cdot R_{node} + (1-\alpha) \cdot R_{final}$।
  • यह सुनिश्चित करता है कि भले ही अंतिम कार्य अन्य एजेंटों के कारण सफल हुआ हो, एक विफल नोड को उसकी व्यक्तिगत त्रुटि के अनुपात में नकारात्मक संकेत प्राप्त होता है, जिससे गलत सुदृढीकरण रुक जाता है।

चरण 2: ग्राफ क्लासिफायर प्रशिक्षण

• लक्ष्य: इष्टतम संचार टोपोलॉजी सीखना।
• तंत्र: LLM सेलेक्टर को फ्रीज (freeze) कर दिया जाता है। सिस्टम टोपोलॉजी चयन को एक समग्र ग्राफ वर्गीकरण समस्या के रूप में मानता है, न कि प्रति-एज (per-edge) अनुकूलन के रूप में।
• प्रक्रिया:
  1. $K$ विविध निर्देशित अचक्रीय ग्राफों (Directed Acyclic Graphs - DAGs) का एक पूल पूर्व-जेनरेट किया जाता है।
  2. सिस्टम फ्रीज किए गए LLM सेलेक्टर का उपयोग करके पूल से विभिन्न ग्राफों के साथ MAS को निष्पादित करता है।
  3. एक ग्राफ क्लासिफायर (ग्राफ कन्वोल्यूशनल नेटवर्क पर आधारित) इन उम्मीदवार ग्राफों को स्कोर करने और दी गई क्वेरी के लिए सबसे अच्छा ग्राफ चुनने के लिए प्रशिक्षित किया जाता है।
• चुनौती 2 (एज एंटैंगलमेंट) का समाधान: पूरी टोपोलॉजी को एक अविभाज्य इकाई के रूप में मूल्यांकन करके, यह विधि विशिष्ट किनारों (edges) को क्रेडिट देने की कठिन समस्या को दरकिनार कर देती है।

3. प्रमुख योगदान (Key Contributions)

1. नया प्रतिमान (Novel Paradigm): दो-स्तरीय सहयोग ढांचा पेश किया: इंट्रा-नोड (सुपरनोड्स के भीतर विषम LLM मिश्रण) और इंटर-नोड (कार्यात्मक भूमिकाओं के बीच संचार)।
2. एकीकृत ढांचा (Unified Framework): HieraMAS एक ही सुसंगत प्रणाली के भीतर टोपोलॉजी, भूमिका प्रतिधारण (role retention) और LLM चयन को संयुक्त रूप से अनुकूलित करने वाला पहला फ्रेमवर्क है।
3. क्रेडिट असाइनमेंट समाधान:
   • प्रति-नोड एट्रिब्यूशन त्रुटियों को हल करने के लिए बहु-स्तरीय पुरस्कार (Multi-Level Rewards) प्रस्तावित किए।
   • टोपोलॉजी अनुकूलन को ग्राफ वर्गीकरण (Graph Classification) कार्य के रूप में पुनर्गठित किया ताकि प्रति-एज क्रेडिट असाइनमेंट की अस्पष्टता से बचा जा सके।
4. सैद्धांतिक औचित्य (Theoretical Justification): प्रमाण प्रदान किए कि बहु-स्तरीय पुरस्कार ग्रेडिएंट दिशाओं को ठीक करते हैं और समग्र ग्राफ चयन अनुमान त्रुटि (estimation error) को कम करता है, जबकि प्रति-एज अनुकूलन अपरिहार्य त्रुटि (irreducible error) से ग्रस्त होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बेंचमार्क पर HieraMAS का मूल्यांकन किया: HumanEval++ (कोडिंग), MATH (रीजनिंग), और MMLU-Redux (सामान्य ज्ञान)।

• प्रदर्शन: HieraMAS ने 94.61% की औसत सटीकता के साथ स्टेट-ऑफ-द-आर्ट (SOTA) प्रदर्शन हासिल किया, जिसने AFlow, GDesigner और MASRouter जैसे मजबूत बेसलाइन को पीछे छोड़ दिया।
  • इसने HumanEval++ और MATH पर सर्वश्रेष्ठ परिणाम प्राप्त किए।
• लागत-दक्षता (Cost-Efficiency):
  • HieraMAS ने "फुल-ग्राफ" बेसलाइन की तुलना में इन्फरेंस लागत को काफी कम कर दिया (MMLU-Redux पर 3.27 गुना सस्ता)।
  • इसने सभी नोड्स के लिए सबसे मजबूत LLM का उपयोग करने की तुलना में बेहतर लागत-प्रदर्शन संतुलन प्राप्त किया, क्योंकि यह कार्य की आवश्यकताओं के आधार पर कमजोर (सस्ते) और मजबूत मॉडल्स को अनुकूल रूप से मिश्रित करता है।
• एब्लेशन अध्ययन (Ablation Studies):
  • ग्राफ स्कोरिंग तंत्र को हटाने से ~3.4% प्रदर्शन में गिरावट आई, जो सीखे गए टोपोलॉजी के महत्व को रेखांकित करता है।
  • LLM चयन को हटाने (केवल सबसे मजबूत मॉडल का उपयोग करने) से लागत में >200% की वृद्धि हुई जबकि सटीकता भी अक्सर कम हो गई।
• सामान्यीकरण (Generalization): HeraMAS ने अनदेखे MMLU विषयों पर मजबूत आउट-ऑफ-डोमेन सामान्यीकरण प्रदर्शित किया, जो MASRouter जैसे अन्य लर्निंग-बेस्ड तरीकों से बेहतर रहा।

5. महत्व (Significance)

HieraMAS मल्टी-एजेंट सिस्टम डिजाइन में एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है। मोनोलिथिक एजेंटों और निश्चित टोपोलॉजी से हटकर, यह माइक्रो (इंट्रा-नोड) और मैक्रो (इंटर-नोड) दोनों स्तरों पर विषम LLMs की सहयोगात्मक क्षमता का लाभ उठाता है।

इसकी क्षमता कि वह उच्च प्रदर्शन बनाए रखते हुए अनावश्यक भूमिकाओं को गतिशील रूप से छाँट (prune) सके और लागत प्रभावी LLMs का चयन कर सके, वास्तविक दुनिया के अनुप्रयोगों में स्केलेबल, कुशल और मजबूत AI एजेंटों को तैनात करने के लिए एक व्यावहारिक समाधान प्रदान करती है। प्रस्तावित दो-चरणीय प्रशिक्षण एल्गोरिदम जटिल क्रेडिट असाइनमेंट समस्याओं को हल करने के लिए एक मजबूत ब्लूप्रिंट प्रदान करता है।