AdaptOrch: Task-Adaptive Multi-Agent Orchestration in the Era of LLM Performance Convergence

यहाँ शोध पत्र "AdaptOrch: Task-Adaptive Multi-Agent Orchestration in the Era of LLM Performance Convergence" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र LLM प्रणालियों में होने वाले एक प्रतिमान बदलाव (paradigm shift) को संबोधित करता है जो 2026 की शुरुआत के आसपास घटित हो रहा है। जैसे-जैसे फ्रंटियर मॉडल्स (जैसे, GPT-4o, Claude 3.5, Gemini 2.0, Llama 3.3) बेंचमार्क प्रदर्शन में अभिसरण (converge) कर रहे हैं (जिनमें केवल 2-5% का अंतर है), एक "बेहतर" एकल मॉडल चुनने से होने वाला आंशिक लाभ कम होता जा रहा है।

• मुख्य मुद्दा: पारंपरिक ऑर्केस्ट्रेशन फ्रेमवर्क (जैसे, LangGraph, CrewAI) कार्य के बावजूद स्थिर टोपोलॉजी (निश्चित श्रृंखला या ग्राफ) पर निर्भर करते हैं। इसके विपरीत, डायनेमिक रूटिंग सिस्टम (जैसे, Mixture-of-Agents) आउटपुट को मिलाते हैं लेकिन एजेंटों के संरचनात्मक समन्वय को नहीं बदलते हैं।
• अंतराल (The Gap): किसी दिए गए कार्य के विशिष्ट संरचनात्मक निर्भरताओं के आधार पर इष्टतम ऑर्केस्ट्रेशन टोपोलॉजी (एजेंटों को कैसे समन्वित किया जाए) को निर्धारित करने के लिए कोई औपचारिक तंत्र मौजूद नहीं है। लेखक तर्क देते हैं कि जब मॉडल की क्षमताएं स्थिर (plateau) हो जाती हैं, तो ऑर्केस्ट्रेशन डिज़ाइन ही प्रदर्शन अनुकूलन के लिए प्राथमिक लीवर बन जाता है।

2. कार्यप्रणाली: AdaptOrch फ्रेमवर्क (Methodology: The AdaptOrch Framework)

AdaptOrch एक औपचारिक फ्रेमवर्क है जो किसी कार्य के निर्भरता ग्राफ (dependency graph) के संरचनात्मक गुणों के आधार पर चार कैनोनिकल टोपोलॉजी में से एक को गतिशील रूप से चुनता है।

A. सैद्धांतिक आधार: प्रदर्शन अभिसरण स्केलिंग लॉ (Performance Convergence Scaling Law)

लेखक एक स्केलिंग लॉ प्रस्तावित करते हैं जो यह सिद्ध करता है कि मॉडल अभिसरण ($\epsilon$-convergence) की स्थितियों के तहत, टोपोलॉजी चयन ($Var_\tau$) के कारण सिस्टम प्रदर्शन में भिन्नता, मॉडल चयन ($Var_M$) की तुलना में काफी अधिक होती है।

• मुख्य अंतर्दृष्टि: जैसे-जैसे $\epsilon \to 0$ (मॉडल समान होते जाते हैं), $Var_\tau / Var_M$ का अनुपात $\to \infty$ हो जाता है।
• निहितार्थ: उच्च समानांतरता ($\omega > 1$) और निम्न कपलिंग वाले कार्यों के लिए, टोपोलॉजी का चुनाव अंतर्निहित मॉडल के चुनाव की तुलना में गणितीय रूप से अधिक महत्वपूर्ण है।

B. कार्य प्रतिनिधित्व: डिपेंडेंसी DAGs (Task Representation: Dependency DAGs)

कार्यों को डायरेक्टेड एसाइक्लिक ग्राफ्स (DAGs) ($G_T = (V, E, w, c)$) में विघटित किया जाता है जहाँ:

• $V$: उप-कार्य (Subtasks)।
• $E$: निर्भरताएँ (Dependencies)।
• $w$: कम्प्यूटेशनल लागत (Computational cost)।
• $c$: कपलिंग स्ट्रेंथ (0.0 से 1.0), जो यह दर्शाती है कि उप-कार्यों के बीच कितने संदर्भ साझाकरण (context sharing) की आवश्यकता है।
• प्रमुख मेट्रिक्स: फ्रेमवर्क पैरेललिज्म विड्थ ($\omega$, मैक्स एंटीचेन साइज), क्रिटिकल पाथ डेप्थ ($\delta$), और कपलिंग डेंसिटी ($\gamma$) की गणना करता है।

C. चार कैनोनिकल टोपोलॉजी (The Four Canonical Topologies)

AdaptOrch कार्यों को चार निष्पादन पैटर्नों में रूट करता है:

1. पैरेलल ($\tau_P$): सभी उप-कार्य समवर्ती (concurrently) रूप से निष्पादित होते हैं; आउटपुट बाद में मर्ज किया जाता है। (कम कपलिंग, उच्च विड्थ के लिए सर्वश्रेष्ठ)।
2. सीक्वेंशियल ($\tau_S$): उप-कार्य टोपोलॉजिकल क्रम में निष्पादित होते हैं; प्रत्येक को पूर्ण पूर्व संदर्भ प्राप्त होता है। (उच्च कपलिंग, निम्न विड्थ के लिए सर्वश्रेष्ठ)।
3. हाइरार्किकल ($\tau_H$): एक लीड एजेंट कार्यों को विभाजित करता है और उप-एजेंटों को सौंपता है, तथा संघर्षों को हल करता है। (कई उप-कार्यों के साथ उच्च कपलिंग के लिए सर्वश्रेष्ठ)।
4. हाइब्रिड ($\tau_X$): DAG को परतों (layers) में विभाजित किया जाता है; एक परत के भीतर के उप-कार्य समानांतर चलते हैं, जबकि परतें क्रमिक रूप से चलती हैं। (मिश्रित निर्भरता संरचनाओं के लिए सर्वश्रेष्ठ)।

D. टोपोलॉजी रूटिंग एल्गोरिदम (The Topology Routing Algorithm)

एक लीनियर-टाइम एल्गोरिदम ($O(|V| + |E|)$) DAG मेट्रिक्स का विश्लेषण करके इष्टतम टोपोलॉजी का चयन करता है:

• यदि कोई निर्भरता नहीं है $\to$ पैरेलल।
• यदि विड्थ 1 है (रैखिक श्रृंखला) $\to$ सीक्वेंशियल।
• यदि कपलिंग उच्च है और उप-कार्यों की संख्या अधिक है $\to$ हाइरार्किकल।
• यदि विड्थ उच्च है लेकिन कपलिंग कम है $\to$ पैरेलल।
• अन्यथा $\to$ हाइब्रिड (लेयर्ड निष्पादन)।

E. एडेप्टिव सिंथेसिस प्रोटोकॉल (Adaptive Synthesis Protocol)

पैरेलल या हाइब्रिड आउटपुट के लिए, एक सिंथेसिस प्रोटोकॉल परिणामों को मर्ज करता है। यह विरोधाभासों का पता लगाने के लिए कंसिस्टेंसी स्कोर (एम्बेडिंग समानता पर आधारित) का उपयोग करता है। यदि आउटपुट असंगत हैं, तो यह एडेप्टिव री-रूटिंग को ट्रिगर करता है, अनुमानित कपलिंग स्ट्रेंथ को बढ़ाता है और संघर्षों को हल करने के लिए एक आर्बिटर एजेंट के माध्यम से संभावित रूप से हाइरार्किकल टोपोलॉजी में बदल देता है। यह प्रोटोकॉल सीमित इटरेशन के भीतर समाप्ति (termination) की गारंटी देता है।

3. प्रमुख योगदान (Key Contributions)

1. परफॉरमेंस कन्वर्जेंस स्केलिंग लॉ: एक सैद्धांतिक प्रमाण जो स्थापित करता है कि जैसे-जैसे मॉडल अभिसरित होते हैं, टोपोलॉजी चयन सिस्टम के प्रदर्शन में सबसे प्रमुख कारक बन जाता है, जो मॉडल चयन से $\Omega(1/\epsilon^2)$ के कारक से अधिक होता है।
2. टोपोलॉजी रूटिंग एल्गोरिदम: एक कम्प्यूटेशनल रूप से कुशल ($O(|V| + |E|)$) एल्गोरिदम जो कार्य निर्भरता ग्राफ को इष्टतम ऑर्केस्ट्रेशन पैटर्न में मैप करता है।
3. एडेप्टिव सिंथेसिस प्रोटोकॉल: प्रमाणित समाप्ति गारंटी और ह्यूरिस्टिक कंसिस्टेंसी स्कोरिंग के साथ समानांतर एजेंट आउटपुट को सुलझाने के लिए एक तंत्र।
4. अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग जो प्रदर्शित करते हैं कि टोपोलॉजी-जागरूक ऑर्केस्ट्रेशन समान अंतर्निहित मॉडल्स का उपयोग करने वाले स्टैटिक बेसलाइन की तुलना में बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन पांच $\epsilon$-कन्वर्जेंट मॉडल्स (GPT-4o-mini, Claude 3.5 Haiku, आदि) का उपयोग करके तीन डोमेन में किया गया:

• SWE-bench (कोडिंग): "सिंगल बेस्ट" मॉडल बेसलाइन की तुलना में 22.9% सुधार। कोडिंग कार्य हाइब्रिड (62%) और पैरेलल (24%) टोपोलॉजी को प्राथमिकता देते हैं क्योंकि इनमें उच्च समानांतरता होती है।
• GPQA Diamond (रीजनिंग): 14.9% सुधार। रीजनिंग कार्य उच्च कपलिंग के कारण सीक्वेंशियल (41%) और हाइरार्किकल (35%) को प्राथमिकता देते। उल्लेखनीय रूप से, स्टैटिक पैरेलल निष्पादन यहाँ प्रदर्शन को कम कर देता था।
• HotpotQA (RAG): 11.9% सुधार। डॉक्यूमेंट रिट्रीवल (पैरेलल) और रीजनिंग चेन्स (सीक्वेंशियल) के बीच संतुलन बनाने के लिए हाइब्रिड (71%) को प्राथमिकता देता है।

प्रमुख मेट्रिक्स:

• सटीकता (Accuracy): AdaptOrch ने सभी बेंचमार्क पर उच्चतम सटीकता प्राप्त की, जो सर्वश्रेष्ठ स्टैटिक बेसलाइन से 12-23% बेहतर थी।
• दक्षता (Efficiency): इसने Mixture-of-Agents (MoA) या LLM-Blender बेसलाइन्स की तुलना में काफी कम टोकन का उपयोग किया क्योंकि यह सबसे कुशल टोपोलॉजी चुनकर अनावश्यक मॉडल कॉल्स से बचता है।
• पारेटो ऑप्टिमलिटी (Pareto Optimality): AdaptOrch, सटीकता-लेटेंसी ट्रेडऑफ कर्व पर हावी है, जो अन्य तरीकों की तुलना में समान लेटेंसी के लिए बेहतर सटीकता प्रदान करता है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

• प्रतिमान बदलाव: यह शोध पत्र तर्क देता है कि क्षेत्र को अब यह पूछने से हटकर कि "कौन सा मॉडल सबसे अच्छा है?" कि "किसी दिए गए कार्य के लिए कौन सी ऑर्केस्ट्रेशन टोपोलॉजी सबसे अच्छी है?" की ओर बढ़ना चाहिए।
• व्यावहारिक प्रभाव: AdaptOrch मल्टी-एजेंट सिस्टम को कार्य जटिलता के अनुकूल डिजाइन करने का एक सिद्धांतबद्ध, स्वचालित तरीका प्रदान करता है, जिससे मैनुअल वर्कफ़्लो इंजीनियरिंग की आवश्यकता कम हो जाती है।
• लागत-प्रभावशीलता: टोपोलॉजी को अनुकूलित करके, सिस्टम ब्रूट-फोर्स मल्टी-एजेंट दृष्टिकोण की तुलना में कम टोकन खपत और लागत के साथ उच्च सटीकता प्राप्त करता है।
• भविष्य का कार्य: लेखक लर्निंग-आधारित रूटिंग (थ्रेशोल्ड के स्थान पर क्लासिफायर का उपयोग करना), निष्पादन के दौरान डायनेमिक री-ऑर्केस्ट्रेशन, और क्रॉस-मोडल (विज़न-लैंग्वेज) कार्यों के विस्तार का सुझाव देते हैं।

संक्षेप में, AdaptOrch यह प्रदर्शित करता है कि मॉडल इंटेलिजेंस के अभिसरण के युग में, मल्टी-एजेंट समन्वय का संरचनात्मक डिज़ाइन प्रदर्शन लाभ के लिए नया मोर्चा है।