Disentangling Intrinsic Importance from Emergent Structure in Multi-Expert Orchestration

तकनीकी सारांश: मल्टी-एक्सपर्ट ऑर्केस्ट्रेशन में अंतर्निहित महत्व (Intrinsic Importance) और उभरती संरचना (Emergent Structure) का पृथक्करण

समस्या विवरण
मल्टी-एक्सपर्ट सिस्टम, जहाँ कई लार्ज लैंग्वेज मॉडल्स (LLMs) एक ऑर्केस्ट्रेटर के माध्यम से जटिल कार्यों को हल करने के लिए सहयोग करते हैं, उच्च-प्रदर्शन वाले तर्क (reasoning) के लिए तेजी से अपनाए जा रहे हैं। हालाँकि, विशेषज्ञ संपर्क, अनुक्रमण (sequencing) और चयन को नियंत्रित करने वाली ऑर्केस्ट्रेशन नीतियां काफी हद तक अपारदर्शी बनी हुई हैं। वर्तमान ढांचे अक्सर रूटिंग को प्रदर्शन के लिए अनुकूलित एक 'ब्लैक बॉक्स' के रूप में मानते हैं, जिनमें सापेक्षिक महत्व (एक विशेषज्ञ कितनी बार चुना जाता है या एक हब के रूप में कार्य करता है) और अंतर्निहित महत्व (एक विशेषज्ञ के आंतरिक निरूपण की कार्यात्मक आवश्यकता) के बीच अंतर करने वाले उपकरणों का अभाव है। यह अपारदर्शिता विफलता के मोड (failure modes) को समझना कठिन बना देती है, जैसे कि भंगुर रूटिंग (brittle routing), अतिरेक (redundancy), या उन विशेषज्ञों पर निर्भरता जो बार-बार चुने जाते हैं लेकिन कार्यात्मक रूप से नगण्य होते हैं।

कार्यप्रणाली: INFORM फ्रेमवर्क
लेखक INFORM नामक एक व्याख्यात्मक विश्लेषण ढांचा (interpretability analysis framework) प्रस्तुत करते हैं, जो ऑर्केस्ट्रेशन को एक स्पष्ट, विश्लेषण योग्य गणना के रूप में मानता है। INFORM सहयोग प्रोटोकॉल को संशोधित नहीं करता है, बल्कि एक सीखे हुए ऑर्केस्ट्रेटर ($O_\theta$) की जांच करके तीन प्रमुख आयामों को अलग करता है: इंटरेक्शन संरचना, निष्पादन क्रम, और कार्यात्मक एट्रिब्यूशन (functional attribution)।

यह फ्रेमवर्क एक कैनोनिकल ऑर्केस्ट्रेटर पर कार्य करता है जो फ्रीज किए गए, इंस्ट्रक्शन-ट्यून्ड विशेषज्ञों ($E = \{E_1, \dots, E_N\}$) के एक संघ (consortium) का प्रबंधन करता है। ऑर्केस्ट्रेटर दो प्राथमिक मॉड्यूल का उपयोग करता है:

1. इंटरेक्शन मॉड्यूल: विशेषज्ञों के बीच अनुकूलता को मॉडल करने के लिए क्वेरी-की अटेंशन और एक सिमेंटिक प्रायर (semantic prior) का उपयोग करके एक कंडीशनल ट्रांजिशन मैट्रिक्स $C(x)$ की गणना करता है।
2. सिलेक्शन मॉड्यूल: डिफरेंशिएबल सैंपलिंग की अनुमति देने के लिए गम्बल-सॉफ्टमैक्स ट्रिक (Gumbel-Softmax trick) का उपयोग करके मार्जिनल सिलेक्शन डिस्ट्रीब्यूशन $s(x)$ निर्धारित करता है।

INFORM तीन विशिष्ट जांचों (probes) के माध्यम से अंतर्दृष्टि निकालता है:

• इंटरेक्शन संरचना की जांच करना: विशेषज्ञ के बीच ट्रांजिशन मैट्रिक्स $C(x)$ के एंट्रॉपी और रैंक का विश्लेषण करके सापेक्षिक महत्व ($u_j$) को परिभाषित करता है, जिसे एक विशेषज्ञ की ओर आने वाले कुल रूटिंग मास (incoming routing mass) के रूप में मापा जाता है। यह 'इंटरेक्शन हब्स' की पहचान करता है।
• अनुक्रमण निर्णयों की जांच करना: विशेषज्ञों के प्रारंभिक चयन वितरण $s(x)$ की एंट्रॉपी का विश्लेषण करके यह समझता है कि ऑर्केस्ट्रेटर विशेषज्ञों को क्रमबद्ध करना कैसे सीखता है, जिससे ग्लोबल कॉम्पिटेंस और कॉन्टेक्स्ट-विशिष्ट आवश्यकता के बीच अंतर किया जा सके।
• ग्रेडिएंट सेंसिटिविटी के माध्यम से कार्यात्मक एट्रिब्यूशन: विशेषज्ञ के एनकोडेड रिप्रेजेंटेशन के सापेक्ष चयनित विशेषज्ञ की लॉग-प्रोबेबिलिटी के ग्रेडिएंट नॉर्म ($\|\nabla_{h_i} \log P(E_i | x)\|^2$) की गणना करके अंतर्निहित महत्व ($I(E_i)$) की गणना करता है। यह मापता है कि रूटिंग निर्णय विशेषज्ञ की सिमेंटिक सामग्री के प्रति कितने संवेदनशील हैं, जिससे कंटेंट-डिपेंडेंट सिलेक्शन और ह्यूरिस्टिक सिलेक्शन के बीच अंतर होता है।

प्रायोगिक सेटअप
लेखकों ने नियंत्रित डिकोडिंग-टेम्परेचर विविधताओं (behavioral diversity उत्पन्न करने के लिए) के साथ दस इंस्ट्रक्शन-ट्यून्ड विशेषज्ञों (LLaMA-3.1 8B, Qwen3 8B, और DeepSeek-R1 8B से लिए गए) के एक होमोजेनियस कंसोर्टियम पर INFORM का मूल्यांकन किया। एक हेटरोजीनियस कंसोर्टियम (1B–7B पैरामीटर्स तक फैला हुआ) का उपयोग सामान्यीकरण (generalizability) का परीक्षण करने के लिए किया गया। प्रयोग GSM8K, HumanEval, और MMLU पर किए गए। ऑर्केस्ट्रेटर को कार्य प्रदर्शन को अधिकतम करने और एक बड़े ओरकल LLM (जो अनुमान के दौरान अनुपस्थित है) के साथ संरेखित होने के लिए प्रशिक्षित किया गया था।

मुख्य परिणाम और निष्कर्ष

1. सापेक्षिक और अंतर्निseit महत्व के बीच विचलन: अध्ययन रूटिंग फ्रीक्वेंसी और कार्यात्मक आवश्यकता के बीच एक महत्वपूर्ण मिसअलाइनमेंट प्रकट करता है। बार-बार चुने जाने वाले विशेषज्ञ अक्सर "इंटरेक्शन हब" के रूप में कार्य करते हैं जिनका अंतर्निहित प्रभाव सीमित होता है, जबकि कम रूट किए जाने वाले विशेषज्ञ संरचनात्मक रूप से महत्वपूर्ण हो सकते हैं। उदाहरण के लिए, सबसे अंतर्निहित रूप से महत्वपूर्ण विशेषज्ञ को मास्क करने (ग्रेडिएंट एट्रिब्यूशन के माध्यम से) से MMLU पर बार-बार चुने जाने वाले समकक्षों की तुलना में 5.5 गुना अधिक रूटिंग KL डाइवर्जेंस हुआ, जो पुष्टि करता है कि रूटिंग मास, संरचनात्मक निर्भरता का एक खराब प्रॉक्सी है।
2. ऑर्केस्ट्रेशन व्यवहारों का एसिंक्रोनस इमर्जेंस: ऑर्केस्ट्रेशन डायनेमिक्स एसिंक्रोनस रूप से उभरते हैं। सिस्टम पहले यह स्थापित करता है कि "किस पर भरोसा करना है" (रूटिंग मास का केंद्रीकरण), और फिर यह हल करता है कि "कितनी आत्मविश्वास से रूट करना है" (रूटिंग एंट्रॉपी का स्थिरीकरण)। इसके अलावा, विशेषज्ञ ऑर्डर व्यवस्थित लेकिन गैर-निश्चित (non-deterministic) रहता है, जिसमें ऑर्केस्ट्रेटर कठोर अनुक्रमों के बजाय सॉफ्ट कंस्ट्रेंट्स सीखता है।
3. कार्य-निर्भर संवेदनशीलता: प्रॉम्प्ट परटर्बेशन अध्ययन दिखाते हैं कि ऑर्केस्ट्रेटर की संवेदनशीलता कार्य-विशिष्ट है। GSM8K पर, सिस्टम संख्यात्मक टोकन हटाने के प्रति अत्यधिक संवेदनशील है; HumanEval और MMLU पर, यह वाक्य पुनर्व्यवस्था (sentence shuffling) और रीजनिंग क्यू (reasoning cue) हटाने के प्रति अधिक संवेदनशील है।
4. होमोजेनियस बनाम हेटरोजीनियस डायनेमिक्स: होमोजेनियस सेटिंग में, रूटिंग तेजी से आत्मविश्वासी, केंद्रीकृत पैटर्न की ओर अभिसरण (converge) करती है। हेटरोजीनियस सेटिंग (1B–7B मॉडल्स) में, रूटिंग अधिक अस्थिर और कम केंद्रीकृत होती है, जहाँ ग्रेडिएंट एट्रिब्यूशन मॉडल्स के एक व्यापक, अधिक विविध समूह में फैलता है, हालांकि एक निरंतर अलाइनमेंट गैप बना रहता है जहाँ बार-बार चुने गए मॉडल्स का आवश्यक रूप से उच्चतम ग्रेडिएंट प्रभाव नहीं होता है।
5. एब्लेशन और बेसलाइन तुलना:
   • एब्लेशन: सापेक्षिक संरचना या अंतर्निहित स्कोरिंग को हटाने से प्रदर्शन में गिरावट आती है, विशेष रूप से MMLU जैसे हेटरोजीनियस कार्यों पर। पूर्ण INFORM सेटअप संरचनात्मक स्थिरता और सिमेंटिक परिशुद्धता के बीच संतुलन बनाता है।
   • बेसलाइन: कठोर, रोल-आधारित MetaGPT फ्रेमवर्क की तुलना में, INFORM अनावश्यक विशेषज्ञ इनवोकेशन्स को एडेप्टिवली प्रून (prune) करके HumanEval पर ~3.5x की स्पीडअप और ~1.4% प्रदर्शन लाभ प्राप्त करता है।

महत्व और दावे
पेपर का दावा है कि INFORM मल्टी-एक्सपर्ट सिस्टम में संरचनात्मक निर्भरताओं और इंटरेक्शन हब्स को निदान करने के लिए एक व्यावहारिक उपकरण प्रदान करता है, जो केवल सटीकता मेट्रिक्स द्वारा अदृश्य रहते हैं। अंतर्निहित महत्व को उभरती रूटिंग संरचना से अलग करके, यह फ्रेमवर्क उजागर करता है:

• अतिरेक (Redundancy): वे विशेषज्ञ जिन्हें बार-बार रूट किया जाता है लेकिन जो कार्यात्मक रूप से अनावश्यक हैं।
• भंगुरता (Brittleness): वे सिस्टम जो विशिष्ट इंटरेक्शन टोपोलॉजी पर निर्भर हैं जो मुख्य अंतर्निहित विशेषज्ञों को मास्क करने पर ढह जाते हैं।
• दक्षता (Efficiency): कार्य समाधान के लिए न्यूनतम कार्यात्मक प्रक्षेपवक्र (minimal functional trajectories) की पहचान करने की क्षमता, जो कठोर प्रोटोकॉल की तुलना में कम्प्यूटेशनल ओवरहेड को कम करती है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण औपचारिक कारण ग्राफ (formal causal graph) स्थापित करने के बजाय लोकल कम्प्यूटेशनल सेंसिटिविटी को कैप्चर करता है। फलस्वरूप, जबकि इस फ्रेमवर्क के लिए ऑर्केस्ट्रेटर के आंतरिक निरूपण और ग्रेडिएंट तक व्हाइट-बॉक्स एक्सेस की आवश्यकता होती है, यह घटक विशेषज्ञों को ब्लैक-बॉक्स रहने की अनुमति देता है। यह कार्य व्याख्यात्मकता-संचालित विश्लेषण को केवल प्रदर्शन मेट्रिक्स द्वारा कैप्चर की जाने वाली सीमाओं से परे, सीखे गए ऑर्केस्ट्रेशन नीतियों की विश्वसनीयता, दक्षता और सुरक्षा में सुधार के लिए आवश्यक के रूप में स्थापित करता है।