तकनीकी सारांश: रूटिंग कब सार्थक है? भाषा मॉडल समाजों में विविधता और मजबूती

समस्या विवरण

मल्टी-मॉडल प्रणालियों (भाषा मॉडल, उपकरण या एजेंटों के समाज) के लिए रूटिंग नीतियों के वर्तमान मूल्यांकन का ध्यान लगभग पूरी तरह से डाउनस्ट्रीम उपयोगिता (downstream utility) पर केंद्रित है: कार्य सटीकता (task accuracy) और अनुमान लागत (inference cost)। लेखक तर्क देते हैं कि उच्च सटीकता अकेले यह गारंटी नहीं देती कि रूटिंग "सार्थक" है। एक रूटिंग नीति एक ऐसे रेडंडेंट (redundant) समाज पर कार्य करके उच्च प्रदर्शन प्राप्त कर सकती है जहाँ सभी अभिनेता समान व्यवहार करते हैं, या इनपुट में सतही विविधताओं के आधार पर प्रश्नों को अलग-अलग अभिनेताओं को असंगत रूप से सौंप सकती है। ऐसे मामलों में, वे संरचनात्मक स्थितियाँ अनुपस्थित होती हैं जो अभिनेताओं को स्थिर विशेषज्ञता (stable specializations) विकसित करने के लिए आवश्यक हैं।

पेपर सार्थक रूटिंग के लिए दो ऑर्थोगोनल (orthogonal) संरचनात्मक गुणों की पहचान करता है:

1. व्यवहारगत विभेदन (Behavioral Differentiation): समाज में ऐसे अभिनेता होने चाहिए जो प्रश्नों के प्रति अलग-अलग प्रतिक्रिया दें। यदि सभी अभिनेता समान व्यवहार करते हैं, तो रूटिंग निरर्थक है।
2. रूटिंग स्थिरता (Routing Stability): रूटिंग नीति सतह-रूप विविधताओं (surface-form variations) के प्रति मजबूत होनी चाहिए। अर्थपूर्ण रूप से समान प्रश्नों (जैसे, टाइपो, पर्यायवाची शब्द, या पैराफ्रेस) को एक ही अभिनेता को सौंपा जाना चाहिए। इस स्थिरता के बिना, अभिनेता विश्वसनीय रूप से विशेषज्ञता हासिल नहीं कर सकते।

कार्यप्रणाली

1. समाज की विविधता को मापना: पदानुक्रमित सामाजिक एन्ट्रॉपी (Hierarchic Social Entropy - HSE)

व्यवहारगत विभेदन को मापने के लिए, लेखक पदानुक्रमित सामाजिक एन्ट्रॉपी (HSE) को अनुकूलित करते हैं, जिसे मूल रूप से रोबोट स्वार्म (Balch, 2000) के लिए प्रस्तावित किया गया था, ताकि इसे भाषा मॉडल समाजों पर लागू किया जा सके।

• व्यवहारगत वेक्टर (Behavioral Vectors): मॉडल वेट्स की तुलना करने के बजाय, यह विधि अभिनेताओं का मूल्यांकन एक इवैल्यूएशन सेट $E$ पर करती है ताकि व्यवहारगत वेक्टर $b_k \in \mathbb{R}^L$ प्राप्त हो सके, जहाँ प्रत्येक तत्व एक विशिष्ट प्रॉम्प्ट पर अभिनेता का स्कोर दर्शाता है।
• दूरी मीट्रिक (Distance Metric): अंतर-अभिनेता दूरी इन व्यवहारगत वेक्टर्स के $1 - \text{cosine similarity}$ का उपयोग करके गणना की जाती है। यह पूर्ण प्रदर्शन परिमाण के बजाय प्रोफाइल समानता को कैप्चर करता है।
• पदानुक्रमित क्लस्टरिंग (Hierarchical Clustering): अभिनेटों को प्रत्येक संभव दूरी थ्रेशोल्ड $h$ पर सिंगल लिंकेज का उपयोग करके क्लस्टर किया जाता है।
• एन्ट्रॉपी गणना: प्रत्येक टैक्सोनोमिक स्तर ( $h=0$ से $h \to \infty$ तक) पर पार्टिशन के लिए सरल सामाजिक एन्ट्रॉपी (शैनन एन्ट्रॉपी) की गणना की जाती है। HSE सभी टैक्सोनोमिक स्तरों पर इस एन्ट्रॉपी का इंटीग्रल (integral) है।
• गुण: HSE एक निरंतर अनुपात माप (continuous ratio measure) है जिसका एक पूर्ण शून्य (समान अभिनेता) होता है। इसे विभिन्न आकार के समाजों के बीच तुलना करने के लिए सामान्यीकृत (normalized) किया गया है। यह मीट्रिक समूहों की संख्या के बजाय समूहों के बीच अलगाव की डिग्री के प्रति संवेदनशील होने के लिए डिज़ाइन किया गया है।

2. रूटिंग मजबूती को मापना

रूटिंग स्थिरता को मापने के लिए, लेखक एक व्यवधान-आधारित (perturbation-based) मीट्रिक $\rho(\pi, Q)$ पेश करते हैं।

• व्यवधान वर्गीकरण (Perturbation Taxonomy): प्रश्नों को बढ़ते हुए अर्थपूर्ण दूरी के पांच स्तरों पर बाधित किया जाता है:
  1. कैरेक्टर-लेवल (टाइपो, स्पेसिंग)।
  2. वर्ड-लेवल (पर्यायवाची, गलत वर्तनी)।
  3. सिंटैक्स-लेवल (पैसिव वॉइस, पुनर्व्यवस्था)।
  4. पैराफ्रेस (पूर्ण पुनर्लेखन, समान अर्थ)।
  5. रैंबलिंग (अप्रासंगिक संदर्भ जोड़ना)।
• मीट्रिक परिभाषा: एक प्रश्न $q_i$ जो अभिनेता $a_i$ को रूट किया गया है, उसके लिए मजबूती $\rho_i$ उन $p$ व्यवधानों का अंश है जो $a_i$ को भी रूट किए गए हैं। डेटासेट-स्तरीय मजबूती सभी प्रश्नों के $\rho_i$ का औसत है।
• धारणा: यदि $q_i$ और उसका व्यवधान अर्थपूर्ण रूप से समान हैं, तो इष्टतम अभिनेता असाइनमेंट वही रहना चाहिए। विचलन नीति अस्थिरता को दर्शाते हैं।

3. प्रयोगात्मक सेटअप

इन विधियों को दो बेंचमार्क पर मान्य किया गया:

• EmbedLLM: 10 बेंचमार्क (जैसे, MMLU, GSM8K) पर 36,054 प्रश्नों पर 112 मॉडलों का मूल्यांकन।
• RouterBench: 8 डेटासेट्स पर 36,497 क्वेरीज पर 11 मॉडलों का मूल्यांकन।
• सिंथेटिक सोसाइटीज (Synthetic Societies): सैद्धांतिक सीमाओं का परीक्षण करने के लिए, लेखकों ने बाइनरी परफॉरमेंस इंडिकेटर्स के आधार पर "विशेषज्ञों" की सिंथेटिक सोसाइटी बनाई:
  • RD (Reasoning Depth): संज्ञानात्मक जटिलता के 5 स्तर।
  • SA (Subject Area): 15 विशिष्ट शैक्षणिक/व्यावहारिक डोमेन।
  • RD+SA: आंशिक ओवरलैप के साथ एक संयुक्त पूल।
• रूटिंग नीतियां: रैंडम, प्रॉम्प्टेड (भूमिका विवरण का उपयोग करके LLM-आधारित चयन), और KNN (एम्बेडिंग स्पेस में k-Nearest Neighbors)।

मुख्य परिणाम

1. विविधता में घटते प्रतिफल (Diminishing Returns in Diversity)

• वास्तविक बनाम सिंथेटिक: विशेष रूप से डिज़ाइन किए गए विशेषज्ञ समाजों (SA, RD) में समकक्ष आकार के वास्तविक-विश्व मॉडल्स के पूल की तुलना में काफी अधिक HSE प्रदर्शित होता है। उदाहरण के लिए, SA समाज (HSE=3.91) डिफ़ॉल्ट EmbedLLM पूल (HSE=1.62) की तुलना में दोगुने से अधिक विविध है।
• कोरेस्ट ह्यूरिस्टिक (Coreset Heuristic): HSE में मजबूत घटते प्रतिफल (diminishing returns) दिखाई देते हैं। डिफ़ॉल्ट EmbedLLM समाज में, लगभग नौ एजेंटों के बाद जोड़ने से विविधता में नगण्य लाभ होता है। सिंथेटिक समाजों में, वक्र (curve) और भी तेज़ी से स्थिर (plateau) हो जाता है (4–5 एजेंट)। यह सुझाव देता है कि कम से कम दस एजेंटों का एक क्यूरेटेड सबसेट अधिकांश उपलब्ध विविधता को पुनः प्राप्त कर सकता है।

2. सटीकता-मजबूती ट्रेड-ऑफ (Accuracy-Robustness Trade-off)

• KNN राउटर: विशेषज्ञ समाजों (जहाँ व्यवहार संबंधी सीमाएँ स्पष्ट होती हैं) पर KNN-आधारित राउटर उच्च कार्य सटीकता प्राप्त करते हैं। हालाँकि, वे व्यवधान के तहत मजबूती में विनाशकारी गिरावट (catastrophic collapse) का सामना करते हैं। सतह-स्तर के छोटे बदलाव एम्बेडिंग सीमाओं को पार कर जाते हैं, जिससे राउटर अर्थपूर्ण रूप से समान प्रश्नों को अलग-अलग अभिनेताओं को सौंप देता है।
• प्रॉम्प्टेड राउटर: प्रॉम्प्टेड रूटिंग (प्राकृतिक भाषा विवरण का उपयोग करके) सभी व्यवधान प्रकारों और समाज कॉन्फ़िगरेशन में उच्च मजबूती बनाए रखती है। हालांकि विशेषज्ञ समाजों पर उनकी क्लीन-टास्क सटीकता KNN से थोड़ी कम हो सकती है, उनकी बाधित सटीकता (perturbed accuracy) स्थिर रहती है। वे एम्बेडिंग निकटता के बजाय अर्थपूर्ण इरादे (semantic intent) को पकड़ते हैं।

3. समाज संरचना का प्रभाव

• max-HSE सबसेट (एक छोटा, विविध सबसेट जिसे लालची तरीके से चुना गया है) पर स्विच करने से प्रॉम्प्टेड राउटर की मजबूती में सुधार होता है।
• KNN राउटर का प्रभाव डेटासेट-निर्भर है। RouterBench पर, max-HSE सबसेट KNN की मजबूती को बचाता है। EmbedLLM पर, KNN की मजबूती घटती है या केवल मामूली रूप से सुधरती है, जो यह सुझाव देता है कि EmbedLLM पूल की विशिष्ट व्यवहारगत संरचना (अधिक संरचित अलगाव के बिना) KNN रूटिंग को सतह-विविधताओं के प्रति स्वाभाविक रूप से नाजुक बनाती है।

महत्व और दावे

पेपर दावा करता है कि यह LM रूटिंग विश्लेषण के लिए पहला व्यवहारगत विविधता मीट्रिक और एक संबंधित मजबूती मीट्रिक प्रदान करता है। इसके प्राथमिक योगदान हैं:

1. मूल्यांकन का पुनर्गठन: यह तर्क देता है कि सार्थक रूटिंग के लिए एक विभेदित समाज और एक स्थिर नीति दोनों की आवश्यकता होती है, जो कार्य सटीकता से भिन्न है।
2. व्यावहारिक डिज़ाइन ह्यूरिस्टिक: HSE में मजबूत घटते प्रतिफल का निष्कर्ष यह सुझाव देता है कि बड़े, विषम मॉडल पूल अक्सर रेडंडेंट होते हैं। दस से कम सावधानीपूर्वक क्यूरेट किए गए एजेंटों के साथ विविध समाज डिजाइन करना उपलब्ध विविधता को अधिकतम करने के लिए एक व्यावहारिक रणनीति है।
3. नैदानिक अंतर्दृष्टि (Diagnostic Insight): KNN सटीकता और मजबूती के बीच का अंतर यह उजागर करता है कि क्लीन क्वेरीज पर उच्च प्रदर्शन का अर्थ एक मजबूत रूटिंग सिस्टम नहीं है। दिखाया गया है कि प्रॉम्प्टेड रूटिंग, इनपुट भिन्नता के तहत विशेषज्ञता की स्थितियों को बनाए रखने के लिए अधिक स्थिर दृष्टिकोण है।

लेखक अपने दायरे के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि उनके मीट्रिक वास्तविक समय में विशेषज्ञ क्षमता के उभरने के बजाय असाइनमेंट स्थिरता को मापते हैं, और उनके सिंथेटिक समाज आदर्श बाइनरी परफॉरमेंस प्रोफाइल का उपयोग करते हैं जो वास्तविक दुनिया के एजेंटों की तुलना में अधिक स्पष्ट हो सकते हैं।