तकनीकी सारांश: ब्रिक (Brick) - मिश्रण-मॉडल (Mixture-of-Models - MoM) प्रतिमान के लिए स्थानिक क्षमता रूटिंग

1. समस्या विवरण

यह शोध पत्र अनुमान (inference) के समय विषम (heterogeneous) लार्ज लैंग्वेज मॉडल्स (LLMs) के एक समूह में प्रश्नों को कुशलतापूर्वक रूट करने की चुनौती को संबोधित करता है। मुख्य कठिनाई "कठिनाई" को अनुभवजन्य (empirically) रूप से परिभाषित करने में निहित है: किसी प्रश्न की जटिलता उसके सतही लक्षणों जैसे टोकन संख्या या डोमेन लेबल से निर्धारित नहीं होती, बल्कि कार्य की विशिष्ट क्षमता आवश्यकताओं और मॉडल की ताकत एवं कमजोरियों के सापेक्ष होती है।

मौजूदा रूटिंग रणनीतियाँ सतही रूटिंग (डोमेन-आधारित या लंबाई/कीवर्ड-आधारित) पर निर्भर करती हैं, जो इंट्रा-डोमेन भिन्नता (intra-domain variance) को पकड़ने में विफल रहती हैं। उदाहरण के लिए, एक छोटा प्रश्न एक ऐसे अनसुलझे प्रश्न को लक्षित कर सकता है जिसके लिए फ्रंटियर मॉडल की आवश्यकता हो, जबकि एक लंबा बॉयलरप्लेट प्रॉम्प्ट एक सरल कार्य को लपेट सकता है जिसे एक छोटे ओपन-वेट मॉडल द्वारा हल किया जा सकता है। यह दो अक्षमताओं की ओर ले जाता है:

1. लागत अक्षमता: आसान प्रश्नों को महंगे फ्रंटियर मॉडल्स (जैसे, Kimi 2.6) को भेजने से बजट बर्बाद होता है, क्योंकि स्थानीय ओपन-वेट मॉडल (जैसे, Qwen 3.5-9B) अक्सर पर्याप्त होते हैं।
2. विलंबता (Latency) और सटीकता के बीच समझौता: कैस्केड रूटिंग (सस्ते से सबसे महंगे मॉडल की ओर प्रोब करना) उन एजेंटिक वर्कफ़्लो में महत्वपूर्ण ओवरहेड पैदा करता है जहाँ एक एकल उपयोगकर्ता अनुरोध कई LLM कॉल्स को ट्रिगर करता है, जिससे अस्वीकृत "सस्ते" प्रयासों की लागत बढ़ जाती है।

लक्ष्य प्रत्येक प्रश्न को उस सबसे सस्ते मॉडल तक पहुँचाना है जो उसे सही ढंग से उत्तर दे सके, जो सतह के ह्यूरिस्टिक्स (heuristics) पर निर्भर हुए बिना लागत, विलंबता और सटीकता को संतुलित करता है।

2. कार्यप्रणाली: ब्रिक राउटर (The Brick Router)

लेखक ब्रिक (Brick) का प्रस्ताव करते हैं, जो मिश्रण-मॉडल (Mixture-of-Models - MoM) प्रतिमान के भीतर संचालित होने वाला एक मल्टीमॉडल राउटर है। Mixture of Experts (MoE) के विपरीत, जो एक ही मॉडल के भीतर उप-नेटवर्कों को सक्रिय करता है, MoM पूरे प्रश्नों को अलग-अलग, स्वतंत्र प्री-ट्रेंड मॉडल्स को भेजता है।

2.1 MoM प्रतिमान

ब्रिक तीन विषम मॉडल्स के एक पूल का उपयोग करता है:

• Qwen3.5-9B: एक अत्याधुनिक ओपन-वेट मॉडल (<10B पैरामीटर्स)।
• DeepSeek-V4-Flash: एक अत्याधुनिक ओपन-वेट मॉडल (<500B पैरामीटर्स)।
• Kimi2.6: एक फ्रंटियर ओपन-सोर्स दावेदार।

पूल विभिन्न मूल्य बिंदुओं (लगभग ~$0.001 से ~$0.03 प्रति कॉल तक) और क्षमता प्रोफाइल को कवर करता है, जिससे राउटर को क्षमता पूरकता (capability complementarity) का लाभ उठाने की अनुमति मिलती है (उदाहरण के लिए, एक मॉडल उस प्रश्न को अस्वीकार कर सकता है जिसे दूसरा हल करता है)।

2.2 छह-आयामी क्षमता स्थान (Six-Dimensional Capability Space)

ब्रिक रूटिंग को छह-आयामी क्षमता स्थान में एक ज्यामितीय निर्णय के रूप में फ्रेम करता है। आयाम हैं:

1. कोडिंग (Coding)
2. रचनात्मक संश्लेषण (Creative Synthesis)
3. निर्देश पालन (Instruction Following)
4. गणितीय तर्क (Math Reasoning)
5. योजना/एजेंटिक (Planning/Agentic)
6. विश्व ज्ञान (World Knowledge)

पाइपलाइन:

1. क्षमता अनुमान (Capability Estimation): एक फाइन-ट्यून्ड ModernBERT क्लासिफायर प्रश्न को छह आयामों पर एक प्रायिकता वेक्टर $p(x)$ में मैप करता है।
2. जटिलता अनुमान (Complexity Estimation): एक अलग क्लासिफायर एक कठिनाई स्कोर $\tau_q$ का अनुमान लगाता है (जो "आसान/मध्यम/कठिन" एंकर्स का मिश्रण है)।
3. स्किल मैट्रिक्स अंशांकन (Skill Matrix Calibration): एक ऑफलाइन-कैलिब्रेटेड स्किल मैट्रिक्स $S$ प्रत्येक क्षमता $c$ पर प्रत्येक मॉडल $m$ की अनुभवजन्य सफलता दर ($s_{m,c}$) को संग्रहीत करता है, जो एक लेबल किए गए डेटासेट से प्राप्त होता है।
4. ज्यामितीय रूटिंग गणित (Geometric Routing Math):
   • आवश्यकता (Requirement): प्रश्न का आवश्यकता वेक्टर $r_{q,c}$, $p(x)$ और कठिनाई लॉजिट $z_q$ से प्राप्त किया जाता है।
   • क्षमता (Capacity): मॉडल का क्षमता वेक्टर $v_{m,c}$, $p(x)$ और मॉडल के स्किल लॉजिट $\text{logit}(s_{m,c})$ से प्राप्त किया जाता है।
   • अवशेष (Residuals): राउटर विषम अवशेषों की गणना करता है: अंडर-कैपेसिटी ($u$, मॉडल बहुत कमजोर है) और ओवर-कैपेसिटी ($o$, मॉडल अत्यधिक सक्षम है)।
   • स्कोरिंग (Scoring): एक कुल स्कोर $J_m$ अवशेषों के भारित यूक्लिडियन दूरी और एक लागत दंड (cost penalty) के रूप में परिकलित किया जाता है:
     $$J_m = \sqrt{\sum_c (u_{m,c}^2 + \lambda o_{m,c}^2)} + \beta a_m$$
     जहाँ $a_m$ सामान्यीकृत लागत है, $\lambda$ ओवर-कैपेसिटी को दंडित करता है, और $\beta$ लागत-गुणवत्ता ट्रेड-ऑफ को नियंत्रित करता है।
5. निर्णय (Decision): न्यूनतम $J_m$ वाला मॉडल चुना जाता है।

2.3 प्राथमिकता नॉब ($r$)

ब्रिक एक निरंतर प्राथमिकता नॉब $r \in [-1, 1]$ पेश करता है जो ऑपरेटरों को "अधिकतम-गुणवत्ता" और "अधिकतम-बचत" प्रोफाइल के बीच स्लाइड करने की अनुमति देता है। यह नॉब चार रूटिंग स्केलर ($\mu, b, \beta, \lambda$) को एक कैलिब्रेटेड पावर लॉ के माध्यम से मॉड्युलेट करता है, जिससे लागत-गुणवत्ता के ट्रेड-ऑफ को कोड परिवर्तन के बजाय डिप्लॉय-टाइम पैरामीटर में बदल दिया जाता है।

3. मुख्य योगदान

1. MoM फॉर्मूलेशन: शोध पत्र पूरे-मॉडल रूटिंग को विषम पूलों में MoM प्रतिमान के रूप में फ्रेम करता है, यह प्रदर्शित करते हुए कि यह सर्वश्रेष्ठ एकल मॉडल और एक सैद्धांतिक तीन-मॉडल ओरेकल (oracle) के बीच उपलब्ध 24% हेडरूम को रिकवर करता है।
2. सतही रूटिंग का खंडन: यह अनुभवजन्य रूप से दिखाता है कि डोमेन-आधारित और लंबाई/कीवर्ड-आधारित रूटिंग, डोमेन के भीतर की कठिनाई को पकड़ने में विफल रहती है, और एक साधारण "हमेशा-Kimi" बेसलाइन से भी कम प्रदर्शन करती है।
3. ब्रिक राउटर: एक कैलिब्रेटेड MoM राउटर जिसमें एक स्पष्ट क्षमता-वेक्टर प्रतिनिधित्व और एक उपयोगकर्ता-सामना करने वाला प्राथमिकता नॉब है।
4. एजेंटिक दक्षता: शोध पत्र तर्क देता है कि शुद्ध सिंगल-स्टेप रूटिंग (जैसे ब्रिक) एजेंटिक वर्कलोड के लिए कैस्केड रूटिंग की तुलना में संरचनात्मक रूप से बेहतर है, क्योंकि यह एजेंट ट्रेजेक्टरी के प्रत्येक चरण पर अस्वीकृत कैस्केड चरणों की लागत को बढ़ने से रोकता है।

4. प्रयोगात्मक परिणाम

Dataset A (छह क्षमता आयामों में 5,504 प्रश्न) पर मूल्यांकन किया गया:

• सटीकता बनाम लागत (Accuracy vs. Cost):

  • मैक्स-क्वालिटी प्रोफाइल ($r=+1$): ब्रिक 76.98% सटीकता प्राप्त करता है, जो सर्वश्रेष्ठ एकल मॉडल (Kimi 2.6 @ 75.02%) और सभी बाहरी रूटर्स (RouteLLM, FrugalGPT, Cascade Routing) को पछाड़ देता है। यह 28% कम लागत ($0.022 vs $0.031 प्रति कॉल) पर ऐसा करता है।
  • न्यूट्रल प्रोफाइल ($r=0$): केवल 0.91 प्रतिशत अंक की सटीकता हानि के साथ, 'हमेशा-Kimi' की तुलना में 4.71× कम लागत पर 74.11% सटीकता प्राप्त करता है। यह समान लागत पर कैस्केड रूटिंग से +0.71 pp बेहतर है।
  • लो प्रोफाइल ($r=-0.5$): 71.62% सटीकता प्राप्त करता है, जो समान लागत पर FrugalGPT (69.42%) को +2.20 pp से पछाड़ देता है।
  • मिन-कॉस्ट प्रोफाइल ($r=-1$): सबसे सस्ते मॉडल (Qwen) की 63.17% सटीकता से मेल खाता है, लेकिन 'हमेशा-Kimi' की तुलना में 22.15× कम लागत पर।

• विलंबता (Latency):

  • ब्रिक (मैक्स प्रोफाइल) के लिए मेडियन एंड-टू-एंड विलंबता 'हमेशा-Kimi' के 51.2s से घटकर 22.8s हो जाती है। ऐसा इसलिए है क्योंकि ब्रिक मैक्स-क्वालिटी सेटिंग में भी ~31% प्रश्नों को तेज़ DeepSeek-V4-Flash मॉडल पर रूट करता है।

• ओरेकल बाउंड (Oracle Bound):

  • सैद्धांतिक सीमा (थ्री-मॉडल ओरेकल) 83.25% है। ब्रिक सर्वश्रेष्ठ एकल मॉडल और इस ओरेकल के बीच के अंतर का एक महत्वपूर्ण हिस्सा कैप्चर करता है, हालांकि वर्तमान क्षमता विशेषताओं द्वारा 6.27 pp का अवशेष अभी भी अन-एक्सट्रैक्टेड (unextracted) है।

5. महत्व और दावे

शोध पत्र का दावा है कि ब्रिक यह सिद्ध करता है कि MoM प्रतिमान एक प्रथम-श्रेणी के डिप्लॉयमेंट पैटर्न के रूप में व्यवहार्य है। इसका महत्व निम्नलिखित में निहित है:

• अनुभवजन्य सत्यापन: यह साबित करना कि कैलिब्रेटेड क्षमता स्थान पर आधारित रूटिंग, ह्यूरिस्टिक रूटिंग और सिंगल-मॉडल बेसलाइन से बेहतर प्रदर्शन करती है।
• परिचालन लचीलापन (Operational Flexibility): ऑपरेटरों को प्रशिक्षण या कोड परिवर्तन के बिना लागत-गुणवत्ता ट्रेड-ऑफ को ट्यून करने के लिए एक निरंतर नॉब प्रदान करना।
• एजेंटिक स्केलेबिलिटी: यह स्थापित करना कि शुद्ध रूटिंग ही एजेंटिक वर्कलोड के लिए एकमात्र डिज़ाइन है जो स्केल करता है, क्योंकि यह कैस्केड रूटिंग में निहित रैखिक लागत और विलंबता दंडों से बचता है।
• पूरकता (Complementarity): यह उजागर करना कि मॉडल पूल पूरक त्रुटि सेट (जैसे, "ईमानदार इनकार" बनाम "भ्रम/hallucinations" को संभालना) प्रदान करते हैं, जिसका उपयोग क्षमता-जागरूक राउटर समग्र सिस्टम विश्वसनीयता में सुधार के लिए कर सकता है।

लेखक विनम्र रहते हुए स्वीकार करते हैं कि ओरेकल के साथ शेष 6.27 pp का अंतर वह जानकारी है जिसे वर्तमान राउटर अभी तक निकाल नहीं पाया है, और भविष्य के कार्यों को स्पार्स पूल्स (sparse pools) के लिए बेयसियन स्मूथिंग (Bayesian smoothing) और डोमेन-कंडीशन्ड कॉम्प्लेक्सिटी एस्टीमेशन पर ध्यान केंद्रित करना चाहिए।