💬 NLP

LLMRouter: Unified Infrastructure for Developing, Evaluating, and Deploying LLM Routers

यह शोध पत्र LLMRouter को प्रस्तुत करता है, जो एक एकीकृत ओपन-सोर्स इंफ्रास्ट्रक्चर और बेंचमार्क (xRouteBench) है जो LLM राउटर के फॉर्मूलेशन, मूल्यांकन और परिनियोजन को मानकीकृत करता है, और यह प्रदर्शित करता है कि सीखे गए रूटिंग रणनीतियाँ लागत और वैयक्तिकरण के लिए अनुकूलन करते हुए फिक्स्ड-मॉडल बेसलाइन की तुलना में काफी बेहतर प्रदर्शन करती हैं।

मूल लेखक: Tao Feng, Fangxu Yu, Haozhen Zhang, Zhongjie Dai, Liangqi Yuan, Zijie Lei, Weizhi Zhang, Kunlun Zhu, Haodong Yue, Keyang Xuan, Ge Liu, Jiaxuan You

प्रकाशित 2026-08-10

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Tao Feng, Fangxu Yu, Haozhen Zhang, Zhongjie Dai, Liangqi Yuan, Zijie Lei, Weizhi Zhang, Kunlun Zhu, Haodong Yue, Keyang Xuan, Ge Liu, Jiaxuan You

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, भविष्यवादी पुस्तकालय में प्रवेश कर रहे हैं जहाँ आपके सवालों के जवाब देने के लिए हज़ारों अलग-अलग रोबोट इंतज़ार कर रहे हैं। कुछ रोबोट छोटे, तेज़ और मुफ्त हैं, लेकिन वे कठिन गणितीय समस्याओं में उलझ सकते हैं। अन्य विशालकाय हैं, अविश्वसनीय रूप से बुद्धिमान और ब्रह्मांड के रहस्यों को सुलझाने में सक्षम, लेकिन वे धीमे हैं, उन्हें चलाने का खर्च बहुत अधिक है, और वे "मौसम कैसा है?" जैसे सरल सवालों से ऊब सकते हैं। यदि आप उस विशालकाय रोबोट से हर एक सवाल पूछते, तो आप अपना बजट तुरंत खत्म कर देते। यदि आप केवल छोटे रोबोट का उपयोग करते, तो आपको जटिल चीज़ों पर गलत उत्तर मिलते। समाधान क्या है? आपको एक स्मार्ट लाइब्रेरियन (पुस्तकालयाध्यक्ष) की आवश्यकता है जो जानता हो कि प्रत्येक विशिष्ट प्रश्न के लिए किस रोबोट को बुलाना है। यह लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया है: एआई (AI) टूल्स का एक अराजक पारिस्थितिकी तंत्र जिसमें कीमतों और कौशल में भारी अंतर है। मुख्य सवाल जिसे शोधकर्ता हल करने की कोशिश कर रहे हैं, वह है: "हम एक ऐसा सिस्टम कैसे बनाएं जो हर काम के लिए सही एआई को स्वचालित रूप से चुन सके, जिससे गुणवत्ता खोए बिना पैसे की बचत हो सके?"

यहाँ LLMRouter आता है, जो इन स्मार्ट लाइब्रेरियन को बनाने के लिए एक यूनिवर्सल टूलकिट की तरह काम करता है। इससे पहले, हर टीम अलग-अलग ब्लूप्रिंट, अलग-अलग भाषाओं और उन्हें टेस्ट करने के अलग-अलग तरीकों का उपयोग करके अपना खुद का लाइब्रेरियन बनाती थी। यह एक फेरारी, एक साइकिल और एक स्केटबोर्ड की तुलना अलग-अलग रूलर (पैमानों) से करने जैसा था। UIUC और मैरीलैंड जैसे विश्वविद्यालयों के शोधकर्ताओं के नेतृत्व वाली इस टीम ने इस अव्यवस्था को ठीक करने का निर्णय लिया। उन्होंने रूटिंग के लिए एक एकीकृत "ऑपरेटिंग सिस्टम" बनाया, जिसे LLMRouter कहा गया, और यह देखने के लिए एक विशाल टेस्ट ट्रैक बनाया कि कौन से लाइब्रेरियन वास्तव में सबसे अच्छा काम करते हैं। इसे xRouteBench कहा गया।

यहाँ उन्हें जो जादू मिला, वह यह है: कोई एक अकेला "सर्वश्रेष्ठ" लाइब्रेरियन नहीं है। सही चुनाव प्रश्न और आपके पास खर्च करने के लिए कितने पैसे हैं, इस पर निर्भर करता है। यदि आपका बजट कम है, तो एक स्मार्ट, हल्का सिस्टम जो सही सस्ते रोबोट को चुनता है, वह जीत जाता है। यदि आपके पास बहुत बड़ा बजट है, तो आप सोच सकते हैं कि सबसे बड़े, सबसे महंगे रोबोट का उपयोग करना ही सबसे अच्छा है, लेकिन यह पेपर दिखाता है कि यह वास्तव में पैसे की बर्बादी है! स्मार्ट राउटर ने आसान सवालों के लिए छोटे, सस्ते रोबोटों को चुनना और केवल तभी महंगे दिग्गजों को बुलाना सीखा जब वास्तव में आवश्यक हो, जिससे बेहतरीन उत्तर भी मिलते रहे और काफी पैसा भी बचा। उन्होंने यह भी खोजा कि हालांकि एक "व्यक्तिगत" लाइब्रेरियन होना जो आपकी विशिष्ट पसंद को जानता हो, अद्भुत है, लेकिन यह तभी काम करता है जब आप सिस्टम को यह सिखाएं कि आपको कैसे सही ढंग से याद रखना है।

शोधकर्ताओं ने केवल अनुमान नहीं लगाया; उन्होंने परीक्षण करने के लिए एक विशाल स्वचालित कारखाना बनाया। उन्होंने हजारों कार्यों के विरुद्ध 18 अलग-अलग एआई मॉडल चलाए, जिनमें साधारण चैट और गणित से लेकर जटिल वीडियो विश्लेषण और टाइम-सीरीज डेटा तक शामिल थे। उन्होंने पाया कि उनके नए, सीखे हुए राउटर ने केवल सबसे मजबूत मॉडल को हमेशा चुनने की तुलना में प्रदर्शन में 14.6% का सुधार किया। उन्होंने इन राउटरों का वास्तविक दुनिया के परिदृश्यों में भी परीक्षण किया, जैसे कि एक मल्टी-एजेंट सिस्टम जहाँ विभिन्न एआई "वर्कर्स" को सहयोग करने की आवश्यकता होती है, और पाया कि राउटर को प्रत्येक काम के लिए सही वर्कर चुनने की अनुमति देने से पूरी टीम अधिक स्मार्ट हो गई।

संक्षेप में, यह पेपर हमें अनुमान लगाना बंद करने और इंजीनियरिंग शुरू करने के उपकरण देता है। यह साबित करता है कि एआई के लिए "एक ही आकार सबके लिए उपयुक्त" (one-size-fits-all) वाला दृष्टिकोण अक्षम है और एक गतिशील, स्मार्ट रूटिंग सिस्टम ही एआई को किफायती और शक्तिशाली बनाने की कुंजी है। चाहे आप किसी स्टार्टअप के लिए चैटबॉट बना रहे हों या कोई जटिल अनुसंधान उपकरण, LLMRouter उस ब्लूप्रिंट को प्रदान करता है जिससे आप एक ऐसा सिस्टम बना सकें जो जानता है कि कब, कौन सा एआई मस्तिष्क उपयोग करना है, और इसे बिना बजट बिगाड़े कैसे करना है।

तकनीकी सारांश: LLMRouter

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के तीव्र प्रसार ने एक विषम पारिस्थितिकी तंत्र (heterogeneous ecosystem) बना दिया है जहाँ कोई भी एकल मॉडल सभी प्रश्नों और बजट सीमाओं के लिए इष्टतम नहीं है। जबकि मॉडल रूटिंग—यह निर्धारित करना कि विशिष्ट क्वेरी को किस मॉडल द्वारा संभाला जाना चाहिए—लागत प्रभावी परिनियोजन (deployment) के लिए आवश्यक है, वर्तमान में यह क्षेत्र एक एकीकृत आधार की कमी से जूझ रहा है। मौजूदा दृष्टिकोण (बाइनरी क्वालिटी प्रेडिक्टर्स से लेकर एजेंटिक राउटर तक) तीन महत्वपूर्ण समस्याओं से ग्रस्त हैं:

असंगत औपचारिकताएं (Incompatible Formalisms): विधियाँ अलग-अलग ढांचों के तहत विकसित की जाती हैं जिनमें अलग-अलग कोडबेस और इंटरफेस होते हैं, जिससे उन डिजाइन तत्वों को अलग करना कठिन हो जाता है जो प्रदर्शन को संचालित करते हैं।
मानकीकृत मूल्यांकन का अभाव: एक राउटर का मूल्यांकन करना एक एकल मॉडल के मूल्यांकन करने की तुलना में अधिक चुनौतीपूर्ण है, क्योंकि पर्यवेक्षण (supervision) बनाने और लागत-गुणवत्ता ट्रेड-ऑफ को मापने के लिए प्रत्येक क्वेरी पर प्रत्येक संभावित मॉडल को चलाना आवश्यक होता है। मौजूदा बेंचमार्क निश्चित पूलों के लिए पूर्व-निर्धारित प्रतिक्रियाओं तक सीमित हैं, जो उन्हें सिंगल-टर्न टेक्स्ट कार्यों तक सीमित करते हैं और मल्टी-टर्न या व्यक्तिगत परिदृश्यों का समर्थन करने में विफल रहते हैं।
खंडित विकास (Fragmented Development): एक नया राउटर या बेंचमार्क जोड़ने के लिए आमतौर पर पूरे प्रयोगात्मक स्टैक को फिर से इंजीनियर करने की आवश्यकता होती है, न कि केवल कॉन्फ़िगरेशन परिवर्तनों की।

कार्यप्रणाली

1. LLM रूटिंग का एकीकृत निरूपण

लेखक LLM रूटिंग को एक अनुक्रमिक निर्णय प्रक्रिया (sequential decision process) के रूप में निरूपित करने का प्रस्ताव करते हैं। इस ढांचे में, एक राउटर एक अवस्था $s_t = (q, u, h_t)$ को देखता है जिसमें इनपुट क्वेरी $q$ , वैकल्पिक उपयोगकर्ता संदर्भ $u$ , और इंटरेक्शन हिस्ट्री $h_t$ शामिल है। राउटर एक क्रिया $a_t$ लेता है ताकि अवस्था को एक पूल $\mathcal{M}$ से एक उम्मीदवार मॉडल $m$ को भेजा जा सके या एपिसोड को समाप्त किया जा सके। लक्ष्य एक ऐसी पॉलिसी $\pi$ सीखना है जो प्रतिक्रिया गुणवत्ता और अनुमान लागत (inference cost) के भारित उद्देश्य को अधिकतम करती है:
$\pi^* = \arg\max_{\pi} \mathbb{E}_{q, \tau \sim \pi} [\text{perf}(y|q) - \lambda \cdot c(\tau)]$
इस निरूपण के तहत, किसी भी राउटर की विशेषता पाँच घटक हैं:

कॉन्टेक्स्ट एनकोडर ( $E_q$ ): रूटिंग अवस्था को एक प्रतिनिधित्व (एम्बेडिंग-आधारित या टेक्स्ट-आधारित) में मैप करता है।
मॉडल एनकोडर ( $E_m$ ): उम्मीदवार मॉडल्स को एनकोड करता है (स्थिर मेटाडेटा, ऐतिहासिक प्रोफाइल, सीखे गए एम्बेडिंग्स, या मौखिक विवरणों के माध्यम से)।
स्कोरिंग फंक्शन ( $g$ ): अवस्था और उम्मीदवारों के बीच अनुकूलता को मापता है।
निर्णय नियम ( $d$ ): स्कोर को रूटिंग क्रियाओं में बदलता है (जैसे, ग्रीडी सिलेक्शन, थ्रेशोल्डिंग, या टर्मिनेशन)।
लर्निंग सिग्नल ( $L$ ): वह उद्देश्य जिसका उपयोग घटकों को फिट करने के लिए किया जाता है (सुपरवाइज्ड, प्रेफरेंस-आधारित, या रीइन्फोर्समेंट लर्निंग)।

यह एब्स्ट्रैक्शन मौजूदा विधियों को तीन परिवारों में वर्गीकृत करता है: सिंगल-टर्न, मल्टी-टर्न (एजेंटिक सहित), और पर्सनलाइज्ड रूटिंग।

2. स्वचालित पाइपलाइन और xRouteBench

मूल्यांकन संबंधी बाधा को दूर करने के लिए, लेखकों ने एक स्वचालित पाइपलाइन विकसित की है जो:

क्वेरीज क्यूरेट करती है: स्थापित बेंचमार्क से नमूने लेती है और उन्हें सामान्य (normalize) करती है।
प्रतिक्रियाएं एकत्र करती है: प्रत्येक क्वेरी को 18 उम्मीदवार मॉडल्स (7B से 671B पैरामीटर्स तक) के पूल को भेजती है और टोकन काउंट रिकॉर्ड करती है।
स्कोर और मूल्य निर्धारण करती है: प्रतिक्रियाओं को कार्य-विशिष्ट मेट्रिक्स के साथ मूल्यांकन करती है और लागत की गणना करती है।

यह पाइपलाइन एक सघन (dense) क्वेरी-मॉडल मैट्रिक्स उत्पन्न करती है जो पर्यवेक्षण और एक टेस्टबेड दोनों के रूप में कार्य करती है। इसके आधार पर, उन्होंने एक एकीकृत प्रोटोकॉल के तहत पाँच ट्रैक्स को कवर करने वाला एक बेंचमार्क xRouteBench बनाया है:

जेनेरिक LLM कार्य: गणित, कोड, रीजनिंग, और कॉमन सेंस QA।
मेमोरी: लॉन्ग-होरिज़न कन्वर्सेशनल QA।
विज़न: इमेज और वीडियो अंडरस्टैंडिंग।
टाइम-सीरीज: मोडैलिटी सिलेक्शन के साथ टेम्पोरल डेटा पर रीजनिंग।
पर्सनलाइज्ड: पर्सोना प्राथमिकताओं के आधार पर यूजर-कंडीशन्ड रूटिंग।

3. LLMRouter इंफ्रास्ट्रक्चर

LLMRouter एक ओपन-सोर्स लाइब्रेरी है जो इस निरूपण को लागू करती है। यह सिस्टम को छह घटकों में मॉड्यूलर बनाता है: डेटा इंजन, राउटर लाइब्रेरी, ट्रेनर, रूट इंजन, इवैल्यूएशन, और डिप्लॉयमेंट।

मॉड्यूलरिटी: उपयोगकर्ता केवल रूटिंग विधि और लॉस फंक्शन को परिभाषित करके और MetaRouter इंटरफेस को सबक्लास करके एक नया राउटर लागू कर सकते हैं। डेटा निर्माण, प्रशिक्षण, अनुमान और मूल्यांकन अपरिवled रहते हैं।
कवरेज: लाइब्रेरी में तीन परिवारों के सभी 16+ प्रतिनिधि राउटर शामिल हैं (जैसे, kNN, SVM, ग्राफ-आधारित, एजेंटिक, और पर्सनलाइज्ड राउटर)।
डिप्लॉयमेंट: यह OpenAI-अनुकूल सर्वर (OpenClaw के साथ एकीकरण के माध्यम से जो Slack/Discord के लिए है) और कोड-मुक्त प्रोटोटाइपिंग के लिए एक ComfyUI-आधारित विजुअल इंटरफेस के माध्यम से डिप्लॉयमेंट का समर्थन करता है।

मुख्य परिणाम

लेखकों ने 18 उम्मीदवार मॉडल्स और 16+ रूटिंग विधियों का उपयोग करके xRouteBench में एक व्यवस्थित अनुभवजन्य अध्ययन (empirical study) किया। मुख्य निष्कर्ष इस प्रकार हैं:

कोई एकल प्रभावी राउटर नहीं: सबसे अच्छा राउटर कार्यों और लागत बजट के अनुसार काफी भिन्न होता है। जबकि GraphRouter ने xRouteBench पर उच्चतम औसत प्रदर्शन हासिल किया, इसने हर विशिष्ट कार्य में प्रभुत्व नहीं जमाया (उदाहरण के लिए, RouterDC जेनेरिक LLM कार्यों में उत्कृष्ट था, जबकि SVMRouter मेमोरी कार्यों पर सर्वश्रेष्ठ प्रदर्शन करता था)।
लर्नड रूटिंग बनाम फिक्स्ड मॉडल्स: सीखे गए (learned) राउटर मजबूत फिक्स्ड-मॉडल बेसलाइन (हमेशा सबसे बड़े मॉडल का चयन करना) की तुलना में 14.6% सापेक्ष सुधार प्राप्त करते हैं। सबसे बड़ा मॉडल उच्चतम लागत वहन करता है लेकिन केवल औसत प्रदर्शन देता है, जबकि सीखे गए राउटर कई क्वेरीज को छोटे, सस्ते मॉडल्स पर सफलतापूर्वक रूट करते हैं जिन्हें सबसे बड़ा मॉडल सही ढंग से उत्तर देने में विफल रहा।
मल्टी-टर्न सीमाएँ: मल्टी-टर्न रूटिंग ने लगातार सिंगल-टर्न रूटिंग से बेहतर प्रदर्शन नहीं किया। डीकंपोजिशन और एग्रीगेशन के अतिरिक्त राउंड अक्सर अनावश्यक जानकारी और कम्प्यूटेशनल ओवरहेड पेश करते हैं। उनकी प्रभावकारिता डीकंपोजिशन करने वाले बेस मॉडल की क्षमता पर अत्यधिक निर्भर थी।
पर्सनलाइजेशन का मूल्य: यूजर-कंडीशन्ड रूटिंग ने निरंतर लाभ दिया। GMTRouter ने एक पर्सोना जज के तहत पर्सनलाइज्ड ट्रैक पर उच्चतम सटीकता (68.78%) प्राप्त की, जो यूजर-अग्नोस्टिक बेसलाइन्स से बेहतर है। हालांकि, अध्ययन ने नोट किया कि यूजर कॉन्टेक्स्ट का विशिष्ट मॉडलिंग महत्वपूर्ण है, क्योंकि वास्तविक मानव प्राथमिकताओं बनाम सिम्युलेटेड पर्सोना जजों के विरुद्ध सत्यापन के दौरान रैंकिंग बदल गई।
परफॉरमेंस-कॉस्ट ट्रेड-ऑफ: विभिन्न लागत बाधाओं के तहत राउटर रैंकिंग उलट गई। सख्त लागत बजट के तहत हल्के (lightweight) डिजाइन बेहतर बन गए, जबकि जब लागत को नजरअंदाज किया गया तो गुणवत्ता-केंद्रित राउटर हावी रहे।
मल्टी-एजेंट सिस्टम: मल्टी-एजेंट सिस्टम (MAS) डिप्लॉयमेंट में, सभी एजेंटों के लिए एक एकल बेस मॉडल का उपयोग करने के बजाय व्यक्तिगत नोड्स को स्वतंत्र रूप से रूट करना बेहतर रहा। MFRouter ने पांच समन्वय टोपोलॉजी (coordination topologies) में सर्वश्रेष्ठ औसत प्रदर्शन (76.48) प्राप्त किया, जो "सबसे बड़े मॉडल" बेसलाइन (71.48) से बेहतर है।

महत्व और दावे

पेपर का दावा है कि LLMRouter पहला एकीकृत इंफ्रास्ट्रक्चर प्रदान करता है जो LLM राउटर के विकास, मूल्यांकन और परिनियोजन को मानकीकृत करता है। विविध दृष्टिकोणों को एक एकल अनुक्रमिक निर्णय प्रक्रिया के इंस्टेंशिएशन के रूप में प्रस्तुत करके, यह निष्पक्ष तुलना और मॉड्यूलर विस्तार को सक्षम बनाता है।

लेखक इस बात पर जोर देते हैं कि उनका कार्य ऑफलाइन रिसर्च और रियल-वर्ल्ड एप्लीकेशन के बीच के अंतर को पाटता है:

एक मानकीकृत, लागत-जागरूक मूल्यांकन ढांचा (xRouteBench) प्रदान करके जो मल्टी-मोडल और पर्सनलाइज्ड परिदृश्यों को कवर करता है जो पहले समर्थित नहीं थे।
नए राउटर विकास के लिए इंजीनियरिंग ओवरहेड को पूर्ण स्टैक पुन: कार्यान्वयन के बजाय एक कॉन्फ़िगरेशन परिवर्तन तक कम करके।
यह प्रदर्शित करके कि सीखे गए रूटिंग पॉलिसीज़ विषम कार्यों और मल्टी-एजेंट सिस्टम में लागत-दक्षता और प्रदर्शन को व्यवस्थित रूप से सुधार सकते हैं।

पेपर का निष्कर्ष है कि यह लाइब्रेरी और बेंचमार्क को LLM रूटिंग के क्षेत्र में व्यवस्थित प्रगति को बढ़ावा देने के लिए जारी करता है।