💬 NLP

VDAR-Router: Adaptive LLMs Routing via Verbalized Query Difficulty Analysis Retrieval

VDAR-Router एक प्रशिक्षण-मुक्त (training-free), कठिनाई-जागरूक (difficulty-aware) रिट्रीवल फ्रेमवर्क है जो समान ऐतिहासिक उदाहरणों को खोजने के लिए स्पष्ट क्वेरी कठिनाई विश्लेषण उत्पन्न करके LLM रूटिंग दक्षता में सुधार करता है, जिससे मॉडल चयन में लागत-प्रदर्शन के संतुलन को अनुकूलित किया जाता है।

मूल लेखक: Yu-Chien Tang, Jun-Chen Hung, Wen-Chih Peng, An-Zi Yen

प्रकाशित 2026-08-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yu-Chien Tang, Jun-Chen Hung, Wen-Chih Peng, An-Zi Yen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस की तेजी से बढ़ती दुनिया में, एक नए प्रकार के सॉफ्टवेयर का उदय हुआ है जो कहानियाँ लिख सकता है, जटिल गणित की समस्याओं को हल कर सकता है और यहाँ तक कि कंप्यूटर कोड भी जनरेट कर सकता है। ये सिस्टम, जिन्हें लार्ज लैंग्वेज मॉडल्स (large language models) कहा जाता है, कई आकारों में आते हैं। कुछ बहुत विशाल होते हैं, जिन्हें चलाने के लिए शक्तिशाली और महंगे कंप्यूटरों की आवश्यकता होती है, जबकि अन्य छोटे और सस्ते होते हैं लेकिन कम सक्षम होते हैं। चूंकि इन उपकरणों का उपयोग अब वास्तविक दुनिया के अनुप्रयोगों में किया जा रहा है, जैसे कि कस्टमर सर्विस बॉट्स से लेकर वैज्ञानिक अनुसंधान सहायकों तक, डेवलपर्स के सामने एक व्यावहारिक दुविधा है: सही उपकरण का चुनाव कैसे किया जाए। यदि कोई उपयोगकर्ता "फ्रांस की राजधानी क्या है?" जैसा सरल प्रश्न पूछता है, तो सबसे शक्तिशाली, महंगे मॉडल का उपयोग करना पैसे की बर्बादी है। हालांकि, यदि प्रश्न के लिए गहरे तर्क या रचनात्मक योजना की आवश्यकता है, तो एक सस्ता मॉडल एक अच्छा उत्तर देने में विफल हो सकता है। लक्ष्य एक संतुलन बनाना है, यानी प्रत्येक अनुरोध को उस मॉडल के पास भेजना जो इसे अच्छी तरह से संभाल सके बिना अत्यधिक खर्च किए।

लंबे समय तक, यह निर्णय लेने का मानक तरीका प्रश्न में मौजूद शब्दों को देखना था। यदि प्रश्न सरल लगता था, तो एक सिस्टम उसे सस्ते मॉडल के पास भेज देता था; यदि वह जटिल लगता था, तो वह एक शक्तिशाली मॉडल के पास जाता था। लेकिन शोधकर्ताओं ने पाया है कि यह दृष्टिकोण अक्सर भ्रामक होता है। दो प्रश्न सतह पर बहुत अलग दिख सकते हैं लेकिन उत्तर देने के लिए उन्हें सोचने के बिल्कुल समान स्तर की आवश्यकता हो सकती है, जबकि दो प्रश्न जो दिखने में समान हैं, वे बहुत अलग कौशल की मांग कर सकते हैं। नेशनल यांग मिंग चियाओ तुंग यूनिवर्सिटी का एक नया अध्ययन इस समस्या को संभालने का एक स्मार्ट तरीका पेश करता है, जिसे VDAR-Router कहा जाता है। केवल शब्दों को पढ़ने के बजाय, यह सिस्टम पहले अनुरोध की अंतर्निहित कठिनाई का विश्लेषण करने के लिए रुकता है, ठीक वैसे ही जैसे एक शिक्षक छात्र के होमवर्क का आकलन करता है कि उसे कितनी मदद की आवश्यकता है।

शोधकर्ताओं ने एक ऐसा ढांचा बनाया है जो प्रश्न की कठिनाई को विषय से अलग, एक विशिष्ट विशेषता के रूप में मानता है। जब कोई नया प्रश्न आता है, तो सिस्टम एक आर्टिफिशियल इंटेलिजेंस एजेंट का उपयोग करके इस बात का मौखिक विवरण तैयार करता है कि उसे हल करने के लिए किन कौशलों की आवश्यकता है। उदाहरण के लिए, केवल एक गणित की समस्या देखने के बजाय, सिस्टम पहचानता है कि कार्य में "बहु-चरणीय तार्किक श्रृंखला" (multi-step logical chains) या "प्रतीकात्मक हेरफेर" (symbolic manipulation) शामिल है। फिर यह पिछले प्रश्नों के एक डेटाबेस की खोज करता है ताकि ऐसे उदाहरण खोज सके जो इसी तरह की कठिनाई प्रोफाइल साझा करते हों, चाहे वे पिछले प्रश्न गणित, कोडिंग या इतिहास के बारे में ही क्यों न हों। नए अनुरोध की छिपी हुई जटिलता को पिछले समान अनुरोधों के प्रदर्शन इतिहास के साथ मिलाकर, सिस्टम यह अनुमान लगा सकता है कि कौन सा मॉडल इसे संभालने के लिए सबसे उपयुक्त है। यह विधि राउटर को शब्दों की सतही समानता को अनदेखा करने और सही उत्तर देने के लिए आवश्यक वास्तविक संज्ञानात्मक भार (cognitive load) पर ध्यान केंद्रित करने की अनुमति देती है।

इस विचार का परीक्षण करने के लिए, टीम ने तीन अलग-अलग डेटा संग्रहों पर प्रयोग चलाए, जिसमें सरल अंकगणित से लेकर जटिल वेबसाइट निर्माण तक के कार्यों का विस्तृत दायरा शामिल था। उन्होंने अपने नए सिस्टम की तुलना कई मौजूदा तरीकों से की जो पारंपरिक टेक्स्ट मैचिंग पर निर्भर करते हैं या लेबल किए गए डेटा पर व्यापक प्रशिक्षण की आवश्यकता रखते हैं। परिणामों ने दिखाया कि कठिनाई-जागरूक (difficulty-aware) दृष्टिकोण ने लागत और प्रदर्शन के बीच लगातार बेहतर संतुलन बनाया। कई मामलों में, इसने कम पैसा खर्च करते हुए उच्च-गुणवत्ता वाले उत्तर प्राप्त किए। इसके विपरीत, इसने उन सस्ते सिस्टमों की गलतियों से बचाव किया जिन्होंने अपनी क्षमता से परे समस्याओं को हल करने की कोशिश की थी। अध्ययन ने प्रदर्शित किया कि किसी कार्य की कठिनाई का स्पष्ट रूप से विश्लेषण करके, राउटर बिना हर नई स्थिति के लिए पुन: प्रशिक्षित हुए अधिक विश्वसनीय विकल्प चुन सकता है।

सबसे सम्मोहक निष्कर्षों में से एक यह था कि सिस्टम ने उन प्रश्नों को कैसे संभाला जो एक जैसे दिखते थे लेकिन मौलिक रूप से भिन्न थे। एक विस्तृत केस स्टडी में, शोधकर्ताओं ने दिखाया कि एक मानक सिस्टम दो गणित के प्रश्नों को केवल इसलिए एक साथ रख सकता है क्योंकि दोनों में जटिल प्रतीकों का उपयोग किया गया है। हालांकि, नया सिस्टम पहचान लेता है कि एक प्रश्न के लिए सीधी गणना की आवश्यकता है जबकि दूसरे के लिए गहरे, बहु-चरणीय व्युत्पत्ति (derivation) की आवश्यकता है। क्योंकि नया सिस्टम इस अंतर को समझता था, इसलिए उसने कठिन प्रश्न को अधिक सक्षम मॉडल के पास और आसान प्रश्न को सस्ते विकल्प के पास भेजा, जबकि पुराना सिस्टम अक्सर दोनों को एक ही मॉडल के पास भेज देता था। सतही समानता और वास्तविक कठिनाई के बीच अंतर करने की इस क्षमता ने सिस्टम को सटीकता से समझौता किए बिना संसाधनों को बचाने की अनुमति दी।

शोधकर्ताओं ने यह भी जांचा कि इस अतिरिक्त विश्लेषण चरण में कितना समय और पैसा खर्च होता है। उन्होंने पाया कि कठिनाई का विवरण उत्पन्न करने और समान पिछले उदाहरणों को खोजने की प्रक्रिया ने कुल प्रक्रिया में केवल थोड़ा सा समय जोड़ा, लगभग डेढ़ सेकंड प्रति प्रश्न। यह देरी अधिकांश वास्तविक समय के अनुप्रयोगों के लिए स्वीकार्य रूप से कम है। इसके अलावा, उन्होंने दिखाया कि प्रारंभिक कठिनाई विश्लेषण करने के लिए एक छोटे, कम खर्चीले मॉडल का उपयोग करने के बावजूद, सिस्टम ने अन्य सभी तरीकों से बेहतर प्रदर्शन किया। यह सुझाव देता है कि यह दृष्टिकोण कुशल और स्केलेबल है, जो यह काम करने में सक्षम है कि निर्णय लेने के लिए उपयोग किए जाने वाले उपकरण सबसे शक्तिशाली नहीं भी हों।

अध्ययन निष्कर्ष निकालता है कि किसी क्वेरी के शब्दों से परे जाकर उसके वास्तविक स्वरूप को समझना आर्टिफिशियल इंटेलिजेंस संसाधनों के प्रबंधन के लिए एक शक्तिशाली रणनीति है। प्रश्न के विषय के बजाय, प्रश्न का उत्तर देने के लिए आवश्यक विशिष्ट कौशलों पर ध्यान केंद्रित करके, सिस्टम यह तय करने के बारे में स्मार्ट निर्णय ले सकता है कि किस उपकरण का उपयोग किया जाए। यह कार्य सुझाव देता है कि कुशल AI परिनियोजन का भविष्य बड़े मॉडल बनाने में नहीं, बल्कि सही समस्या के लिए सही मॉडल को मिलाने के बेहतर तरीके बनाने में निहित है। निष्कर्ष उन डेवलपर्स के लिए एक व्यावहारिक मार्ग प्रदान करते हैं जो इन शक्तिशाली उपकरणों का प्रभावी ढंग से उपयोग करना चाहते हैं, जिससे यह सुनिश्चित होता है कि उपयोगकर्ताओं को उच्च-गुणवत्ता वाले उत्तर मिलें बिना आवश्यक से अधिक कंप्यूटिंग पावर के लिए भुगतान किए।

तकनीकी सारांश: VDAR-Router

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का व्यावहारिक प्रणालियों में तेजी से उपयोग किया जा रहा है, जिससे रिस्पॉन्स की गुणवत्ता और परिनियोजन लागत (deployment costs) के बीच संतुलन बनाने के लिए कुशल मॉडल चयन की एक महत्वपूर्ण आवश्यकता उत्पन्न हुई है। जबकि "LLM रूटिंग" उपयुक्त मॉडल्स को क्वेरी आवंटित करने के लिए एक समाधान के रूप में उभरा है, मौजूदा विधियाँ अक्सर रूटिंग निर्णय लेने के लिए सतही अर्थ विज्ञान (surface-level semantics), एम्बेडिंग समानता (embedding similarity), या कार्य श्रेणियों पर निर्भर करती हैं। लेखक तर्क देते हैं कि ये दृष्टिकोण क्वेरी की अंतर्निहित कठिनाई (difficulty) की अनदेखी करते हैं। फलस्वरूप, दो क्वेरीज़ जिनकी शब्दावली समान हो सकती है, उन्हें बिल्कुल अलग तर्क क्षमता (reasoning capabilities) की आवश्यकता हो सकती है (जैसे, सरल अंकगणित बनाम जटिल प्रतीकात्मक हेरफेर), जबकि दो अर्थपूर्ण रूप से भिन्न क्वेरीज़ में समान कठिनाई प्रोफाइल हो सकता है। केवल कच्चे क्वेरी निरूपण (raw query representations) पर निर्भर रहने से उप-इष्टतम (sub-optimal) रूटिंग हो सकती है, जहाँ सरल क्वेरीज़ को महंगे मॉडल्स को भेजा जाता है या जटिल क्वेरीज़ को कम सक्षम मॉडल्स को भेज दिया जाता है।

कार्यप्रणाली: VDAR-Router (Methodology: VDAR-Router)

यह शोध पत्र VDAR-Router का प्रस्ताव करता है, जो एक ट्रेनिंग-मुक्त (training-free), रिट्रीवल-आधारित फ्रेमवर्क है जो कच्चे क्वेरी एम्बेडिंग्स के बजाय मौखिक रूप से व्यक्त कठिनाई विश्लेषण (verbalized difficulty analysis) के आधार पर क्वेरीज़ को रूट करता है। यह वर्कफ़्लो तीन मुख्य चरणों से बना है:

कठिनाई विश्लेषण निर्माण (Difficulty Analysis Generation):
एक LLM एजेंट, जिसे डिफिकल्टी एनालिस्ट (Difficulty Analyst) कहा जाता है, एक इनपुट क्वेरी $q$ का विश्लेषण करता है ताकि क्वेरी की कठिनाई विशेषताओं का एक स्पष्ट पाठ्य विवरण (textual description) तैयार किया जा सके। यह विश्लेषण सात पूर्व-निर्धारित क्षमता आयामों को कवर करता है: रीजनिंग (reasoning), समझ (comprehension), निर्देश पालन (instruction following), एजेंटिक क्षमताएं (agentic capabilities), ज्ञान पुनर्प्राप्ति (knowledge retrieval), कोडिंग (coding), और बहुभाषी क्षमता (multilingual ability)। आउटपुट एक संरचित टेक्स्ट $a = \mathcal{M}(q)$ है जो आवश्यक दक्षता स्तरों का वर्णन करता है।
कठिनाई-जागरूक पुनर्प्राप्ति (Difficulty-Aware Retrieval):
कच्ची क्वेरीज़ को इंडेक्स करने के बजाय, सिस्टम जनरेट किए गए कठिनाई विश्लेषणों को एक डेटाबेस में एम्बेड करता है। जब एक नई क्वेरी आती है, तो उसका कठिनाई विश्लेषण जनरेट किया जाता है और उसे एम्बेड किया जाता है। सिस्टम सबसे अधिक समान कठिनाई प्रोफाइल (न कि अनिवार्य रूप से समान टेक्स्ट) वाले शीर्ष- $k$ ऐतिहासिक उदाहरणों को पुनः प्राप्त (retrieve) करता है। यह राउटर को ऐसी क्वेरीज़ खोजने की अनुमति देता है जिन्हें समान क्षमताओं की आवश्यकता होती है, भले ही उनका सतही टेक्स्ट भिन्न हो।
पुरस्कार-आधारित मॉडल चयन (Reward-Based Model Selection):
पुनः प्राप्त किए गए ऐतिहासिक उदाहरणों का उपयोग करके, सिस्टम समान कठिनाई वाली क्वेरीज़ पर उम्मीदवार मॉडल्स के प्रदर्शन का अनुमान लगाता है। गुणवत्ता और लागत के बीच संतुलन बनाने के लिए, प्रत्येक उम्मीदवार मॉडल $m$ के लिए एक रिवॉर्ड फंक्शन $R$ की गणना की जाती है:
$R(m | q) = \frac{1}{k} \sum_{i=1}^{k} (\alpha \cdot p_m(q_i^r) - \beta \cdot c_m(q_i^r))$
जहाँ $p_m$ प्रदर्शन (जैसे, सटीकता) है और $c_m$ रिट्रीव की गई क्वेरी $q_i^r$ पर मॉडल $m$ की सामान्यीकृत लागत (normalized cost) है। गुणांक $\alpha$ और $\beta$ ट्रेड-ऑफ को नियंत्रित करते हैं। उच्चतम रिवॉर्ड वाले मॉडल का चयन किया जाता है।

मुख्य योगदान (Key Contributions)

नया रूटिंग सिग्नल (Novel Routing Signal): यह शोध पत्र LLM रूटिंग के लिए प्राथमिक रिट्रीवल ऑब्जेक्टिव के रूप में मौखिक रूप से व्यक्त क्वेरी कठिनाई निदान (verbalized query difficulty diagnosis) के उपयोग को पेश करता है। यह ध्यान को सतही अर्थ विज्ञान से हटाकर क्षमता आवश्यकताओं पर केंद्रित करता है, जो रूटिंग निर्णयों के लिए मानव-व्याख्या योग्य मेटाडेटा प्रदान करता है।
ट्रेनिंग-मुक्त फ्रेमवर्क (Training-Free Framework): VDAR-Router एक प्लग-एंड-प्ले फ्रेमवर्क है जिसके लिए अतिरिक्त न्यूरल राउटर को प्रशिक्षित करने की आवश्यकता नहीं है। यह मॉडल की उपयुक्तता का अनुमान लगाने के लिए ऐतिहासिक प्रदर्शन डेटा और कठिनाई मिलान का लाभ उठाता है।
अनुभवजन्य सत्यापन (Empirical Validation): लेखक तीन डेटासेट्स (RouterBench, LLMRouterBench, और ArenaExpert5K) में लागत-प्रदर्शन ट्रेड-ऑफ और मॉडल क्षमता रैंकिंग सटीकता के मामले में VDAR-Router को मौजूदा बेसलाइन्स (जिसमें KNN, RouterDC, RouteLLM, IRT-Router, और ICL-Router शामिल हैं) से बेहतर सिद्ध करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन अलग-अलग सेटिंग्स वाले डेटासेट्स पर VDAR-Router का मूल्यांकन किया:

RouterBench और LLMRouterBench: इन सेटिंग्स में, जहाँ ग्राउंड-ट्रुथ प्रदर्शन और लागत उपलब्ध है, VDAR-Router ने विभिन्न $\alpha$ (परफॉरमेंस वेट) और $\beta$ (कॉस्ट वेट) सेटिंग्स के तहत लगातार उच्चतम Reward स्कोर प्राप्त किया। इसने ICL-Router जैसे उच्च-प्रदर्शन वाले बेसलाइन्स की तुलना में इन्फरेंस लागत को काफी कम कर दिया, जबकि प्रतिस्पर्धी सटीकता बनाए रखी।
ArenaExpert5K: इस डेटासेट में केवल पेयरवाइज (pairwise) मानव प्राथमिकताएं शामिल हैं। VDAR-Router ने मॉडल रैंकिंग की भविष्यवाणी करने में उच्चतम Pairwise Accuracy और Spearkan Correlation प्राप्त किया, जो कि एक छोटे 2B पैरामीटर वाले मॉडल को डिफ़िकल्टी एनालिस्ट के रूप में उपयोग करने के बावजूद बेसलाइन्स से बेहतर रहा।
एब्लेशन अध्ययन (Ablation Studies): रिवॉर्ड रैंकिंग (केवल सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल का चयन करना) को हटाने या कठिनाई विश्लेषण को कच्चे क्वेरी रिट्रीवल से बदलने के परिणामस्वरूप प्रदर्शन में गिरावट आई, जो रिवॉर्ड-अवेयरनेस और कठिनाई-आधारित रिट्रीवल दोनों की आवश्यकता की पुष्टि करता है।
रिट्रीवल गुणवत्ता (Retrieval Quality): बेयसियन राश मॉडल (Bayesian Rasch model) का उपयोग करके किए गए विश्लेषण ने दिखाया कि VDAR-Router क्वेरी-एम्बेडिंग बेसलाइन्स की तुलना में काफी कम कठिनाई अंतराल (difficulty gaps) वाली क्वेरीज़ को रिट्रीव करता है, जो यह प्रमाणित करता है कि सिस्टम सफलतापूर्वक क्षमता आवश्यकताओं के आधार पर क्वेरीज़ को संरेखित करता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि VDAR-Router क्वेरी की कठिनाई को स्पष्ट रूप से मॉडल करके LLM रूटिंग के लिए एक अधिक अनुकूलन योग्य और विश्वसनीय दृष्टिकोण प्रदान करता है। कठिनाई प्रोफाइल के आधार पर उदाहरणों को पुनः प्राप्त करके, सिस्टम विशिष्ट कार्यों के लिए विभिन्न मॉडल्स की सापेक्ष क्षमता रैंकिंग को बेहतर ढंग से कैप्चर कर सकता है।

लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण:

स्पष्ट रूटिंग लेबल या अतिरिक्त राउटर ट्रेनिंग पर निर्भरता को कम करता है।
मौखिक रूप से व्यक्त कठिनाई विश्लेषण के माध्यम से रूटिंग निर्णयों के लिए एक मानव-व्याख्या योग्य (human-interpretable) तंत्र प्रदान करता है।
यह प्रदर्शित करता है कि एक हल्के डिफ़िकल्टी एनालिस्ट (जैसे, 2B पैरामीटर मॉडल) के साथ भी, फ्रेमवर्क जटिल, प्रशिक्षित रूटिंग मॉडल्स की तुलना में बेहतर लागत-प्रदर्शन ट्रेड-ऑफ प्राप्त कर सकता है।

शोध पत्र निष्कर्ष निकालता है कि कठिनाई-जागरूक रिट्रीवल मॉडल चयन के लिए एक मजबूत सिग्नल के रूप में कार्य करता है, जो यह सुझाव देता है कि भविष्य के कार्य संरचित कठिनाई प्रतिनिधित्व (structured difficulty representations) का पता लगा सकते हैं या व्यक्तिपरक मूल्यांकन परिदृश्यों को संभालने के लिए प्राथमिकता-जागरूक संकेतों (preference-aware signals) को एकीकृत कर सकते हैं।