💬 NLP

Reward-Based Online LLM Routing via NeuralUCB

यह शोध पत्र बड़े भाषा मॉडलों (large language models) के लिए एक NeuralUCB-आधारित ऑनलाइन रूटिंग पॉलिसी प्रस्तावित करता है जो अनुमान लागत (inference cost) और उपयोगिता पुरस्कार (utility reward) के बीच प्रभावी ढंग से संतुलन बनाता है, जो रैंडम और मिन-कॉस्ट बेसलाइनों से बेहतर प्रदर्शन करता है और मैक्स-क्वालिटी संदर्भों (max-quality references) के विरुद्ध प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।

मूल लेखक: Ming-Hua Tsai, Phat Tran

प्रकाशित 2026-04-01

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ming-Hua Tsai, Phat Tran

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त डिजिटल रेस्टोरेंट चला रहे हैं। आपके पास ग्राहकों के लिए व्यंजन तैयार करने के लिए 11 अलग-अलग शेफ (लार्ज लैंग्वेज मॉडल्स, या LLMs) की एक टीम तैयार है।

शेफ A एक विश्व प्रसिद्ध सेलिब्रिटी शेफ हैं। वे सबसे स्वादिष्ट और जटिल व्यंजन बनाते हैं, लेकिन उन्हें काम पर रखने के लिए बहुत अधिक खर्च आता है और उन्हें खाना बनाने में लंबा समय लगता है।
शेफ B एक तेज़, बजट-अनुकूल लाइन कुक हैं। वे सस्ते और तेज़ हैं, लेकिन यदि आप उनसे कोई जटिल 'सुफ़ले' (soufflé) मांगते हैं, तो वे आपको शायद सिर्फ जला हुआ टोस्ट परोस देंगे।
शेफ C से K इनके बीच कहीं आते हैं।

आपका लक्ष्य एक मैनेजर के रूप में यह तय करना है: "इस विशिष्ट ग्राहक के ऑर्डर के लिए, मुझे रसोई में कौन सा शेफ भेजना चाहिए ताकि सबसे कम कीमत में सबसे अच्छा भोजन मिल सके?"

यह ठीक वही है जिसे पेपर "Reward-Based Online LLM Routing via NeuralUCB" हल करने की कोशिश कर रहा है। यहाँ सरल शब्दों में इसका विवरण दिया गया है:

1. समस्या: "अनुमान लगाने का खेल" (The Guessing Game)

अतीत में, प्रबंधकों ने इसे हल करने के दो तरीके आजमाए:

"टेस्ट किचन" दृष्टिकोण (सुपरवाइज्ड लर्निंग): खुलने से पहले, उन्होंने सभी 11 शेफों को एक ही व्यंजन बनाने के लिए काम पर रखा, सभी का स्वाद चखा, और लिखा कि कौन सबसे अच्छा था।
- नुकसान: यह अविश्वसनीय रूप से महंगा और धीमा है। इसके अलावा, यदि टीम में कोई नया शेफ शामिल होता है या ग्राहक अलग-अलग तरह के भोजन का ऑर्डर देने लगते हैं, तो आपको सब कुछ फिर से टेस्ट करना पड़ता है।
"अंतर्ज्ञान" दृष्टिकोण (सरल नियम): वे हर चीज़ के लिए सबसे सस्ता शेफ चुन लेते थे, या रैंडमली चुन लेते थे।
- नुकसान: आप पैसे बचाते हैं, लेकिन खाना (जवाब) अक्सर खराब होता है।

2. समाधान: "स्मार्ट वेटर" (NeuralUCB)

लेखकों ने एक स्मार्ट वेटर बनाया (एक AI एल्गोरिदम जिसे NeuralUCB कहा जाता है) जो काम करते-करते सीखता है। इस वेटर को पहले से हर व्यंजन चखने की आवश्यकता नहीं है। वे "एक्सप्लोर और एक्सप्लॉइट" (Explore and Exploit) नामक रणनीति का उपयोग करते हैं।

इसे एक नए शहर में नए रेस्टोरेंट को आज़माने जैसा समझें:

एक्सप्लॉइट (Exploit): आप उस जगह जाते हैं जिसे आप जानते हैं कि वह अच्छी और सस्ती है।
एक्सप्लोर (Explore): आप एक नई, थोड़ी जोखिम भरी जगह आज़माते हैं क्योंकि आपने सुना है कि वह अद्भुत हो सकती है, और आप देखना चाहते हैं कि क्या वह अफवाह सच है।

स्मार्ट वेटर इन दोनों के बीच संतुलन बनाने के लिए एक विशेष फॉर्मूला (UCB) का उपयोग करता है:

यदि कोई शेफ जाना-माना और बेहतरीन है, तो वेटर वहां ऑर्डर भेजता है।
यदि कोई शेफ अज्ञात है या ऑर्डर पेचीदा है, तो वेटर "एक्सप्लोर" कर सकता है और उन्हें आज़मा सकता है ताकि यह देखा जा सके कि क्या वे वास्तव में एक छिपा हुआ रत्न हैं।
महत्वपूर्ण बात: वेटर लागत के प्रति जागरूक (cost-aware) है। वे केवल "सबसे अच्छे" भोजन की तलाश नहीं करते; वे सबसे अच्छी वैल्यू की तलाश करते हैं। वे एक साधारण बर्गर ऑर्डर के लिए सेलिब्रिटी शेफ को नहीं बुलाएंगे क्योंकि इसकी लागत जायज नहीं है।

3. वेटर कैसे सीखता है (द "यूटिलिटी" स्कोर)

वेटर केवल यह नहीं पूछता, "क्या यह खाना अच्छा है?" बल्कि वे पूछते हैं, "क्या यह खाना कीमत के हिसाब से अच्छा है?"

वे एक जादूई फॉर्मूले का उपयोग करके "यूटिलिटी स्कोर" की गणना करते हैं:

यूटिलिटी = (स्वाद की गुणवत्ता) × (कम लागत के लिए एक डिस्काउंट)

यदि एक शेफ $100 में 10/10 डिश बनाता है, तो यूटिलिटी स्कोर कम हो सकता है। यदि दूसरा शेफ$ 5 में 8/10 डिश बनाता है, तो यूटिलिटी स्कोर अधिक हो सकता है। वेटर का काम समय के साथ इस स्कोर को अधिकतम करना है।

4. "गेटिंग" मैकेनिज्म: जोखिम कब लें

इस सिस्टम में एक चतुर सुरक्षा तंत्र है। इसमें एक "गेटिंग ब्रांच" (AI के अंदर एक छोटा निर्णय लेने वाला हिस्सा) है।

परिदृश्य A: वेटर बहुत आश्वस्त है। उसे पता है कि इस विशिष्ट ऑर्डर के लिए कौन सा शेफ सबसे अच्छा है। वह बस उस शेफ को चुन लेता है। (सेफ मोड)।
परिści B: वेटर अनिश्चित है। ऑर्डर अजीब है, या डेटा धुंधला है। सिस्टम कहता है, "हे, चलिए एक गणना किया गया जोखिम लेते हैं! आइए अधिक सीखने के लिए एक अलग शेफ को आज़माते हैं।" (एक्सप्लोरेशन मोड)।

यह सिस्टम को तब तक पैसे बर्बाद करने से रोकता है जब वह पहले से ही जवाब जानता है, लेकिन यह सुनिश्चित करता है कि जब वह अटक जाए तो वह सीखते रहे।

5. परिणाम: एक सुखद संतुलन

शोधकर्ताओं ने एक विशाल डेटासेट (RouterBench) का उपयोग करके अन्य तरीकों के मुकाबले इस "स्मार्ट वेटर" का परीक्षण किया।

रैंडम चॉइस (Random Choice): शेफ चुनने के लिए सिक्का उछालने जैसा। (बहुत खराब परिणाम)।
सबसे सस्ता विकल्प (Cheapest Choice): हमेशा बजट शेफ को चुनना। (पैसे बचाते हैं, लेकिन खाना खराब होता है)।
सर्वश्रेष्ठ गुणवत्ता वाला विकल्प (Best Quality Choice): हमेशा सेलिब्रिटी शेफ को काम पर रखना। (शानदार खाना, लेकिन रेस्टोरेंट दिवालिया हो जाएगा)।
NeuralUCB वेटर: उन्होंने पाया कि वे "गोल्डिलॉक्स" (Goldilocks) ज़ोन में हैं।
- उन्होंने हमेशा सेलिब्रिटी शेफ को काम पर रखने की तुलना में केवल 33% लागत खर्च की।
- फिर भी, उन्होंने उच्च-गुणवत्ता वाले उत्तर दिए जो रैंडम या केवल सस्ते विकल्पों की तुलना में बहुत बेहतर थे।

मुख्य निष्कर्ष

यह पेपर हमें दिखाता है कि हमें हर सवाल के लिए सबसे महंगे AI मॉडल की आवश्यकता नहीं है। एक स्मार्ट, सीखने वाले एल्गोरिदम का उपयोग करके जो गुणवत्ता और लागत के बीच संतुलन बनाता है, हम शानदार परिणाम प्राप्त करते हुए भारी मात्रा में पैसा बचा सकते हैं। यह एक व्यक्तिगत खरीदारी सहायक (personal shopper) की तरह है जो जानता है कि कब लग्जरी ब्रांड खरीदना है और कब जेनेरिक स्टोर ब्रांड, जिससे स्टाइल से समझौता किए बिना आपके पैसे बचते हैं।

यहाँ मिंग-हुआ त्साई और फत ट्रान के शोध पत्र "Reward-Based Online LLM Routing via NeuralUCB" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या की परिभाषा (Problem Definition)

यह शोध पत्र लागत-सचेत (cost-aware) लार्ज लैंग्वेज मॉडल (LLM) राउटिंग की चुनौती को संबोधित करता है। वास्तविक दुनिया के कार्यान्वयन में, LLMs क्षमता (गुणवत्ता) और अनुमान लागत (inference cost) दोनों में काफी भिन्न होते हैं। उच्च-स्तरीय मॉडल बेहतर प्रदर्शन प्रदान करते हैं लेकिन महंगे होते हैं, जबकि सस्ते मॉडल जटिल कार्यों में विफल हो सकते हैं।

इसका लक्ष्य एक गतिशील राउटिंग नीति (dynamic routing policy) डिजाइन करना है जो दिए गए उपयोगकर्ता प्रश्न ( $x_t$ ) के लिए सबसे उपयुक्त मॉडल ( $a_t$ ) का चयन कर सके ताकि दीर्घकालिक उपयोगिता (utility) को अधिकतम किया जा सके। इसे एक कॉन्टेक्स्टुअल बैंडिट (Contextual Bandit) समस्या के रूप में फ्रेम किया गया है जिसके निम्नलिखित लक्षण हैं:

आंशिक फीडबैक (Partial Feedback): सिस्टम केवल चयनित मॉडल के रिवॉर्ड (गुणवत्ता और लागत) को देखता है, न कि उन मॉडलों के काउंटरफैक्चुअल परिणामों को जिन्हें नहीं चुना गया था।
गैर-रैखिकता (Non-linearity): क्वेरी फीचर्स से इष्टतम मॉडल तक का मैपिंग अत्यधिक गैर-रैखिक है और सरल रैखिक धारणाओं के साथ इसे मॉडल करना कठिन है।
उद्देश्य: अपेक्षित संचयी उपयोगिता (expected cumulative utility) को अधिकतम करना, जो केवल गुणवत्ता को अधिकतम करने के बजाय उत्तर की गुणवत्ता और अनुमान लागत के बीच एक ट्रेडऑफ (tradeoff) है।

2. कार्यप्रणाली (Methodology)

प्रस्तावित समाधान, NeuralUCB-आधारित राउटिंग, तीन मुख्य घटकों से मिलकर बना है: एक उपयोगिता फलन (utility function), एक न्यूरल प्रेडिक्टर (UtilityNet), और एक एक्सप्लोरेशन-एक्सप्लोइटेशन नीति।

A. उपयोगिता फलन (Utility Function)

गुणवत्ता और लागत के बीच संतुलन बनाने के लिए, लेखक एक उपयोगिता रिवॉर्ड $r(x, a)$ को परिभाषित करते हैं:
$r(x, a) = q(x, a) \cdot \exp(-\lambda \tilde{c}(x, a))$
जहाँ:

$q(x, a)$ मॉडल की गुणवत्ता है।
$\tilde{c}(x, a)$ लॉग-नॉर्मलाइज्ड लागत है, जो कच्चे खर्चों को $[0, 1]$ रेंज में मैप करती है ताकि ट्रेनिंग को स्थिर किया जा सके।
$\lambda$ लागत के लिए दंड (penalty) की शक्ति को नियंत्रित करने वाला एक हाइपरपैरामीटर है।

B. UtilityNet आर्किटेक्चर

UtilityNet एक न्यूरल नेटवर्क है जिसे उपयोगिता रिवॉर्ड का अनुमान लगाने और अनिश्चितता अनुमान (uncertainty estimation) के लिए फीचर रिप्रेजेंटेशन प्रदान करने के लिए डिज़ाइन किया गया है। यह प्रोसेस करता है:

इनपुट: टेक्स्ट एम्बेडिंग्स ( $x_{emb}$ ), सहायक फीचर्स ( $x_{feat}$ ), और डोमेन आईडी ( $d$ )।
एनकोडर्स: टेक्स्ट, फीचर्स और डोमेन एम्बेडिंग्स के लिए अलग-अलग MLPs।
फ्यूजन (Fusion): टेक्स्ट, फीचर और एक्शन एम्बेडिंग्स को एक संयुक्त प्रतिनिधित्व बनाने के लिए संयोजित (concatenate) किया जाता है।
डुअल हेड्स (Dual Heads):
- यूटिलिटी हेड: हबर लॉस (Huber loss) का उपयोग करके अनुमानित उपयोगिता $\mu(x, a)$ को रिग्रेस करता है।
- गेटिंग हेड: एक संभाव्यता $p(x)$ की भविष्यवाणी करता है जो यह संकेत देता है कि क्या वर्तमान कॉन्टेक्स्ट के लिए एक्सप्लोरेशन (UCB बोनस) फायदेमंद है। यह सिस्टम को आक्रामक एक्सप्लोरेशन और रूढ़िवादी एक्सप्लोइटेशन के बीच स्विच करने की अनुमति देता है।

C. NeuralUCB नीति (NeuralUCB Policy)

राउटिंग नीति एक्शन सिलेक्शन के लिए न्यूरल अपर कॉन्फिडेंस बाउंड (NeuralUCB) एल्गोरिदम का उपयोग करती है:

फीचर रिप्रेजेंटेशन: UtilityNet का अंतिम हिडन लेयर, $h(x, a)$ , UCB गणना के लिए फीचर वेक्टर के रूप में कार्य करता है।
UCB स्कोर: $s(x, a) = \mu(x, a) + \beta \sqrt{g(x, a)^\top A^{-1} g(x, a)}$ , जहाँ $A^{-1}$ एक साझा इनवर्स कोवेरिएंस मैट्रिक्स है जो फीचर स्पेस में अनिश्चितता का अनुमान लगाता है, और $\beta$ एक्सप्लोरेशन बोनस को नियंत्रित करता है।
गेटेड सिलेक्शन नियम:
- यदि गेटिंग प्रोबेबिलिटी $p(x) \geq \tau_g$ (थ्रेशोल्ड) है, तो सिस्टम उच्चतम UCB स्कोर वाले एक्शन को चुनता है (एक्सप्लोरेशन सक्षम)।
- अन्यथा, यह एक सेफ एक्शन ( $a_{safe}$ ) पर वापस आता है जो अनुमानित माध्य उपयोगिता $\mu(x, a)$ को अधिकतम करता है (एक्सप्लोइटेशन)।

D. ट्रेनिंग प्रोटोकॉल (Training Protocol)

मॉडल का मूल्यांकन RouterBench डेटासेट का उपयोग करके एक सिम्युलेटेड ऑनलाइन सेटिंग के तहत किया गया है:

डेटा को 20 क्रमिक स्लाइस (sequential slices) में विभाजित किया गया है।
प्रत्येक स्लाइस के लिए, पॉलिसी एक्शन चुनती है, एक रिप्ले बफर और साझा कोवेरिएंस मैट्रिक्स $A^{-1}$ को अपडेट करती है, और फिर UtilityNet को रिट्रेन करती है।
यह लाइव API कॉल्स की अत्यधिक लागत के बिना एक ऑनलाइन लर्निंग वातावरण की नकल करता है।

3. प्रमुख योगदान (Key Contributions)

LLM राउटिंग के लिए NeuralUCB: लागत-सचेत LLM राउटिंग की विशिष्ट समस्या के लिए NeuralUCB का पहला अनुप्रयोग, जो आंशिक फीडबैक के तहत गैर-रैखिक क्वेरी-टू-मॉडल मैपिंग को प्रभावी ढंग से संभालता है।
गेटेड एक्सप्लोरेशन मैकेनिज्म: एक गेटिंग ब्रांच का परिचय जो गतिशील रूप से यह निर्णय लेता है कि क्या UCB एक्सप्लोरेशन बोनस लागू किया जाना चाहिए, जिससे उन क्वेरीज़ पर अनावश्यक एक्सप्लोरेशन को रोका जा सके जहाँ इष्टतम मॉडल पहले से ही स्पष्ट है।
व्यापक मूल्यांकन ढांचा: RouterBench पर एक मजबूत ऑफलाइन रिप्ले पाइपलाइन का कार्यान्वयन जो ऑनलाइन लर्निंग डायनेमिक्स का अनुकरण करता है, जिससे समय के साथ संचयी रिवॉर्ड और लागत-गुणवत्ता ट्रेडऑफ को ट्रैक करना संभव होता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन RouterBench (36,497 नमूने, 86 डोमेन, 11 कैंडिडेट LLMs) पर Random, Min-Cost, और RouteLLM-BERT सहित बेसलाइन्स के विरुद्ध किया गया।

बेसलाइन्स के विरुद्ध प्रदर्शन:
- रिवॉर्ड: NeuralUCB ने लगातार उच्चतम औसत रिवॉर्ड (लगभग 0.59–0.61) प्राप्त किया, जो RouteLLM-BERT (~~0.35), Min-Cost (~~0.52), और Random (~0.32) से काफी बेहतर है।
- संचयी रिवॉर्ड (Cumulative Reward): समय के साथ NeuralUCB और बेसलाइन्स के बीच का अंतर बढ़ता गया, जो प्रभावी लर्निंग और अनुकूलन को प्रदर्शित करता है।
लागत-गुणवत्ता ट्रेडऑफ (Cost-Quality Tradeoff):
- NeuralUCB पॉलिसी ने प्रतिस्पर्धी गुणवत्ता हासिल की जबकि उसने "max-quality" रेफरेंस (जो लागत की परवाह किए बिना हमेशा सर्वश्रेष्ठ मॉडल चुनता है) की तुलना में केवल ~33% अनुमान लागत का उपयोग किया।
एब्लेशन स्टडीज (Ablation Studies):
- टेक्स्ट एनकोडर्स: छोटे एनकोडर्स जैसे all-MiniLM-L6-v2 और all-mpnet-base-v2 बड़े, अधिक जटिल एनकोडर्स (जैसे multilingual-e5-large-instruct) के समान या बेहतर प्रदर्शन करते हैं, जो इस विशिष्ट राउटिंग कॉन्टेक्स्ट में एनकोडर के आकार के घटते प्रतिफल (diminishing returns) का सुझाव देते हैं।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

व्यावहारिक प्रभाव: यह अध्ययन दर्शाता है कि यह संभव है कि लागत और प्रदर्शन के बीच एक बेहतर संतुलन प्राप्त करने के लिए LLM क्वेरी को गतिशील रूप से रूट किया जाए, जिससे उत्पादन प्रणालियों (production systems) में महत्वपूर्ण कंप्यूटेशनल संसाधनों की बचत हो सकती है।
सीमाएँ: लेखक नोट करते हैं कि कई नमूनों के लिए, "max-quality" मॉडल ही रिवॉर्ड-इष्टतम विकल्प है, जो राउटिंग से होने वाले संभावित लाभ को सीमित करता है।
भविष्य की दिशाएँ: शोध पत्र अधिक विविध प्रशिक्षण डेटा एकत्र करने और एक्शन डिस्क्रिमिनेशन (action discrimination) में सुधार के लिए उपयोगिता मॉडल को परिष्कृत करने पर ध्यान केंद्रित करने का सुझाव देता है, विशेष रूप से उन परिदृश्यों में जहाँ लागत प्रतिबंध सख्त हैं और इष्टतम मॉडल स्पष्ट नहीं है।

निष्कर्षतः, यह शोध पत्र LLM राउटिंग के लिए एक मजबूत, सैद्धांतिक रूप से आधारित दृष्टिकोण प्रस्तुत करता है जो जटिल मॉडल क्षमताओं और लागतों के परिदृश्य को नेविगेट करने के लिए न्यूरल कॉन्टेक्स्टुअल बैंडिट्स का लाभ उठाता है, जो कुशल LLM परिनियोजन (deployment) के लिए एक व्यावहारिक मार्ग प्रदान करता है।