💬 NLP

Expected Reward Prediction, with Applications to Model Routing

यह शोध पत्र एक ऐसी विधि प्रस्तुत करता है जो किसी प्रतिक्रिया को उत्पन्न करने से पहले, एक दिए गए प्रॉम्प्ट पर एक LLM द्वारा प्राप्त किए जाने वाले अपेक्षित रिवॉर्ड (reward) की भविष्यवाणी करती है, यह प्रदर्शित करते हुए कि यह सरल भविष्यवाणी एक कुशल और विस्तार योग्य मॉडल रूटिंग प्रोटोकॉल को सक्षम बनाती है जो रिवॉर्ड और कम्प्यूटेशनल लागत के बीच संतुलन को अनुकूलित करके श्रेणी-आधारित बेसलाइन से बेहतर प्रदर्शन करती है।

मूल लेखक: Kenan Hasanaliyev, Silas Alberti, Jenny Hamer, Dheeraj Rajagopal, Kevin Robinson, Jasper Snoek, Victor Veitch, Alexander Nicholas D'Amour

प्रकाशित 2026-03-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kenan Hasanaliyev, Silas Alberti, Jenny Hamer, Dheeraj Rajagopal, Kevin Robinson, Jasper Snoek, Victor Veitch, Alexander Nicholas D'Amour

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, हाई-टेक कॉल सेंटर के मैनेजर हैं। आपके पास AI असिस्टेंट्स (Large Language Models) की एक टीम है जिनके पास अलग-अलग कौशल स्तर और अलग-अलग "प्रति घंटा दर" (hourly rates) हैं। कुछ जूनियर असिस्टेंट हैं जो सस्ते और तेज़ हैं लेकिन गलतियाँ कर सकते हैं। अन्य सीनियर एक्सपर्ट्स हैं जो धीमे और महंगे हैं लेकिन आमतौर पर काम सही करते हैं।

हर बार जब किसी ग्राहक का सवाल (एक प्रॉम्प्ट) आता है, तो आपको यह तय करना होता है: मुझे यह कॉल किस असिस्टेंट को भेजनी चाहिए?

पुराना तरीका: अंदाज़ा लगाना या सब कुछ चेक करना

परंपरागत रूप से, यह निर्णय लेने के लिए, आपको शायद:

सवाल की श्रेणी के आधार पर अंदाज़ा लगाना पड़ता था (जैसे, "गणित के सवालों को गणित के विशेषज्ञ के पास भेजें")।
या, आपको हर एक असिस्टेंट से उत्तर लिखने के लिए कहना पड़ता था, उन सभी के उत्तरों को पढ़ना पड़ता था, सबसे अच्छा वाला चुनना पड़ता था, और उस काम के लिए भुगतान करना पड़ता था जिसका आपने उपयोग भी नहीं किया। यह अविश्वसनीय रूप से बर्बादी भरा और धीमा था।

नया तरीका: "क्रिस्टल बॉल" (Expected Reward Prediction)

यह पेपर एक चतुर तकनीक पेश करता है जिसे Expected Reward Prediction (ERP) कहा जाता है। इसे एक क्रिस्टल बॉल की तरह समझें जो किसी भी असिस्टेंट द्वारा उत्तर देने से पहले ही ग्राहक के सवाल को देखकर यह अनुमान लगा सकती है कि वह विशिष्ट असिस्टेंट कैसा प्रदर्शन करेगा।

यह कैसे काम करता है, इसके सरल चरण यहाँ दिए गए हैं:

1. "स्कोरकार्ड" (Reward Models)

सबसे पहले, कल्पना करें कि आपके पास एक सख्त जज (एक Reward Model) है जो बातचीत को सुनता है और उत्तर कितना मददगार है, इसके आधार पर 0 से 100 तक का स्कोर देता है।

पुरानी समस्या: जज उत्तर लिखे जाने के बाद उसे स्कोर देता है।
नई अंतर्दृष्टि: लेखकों ने महसूस किया कि जज की स्कोरिंग प्रणाली इतनी सुसंगत है कि आप केवल सवाल को देखकर यह अनुमान लगा सकते हैं कि एक असिस्टेंट औसतन कितना स्कोर प्राप्त करेगा।

2. "सरल गणित" (Linear Probes)

आप सोच सकते हैं कि इसके लिए एक बहुत ही जटिल AI मस्तिष्क की आवश्यकता होगी। आश्चर्यजनक रूप से, लेखकों ने पाया कि एक बहुत ही सरल गणितीय सूत्र (एक लीनियर मॉडल) पूरी तरह से काम करता है।

उपमा: मान लीजिए कि आपके पास सवाल का एक मानचित्र (एक "एम्बेडिंग") है। आप बस उस मानचित्र पर एक सीधी रेखा खींचते हैं। वह रेखा जहाँ टकराती है, वह बताती है, "यदि असिस्टेंट A उत्तर देता है, तो वे संभवतः 85/100 स्कोर करेंगे। यदि असिस्टेंट B उत्तर देता है, तो वे 40/100 स्कोर करेंगे।"
यह मौसम के पूर्वानुमान को देखने जैसा है। आपको यह जानने के लिए कि आपको छाते की आवश्यकता है या नहीं, हर एक बारिश की बूंद का सिमुलेशन करने की आवश्यकता नहीं है; आपको बस बैरोमीटर देखना है।

3. "स्मार्ट डिस्पैचर" (Model Routing)

अब, आपके पास आपकी क्रिस्टल बॉल है। जब कोई कॉल आती है:

क्रिस्टल बॉल भविष्यवाणी करती है: "जूनियर असिस्टेंट 60 स्कोर करेगा। सीनियर एक्सपर्ट 95 स्कोर करेगा।"
डिस्पैचर लागत की जाँच करता है: "जूनियर की लागत $1 है। सीनियर की लागत$ 10 है।"
निर्णय: यदि सवाल सरल है, तो क्रिस्टल बॉल कहती है कि जूनियर ठीक करेगा (स्कोर 80)। डिस्पैचर पैसे बचाने के लिए कॉल को जूनियर के पास भेज देता है। यदि सवाल कठिन है, तो क्रिस्टल बॉल कहती है कि जूनियर विफल हो जाएगा (स्कोर 20), इसलिए यह कॉल को सीनियर के पास भेज देता है।

यह एक बड़ी बात क्यों है?

यह तेज़ है: आपको यह जानने के लिए कि कौन सबसे अच्छा है, सभी से उत्तर जेनरेट करने की आवश्यकता नहीं है। आप बस एक त्वरित गणना करते हैं।
यह लचीला है: यदि आप कल एक नया असिस्टेंट रखते हैं, तो आप बस क्रिस्टल बॉल को सिखा सकते हैं कि वे आमतौर पर कैसा प्रदर्शन करते हैं। आपको पूरा सिस्टम फिर से प्रशिक्षित करने या उनकी तुलना आपस में करने की आवश्यकता नहीं है।
यह "कैटेगरी" नियम को मात देता है: कभी-कभी एक "गणित विशेषज्ञ" गणित के एक विशिष्ट प्रकार के सवाल में खराब हो सकता है, लेकिन एक "जनरलिस्ट" उसमें बहुत अच्छा हो सकता है। क्रिस्टल बॉल बारीकियों को देख लेती है; एक साधारण नियम जैसे "गणित को गणित विशेषज्ञ के पास भेजें" ऐसा नहीं कर पाता।

"Zooter" कनेक्शन

पेपर में "Zooter" नामक एक जटिल प्रणाली का उल्लेख है जो ऐसा ही कुछ करती है लेकिन इसे बनाना बहुत कठिन है। लेखक दिखाते हैं कि Zooter वास्तव में इसलिए काम करता है क्योंकि वह गुप्त रूप से बिल्कुल वही करने की कोशिश कर रहा है जो यह सरल क्रिस्टल बॉल करती है: अपेक्षित स्कोर (expected score) की भविष्यवाणी करना। इस सरल पद्धति का उपयोग करके, आप 10% प्रयास के साथ 90% लाभ प्राप्त करते हैं।

निष्कर्ष (The Bottom Line)

यह पेपर यह सिद्ध करता है कि हम किसी कार्य को करने के लिए AI कितना अच्छा होगा, यह केवल सवाल को पढ़कर ही अनुमान लगा सकते हैं, बिना AI के वास्तव में काम करने का इंतज़ार किए। यह हमें उच्च-गुणवत्ता वाले उत्तर प्राप्त करते हुए भारी मात्रा में पैसा और समय बचाने के लिए कार्यों को सही AI तक तुरंत रूट करने की अनुमति देता है।

संक्षेप में: पाँच शेफ से खाना बनाने के लिए पूछने के बजाय कि कौन सबसे अच्छा है, आप बस रेसिपी को देखते हैं और तुरंत जान जाते हैं कि उस विशिष्ट व्यंजन के लिए सही शेफ कौन सा है।

यहाँ शोध पत्र "Expected Reward Prediction, with Applications to Model Routing" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन आमतौर पर रिवॉर्ड मॉडल्स (RMs) का उपयोग करके किया जाता है, जो एक प्रॉम्प्ट ( $x$ ) के लिए व्यक्तिगत प्रतिक्रियाओं ( $y$ ) को स्कोर करते हैं। हालाँकि, मानक RMs किसी एक मॉडल से प्राप्त प्रतिक्रियाओं को रैंक करने या दो विशिष्ट प्रतिक्रियाओं की तुलना करने के लिए डिज़ाइन किए गए हैं। वे स्वाभाविक रूप से किसी मॉडल की किसी विशिष्ट प्रॉम्प्ट के लिए उपयुक्तता के लिए कोई मीट्रिक प्रदान नहीं करते हैं, वह भी मॉडल द्वारा प्रतिक्रिया उत्पन्न करने से पहले।

यह शोध पत्र दो मुख्य चुनौतियों को संबोधित करता है:

सैद्धांतिक व्यवहार्यता (Theoretical Feasibility): क्या हम किसी दिए गए प्रॉम्प्ट के लिए एक विशिष्ट LLM के एक्स्पेक्टेड रिवॉर्ड (Expected Reward - $ER$) की भविष्यवाणी a priori (बिना प्रतिक्रियाएँ सैंपल किए) कर सकते हैं?
- चुनौती 1: LLMs गैर-नियतत्ववादी (non-deterministic) होते हैं; उनकी प्रतिक्रिया वितरण (response distribution) भिन्न होती है।
- चुनौती 2: मानक RMs अक्सर पेयरवाइज़ प्रेफरेंस डेटा (Bradley-Terry मॉडल) पर प्रशिक्षित होते हैं, जो केवल सापेक्ष क्रम ( $r(x, y_1) - r(x, y_0)$ ) की गारंटी देता है और प्रॉम्प्ट-निर्भर ऑफसेट्स की अनुमति देता है। सैद्धांतिक रूप से, यह पूर्ण अपेक्षित मान (absolute expected value) को अन-आइडेंटिफिएबल (unidentifiable) बनाता है।
अनुप्रयोग (Application): इस भविष्यवाणी का उपयोग मॉडल रूटिंग (Model Routing) को अनुकूलित करने के लिए कैसे किया जा सकता है?
- विभिन्न लागतों वाले मॉडल्स के पूल में (जैसे, 8B बनाम 70B पैरामीटर्स), हम रिवॉर्ड को अधिकतम करने और कंप्यूटेशनल लागत को न्यूनतम करने के लिए प्रॉम्प्ट को किस मॉडल पर रूट करें?

2. कार्यप्रणाली (Methodology)

A. एक्स्पेक्टेड रिवॉर्ड को परिभाषित करना

लेखक एक रिवॉर्ड फंक्शन $r$ के तहत एक प्रॉम्प्ट $x$ के लिए मॉडल $\pi$ के अपेक्षित रिवॉर्ड को इस प्रकार औपचारिक रूप देते हैं:
$ER_\pi(x) := \mathbb{E}_{Y \sim \pi(Y|x)} [r(x, Y)]$
लक्ष्य एक फलन $f(x)$ को सीखना है जो सीधे प्रॉम्प्ट एम्बेडिंग से इस मात्रा की भविष्यवाणी कर सके।

B. डेटा जनरेशन और प्रशिक्षण

डेटासेट: open-perfectblend डेटासेट, जिसमें चार श्रेणियों में 4,000 प्रॉम्प्ट शामिल हैं: जनरल चैट, इंस्ट्रक्शन फॉलोइंग, मैथ, और कोडिंग।
ग्राउंड ट्रुथ निर्माण: प्रत्येक प्रॉम्प्ट $x_i$ और मॉडल $\pi$ के लिए, लेखक $K=32$ प्रतिक्रियाएँ उत्पन्न करते हैं। वे एक प्री-ट्रेंड RM का उपयोग करके प्रत्येक प्रतिक्रिया के लिए रिवॉर्ड की गणना करते हैं और लक्ष्य लेबल के रूप में अनुभवजन्य माध्य (empirical mean) की गणना करते हैं: $\hat{ER}_\pi(x_i) = \frac{1}{K} \sum r(x_i, y^{(k)})$ ।
प्रेडिक्टर आर्किटेक्चर: एक आश्चर्यजनक रूप से सरल लीनियर मॉडल (रिज-रेगुलराइज्ड लीनियर रिग्रेशन) को प्रशिक्षित किया गया है।
- इनपुट: प्रॉम्प्ट $x$ के फिक्स्ड-ल लेंथ वेक्टर एम्बेडिंग्स (इस्तेमाल किया गया: gte-large-en-v1.5)।
- आउटपुट: अनुमानित अपेक्षित रिवॉर्ड।
- प्रशिक्षण उद्देश्य: अनुमानित मान और अनुभवजन्य माध्य रिवॉर्ड के बीच स्क्वेयर्ड एरर (squared error) को कम करना।

C. मॉडल रूटिंग प्रोटोकॉल

शोध पत्र एक एक्स्पेक्टेड रिवॉर्ड प्रेडिक्शन (ERP) रूटिंग रणनीति प्रस्तावित करता है:

पूल में प्रत्येक मॉडल के लिए एक अलग लीनियर प्रेडिक्टर को प्रशिक्षित करें जो किसी भी प्रॉम्प्ट के लिए उसके $ER$ की भविष्यवाणी कर सके।
इन्फरेंस के समय, एक प्रॉम्प्ट $x$ के लिए, सभी मॉडल्स के लिए अनुमानित $ER$ की गणना करें।
उस मॉडल $i$ का चयन करें जो लागत-समायोजित स्कोर को अधिकतम करता है:
$\rho_\lambda(x) = \arg\max_i \left( \hat{ER}_{\pi_i}(x) - \lambda \cdot c(i) \right)$
जहाँ $c(i)$ कंप्यूटेशनल लागत (मॉडल के आकार के समानुपाती) है और $\lambda$ एक ट्यूनेबल पैरामीटर है जो रिवॉर्ड बनाम लागत को संतुलित करता है।

3. प्रमुख योगदान (Key Contributions)

पूर्वानुमेयता की अनुभवजन्य खोज (Empirical Discovery of Predictability): यह शोध पत्र प्रदर्शित करता है कि रिवॉर्ड मॉडलिंग में सैद्धांतिक अस्पष्टताओं (विशेष रूप से Bradley-Terry ऑफसेट के संबंध में) के बावजूद, प्रॉम्प्ट एम्बेडिंग्स पर एक साधारण लीनियर प्रोब का उपयोग करके किसी LLM का अपेक्षित रिवॉर्ड अत्यधिक पूर्वानुमान योग्य है।
रिस्पॉन्स-लेवल से मॉडल-लेवल रिवॉर्ड तक उठाना: लेखक सफलतापूर्वक रिस्पॉन्स-लेवल स्कोरिंग को मॉडल-लेवल उपयुक्तता स्कोरिंग तक "लिफ्ट" करते हैं। यह वास्तविक प्रतिक्रियाएँ उत्पन्न किए बिना विशिष्ट प्रॉम्प्ट विशेषताओं के आधार पर मॉडल्स के बीच अंतर करने की अनुमति देता है।
स्केलेबल मॉडल रूटिंग: ERP दृष्टिकोण प्रेफरेंस-आधारित रूटिंग (जैसे Zooter या पेयरवाइज़ क्लासिफायर) की तुलना में महत्वपूर्ण स्केलेबिलिटी लाभ प्रदान करता है।
- प्रेफरेंस-आधारित: सभी मॉडल जोड़ों के बीच पेयरवाइज़ तुलना पर मॉडल को प्रशिक्षित करने की आवश्यकता होती है ( $O(N^2)$ जटिलता)।
- ERP-आधारित: प्रत्येक मॉडल के लिए एक प्रेडिक्टर को प्रशिक्षित करने की आवश्यकता होती है ( $O(N)$ जटिलता)। एक नया मॉडल जोड़ने के लिए केवल एक नया प्रेडिक्टर प्रशिक्षित करने की आवश्यकता होती है, पूरे सिस्टम को फिर से प्रशिक्षित करने की नहीं।
सैद्धांतिक औचित्य: शोध पत्र एक प्रस्ताव प्रदान करता है कि यदि रिवॉर्ड डिस्ट्रीब्यूशन सब-गॉसियन (sub-Gaussian) हैं, तो अपेक्षित रिवॉर्ड्स का अंतर दो मॉडल्स के बीच विन-रेट (win-rate) संभावना के साथ सीधे सह-संबंध रखता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

पूर्वानुमेयता (R² स्कोर):
- होल्ड-आउट टेस्ट डेटा पर अपेक्षित रिवॉर्ड की भविष्यवाणी करने में लीनियर मॉडल्स ने उच्च $R^2$ स्कोर (श्रेणी और मॉडल के आधार पर 0.19 से 0.59 के बीच) प्राप्त किए।
- यह इंग दर्शाता है कि प्रॉम्प्ट एम्बेडिंग्स में यह अनुमान लगाने के लिए पर्याप्त जानकारी होती है कि एक विशिष्ट मॉडल किसी विशिष्ट कार्य पर कितनी अच्छी तरह प्रदर्शन करेगा।
- प्रदर्शन विभिन्न मॉडल परिवारों (Llama 3.1, Gemma 2, Gemma 1) और आकारों (8B से 70B) में सुसंगत था।
रूटिंग प्रदर्शन:
- पारेटो फ्रंटियर (Pareto Frontier): ERP-आधारित रूटिंग पॉलिसी ने एक पारेटो फ्रंटियर स्थापित किया जो सभी नॉन-ओरेकल बेसलाइन्स पर हावी रहा।
- बेसलाइन के साथ तुलना:
  - "Same Model" (फिक्स्ड मॉडल) और "Random" रूटिंग से बेहतर प्रदर्शन किया।
  - "Per-Category Best" (एक ओरेकल जो श्रेणी जानता है और श्रेणी के लिए सबसे अच्छा औसत मॉडल चुनता है) से बेहतर प्रदर्शन किया।
  - बनाम Zooter: ERP ने अधिक जटिल "Zooter" विधि (जो जीतने वाले मॉडल्स पर सॉफ्टमैक्स डिस्ट्रीब्यूशन की भविष्यवाणी करती है) के समान प्रदर्शन किया, लेकिन काफी कम प्रशिक्षण जटिलता के साथ।
- पेयरवाइज़ प्रेडिक्शन: जब दो मॉडल्स में से कौन जीतेगा इसकी भविष्यवाणी करने के लिए उपयोग किया गया, तो ERP ने पेयरवाइज़ प्रेफरेंस डेटा पर सीधे प्रशिक्षित लॉजिस्टिक रिग्रेशन के लगभग समान AUROC स्कोर प्राप्त किए।

5. महत्व और निहितार्थ (Significance and Implications)

इन्फरेंस में दक्षता: यह विधि इन्फरेंस के समय डायनेमिक, कॉस्ट-अवेयर मॉडल रूटिंग को सक्षम बनाती है। सिस्टम आसान प्रॉम्प्ट्स को छोटे, सस्ते मॉडल्स को और कठिन प्रॉम्प्ट्स को बड़े, महंगे मॉडल्स को रूट कर सकता है, वह भी तुलना करने के लिए कई मॉडल्स से प्रतिक्रिया उत्पन्न करने की लेटेंसी के बिना।
RLHF/एलाइनमेंट का सरलीकरण: ये निष्कर्ष बताते हैं कि प्रेफरेंस डिस्ट्रीब्यूशन सीखने के जटिल कार्य को अपेक्षित रिवॉर्ड डिस्ट्रीब्यूशन सीखने में सरल बनाया जा सकता है, बशर्ते रिवॉर्ड मॉडल सुव्यवस्थित (well-behaved) हो।
विस्तार क्षमता (Extensibility): यह दृष्टिकोण आसानी से विस्तार योग्य है। जैसे ही प्रोडक्शन पूल में नए मॉडल्स जोड़े जाते हैं, उन्हें केवल एक नया लीनियर प्रेडिक्टर प्रशिक्षित करके रूटिंग सिस्टम में एकीकृत किया जा सकता है, जिससे विशाल पेयरवाइज़ रिट्रेनिंग की आवश्यकता नहीं होती।
रिवॉर्ड मॉडल्स पर अंतर्दृष्टि: इस विधि की सफलता यह संकेत देती है कि आधुनिक रिवॉर्ड मॉडल्स, जो विविध डेटासेट पर प्रशिक्षित होते हैं, गुणवत्ता के एक सुसंगत "स्केल" को सीखे हुए हैं जो प्रॉम्प्ट्स के माध्यम से सामान्य होता है, न कि केवल सापेक्ष रैंकिंग को।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि एक्स्पेक्टेड रिवॉर्ड प्रेडिक्शन LLM परिनियोजन (deployment) को अनुकूलित करने के लिए एक मजबूत, सरल और स्केलेबल तकनीक है, जो प्रॉम्प्ट विश्लेषण और मॉडल चयन के बीच के अंतर को प्रभावी ढंग से पाटती है।