🤖 AI

How Often Should a Recommender Call an LLM? Value-Weighted Routing, Monitoring, and Seasonal Robustness

यह शोध पत्र "वैल्यू राउटर" (Value Router) को प्रस्तुत करता है, जो एक सिंथेटिक सिमुलेशन है जो यह प्रदर्शित करता है कि सस्ते ह्यूरिस्टिक्स और महंगे LLMs के बीच रूटिंग निर्णय कठिनाई के साथ-साथ अनुमानित व्यावसायिक मूल्य को भी प्राथमिकता देने चाहिए, जो यह प्रकट करता है कि मूल्य-भारित रणनीतियाँ सटीकता में महत्वपूर्ण सुधार करती हैं और यह उजागर करती है कि छिपे हुए विफलता मोड से बचने के लिए सीजनल रूप से अनुकूलन योग्य निगरानी की आवश्यकता है जो समग्र मेट्रिक्स द्वारा संचालित होते हैं।

मूल लेखक: Bhavtosh Rath

प्रकाशित 2026-07-29

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bhavtosh Rath

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं जिसके पास ईंधन की सीमित आपूर्ति है। आपके पास दो इंजन हैं: एक छोटा, अत्यंत कुशल थ्रस्टर जो लगभग कोई ईंधन नहीं खर्च करता लेकिन थोड़ा अनाड़ी है, और एक विशाल, गरजता हुआ मुख्य इंजन जो ईंधन की भारी खपत करता है लेकिन सबसे कठिन एस्टेरॉयड क्षेत्रों में भी पूर्ण सटीकता के साथ नेविगेट कर सकता है। आपका काम हर उस एस्टेरॉयड के लिए तय करना है जिसका आप सामना करते हैं, कि कौन सा इंजन चलाना है।

आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह बिल्कुल वही दुविधा है जिसका सामना बड़े लैंग्वेज मॉडल्स (LLMs) का उपयोग करने वाली कंपनियाँ करती हैं। ये मॉडल उस विशाल मुख्य इंजन की तरह हैं: वे अविश्वसनीय रूप से स्मार्ट हैं और जटिल समस्याओं को हल कर सकते हैं, लेकिन उन्हें चलाना महंगा, धीमा और बहुत अधिक कंप्यूटिंग पावर खर्च करने वाला है। दूसरी ओर, सरल, सस्ते "ह्यूरिस्टिक" नियम हैं—जैसे कि वह छोटा थ्रस्टर—जो तेज़ और मुफ्त हैं लेकिन अक्सर कठिन सवालों पर गलत हो जाते हैं। बड़ा सवाल इंजीनियरों के लिए यह है कि: हमें महंगे ईंधन का उपयोग कब करना चाहिए?

लंबे समय तक, मानक उत्तर सरल था: "केवल तब उपयोग करें जब समस्या वास्तव में कठिन लगे।" यदि AI सुनिश्चित नहीं है, तो महंगे मॉडल को चालू कर दें। लेकिन यह शोध बताता है कि "कठिनाई" ही एकमात्र चीज़ नहीं है जो मायने रखती है। यह तर्क देता है कि आपको यह भी विचार करना होगा कि "दांव पर क्या लगा है" (stakes)। एक छोटी, सस्ती वस्तु पर गलती होना कष्टप्रद हो सकता है, लेकिन दस लाख डॉलर की वस्तु पर गलती होना विनाशकारी हो सकता है। यह शोध एक नए तरीके की खोज करता है जिससे लागत का प्रबंधन किया जा सके, जिसमें यह देखा जाता है कि समस्या कितनी कठिन है और वह कितनी महत्वपूर्ण है, और साथ ही यह भी ध्यान रखा जाता है कि चीजें बहुत व्यस्त होने पर बजट का क्या होता है।

वैल्यू-राउटर की कहानी

यह शोध पत्र एक चतुर नई प्रणाली पेश करता है जिसे वैल्यू-राउटर (value-router) कहा जाता है। इसे एक बहुत ही विशिष्ट, महंगे क्लब (वह "धीमा रास्ता" जहाँ बड़ा AI रहता है) के बाउंसर के रूप में सोचें। आमतौर पर, यह बाउंसर लोगों को तभी अंदर आने देता है जब वे भ्रमित दिखते हैं या यदि प्रश्न वास्तव में कठिन होता है। लेकिन लेखकों ने महसूस किया कि एक भ्रमित व्यक्ति जो $4 का फोन केस पूछ रहा है, वह उस व्यक्ति से अलग है जो$ 2,000 की लेदर जैकेट के बारे में पूछ रहा है। दोनों भ्रमित हैं, लेकिन जैकेट वाला व्यक्ति व्यवसाय के लिए बहुत अधिक मूल्यवान है।

इसका परीक्षण करने के लिए, शोधकर्ताओं ने एक सिम्युलेटेड दुनिया (एक प्रकार का वीडियो गेम) बनाई जहाँ उन्होंने 2,000 नकली उत्पाद बनाए। उन्होंने यह सुनिश्चित किया कि सबसे लोकप्रिय आइटम (जैसे फोन केस) सस्ते थे, जबकि दुर्लभ आइटम (जैसे लग्जरी जैकेट) अविश्वसनीय रूप से महंगे थे। फिर उन्होंने यह देखने के लिए तीन अलग-अलग बाउंसर सेट किए कि कौन सबसे अच्छा काम करता है:

रैंडम बाउंसर (Random Bouncer): बस सिक्का उछालकर तय करता कि किसे अंदर जाने देना है।
डिफिकल्टी-ओनली बाउंसर (Difficulty-Only Bouncer): केवल तभी अंदर आने देता था जब प्रश्न कठिन दिखता था।
वैल्यू-वेटेड बाउंसर (Value-Weighted Bouncer): केवल तभी अंदर आने देता था जब प्रश्न कठिन और मूल्यवान दोनों हो।

बड़ा आश्चर्य:
परिणाम दिलचस्प थे। "वैल्यू-वेटेड" बाउंसर ने उन महत्वपूर्ण, उच्च-मूल्य वाले ग्राहकों को नहीं छोड़ा जिन्हें "डिफिकल्टी-ओनली" बाउंसर ने पकड़ा था (दोनों ने लगभग 60% कठिन, महंगे मामलों को पकड़ा)। हालांकि, वैल्यू-वेटेड बाउंसर सस्ते लेकिन कठिन आइटम्स पर समय बर्बाद न करने में बहुत बेहतर था। इसने 98.3% प्रिसिजन (precision) दर हासिल की, जिसका अर्थ है कि लगभग हर बार जब इसने किसी ग्राहक को महंगे AI के पास भेजा, तो वह ग्राहक वास्तव में इसके योग्य था। डिफिकल्टी-ओनली बाउंसर थोड़ा खराब था, जिसकी दर 94.3% थी, क्योंकि इसने कठिन-लेकिन-सस्ते आइटम्स पर महंगे संसाधनों को बर्बाद किया।

छिपा हुआ जाल: "अच्छा औसत" का झूठ

शोध पत्र ने फिर एक चालाक समस्या की गहराई से जांच की जिसे अधिकांश सिस्टम मिस कर देते हैं। कल्पना कीजिए कि आपके पास एक मौसम विज्ञानी है जो बारिश की भविष्यवाणी करता है। यदि आप पूरे वर्ष के लिए उसका रिकॉर्ड देखते हैं, तो वह 79% सटीक लग सकता है। यह सुनने में बहुत अच्छा लगता है! लेकिन क्या होगा यदि वह केवल गर्मियों में बारिश की भविष्यवाणी करने में अच्छा है और सर्दियों में बहुत खराब है?

शोधकर्ताओं ने पाया कि उनका "डिफिकल्टी एस्टिमेटर" (वह टूल जो अनुमान लगाता है कि प्रश्न कितना कठिन है) ठीक इसी जाल में फंस रहा था। जब उन्होंने पूरे कैटलॉग को देखा, तो वह टूल अच्छा काम करता हुआ प्रतीत हुआ। लेकिन जब उन्होंने इसे श्रेणियों (जैसे "लग्जरी" बनाम "कमोडिटी") में विभाजित किया, तो एक कठिन आइटम को आसान आइटम से बताने की टूल की क्षमता लगभग शून्य तक गिर गई। वह केवल श्रेणी के नाम के आधार पर अनुमान लगा रहा था, न कि वास्तविक आइटम के आधार पर। यह एक महत्वपूर्ण चेतावनी है: एक एकल औसत संख्या पर भरोसा न करें। आपको यह देखना होगा कि क्या आपका सिस्टम प्रत्येक समूह के लिए काम करता है, न कि केवल पूरी भीड़ के लिए।

ब्लैक फ्राइडे की भीड़ से बचना

अंत में, टीम ने पूछा: "क्या होता है जब स्टोर में पागलपन मच जाता है?" उन्होंने एक "ब्लैक फ्राइडे" शैली की घटना का अनुकरण किया जहाँ ट्रैफिक 2.5 गुना बढ़ गया, और अचानक, हर कोई सस्ते सामान के बजाय महंगे उपहार खरीद रहा था।

उन्होंने चार अलग-अलग बजट रणनीतियों का परीक्षण किया:

स्टैटिक (Static): एक निश्चित नियम जो बदलता नहीं है।
कैलेंडर-अवेयर (Calendar-Aware): एक नियम जो जानता है "हे, यह ब्लैक फ्राइडे है!" और मैन्युअल रूप से समायोजन करता है।
फिक्स्ड बजट (Fixed Budget): एक सख्त दैनिक खर्च सीमा (जैसे, "हम आज केवल $100 खर्च कर सकते हैं")।
इलास्टिक बजट (Elastic Budget): एक स्मार्ट नियम जो कहता है, "हम आज दिखने वाले आइटम्स के कुल मूल्य का एक प्रतिशत खर्च करेंगे।"

परिणाम नाटकीय थे। फिक्स्ड बजट रणनीति पूरी तरह से विफल रही। क्योंकि यह एक सामान्य दिन के लिए सेट की गई थी, यह भीड़ के दौरान तुरंत खत्म हो गई। इसने 70.1% उच्च-मूल्य वाले आइटम्स को मिस कर दिया, जिससे इसकी रिकॉल (recall) केवल 16.2% रह गई। यह एक चम्मच से स्विमिंग पूल भरने की कोशिश करने जैसा था।

इसके विपरीत, इलास्टिक बजट को यह जानने की भी आवश्यकता नहीं थी कि ब्लैक फ्राइडे है। इसने बस उस दिन आने वाले आइटम्स के कुल मूल्य को देखा और अपने खर्च की सीमा को स्वचालित रूप से समायोजित कर लिया। इसने बिना किसी विशेष "हॉलिडे मोड" निर्देशों के, असीमित सिस्टम के प्रदर्शन से मेल खाते हुए, इस उछाल को पूरी तरह से संभाला।

यह आपके लिए क्या मायने रखता है

शोध पत्र उन लोगों के लिए तीन सरल, शक्तिशाली विचार प्रस्तुत करता है जो AI सिस्टम बना रहे हैं:

केवल कठिनाई न देखें; मूल्य देखें। यदि एक गलती महंगी है, तो उसे अलग तरह से मानें, भले ही प्रश्न सबसे कठिन न हो।
अपने काम की जांच समूहों में करें। एक सिस्टम जो औसत रूप से अच्छा दिखता है, वह विशिष्ट उपयोगकर्ता समूहों के लिए बुरी तरह विफल हो सकता है। सच्चाई देखने के लिए हमेशा अपने डेटा को श्रेणियों में तोड़ें।
अपने बजट को सांस लेने दें। एक कठोर खर्च सीमा निर्धारित करने के बजाय, अपने बजट को अपने द्वारा किए जा रहे काम के मूल्य से जोड़ें। इस तरह, आपका सिस्टम बिना किसी मैन्युअल ट्यूनिंग के व्यस्त दिनों को स्वाभाविक रूप से संभाल सकता है।

ये सभी निष्कर्ष एक सिम्युलेटेड वातावरण से आए हैं, जिसका अर्थ है कि वे एक नियंत्रित, कंप्यूटर-जनरेटेड दुनिया में सिद्ध किए गए हैं, अभी तक वास्तविक दुनिया के स्टोर में नहीं। लेखक सावधानी बरतते हुए कहते हैं कि ये परीक्षण के लिए डिज़ाइन सिद्धांत हैं, भौतिकी के अंतिम नियम नहीं। लेकिन संदेश स्पष्ट है: मूल्य और सेगमेंट (वर्गों) पर ध्यान देकर, हम AI सिस्टम को स्मार्ट, सस्ता और अधिक मजबूत बना सकते हैं, भले ही दुनिया अराजक क्यों न हो जाए।

तकनीकी सारांश: मूल्य-भारित रूटिंग, निगरानी और मौसमी सुदृढ़ता (Value-Weighted Routing, Monitoring, and Seasonal Robustness)

समस्या विवरण
सस्ते ह्यूरिस्टिक्स (heuristics) और महंगे लार्ज लैंग्वेज मॉडल्स (LLMs) के बीच क्वेरीज़ को रूट करने वाली वर्तमान प्रणालियाँ आमतौर पर निर्णय को एक "कठिनाई" (difficulty) की समस्या के रूप में देखती हैं: कठिन मामलों को महंगे पथ पर भेजें। लेखक तर्क देते हैं कि यह फ्रेमिंग अधूरी है क्योंकि "कठिनाई" (निर्णय की अनिश्चितता) और "व्यावसायिक मूल्य" (गलती की लागत) दो अलग-अलग अक्ष (axes) हैं। एक ऐसी रूटिंग नीति जो केवल कठिनाई के लिए अनुकूलित (optimize) होती है, वह "कठिन-लेकिन-सस्ते" मदों (जैसे, एक कम-मूल्य वाला आइटम जो संदिग्ध है) पर महंगे इन्फरेंस संसाधनों को बर्बाद करती है, जबकि संभावित रूप से "कठिन-और-महंगे" मदों की सेवा करने में विफल रहती है। यह शोध पत्र प्रस्तावित करता है कि एक सुदृढ़ रूटिंग प्रणाली को कठिनाई के साथ-साथ 'मूल्य' को भी एक प्राथमिक निर्णय अक्ष के रूप में मानना चाहिए।

कार्यप्रणाली (Methodology)
यह शोध पत्र एक रिटेल मर्चेंडाइजिंग पाइपलाइन का एक पूर्णतः सिंथेटिक सिमुलेशन अध्ययन प्रस्तुत करता है। सिस्टम का मूल्यांकन तीन विशिष्ट चरणों (टियर्स) में किया गया है, जिसमें प्रयोगकर्ता द्वारा परिभाषित 'ग्राउंड ट्रुथ' (ground truth) का उपयोग किया गया है जो स्वयं रूटिंग लॉजिक से छिपा हुआ है।

कोर रूटिंग (टियर 1):
- सिम्युलेटर: पाँच श्रेणियों (कमोडिटी से लेकर लग्जरी तक) में 2,000 मदों का एक सिंथेटिक कैटलॉग बनाता है, जिसमें वॉल्यूम और वैल्यू के बीच विपरीत संबंध (inverse correlation) है (उच्च-वॉल्यूम श्रेणियों में प्रति-मद मूल्य कम होता है)।
- एस्टिमेटर्स (Estimators): दो एस्टिमेटर केवल अवलोकन योग्य क्षेत्रों (श्रेणी, मूल्य) पर कार्य करते हैं ताकि छिपे हुए ग्राउंड ट्रुथ का अनुमान लगाया जा सके: एक डिफिकल्टी स्कोरर (difficulty scorer) और एक वैल्यू एस्टिमेटर (value estimator)।
- रूटर: प्रस्तावित ValueWeighted रूटर किसी मद को धीमे (महंगे) पथ पर तभी भेजता है जब वह अनुमानित कठिनाई थ्रेशोल्ड ( $\tau_d$ ) और अनुमानित मूल्य थ्रेशोल्ड ( $\tau_v$ ) दोनों से ऊपर हो।
- बेसलाइन: इसकी तुलना एक DifficultyOnly रूटर (केवल कठिनाई पर थ्रेशोल्ड) और एक Random रूटर से की गई है।
निगरानी (टियर 2):
- एक निर्णय लॉगर (decision logger) और मॉनिटर पेश करता है जो समग्र मेट्रिक्स बनाम सेगमेंट-स्तरीय प्रदर्शन का विश्लेषण करता है।
- विशेष रूप से यह जांच करता है कि क्या समग्र अंशांकन (calibration) मेट्रिक्स विशिष्ट उप-जनसंख्याओं (श्रेणियों) के भीतर गलत अंशांकन (miscalibration) को छिपा देते हैं।
मौसमी सुदृढ़ता (टier 3):
- 30 दिनों की अवधि का अनुकरण करता है जिसमें "ब्लैक फ्राइडे-शैली" का मांग उछाल (2.5× वॉल्यूम, उच्च-मूल्य वाली श्रेणियों की ओर झुकाव) शामिल है।
- चार नीतियों की तुलना करता है:
  - Static (स्थिर): निश्चित थ्रेशोल्ड, मौसम से अप्रतिबंधित।
  - Calendar-aware (कैलेंडर-जागरूक): ज्ञात मौसमी बदलावों के आधार पर मैन्युअल रूप से समायोजित थ्रेशोल्ड।
  - Elastic Budget (लचीला बजट): दिन के अपने अनुमानित कुल मूल्य के एक अंश ( $\alpha$ ) के रूप में स्लो-पाथ बजट को सीमित करता है (कोई ग्राउंड ट्रुथ या सीजन ज्ञान नहीं)।
  - Fixed Budget (निश्चित बजट): सामान्य ट्रैफिक पर कैलिब्रेट किए गए एक स्थिर दैनिक आंकड़े पर खर्च को सीमित करता है।

मुख्य योगदान
शोध पत्र तीन विशिष्ट डिज़ाइन पैटर्न की पहचान करता है जो वर्तमान LLM रूटिंग साहित्य में कम उपयोग किए जाते हैं:

एक स्वतंत्र अक्ष के रूप में मूल्य (Value as an Orthogonal Axis): अनिश्चितता-आधारित रूटर में वैल्यू गेट जोड़ने से रिकॉल (recall) का त्याग किए बिना प्रिसिजन (precision) में सुधार होता है। सिमुलेशन में, ValueWeighted ने ~60% वास्तविक उच्च-मूल्य मदों के रिकॉल को बनाए रखते हुए 98.3% प्रिसिजन (बनाम 94.3% DifficultyOnly) प्राप्त किया। यह दर्शाता है कि मूल्य केवल कठिनाई का प्रॉक्सी नहीं है।
सेगमेंट-स्तर का अंशांकन एक नैदानिक के रूप में (Within-Segment Calibration as a Diagnostic): अध्ययन एक महत्वपूर्ण विफलता मोड को उजागर करता है जहाँ एक एस्टिमेटर समग्र रूप से अच्छी तरह से कैलिब्रेटेड (0.792 सहसंबंध) दिखाई देता है, लेकिन विशिष्ट श्रेणियों के भीतर इसकी विभेदन शक्ति लगभग शून्य हो जाती है। लेखक तर्क देते हैं कि रूटिंग प्रणालियों को पूरे डेटासेट के बजाय सेगमेंट के भीतर अंशांकन की निरंतर निगरानी करनी चाहिए।
लोड-अनुकूलित बजटिंग (Load-Adaptive Budgeting): "इलास्टिक बजट" नीति, जो रूटर के अपने रनिंग वैल्यू एस्थामेट्स के आधार पर महंगे-पथ के बजट को स्केल करती है, 2.5× मांग उछाल को स्वतः ही संभाल लेती है। यह "कैलेंडर-जागरूक" नीति (जिसके लिए स्पष्ट सीजन ज्ञान की आवश्यकता होती है) से बेहतर प्रदर्शन करती है और "फिक्स्ड बजट" नीतियों में देखे गए विनाशकारी रिकॉल ड्रॉप (70.1% $\to$ 16.2%) को रोकती है।

परिणाम

रूटिंग दक्षता: वैल्यू-वेटेड दृष्टिकोण ने DifficultyOnly बेसलाइन की तुलना में "कठिन-लेकिन-कम-मूल्य" वाले मदों पर काफी कम बजट बर्बाद किया।
अंशांकन विफलता (Calibration Failure): कठिनाई एस्टिमेटर का समग्र सहसंबंध 0.792 पाया गया, जो लगभग पूरी तरह से एक "बीच-कैटेगरी" प्रभाव था। प्रत्येक श्रेणी के भीतर, सहसंबंध $\approx 0$ तक गिर गया, जिसका अर्थ है कि एस्टिमेटर श्रेणी ज्ञात होने के बाद कठिन मदों को आसान मदों से अलग नहीं कर सका।
मौसमी सुदृढ़ता: मांग के उछाल के दौरान, फिक्स्ड बजट नीति के कारण उच्च-मूल्य रिकॉल 70.1% से गिरकर 16.2% हो गया। इलास्टिक बजट नीति ने बिना किसी स्पष्ट सीजन ज्ञान के, केवल दिन के अनुमानित मूल्य के साथ कैप को स्केल करके, 70.1% रिकॉल बनाए रखा।

महत्व और दायरा
लेखक स्पष्ट रूप से कहते हैं कि यह कार्य एक नियंत्रित सिंथेटिक वातावरण में किया गया एक डिज़ाइन अभ्यास (design exercise) है, न कि एक सत्यापित वास्तविक दुनिया का बेंचमार्क। विशिष्ट संख्यात्मक परिणाम (जैसे, 60% रिकॉल, 2.5× उछाल) सिंथेटिक कॉन्फ़िगरेशन के गुण हैं और उन्हें प्रोडक्शन-रेडी अनुमान नहीं माना जाना चाहिए।

इस शोध का महत्व यह प्रदर्शित करने में है कि सरल, मौजूदा संकेत (वैल्यू एस्टिमेट्स, सेगमेंट-लेवल ब्रेकडाउन, रनिंग टोटल्स) जटिल मॉडलिंग या निश्चित नियमों की तुलना में अधिक प्रभावी होते हैं। मुख्य तर्क यह है कि वर्तमान LLM रूटिंग सिस्टम वैल्यू-वेटिंग, सेगमेंट-कंडीशन्ड मॉनिटरिंग और लोड-एडेप्टिव बजटिंग का कम उपयोग करते हैं। निष्कर्ष बताते हैं कि रूटिंग लॉजिक में इन "प्रथम-श्रेणी" के अक्षों को जोड़ने से नई मॉडलिंग मशीनरी की आवश्यकता के बिना पर्याप्त दक्षता और सुदृढ़ता प्राप्त की जा सकती है।

सीमाएँ

परिणाम प्रति कॉन्फ़िगरेशन एक ही रैंडम सीड पर आधारित हैं; कोई वेरिएंस एनालिसिस या सिग्निफिकेंस टेस्टिंग नहीं की गई।
थ्रेशोल्ड हाथ से सेट किए गए हैं, लेबल किए गए डेटा से सीखे नहीं गए।
"मौसमी उछाल" एक चुना हुआ मल्टीप्लायर है, ऐतिहासिक डेटा पर आधारित नहीं है।
पाइपलाइन अभी तक क्रॉस-आइटम रीजनिंग (जैसे, बंडल के लिए साथी मदों का चयन करना) का समर्थन नहीं करती है।

वैल्यू-राउटर की कहानी

छिपा हुआ जाल: "अच्छा औसत" का झूठ

ब्लैक फ्राइडे की भीड़ से बचना

यह आपके लिए क्या मायने रखता है

तकनीकी सारांश: मूल्य-भारित रूटिंग, निगरानी और मौसमी सुदृढ़ता (Value-Weighted Routing, Monitoring, and Seasonal Robustness)

इसी तरह के और पेपर