📊 statistics

Reasoning Is Not Free: Robust Adaptive Cost-Efficient Routing for LLM-as-a-Judge

यह शोध पत्र RACER को प्रस्तुत करता है, जो एक वितरण रूप से सुदृढ़ अनुकूलन (distributionally robust optimization) समस्या को हल करके एक निश्चित बजट के तहत रीजनिंग और नॉन-रीजनिंग LLM जजों के बीच गतिशील रूप से चयन करने वाला एक सुदृढ़ अनुकूली रूटिंग ढांचा है, जिससे वितरण बदलावों (distribution shifts) को ध्यान में रखते हुए बेहतर सटीकता-लागत संतुलन प्राप्त होता है।

मूल लेखक: Wenbo Zhang, Lijinghua Zhang, Liner Xiang, Hengrui Cai

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Wenbo Zhang, Lijinghua Zhang, Liner Xiang, Hengrui Cai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक व्यस्त कॉल सेंटर के मैनेजर हैं। आपके पास ग्राहकों की शिकायतों को संभालने के लिए दो प्रकार के एजेंट उपलब्ध हैं:

"क्विक-थिंकर" (Quick-Thinker): एक ऐसा एजेंट जो तेज़ और स्वाभाविक उत्तर देता है। इन्हें चलाने में बहुत कम खर्च आता है (ये बहुत कम ऊर्जा का उपयोग करते हैं) और ये सरल प्रश्नों जैसे "आपके काम करने का समय क्या है?" के लिए बेहतरीन हैं।
"डीप-डाइवर" (Deep-Diver): एक ऐसा एजेंट जो सोचने में लंबा समय लेता है, अपने तर्क की चरण-दर-चरण प्रक्रिया लिखता है, और अपने काम की दोबारा जाँच करता है। इन्हें चलाना महंगा है (ये बहुत अधिक ऊर्जा का उपयोग करते हैं) लेकिन ये जटिल पहेलियों को हल करने में माहिर हैं जैसे "मेरा गणित का होमवर्क गलत क्यों है?" या "इस कोड को डीबग करें।"

लंबे समय तक, लोगों ने यह माना कि यदि आपके पास एक "डीप-डाइवर" एजेंट है, तो आपको हर चीज़ के लिए उन्हीं का उपयोग करना चाहिए ताकि सर्वोत्तम परिणाम मिल सकें। लेकिन यह पेपर, जिसका शीर्षक "रीज़निंग इज़ नॉट फ्री" (Reasoning Is Not Free) है, तर्क देता है कि यह पैसे की बर्बादी है।

यहाँ शोधकर्ताओं ने क्या पाया और इसे ठीक करने के लिए उन्होंने क्या बनाया, इसका सरल विवरण दिया गया है।

1. समस्या: "ओवरथिंकिंग" (ज़रूरत से ज़्यादा सोचना) महंगी है

शोधकर्ताओं ने इन दो प्रकार के एजेंटों (Large Language Models का उपयोग करके) का परीक्षण किया ताकि यह देखा जा सके कि अन्य AI उत्तरों की गुणवत्ता को आंकने में कौन बेहतर है।

निष्कर्ष: "डीप-डाइवर" एजेंट कठिन कार्यों (जैसे गणित और कोडिंग) के लिए वास्तव में बहुत बेहतर थे। हालाँकि, सरल कार्यों (जैसे यह जांचना कि कोई वाक्य विनम्र है या तथ्यात्मक) के लिए, "डीप-डाइवर" "क्विक-थिंकर" से बहुत बेहतर नहीं थे। वास्तव में, कभी-कभी "डीप-डाइवर" एक सरल प्रश्न पर ज़रूरत से ज़्यादा सोचने के कारण भ्रमित हो जाते हैं और गलती कर देते हैं।
लागत: "डीप-डाइवर" को हर बार बोलने के लिए चलाने की लागत काफी अधिक होती है।

उपमा (Analogy): कल्पना कीजिए कि आप एक विश्व प्रसिद्ध जासूस को उस मामले को सुलझाने के लिए नियुक्त करते हैं जहाँ संदिग्ध पहले से ही हाथ ऊपर करके कमरे में खड़ा है। जासूस सच तो खोज लेगा, लेकिन वह उस काम के लिए $1,000 चार्ज करेगा जिसे एक सुरक्षा गार्ड$ 10 में कर सकता था।

2. जाल: "स्टैटिक मैप" (स्थिर मानचित्र)

मौजूदा सिस्टम अक्सर इसे एक "राउटर" बनाकर हल करने की कोशिश करते हैं—एक मैनेजर जो यह तय करता है कि किस एजेंट का उपयोग करना है। लेकिन ये राउटर दुनिया के एक स्थिर मानचित्र (static map) पर प्रशिक्षित होते हैं। वे सीखते हैं: "यदि प्रश्न X जैसा दिखता है, तो डीप-डाइवर का उपयोग करें।"

समस्या यह है कि वास्तविक दुनिया बदलती रहती है। एक राउटर जो "आसान" प्रश्नों पर प्रशिक्षित है, उसे "कठिन" वातावरण (या इसके विपरीत) में भेजा जा सकता है और वह बुरी तरह विफल हो सकता है। यह एक सरल प्रश्न को महंगे जासूस के पास भेज सकता है, जिससे पैसा बर्बाद होता है, या एक जटिल गणित की समस्या को क्विक-थिंकर के पास भेज सकता है, जिससे गलत उत्तर मिलता है।

उपमा: यह एक GPS ऐप का उपयोग करने जैसा है जो केवल 2020 के ट्रैफिक के लिए अपडेट किया गया था। यदि आप 2026 में गाड़ी चलाने की कोशिश करते हैं, तो ऐप आपको ऐसे रास्ते पर भेज सकता है जहाँ अब निर्माण कार्य चल रहा है, जिससे ट्रैफिक जाम (या इस मामले में, बजट विस्फोट) हो सकता है।

3. समाधान: RACER (स्मार्ट, अनुकूलन योग्य मैनेजर)

लेखकों ने RACER (Robust Adaptive Cost-Efficient Routing) नामक एक नया सिस्टम प्रस्तावित किया है। RACER को एक सुपर-स्मार्ट मैनेजर के रूप में समझें जो केवल एक स्थिर मानचित्र का पालन नहीं करता है बल्कि अप्रत्याशित परिस्थितियों के लिए भी तैयार रहता है।

यह कैसे काम करता है: RACER एक प्रश्न को देखता है और पूछता है, "क्या यह एक 'डीप-डाइवर' का काम है या 'क्विक-थिंकर' का?"
"रोबस्ट" (मजबूत) वाला हिस्सा: RACER अप्रत्याशित चीजों की उम्मीद करने के लिए प्रशिक्षित है। यह मानता है कि जिन प्रश्नों का यह सामना करेगा, वे बदल सकते हैं (एक "डिस्ट्रीब्यूशन शिफ्ट")। यह सबसे खराब स्थिति की योजना बनाता है। यदि प्रश्न अचानक कठिन या महंगे हो जाते हैं, तो RACER घबराएगा नहीं; यह बजट का पालन करते हुए सर्वोत्तम उत्तर देने की कोशिश करेगा।
"एडैप्टिव" (अनुकूलन योग्य) वाला हिस्सा: यह विशिष्ट प्रश्न और बजट में बचे पैसे के आधार पर सस्ते और महंगे एजेंटों के बीच गतिशील रूप से स्विच करता है।

उपमा: RACER एक अनुभवी टूर गाइड की तरह है जो जानता है कि मौसम बदल सकता है। यदि समूह समतल ज़मीन पर चल रहा है, तो वे तेज़ चलते हैं (क्विक-थिंकर)। यदि वे सामने एक खड़ी पहाड़ी देखते हैं, तो वे धीमी, सावधानी भरी गति अपनाते हैं (डीप-डाइवर)। लेकिन यदि मानचित्र कहता है कि पहाड़ एक चट्टान बन सकता है, तो गाइड सुरक्षा के लिए रस्सी तैयार रखता है, ताकि यह सुनिश्चित हो सके कि समूह बजट की चट्टान से नीचे न गिरे।

4. परिणाम

शोधकर्ताओं ने अन्य तरीकों के मुकाबले RACER का परीक्षण किया:

हमेशा डीप-डाइवर का उपयोग करना: बहुत महंगा।
हमेशा क्विक-थिंकर का उपयोग करना: कठिन कार्यों पर बहुत अधिक गलतियाँ।
पुराने राउटर तरीके: प्रशिक्षण डेटा पर अच्छा काम किया लेकिन जब प्रश्न बदले (डिस्ट्रीब्यूशन शिफ्ट), तो वे विफल हो गए।
RACER: इसने कठिन कार्यों पर डीप-डाइवर की उच्च सटीकता प्राप्त की और साथ ही आसान कार्यों पर भारी मात्रा में पैसा बचाया। महत्वपूर्ण रूप से, जब प्रश्न अप्रत्याशित रूप से बदले, तो RACER ने अच्छा प्रदर्शन जारी रखा, जबकि अन्य विफल हो गए।

सारांश

यह पेपर दावा करता है कि तर्क (reasoning) एक शक्तिशाली उपकरण है, लेकिन यह मुफ्त नहीं है। आपको अखरोट तोड़ने के लिए हथौड़े का उपयोग नहीं करना चाहिए। लेखकों ने एक स्मार्ट सिस्टम (RACER) बनाया है जो जानता है कि कब हथौड़े का उपयोग करना है और कब अखरोट तोड़ने वाले यंत्र (nutcracker) का, भले ही आपको दिए जाने वाले अखरोटों के प्रकार अचानक बदल जाएं। यह पैसे बचाता है और यह सुनिश्चित करता है कि चाहे दिन कैसा भी हो, आपको सही उत्तर मिले।

तकनीकी सारांश: रीजनिंग मुफ्त नहीं है: LLM-as-a-Judge के लिए सुदृढ़ अनुकूलन योग्य लागत-कुशल रूटिंग (RACER)

समस्या विवरण

स्वचालित मूल्यांकन (LLM-as-a-Judge) के रूप में लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग मानव मूल्यांकन के एक स्केलेबल विकल्प के रूप में उभरा है। साथ ही, रीजनिंग-क्षम LLMs (वे मॉडल जो उत्तर देने से पहले स्पष्ट रीजनिंग चेन उत्पन्न करते हैं) ने समस्या-समाधान कार्यों में बेहतर प्रदर्शन दिखाया है। हालांकि, यह स्पष्ट नहीं है कि क्या ये रीजनिंग क्षमताएं जजमेंट (निर्णय) कार्यों में प्रभावी रूप से स्थानांतरित होती हैं, और न ही लागत-लाभ के व्यापार-बंद (trade-off) को अच्छी तरह समझा गया है।

यह शोध पत्र तीन मुख्य चुनौतियों की पहचान करता है:

रीजनिंग का विषम मूल्य (Heterogeneous Value of Reasoning): जबकि रीजनिंग जटिल कार्यों (जैसे गणित, कोडिंग) पर सटीकता में सुधार करती है, यह सरल मूल्यांकनों (जैसे तथ्यात्मक रिकॉल, सुरक्षा) पर मामूली या नकारात्मक लाभ प्रदान करती है, जबकि टोकन खपत के कारण काफी अधिक कम्प्यूटेशनल लागत भी उठाती है।
वितरण बदलाव (Distribution Shift): मौजूदा रूटिंग विधियां, जो अपेक्षित प्रदर्शन के आधार पर रीजनिंग और नॉन-रीजनिंग मोड के बीच चयन करती हैं, आमतौर पर स्थिर डेटासेट पर प्रशिक्षित होती हैं। वे अक्सर आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डेटा पर विफल हो जाती हैं जहाँ उपयोगकर्ता क्वेरी और लागत संरचना बदल जाती है, जिससे बजट उल्लंघन या उप-इष्टतम जज चयन होता है।
सैद्धांतिक गारंटी का अभाव: पूर्ववर्ती रूटिंग रणनीतियां काफी हद तक अनुभवजन्य (empirical) और ह्यूरिस्टिक हैं, जिनमें औपचारिक अभिसरण गारंटी (convergence guarantees) या इष्टतम रूटिंग नीति के लिए विशिष्टता प्रमाणों (uniqueness proofs) की कमी है।

कार्यप्रणाली: RACER

लेखक Robust Adaptive Cost-Efficient Routing (RACER) प्रस्तावित करते हैं, जो एक निश्चित कम्प्यूटेशनल बजट के तहत वितरण बदलाव (distribution shift) को ध्यान में रखते हुए, रीजनिंग और नॉन-रीजनिंग जजों के बीच गतिशील रूप से चयन करने वाला एक फ्रेमवर्क है।

1. बाधाबद्ध वितरण रूप से सुदृढ़ अनुकूलन (Constrained Distributionally Robust Optimization) के रूप में सूत्रीकरण

RACER राउटर लर्निंग को एक बाधाबद्ध अनुकूलन समस्या के रूप में सूत्रित करता है। मान लीजिए कि $\pi$ एक रूटिंग नीति है जो प्रॉम्प्ट-रिस्पॉन्स टुपल $z$ को रीजनिंग मोड ( $a=1$ ) या नॉन-रीजनिंग मोड ( $a=0$ ) चुनने की संभावना में मैप करती है। उद्देश्य एक लागत बाधा $C$ के अधीन अपेक्षित रिवॉर्ड (जजमेंट सटीकता) को अधिकतम करना है।

वितरण बदलाव को संबोधित करने के लिए, समस्या को एक डिस्ट्रीब्यूशनली रोबस्ट ऑप्टिमाइज़ेशन (DRO) समस्या के रूप में पुनर्गठित किया गया है, जो कुलबैक-लीब्लर (KL) डाइवर्जेंस अनिश्चितता सेट $U(\rho_n, \delta) = \{ \tilde{\rho} : D_{KL}(\tilde{\rho} \| \rho_n) \le \delta \}$ का उपयोग करता है:

$\begin{aligned} \max_{\pi \in \Pi} \quad & \min_{\tilde{\rho} \in U(\rho_n, \delta)} \mathbb{E}_{(z,l) \sim \tilde{\rho}, a \sim \pi} [r(z, a, l)] \\ \text{s.t.} \quad & \max_{\tilde{\rho} \in U(\rho_n, \delta)} \mathbb{E}_{(z,l) \sim \tilde{\rho}, a \sim \pi} [c(z, a)] \le C \end{aligned}$

यहाँ, $r$ रिवॉर्ड (सटीकता) को दर्शाता है और $c$ लागत (टोकन खपत) को दर्शाता है। यह सूत्रीकरण अनिश्चितता सेट के भीतर सबसे खराब स्थिति वाले रिवॉर्ड और सबसे खराब स्थिति वाली लागत के लिए स्पष्ट रूप से अनुकूलन करता है, जो डेटा वितरण में बदलाव के विरुद्ध सुदृढ़ता सुनिश्चित करता है।

2. प्रिमल-डुअल अपडेट के माध्यम से सुलभ एल्गोरिदम

गैर-पैरामीट्रिक प्रकृति के कारण सीधे मिन्-मैक्स (min-max) समस्या को हल करना चुनौतीपूर्ण है। लेखक एक प्रमेय का लाभ उठाते हैं जो दिखाता है कि KL बॉल के भीतर सबसे खराब स्थिति वाले वितरण को डेटा को रीवेट (reweight) करके अनुमानित किया जा सकता है:

रिवॉर्ड मिनिमाइजेशन (सबसे खराब रिवॉर्ड) के लिए, कम बेसलाइन रिवॉर्ड वाले नमूनों को अधिक भार दिया जाता है।
कॉस्ट मैक्सिमाइजेशन (सबसे खराब लागत) के लिए, उच्च बेसलाइन लागत वाले नमूनों को अधिक भार दिया जाता है।

यह रोबस्ट ऑब्जेक्टिव को एक रीवेटेड एम्पिरिकल ऑब्जेक्टिव में बदलने की अनुमति देता है। लेखक एक रेगुलराइज्ड लैग्रेंजियन $L_\beta(\pi, \lambda)$ पेश करते हैं जिसमें अन्वेषण (exploration) को प्रोत्साहित करने और अभिसरण सुनिश्चित करने के लिए एंट्रॉपी रेगुलराइजेशन $H(\pi)$ शामिल है। समाधान एक प्रिमल-डुअल एल्गोरिदम के माध्यम से प्राप्त किया जाता है:

प्रिमल अपडेट: नीति $\pi$ को रीवेटेड रिवॉर्ड को घटाकर, लैग्रेंज मल्टीप्लायर के समय रीवेटेड कॉस्ट और एक एंट्रॉपी टर्म को जोड़कर अधिकतम करने के लिए अपडेट किया जाता है।
डुअल अपडेट: लागत बाधा को लागू करने के लिए लैग्रेंज मल्टीप्लायर $\lambda$ को ग्रेडिएंट एसेंट के माध्यम से अपडेट किया जाता है।

3. सैद्धांतिक गारंटी

यह पेपर LLM रूटिंग नीतियों के लिए पहला सैद्धांतिक विश्लेषण प्रदान करता है, जो सिद्ध करता है:

अस्तित्व और विशिष्टता: मानक अभेद्यता (convexity) धारणाओं के तहत, रेगुलराइज्ड लैग्रेंजियन का सैडल पॉइंट मौजूद है और अद्वितीय है।
रैखिक अभिसरण (Linear Convergence): प्रिमल-डुअल इटरेट (iterates) इष्टतम नीति की ओर रैखिक दर पर अभिसरित होते हैं, जो लागत सीमा, घनत्व अनुपात सीमा और रेगुलराइजेशन पैरामीटर पर निर्भर करता है।

मुख्य परिणाम

रीजनिंग बनाम नॉन-रीजनिंग पर अनुभवजन्य निष्कर्ष

कार्य निर्भरता: बेंचमार्क (JUDGEBENCH, REWARDBENCH) पर नियंत्रित तुलनाएं प्रकट करती हैं कि रीजनिंग जज गणित और कोडिंग कार्यों पर नॉन-रीजनिंग जजों की तुलना में काफी बेहतर प्रदर्शन करते हैं (जहाँ मध्यवर्ती चरण सत्यापन महत्वपूर्ण है)।
घटते प्रतिफल (Diminishing Returns): सुरक्षा और ज्ञान संबंधी कार्यों पर, रीजनिंग सीमित लाभ प्रदान करती है या "ओवरथिंकिंग" और अप्रासंगिक कारकों को पेश करके प्रदर्शन को खराब कर सकती है।
लागत: रीजनिंग काफी अधिक टोकन लागत (उदाहरण के लिए, मॉडल और डेटासेट के आधार पर 3.4x से 11.2x तक का लागत अनुपात) लेती है।

RACER का प्रदर्शन

सटीकता-लागत व्यापार-बंद (Accuracy-Cost Trade-off): RACER, बेसलाइन्स (All-Instruct, All-Reasoning, Random routing, और अन्य उन्नत राउटर जैसे RouterBench-KNN और RouteLLM-MF) की तुलना में बेहतर सटीकता-लागत व्यापार-बंद प्राप्त करता है।
OOD के प्रति सुदृढ़ता: उन प्रयोगों में जहाँ प्रशिक्षण और परीक्षण वितरण भिन्न होते हैं (जैसे, Magpie Ultra/WildGuardWildMix पर प्रशिक्षण और OffsetBias या मानक बेंचमार्क पर परीक्षण), RACER वहां प्रदर्शन बनाए रखता है जहां गैर-सुदृढ़ बेसलाइन्स विफल हो जाते हैं।
- जब OOD क्वेरीज़ को कम गणना की आवश्यकता होती है, तो RACER-R (रिवॉर्ड-रोबस्ट) उपलब्ध बजट का उपयोग करके सटीकता को अधिकतम करता है।
- जब OOD क्वेरीज़ को अधिक गणना की आवश्यकता होती है, तो RACER-C (कॉस्ट-रोबस्ट) बजट उल्लंघन को रोकता है, और उन स्थानों पर विश्वसनीयता बनाए रखता है जहाँ अन्य विधियाँ विफल हो जाती हैं।
मॉडल सामान्यीकरण: यह विधि विभिन्न मॉडल स्केल्स (1.7B, 4B, 8B) और मॉडल परिवारों (Qwen3, Llama-3.1) में सामान्य होती है, जो निश्चित बजट के तहत सटीकता में 0.6 से 1.1 प्रतिशत अंक तक लगातार बेसलाइन्स को पछाड़ती है।

महत्व और दावे

यह पेपर दावा करता है कि यह पहला है जिसने:

व्यवस्थित रूप से उन स्थितियों का वर्णन किया है जिनके तहत रीजनिंग क्षमताएं समस्या-समाधान से जजमेंट कार्यों में स्थानांतरित होती हैं, यह उजागर करते हुए कि रीजनिंग सार्वभौमिक रूप से फायदेमंद नहीं है और इसका उपयोग चुनिंदा रूप से किया जाना चाहिए।
एक एकीकृत फ्रेमवर्क (RACER) प्रस्तावित किया है जो बाधाबद्ध वितरण रूप से सुदृढ़ अनुकूलन के माध्यम से सटीकता-लागत व्यापार-बंद और वितरण बदलाव के प्रति सुदृढ़ता को संयुक्त रूप से संबोधित करता है।
LLM रूटिंग के लिए पहली सैद्धांतिक गारंटी प्रदान की है, विशेष रूप से इष्टतम नीति की विशिष्टता और लर्निंग एल्गोरिदम के रैखिक अभिसरण को सिद्ध किया है।
प्रदर्शित किया है कि अनुकूलित रूटिंग (adaptive routing) उन उदाहरणों के लिए रीजनिंग संसाधनों को प्रभावी ढंग से आवंटित कर सकती है जहाँ वे उच्चतम सीमांत लाभ (marginal benefit) देते हैं, जिससे केवल समग्र रीजनिंग दर बढ़ाने की तुलना में बेहतर प्रदर्शन प्राप्त होता है।

लेखक RACER को मानव मूल्यांकन के पूरक के रूप में देखते हैं, जो महंगे रीजनिंग मॉडलों के अंधाधुंध अनुप्रयोग से बचकर गणना के अधिक कुशल और टिकाऊ उपयोग को बढ़ावा देता है। वे सीमाओं को स्वीकार करते हुए कहते हैं कि अत्यधिक बड़े अनिश्चितता सेट रूढ़िवादी (conservative) रूटिंग को प्रेरित कर सकते हैं, और भविष्य के कार्य के रूप में इस फ्रेमवर्क को समृद्ध रूटिंग स्कीमों तक विस्तारित करने का सुझाव देते हैं।