💬 NLP

Not All Tokens Are Equal: Inflation-Aware Routing for Agentic LLM Systems

यह शोध पत्र InflationAgent प्रस्तुत करता है, जो एक नवीन रूटिंग फ्रेमवर्क है जो CoT Branching Entropy के माध्यम से वर्कफ़्लो-स्तरीय लागतों का पूर्वानुमान लगाकर और Semantic Exchange Rate के माध्यम से मॉडल चयन को अनुकूलित करके एजेंटिक LLM सिस्टम में "टोकन इन्फ्लेशन" अंतराल को संबोधित करता है, जिससे FrugalGPT जैसे मौजूदा तरीकों की तुलना में कम टोकन के साथ उच्च सटीकता प्राप्त होती है।

मूल लेखक: Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong

प्रकाशित 2026-08-17

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Heming Fu, Shan Lin, Qianqian Xie, Guojun Xiong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप रोबोटों के एक बेड़े (fleet) के लिए एक डिलीवरी सेवा चला रहे हैं। कुछ रोबोट बहुत छोटे, तेज़ और चलाने में सस्ते होते हैं, लेकिन वे कभी-कभी भ्रमित हो जाते हैं और पैकेज गिरा देते हैं। अन्य विशाल, अत्यंत बुद्धिमान और महंगे होते हैं, लेकिन वे लगभग कभी गलती नहीं करते। आर्टिफिशियल इंटेलिजेंस की दुनिया में, ये रोबोट "लार्ज लैंग्वेज मॉडल्स" (LLMs) हैं। वे चैटबॉट्स और कोडिंग असिस्टेंट के पीछे का दिमाग हैं। आमतौर पर, जब हम कोई सवाल पूछते हैं, तो हम बस उसे एक रोबोट के पास भेजते हैं और जवाब का इंतज़ार करते हैं। लेकिन वास्तविक दुनिया में, चीजें उलझ जाती हैं। यदि छोटा रोबोट गलत करता है, तो एक स्मार्ट सिस्टम हार नहीं मानता; वह रोबोट को फिर से कोशिश करने के लिए कहता है। वह बड़े रोबोट को बीच में आने के लिए भी कह सकता है। इसे एक "एजेंटिक सिस्टम" (agentic system) कहा जाता है—एक समस्या को हल करने के लिए मिलकर काम करने वाले AI एजेंटों की एक टीम।

समस्या यह है कि हम इन डिलीवरी की लागत का हिसाब गलत लगा रहे हैं। हम केवल एक यात्रा की कीमत गिन रहे हैं, यह भूलकर कि यदि रोब सहित दुर्घटनाग्रस्त हो जाता है और उसे दोबारा प्रयास करने के लिए वापस वेयरहाउस जाना पड़ता है, तो हम पूरे राउंड ट्रिप के लिए भुगतान कर रहे हैं, न कि केवल एक तरफ के टिकट के लिए। यह पेपर इन AI टीमों को प्रबंधित करने का एक नया तरीका है ताकि हम गलत रोबोट को ऐसे काम पर भेजकर अनजाने में अपने बजट को खत्म न कर दें जिसके लिए कई बार पुनः प्रयास (retries) की आवश्यकता हो।

"फिर से कोशिश करें" की छिपी हुई लागत

कल्पना कीजिए कि आप एक कार्निवल में गेम बूथ पर हैं। आपके पास खेलने के लिए सीमित राशि (टोकन) है। आप एक सस्ता, जर्जर मशीन चुन सकते है जिसकी लागत प्रति प्रयास $1 है, या एक शानदार, हाई-टेक मशीन चुन सकते हैं जिसकी लागत प्रति प्रयास$ 10 है।

पुराना तरीका सरल था: "सस्ती मशीन $1 की है, इसलिए मैं उसे चुनूँगा!" लेकिन यहाँ एक पेंच है: सस्ती मशीन पेचीदा है। यदि आप उससे कोई कठिन प्रश्न पूछते हैं, तो वह गलत हो सकती है। इसलिए, आपको दूसरी बार प्रयास करने के लिए फिर से$ 1 देना होगा। और तीसरी बार। और चौथी बार। जब तक आप अंततः सही उत्तर प्राप्त करते हैं, आपने सस्ती मशीन पर $5 खर्च कर दिए होंगे। इस बीच, शानदार मशीन पहली बार में ही$ 10 में सही उत्तर दे देती।

यह पेपर इस छिपी हुई अतिरिक्त लागत को "टोकन इन्फ्लेशन" (Token Inflation) कहता है। यह उस अंतर को दर्शाता है जो आप सोचते हैं कि आप चुका रहे हैं (एक प्रयास) और जो आप वास्तव में चुकाते हैं (पाँच प्रयास)। लेखकों ने पाया कि कठिन कार्यों के लिए, यह इन्फ्लेशन बहुत बड़ा हो सकता है। एक छोटा, सस्ता मॉडल उम्मीद से 4.25 गुना अधिक महंगा पड़ सकता है क्योंकि वह बार-बार विफल होता है और उसे पुनः प्रयासों की आवश्यकता होती है।

नई रणनीति: "इन्फ्लेशन एजेंट" (InflationAgent)

शोधकर्ताओं ने इसे ठीक करने के लिए InflationAgent नामक एक नया सिस्टम बनाया है। केवल एक प्रयास की कीमत देखने के बजाय, यह सिस्टम एक चतुर कार्निवल मैनेजर की तरह काम करता है जिसे पता है कि कौन सी मशीनें खराब होने की संभावना रखती हैं।

यह कैसे काम करता है, चरण-दर-चरण:

1. "गट चेक" (CoT ब्रांचिंग एंट्रॉपी)
सिस्टम द्वारा किसी रोबोट से समस्या हल करने के लिए पूछने से पहले ही, यह एक त्वरित, मुफ्त परीक्षण करता है। यह एक छोटे, स्थानीय रोबोट से समस्या के बारे में तीन अलग-अलग बार सोचने के लिए कहता है।

यदि रोबोट तीनों बार एक ही उत्तर देता है, तो सिस्टम जान जाता है कि समस्या आसान है।
यदि रोबोट तीन बिल्कुल अलग, भ्रमित उत्तर देता है, तो सिस्टम जान जाता है कि समस्या कठिन है और रोबोट के एक लूप में फंसने की संभावना है।
लेखक इस माप को CoT ब्रांचिंग एंट्रॉपी (CoT Branching Entropy) कहते हैं। यह कुछ भी अतिरिक्त खर्च किए बिना होता है क्योंकि यह एक स्थानीय कंप्यूटर पर होता है, न कि महंगे क्लाउड सर्वर पर।

2. "प्राइस टैग" कैलकुलेटर
उस "गट चेक" का उपयोग करके, सिस्टम भविष्यवाणी करता है कि "इन्फ्लेशन" कितना होगा। यह केवल अनुमान नहीं लगाता; यह एक छोटे, स्मार्ट कैलकुलेटर (एक मशीन लर्निंग मॉडल) का उपयोग करता है जिसे पिछले डेटा पर प्रशिक्षित किया गया है। यह भविष्यवाणी करता है: "यदि हम यह कठिन प्रश्न छोटे रोबोट को भेजते हैं, तो यह संभवतः 3 बार विफल होगा, इसलिए वास्तविक लागत 3x कीमत होगी।"

3. "बेस्ट डील" सेलेक्टर
अब सिस्टम सेमेंटिक एक्सचेंज रेट (Semantic Exchange Rate - SER) की गणना करता है। यह एक शानदार तरीके से पूछने जैसा है: "मैं वास्तव में खर्च किए गए प्रत्येक डॉलर के लिए कितनी सटीकता प्राप्त करता हूँ?"

यदि छोटा रोबोट सस्ता है लेकिन 4 बार विफल होगा, तो उसका "डील" बहुत खराब है।
यदि बड़ा रोबोट महंगा है लेकिन पहली बार में ही सही उत्तर देगा, तो उसका "डील" वास्तव में बेहतर हो सकता है।
सिस्टम उस रोबोट को चुनता है जो सबसे अच्छी वैल्यू देता है, न कि केवल सबसे सस्ती अंकित कीमत (sticker price) वाला।

4. "फ्रेश स्टार्ट" नियम
यह सबसे महत्वपूर्ण ट्रिक है। यदि सिस्टम किसी रोबोट को एक प्रश्न भेजता है और वह विफल हो जाता है, और फिर यह एक बड़े, स्मार्ट रोबोट पर जाने का निर्णय लेता है, तो यह पुराते विफल प्रयास को फेंक देता है।
शोधकर्ताओं ने कुछ आश्चर्यजनक खोजा: यदि आप बड़े रोबोट को छोटे रोबोट के विफल प्रयास के उलझे हुए, भ्रमित नोट्स दिखाते हैं, तो बड़ा रोबोट भी भ्रमित हो जाता है! यह एक प्रतिभाशाली छात्र को संघर्ष कर रहे छात्र के बिखरे हुए नोट्स दिखाने जैसा है; प्रतिभाशाली छात्र भी खुद पर संदेह करने लग सकता है।
बड़े रोबोट को एक फ्रेश प्रॉम्प्ट (fresh prompt) (एक साफ स्लेट) देकर, सिस्टम सटीकता को उच्च रखता है। यदि उन्होंने विफल नोट्स को आगे बढ़ाया होता, तो कठिन प्रश्नों पर बड़े रोबोट की सटीकता 34.8 प्रतिशत अंक गिर जाती।

उन्होंने क्या पाया

टीम ने गणितीय समस्याओं (GSM8K) और कठिन सामान्य ज्ञान (HotpotQA) पर इनका परीक्षण किया। यहाँ क्या हुआ:

इन्फ्लेशन वास्तविक है: कठिन ट्रिविया प्रश्नों पर, छोटे मॉडल (Qwen2.5-7B) की इन्फ्लेशन दर 4.25× थी। इसका मतलब था कि आप जितना खर्च करने की सोचते थे, वास्तव में आप $4.25 खर्च कर रहे थे क्योंकि रोबोट बार-बार विफल हो रहा था।
कम पैसे में बेहतर परिणाम: जब उन्होंने एक निश्चित बजट (एक सख्त सीमा) निर्धारित किया, तो उनके नए सिस्टम (InflationAgent) ने 94.7% उत्तर सही दिए। पुराने लोकप्रिय तरीके (FrugalGPT) ने केवल 91.0% सही दिए।
टोकन की बचत: उसी 91.0% सटीकता को प्राप्त करने के लिए जो पुराना तरीका हासिल करता था, नए सिस्टम ने 31% कम टोकन का उपयोग किया। यह एक बड़ी बचत है।
"अधिक प्रयासों" का खतरा: उन्होंने पाया कि केवल छोटे रोबोट को अधिक बार प्रयास करने का मौका देने (10 बार तक) से हमेशा फायदा नहीं होता। एक निश्चित बिंदु के बाद, रोबोट अपने पिछले विफलताओं से भ्रमित हो जाता है, और इसकी सटीकता वास्तव में कम हो जाती है। कभी-कभी, दीवार में सिर टकराने के बजाय एक स्मार्ट रोबोट पर स्विच करना बेहतर होता है।

मुख्य निष्कर्ष

यह पेपर दिखाता है कि AI की दुनिया में, "सस्ता" हमेशा सस्ता नहीं होता है। यदि किसी मॉडल के विफल होने और बार-बार प्रयास करने की संभावना है, तो वह महंगा और अक्षम हो जाता है। यह मापकर कि मॉडल के फंसने की कितनी संभावना है (एंट्रॉपी का उपयोग करके) और एक स्मार्ट मॉडल पर स्विच करते समय एक नई शुरुआत करके, हम पैसा बचा सकते हैं और बेहतर उत्तर प्राप्त कर सकते हैं।

लेखक विशिष्ट गणित और ट्रिविया डेटासेट के साथ अपने परीक्षणों के आधार पर इन परिणामों के प्रति आश्वस्त हैं। वे सुझाव देते हैं कि हालांकि यह तर्क (reasoning) कार्यों के लिए बहुत अच्छा काम करता है, हमें अभी भी यह पता लगाने की आवश्यकता है कि इसे अधिक खुले संवादों या टूल्स पर कैसे लागू किया जाए। लेकिन फिलहाल के लिए, उन्होंने साबित कर दिया है कि थोड़ी सी स्मार्ट प्लानिंग AI बजट को अनियंत्रित होने से बचाने के लिए बहुत काम आती है।

तकनीकी सारांश: सभी टोकन समान नहीं होते: एजेंटिक LLM सिस्टम के लिए इन्फ्लेशन-अवेयर राउटिंग

समस्या विवरण

आधुनिक एजेंटिक सिस्टम जो लार्ज लैंग्वेज मॉडल्स (LLMs) पर आधारित हैं, अक्सर तब रिट्राई (retry) तंत्र का उपयोग करते हैं जब कोई मॉडल किसी प्रश्न का सही उत्तर देने में विफल रहता है या अधूरा रीजनिंग चेन (reasoning chain) उत्पन्न करता है। जबकि मौजूदा राउटिंग सिस्टम (जैसे FrugalGPT, RouteLLM) एकल कॉल (single call) के प्रति टोकन मूल्य के आधार पर लागत को अनुकूलित करते हैं, वे रिट्राइज़ की संचयी लागत (cumulative cost) को समझने में विफल रहते हैं।

लेखक टोकन इन्फ्लेशन (Token Inflation) को वास्तविक वर्कफ़्लो लागत (सभी रिट्राइज़ सहित) और अनुमानित एकल-कॉल लागत के अनुपात के रूप में परिभाषित करते हैं:
$\text{Inflation}(m, x) = \frac{C_{\text{true}}(m, x)}{C_{\text{direct}}(m, x)}$
जहाँ $C_{\text{true}}$ सफलता (या रिट्राइज़ की समाप्ति) तक $k^*$ प्रयासों में खपत किए गए टोकन का योग है, और $C_{\text{direct}}$ एक एकल प्रयास के टोकन की संख्या है।

शोध यह प्रदर्शित करता है कि यह इन्फ्लेशन नगण्य नहीं है और अत्यधिक परिवर्तनशील है। कठिन मल्टी-हॉप (multi-hop) कार्यों के लिए, एक "सस्ता" छोटा मॉडल बार-बार विफल हो सकता है, जिससे वास्तविक लागत एकल-कॉल अनुमान से 4.25 गुना अधिक हो जाती है। फलस्वरूप, केवल एकल-कॉल अनुमानों पर आधारित राउटिंग निर्णय व्यवस्थित रूप से वास्तविक लागतों को 2 गुणा से अधिक कम आंक सकते हैं, जिससे मॉडल चयन उप-इष्टतम (suboptimal) हो जाता है।

कार्यप्रणाली: InflationAgent

इसे संबोधित करने के लिए, लेखक एक चार-चरणीय राउटिंग पाइपलाइन प्रस्तावित करते हैं जिसे सेमेंटिक एक्सचेंज रेट (SER) को अधिकतम करने के लिए डिज़ाइन किया गया है, जिसे अपेक्षित सटीकता और अनुमानित वास्तविक लागत के अनुपात के रूप में परिभाषित किया गया है:
$\text{SER}(m, x) = \frac{U(m)}{\hat{C}_{\text{true}}(m, x)}$

पाइपलाइन इस प्रकार कार्य करती है:

फीचर एक्सट्रैक्शन (स्थानीय): सिस्टम बिना API कॉल के क्वेरी से संरचनात्मक विशेषताओं (जैसे टोकन काउंट, शब्दावली विविधता, मल्टी-हॉप संकेत) को निकालता है।
CoT ब्रांचिंग एंट्रॉपी (CBE) गणना (स्थानीय): सिस्टम एक स्थानीय मॉडल से $K$ स्वतंत्र रीजनिंग चेन का नमूना लेता है। यह परिणामी उत्तर वितरण के शैनन एंट्रॉपी (Shannon entropy) की गणना करता है:
$\text{CBE}(x) = -\sum_{c} p_c \log_2 p_c$
उच्च एंट्रॉपी विचलित तर्क पथों (divergent reasoning paths) और उच्च क्वेरी कठिनाई को दर्शाती है, जो रिट्राइ की संभावना के लिए एक शून्य-लागत प्रॉक्सी (zero-cost proxy) के रूप में कार्य करती है।
इन्फ्लेशन प्रेडिक्शन और राउटिंग: एक हल्का मल्टी-लेयर पर्सेप्ट्रॉन (MLP) चार विशेषताओं (CBE, एग्रीमेंट स्कोर, औसत चेन लेंथ, और प्रॉम्प्ट टोकन काउंट) का उपयोग करके इन्फ्लेशन कारक ( $\hat{\text{Inflation}}$ ) की भविष्यवाणी करता है। सिस्टम वास्तविक लागत ( $\hat{C}_{\text{true}} = C_{\text{direct}} \times \hat{\text{Inflation}}$ ) का अनुमान लगाता है और उच्चतम SER वाले मॉडल टियर का चयन करता है।
फ्रेश-एस्केलेशन (Fresh-Escalation) के साथ निष्पादन: चयनित मॉडल क्वेरी को निष्पादित करता है। यदि देखा गया इन्फ्लेशन भविष्यवाणी से 2× अधिक है, तो सिस्टम एक मजबूत मॉडल टियर में एस्केलेट (escalate) हो जाता है। महत्वपूर्ण रूप से, यह एस्केलेशन एक फ्रेश प्रॉम्प्ट (fresh prompt) का उपयोग करता है, विफल रीजनिंग चेन को हटा देता है ताकि कॉन्टेक्स्ट कंटामिनेशन (context contamination) को रोका जा सके।

मुख्य योगदान

टोकन इन्फ्लेशन का व्यवस्थित मापन: लेखकों ने तीन मॉडल टियर्स (Qwen2.5-7B, GPT-4o-mini, GPT-4o) और दो डेटासेट्स (GSM8K, HotpotQA) के माध्यम से एक एजेंटिक रिट्राइ हार्नेस को इंस्ट्रुमेंट किया। उन्होंने पाया कि इन्फ्लेशन कार्य के प्रकार के अनुसार काफी भिन्न होता है, जो मल्टी-हॉप QA के लिए 7B मॉडल के लिए 4.25× तक पहुँच जाता है, जबकि उसी कार्य के लिए GPT-4o का इन्फ्लेशन केवल 2.92× था।
CoT ब्रांचिंग एंट्रॉपी (CBE): पूरी तरह से स्थानीय अनुमान (local inference) के माध्यम से गणना की गई एक पूर्व-निष्पादन कठिनाई सिग्नल। यह 0.887 के AUROC के साथ उच्च इन्फ्लेशन की भविष्यवाणी करता है, जिससे सिस्टम बिना अतिरिक्त API लागत के रिट्राइ ओवरहेड का पूर्वानुमान लगाने में सक्षम होता है।
सेमेंटिक एक्सचेंज रेट (SER) राउटिंग: एक राउटिंग उद्देश्य जो केवल एकल-कॉल लागत के बजाय सटीकता और अनुमानित वास्तविक लागत के बीच संतुलन बनाता है।
फ्रेश-एस्केलेशन पॉलिसी: एक अनुभवजन्य निष्कर्ष कि विफल रीजनिंग चेन को एक मजबूत मॉडल में भेजने से प्रदर्शन गिर जाता है। लेखक दिखाते हैं कि Qwen2.5-7B से विफल चेन के साथ GPT-4o को कंटैमिनेट करने से कठिन प्रश्नों पर इसकी सटीकता में 34.8 प्रतिशत अंक की गिरावट आती है, जो एस्केलेशन के दौरान विफल कॉन्टेक्स्ट को त्यागने की आवश्यकता की पुष्टि करता है।

प्रयोगात्मक परिणाम

मूल्यांकन एक निश्चित टोकन बजट और अधिकतम 5 रिट्राइ के साथ GSM8K और HotpotQA पर किया गया।

सटीकता बनाम लागत: GSM8K पर, InflationAgent ने बेसलाइन FrugalGPT के 91.0% की तुलना में 94.7% सटीकता प्राप्त की। FrugalGPT के सटीकता स्तर को प्राप्त करने के लिए, InflationAgent को 31% कम टोकन की आवश्यकता थी।
इन्फ्लेशन प्रेडिक्शन: MLP प्रेडिक्टर ने उच्च-इन्फ्लेशन वाली क्वेरी (थ्रेशोल्ड ≥2×) का पता लगाने के लिए होल्ड-आउट टेस्ट सेट पर 0.714 का पियर्सन सहसंबंध (Pearson correlation) और 0.887 का AUROC प्राप्त किया।
सीमांत प्रतिफल (Marginal Returns): एक छोटे मॉडल (Qwen2.5-7B) के लिए रिट्राइ बढ़ाने से घटते प्रतिफल (diminishing returns) देखे गए; सटीकता बजट के 5× पर चरम (92.5%) पर पहुँची और विफल चेन के कारण कॉन्टेक्स्ट विंडो इंटरफेरेंस के कारण 10× पर गिरकर 82.0% हो गई।
कॉन्टेक्स्ट कंटामिनेशन: एक नियंत्रित प्रयोग में, जब GPT-4o को Qwen2.5-7B से विफल रीजनिंग चेन दी गई, तो इसकी सटीकता 73.9% से गिरकर 39.1% हो गई, जो एक सांख्यिकीय रूप से महत्वपूर्ण गिरावट ( $p=0.0078$ ) है।

महत्व और दावे

यह शोध दावा करता है कि टोकन इन्फ्लेशन एजेंटिक सिस्टम डिज़ाइन में एक महत्वपूर्ण, पहले अनदेखा किया गया कारक है। इन्फ्लेशन ओवरहेड को नजरअंदाज करके, मौजूदा राउटिंग रणनीतियाँ अनजाने में उन मॉडलों का चयन कर सकती हैं जो प्रति टोकन तो "सस्ते" हैं लेकिन सफल कार्य के लिए महंगे हैं।

लेखक दावा करते हैं कि InflationAgent इसे निम्नलिखित तरीकों से हल करता है:

एकल-कॉल अनुमान और वास्तविक वर्कफ़्लो लागत के बीच के अंतर को स्पष्ट रूप से मॉडल करके।
बिना किसी अतिरिक्त API लागत के इस अंतर की भविष्यवाणी करने के लिए स्थानीय अनुमान (CBE) का उपयोग करके।
एक "फ्रेश-एस्केलेशन" रणनीति लागू करके जो डाउनस्ट्रीम मॉडल के प्रदर्शन में गिरावट को रोकता है।

यह कार्य स्थापित करता है कि कठिन, मल्टी-हॉप कार्यों के लिए, उच्च इन्फ्लेशन वाला एक नाममात्र का सस्ता मॉडल न तो लागत प्रभावी है और न ही प्रभावी। प्रस्तावित ढांचा एजेंटिक इन्फरेंस को कार्य पूरा करने की वास्तविक आर्थिक लागत के साथ संरेखित करके अधिक कुशल बनाने का मार्ग प्रदान करता है।

सीमाएं

लेखक नोट करते हैं कि उनका मूल्यांकन दो रीजनिंग बेंचमार्क (GSM8K, HotpotQA) तक सीमित है और यह ओपन-एंडेड जनरेशन, मल्टी-टर्न डायलॉग, या टूल-यूज़ एजेंटों तक विस्तारित नहीं है। इन्फ्लेशन प्रेडिक्टर विशिष्ट कार्य वितरणों पर प्रशिक्षित है, और क्रॉस-टास्क सामान्यीकरण (cross-task generalization) एक खुला प्रश्न बना हुआ है। इसके अतिरिक्त, उपयोग किए गए कंप्यूट यूनिट अनुपात स्थिर हैं और गतिशील API मूल्य निर्धारण को ध्यान में नहीं रखते हैं।