📊 statistics

More Bang for the Buck: Improving the Inference of Large Language Models at a Fixed Budget using Reset and Discard (ReD)

यह शोध पत्र रिसेट-एंड-डिस्कार्ड (ReD) को प्रस्तुत करता है, जो एक क्वेरी रणनीति है जो पावर-लॉ आधारित आवंटन के माध्यम से पारंपरिक पास@k सैंपलिंग के घटते प्रतिफल को कम करके एक निश्चित बजट के भीतर लार्ज लैंग्वेज मॉडल्स द्वारा हल किए गए अद्वितीय प्रश्नों के कवरेज को अनुकूलित करती है।

मूल लेखक: Sagi Meir, Tommer D. Keidar, Noam Levi, Shlomi Reuveni, Barak Hirshberg

प्रकाशित 2026-06-09

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sagi Meir, Tommer D. Keidar, Noam Levi, Shlomi Reuveni, Barak Hirshberg

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी तस्वीर: "अनुमान लगाने का खेल" (The Guessing Game) की समस्या

कल्पना कीजिए कि आपके पास पहेलियों (सवालों) का एक बड़ा थैला है और एक बुद्धिमान लेकिन कभी-कभी जिद्दी दोस्त (एक लार्ज लैंग्वेज मॉडल या LLM) से अनुमान (प्रयास) खरीदने के लिए सीमित मात्रा में पैसा है। आपका लक्ष्य केवल एक बहुत कठिन पहेली को हल करना नहीं है; आपका लक्ष्य यह है कि पैसा खत्म होने से पहले आप जितनी संभव हो उतनी अधिक अलग-अलग पहेलियाँ हल कर सकें।

यह शोध पत्र उस आम गलती को संबोधित करता है जो लोग इस खेल को खेलते समय करते हैं।

पुराना तरीका: "जिद्दी जुआरी" (Solve-to-Completion)

वर्तमान में, अधिकांश लोग एक ऐसी रणनीति का उपयोग करते हैं जिसे लेखक "सॉल्व-टू-कम्प्लीशन" (Solve-to-Completion) कहते हैं।

यह कैसे काम करता है: आप पहेली #1 चुनते हैं। आप अपने दोस्त से उत्तर मांगते हैं। यदि वे गलत होते हैं, तो आप फिर से पूछते हैं। और फिर से। और फिर से। आप पहेली #1 के लिए तब तक पूछते रहते हैं जब तक कि वे अंततः इसे सही नहीं कर लेते। केवल तभी आप पहेली #2 पर आगे बढ़ते हैं।
समस्या: कुछ पहेलियाँ वास्तव में बहुत, बहुत कठिन होती हैं। आपका दोस्त पहेली #1 पर 50 प्रयासों तक अटक सकता है। जब तक वे इसे हल कर लेते हैं, तब तक आपने 50 अनुमान खर्च कर दिए होते हैं। आपके पास पहेलियों #2 से #100 के लिए शून्य अनुमान बचते हैं। आपने एक कठिन चीज़ हल की, लेकिन आपने 99 आसान चीज़ें मिस कर दीं।
परिणाम: जैसे-जैसे आप अधिक पैसा खर्च करते हैं, नई पहेलियों को हल करने की गति धीमी होती जाती है। यह एक लीक होते पाइप से बाल्टी भरने जैसा है; आप जितना अधिक जोर लगाते हैं, उतना ही कम पानी अंदर आता है।

नया तरीका: "ब्रैथ-फर्स्ट एक्सप्लोरर" (Reset-and-Discard / ReD)

लेखक एक नई रणनीति प्रस्तावित करते हैं जिसे "रिसेट-एंड-डिस्कार्ड" (Reset-and-Discard / ReD) कहा जाता है।

यह कैसे काम करता है:
1. आप पहेली #1 चुनते हैं और अपने दोस्त से एक बार पूछते हैं।
2. यदि वे इसे सही हल कर लेते हैं, तो आप जश्न मनाते हैं, पहेली को हटा देते हैं (Discard) और पहेली #2 पर आगे बढ़ जाते हैं।
3. यदि वे इसे गलत हल करते हैं, तो आप लगातार नहीं पूछते। आप तुरंत रुक जाते हैं, उस पहेली को अभी के लिए एक तरफ रख देते हैं, और पहेली #2 पर आगे बढ़ जाते हैं।
4. आप पूरी सूची में से गुजरते हैं, प्रत्येक पहेली को ठीक एक बार (या कुछ बार) पूछते हैं।
5. एक बार जब आप पूरी सूची देख लेते हैं, तो आप शीर्ष पर वापस जाते हैं और उन पहेलियों को फिर से प्रयास करते हैं जो अभी भी अनसुलझी थीं।
उपमा (Analogy): कल्पना कीजिए कि आप एक फायरफाइटर (दमकलकर्मी) हैं जो कई छोटी आग बुझाने की कोशिश कर रहे हैं। एक जिद्दी आग के सामने खड़े होकर उसे बुझाने तक पानी छिड़कने के बजाय (जबकि पास में अन्य आग फैल रही है), आप हर आग पर थोड़ा-थोड़ा पानी छिड़कते हैं। यदि आग बुझ जाती है, तो आप उसे छोड़ देते हैं। यदि वह अभी भी जल रही है, तो आप बाद में उस पर वापस आते हैं।
परिणाम: आप बहुत तेज़ी से बड़ी संख्या में पहेलियाँ हल करते हैं। भले ही आप कठिन पहेलियों को तुरंत हल न कर पाएं, आप सभी आसान और मध्यम पहेलियों को पहले हल कर लेते हैं। यह आपको बहुत बेहतर "बेंग फॉर द बक" (पैसे का सही मूल्य) देता है।

जादू के पीछे का विज्ञान

यह शोध पत्र गणित का उपयोग करके यह सिद्ध करता है कि यह इतना अच्छा काम क्यों करता है।

पावर लॉ (The Power Law): लेखकों ने देखा कि इन AI मॉडलों के लिए, किसी समस्या को हल करने की संभावना एक विशिष्ट गणितीय पैटर्न ("पावर लॉ") में घटती है। मूल रूप से, समस्या जितनी कठिन होगी, उसे हल करना घातीय रूप से (exponentially) कठिन होता जाएगा।
"घटते प्रतिफल" का जाल (The "Diminishing Returns" Trap): पुराने "जिद्दी जुआरी" तरीके के तहत, यह गणित बताता है कि जैसे-जैसे आप अधिक पैसा खर्च करते हैं, आपको कम और कम नई समस्याएं हल करने को मिलती हैं।
समाधान: "रिसेट-एंड-डिस्कार्ड" विधि इस जाल को तोड़ देती है। गणित दिखाता है कि हर प्रयास (या कुछ प्रयासों) के बाद रिसेट करने से, आप उस धीमी, घटती वृद्धि को स्थिर, रैखिक वृद्धि (linear growth) में बदल देते हैं। आप कितने भी प्रयास करें, आपको हल की गई समस्याओं की एक निरंतर धारा मिलती है।

प्रयोगों से मुख्य निष्कर्ष

लेखकों ने वास्तविक AI मॉडल (जैसे Llama और GPT) पर तीन प्रकार की चुनौतियों का परीक्षण किया:

कोडिंग: कंप्यूटर प्रोग्राम लिखना।
गणित: गणित की शब्द समस्याओं (word problems) को हल करना।
तर्क (Reasoning): जटिल बहुविकल्पीय प्रश्नों के उत्तर देना।

उन्होंने क्या पाया:

अधिक समाधान: समान बजट के साथ, ReD ने पुराने तरीके की तुलना में काफी अधिक अद्वितीय समस्याओं को हल किया।
सस्ता: एक विशिष्ट लक्ष्य (जैसे 80% समस्याओं को हल करना) तक पहुँचने के लिए, ReD को कम प्रयासों, कम कंप्यूटर टोकन और कम वास्तविक नकदी की आवश्यकता थी।
अपूर्ण चेकर के साथ भी प्रभावी: भले ही उत्तरों की जाँच करने वाली प्रणाली गलतियाँ करती हो (कभी-कभी सही को "गलत" कहना, या इसके विपरीत), ReD फिर भी जीतता है।
भविष्यवाणी करना: लेखकों ने यह भी दिखाया कि ReD का उपयोग करके, आप वास्तव में यह पता लगा सकते हैं कि AI कितना स्मार्ट है (इसका "पावर-लॉ एक्सपोनेंट"), बिना हजारों महंगे परीक्षण किए। यह एक पूरी रेस को टाइम करने के बजाय, केवल कुछ सेकंड तक गाड़ी चलते हुए देखकर कार की गति का अनुमान लगाने जैसा है।

निचोड़ (The Bottom Line)

यदि आपके पास किसी AI को समस्याओं की एक सूची हल करने के लिए एक निश्चित बजट है, तो कठिन समस्याओं पर बार-बार प्रहार न करें। इसके बजाय, हर समस्या को एक बार आजमाएं, जिन्हें आपने हल कर लिया है उन्हें हटा दें, और जिन्हें आपने छोड़ दिया था उन पर वापस लौटें। यह "रिसेट-एंड-डिस्कार्ड" रणनीति आपको समान कीमत के लिए बहुत अधिक समस्याएं हल करने देती है, जिससे एक धीमी, निराशाजनक प्रक्रिया एक कुशल, उच्च-गति मशीन में बदल जाती है।

तकनीकी सारांश: LLM इन्फरेंस के लिए रिसेट एंड डिस्कॉर्ड (ReD)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का मूल्यांकन तेजी से सत्यापन योग्य कार्यों (जैसे कोडिंग, गणित, औपचारिक प्रमाण) के लिए pass@k मीट्रिक का उपयोग करके किया जा रहा है, जो $k$ प्रयासों के भीतर एक एकल उदाहरण को सही ढंग से हल करने की संभावना को मापता है। अनुभवजन्य अवलोकन संकेत देते हैं कि कई कार्यों के लिए, विफलता दर ( $1 - \text{pass@k}$ ) $k$ के सापेक्ष पावर-लॉ (power law) के रूप में घटती है (अर्थात, $1 - \text{pass@k} \propto k^{-\alpha}$ )।

हालाँकि, एक निश्चित वैश्विक बजट (प्रयासों, टोकन या USD में मापा गया) वाले व्यावहारिक इन्फरेंस परिदृश्यों में, प्रासंगिक उद्देश्य एकल समस्या पर सफलता दर नहीं है, बल्कि coverage@cost है: कुल संसाधन बाधा के भीतर हल किए गए अद्वितीय (unique) समस्याओं की अपेक्षित संख्या। मानक आवंटन नीति, solve-to-completion (अगले पर जाने से पहले एक ही समस्या को हल होने तक बार-बार सैंपल करना), पावर-लॉ डिस्ट्रीब्यूशन के तहत अक्षम है। क्योंकि कठिन समस्याएँ असंगत रूप से अधिक प्रयास लेती हैं, यह नीति coverage@cost में सबलीनियर ग्रोथ (sublinear growth) की ओर ले जाती है जब पावर-लॉ एक्सपोनेंट $\alpha < 1$ होता है (एक सामान्य अनुभवजन्य निष्कर्ष)। इसके परिणामस्वरूप घटते प्रतिफल (diminishing returns) मिलते हैं, जहाँ अतिरिक्त बजट से हल की गई समस्याओं की संख्या कम होती जाती है।

कार्यप्रणाली: रिसेट-एंड-डिस्कार्ड (ReD)

लेखक रिसेट-एंड-डिस्कार्ड (ReD) प्रस्तावित करते हैं, जो एक समस्या सेट के माध्यम से ब्रेडथ-फर्स्ट सर्च (breadth-first search) के रूप में इन्फरेंस प्रक्रिया को मानकर ग्लोबल थ्रूपुट को अनुकूलित करता है।

ReD प्रोटोकॉल

Reset (रिसेट): एक समस्या को हल होने तक बनाए रखने के बजाय, सिस्टम प्रत्येक समस्या के लिए $\tau$ प्रयासों की एक निश्चित संख्या के लिए प्रयास करता है (इष्टतम मामले में, $\tau=1$ , यानी प्रत्येक प्रयास)।
Discard (डिस्कार्ड): यदि कोई समस्या $\tau$ प्रयासों के भीतर हल हो जाती है, तो उसे तुरंत कतार (queue) से हटा दिया जाता है।
Rotation (रोटेशन): यदि कोई समस्या $\tau$ प्रयासों के बाद भी हल नहीं होती है, तो उसे कतार के अंत में भेज दिया जाता है, और सिस्टम तुरंत अगले उपलब्ध समस्या की ओर बढ़ जाता है।

सैद्धांतिक ढांचा (Theoretical Framework)

पेपर रिन्यूअल थ्योरी (renewal theory) का उपयोग करके pass@k और coverage@cost के बीच एक गणितीय मैपिंग स्थापित करता है।

मानक नीति: एक कठिनाई वितरण (difficulty distribution) के लिए जहाँ $P(p) \sim p^{\alpha-1}$ है (जो पावर-लॉ pass@k की ओर ले जाता है), एक समस्या को हल करने के लिए अपेक्षित प्रयासों की संख्या, $E[T]$ , विचलन (diverge) करती है यदि $\alpha < 1$ हो। फलस्वरूप, coverage@cost का विकास सबलीनियर ( $\propto t^\alpha$ ) होता है।
ReD नीति: प्रत्येक $\tau$ $τ$ प्रयासों के बाद रिसेट करके, एक समस्या को हल करने के लिए प्रभावी प्रयासों की संख्या, $E[T_\tau]$ $E [T_{τ}]$ , अंतर्निहित कठिनाई वितरण के बावजूद परिमित (finite) हो जाती है।
- यदि $0 < \alpha < 1$ , तो ReD coverage@cost के विकास को सबलीनियर से लीनियर ( $\propto t$ ) में बदल देता है।
- यदि $\alpha > 1$ , तो ReD लीनियर ग्रोथ को बनाए रखता है लेकिन मानक नीति की तुलना में अधिक तीव्र ढलान (उच्च दक्षता) के साथ।
अनुकूलता (Optimality): लेखक सिद्ध करते हैं कि किसी भी कठिनाई वितरण के लिए अपेक्षित प्रयासों को न्यूनतम करने के लिए हर प्रयास पर रिसेट करना ( $\tau=1$ ) इष्टतम रणनीति है। यह तब भी मान्य है जब वर्िफायर (verifier) त्रुटिपूर्ण हो, बशर्ते कि False Negative और False Positive दरों का योग 1 से कम हो।

स्केलिंग लॉ का अनुमान (Inference of Scaling Laws)

पेपर यह भी प्रदर्शित करता है कि ReD प्रक्षेपवक्र (trajectories) का उपयोग महंगे बड़े- $k$ मूल्यांकन की आवश्यकता के बिना पावर-लॉ एक्सपोनेंट $\alpha$ का अनुमान लगाने के लिए किया जा सकता है। जैसे-जैसे ReD राउंड्स के माध्यम से आगे बढ़ता है, अनसुलझी समस्याओं का वितरण एक बीटा वितरण (Beta distribution) की ओर अभिसरित होता है। राउंड्स के बीच शेष समस्याओं के अनुपात $\langle R_n \rangle / \langle R_{n+1} - R_n \rangle$ का विश्लेषण करके, एक $\alpha$ को रैखिक रूप से अनुमानित किया जा सकता है।

मुख्य योगदान

मीट्रिक कनेक्शन: pass@k से coverage@cost का एक सटीक मैपिंग व्युत्पन्न किया, जो यह स्पष्ट करता है कि कैसे पावर-लॉ pass@k व्यवहार ( $0 < \alpha < 1$ ) मानक आवंटन योजनाओं में सबलीनियर ग्रोथ को प्रेरित करता है।
ReD एल्गोरिदम: ReD रणनीति की अनुकूलता प्रस्तावित और सिद्ध की। यह $\alpha < 1$ के लिए coverage@cost में लीनियर ग्रोथ की गारंटी देता है और $\alpha > 1$ के लिए दक्षता में सुधार करता है।
सैद्धांतिक गारंटी: सिद्ध किया कि ReD किसी भी कठिनाई वितरण के लिए अपेक्षित रिवॉर्ड प्रति प्रयास को सख्ती से अधिकतम करता है और वर्िफायर नॉइज़ (verifier noise) के विरुद्ध भी मजबूत रहता है।
एक्सपोनेंट इन्फरेंस: महंगे उच्च- $k$ सैंपलिंग की आवश्यकता के बिना, सीधे ReD रन से स्केलिंग एक्सपोनेंट्स का अनुमान लगाने के लिए एक विधि विकसित की।
अनुभवजन्य सत्यापन: तीन LLMs (Llama-3.1-8b, Llama-3.3-70b, GPT-oss-20b) और तीन बेंचमार्क (HumanEval, GSM8K, MMLU-Pro) पर पर्याप्त सुधार प्रदर्शित किया।

प्रयोगात्मक परिणाम

प्रयोग HumanEval (कोडिंग), GSM8K (गणित), और MMLU-Pro (रीजनिंग) डेटासेट पर किए गए।

दक्षता: ReD ने solve-to-completion की तुलना में लक्षित कवरेज प्राप्त करने के लिए आवश्यक प्रयासों, टोकन और USD लागत को काफी कम कर दिया।
मॉडल तुलना: HumanEval बेंचमार्क पर, ReD द्वारा लागू किया गया एक छोटा मॉडल (Llama-3.1-8b), लगभग 90% कवरेज तक, एक बहुत बड़े मॉडल (Llama-3.3-70b) के मानक आवंटन से बेहतर प्रदर्शन करता है। USD लागत के मामले में, सभी कवरेज स्तरों पर ReD वाला 8b मॉडल सबसे अधिक लागत प्रभावी रणनीति थी।
स्केलिंग लॉ इन्फरेंस: 8b मॉडल पर ReD का उपयोग करके, लेखकों ने सफलतापूर्वक $\alpha \approx 0.34$ का पावर-लॉ एक्सपोनेंट निकाला, जो उच्च- $k$ pass@k माप से प्राप्त एक्सपोनेंट से मेल खाता है।
मजबूती (Robustness): नॉइज़ वर्िफायर को सिम्युलेट करने के बाद भी ReD का लाभ बना रहा।

महत्व और दावे

पेपर दावा करता है कि ReD सत्यापन योग्य कार्यों के लिए इन्फरेंस कंप्यूट के आवंटन में एक मौलिक बदलाव प्रदान करता है।

"पे-पर-टोकन" से "आउटकम-एज-अ-सर्विस" तक: ReD सिस्टम को उन समस्याओं के "लर्नैबिलिटी के फ्रंटियर" (frontiers of learnability) पर ध्यान केंद्रित करने की अनुमति देता है जो कुछ प्रयासों के भीतर हल करने योग्य हैं, बजाय उन कठिन उदाहरणों पर संसाधन बर्बाद करने के जिनमें घटते प्रतिफल की आवश्यकता होती है।
हाइरार्किकल रूटिंग: यह पद्धति कुशल हाइब्रिड रणनीतियों का समर्थन करती है जहाँ छोटे मॉडल ReD के माध्यम से अधिकांश समस्याओं को संभालते हैं, और केवल अनसुलझी समस्याओं को बड़े, अधिक महंगे मॉडल्स को रूट किया जाता है।
सामान्य प्रयोज्यता: यह दृष्टिकोण किसी भी पाइपलाइन के लिए लागू है जो बार-बार सैंपलिंग और वेरिफिकेशन का समर्थन करती है, जो मॉडल आर्किटेक्चर या ट्रेनिंग में बदलाव की आवश्यकता के बिना थ्रूपुट में प्रमाणित सुधार प्रदान करता है।

लेखक अपनी सीमा के संबंध में विनम्रता बनाए रखते हैं, यह नोट करते हुए कि ReD विशेष रूप से सत्यापन योग्य कार्यों के लिए डिज़ाइन किया गया है जहाँ समाधान की शुद्धता को स्वचालित रूप से आंका जा सकता है। वे गैर-सत्यापन योग्य जनरेशन कार्यों के लिए इसकी प्रयोज्यता का दावा नहीं करते हैं या इस कार्य के हिस्से के रूप में सीखे गए कठिनाई भविष्यवक्ताओं (learned difficulty predictors) के साथ एकीकरण का प्रस्ताव नहीं करते हैं।