💬 NLP

A Relative-Budget Theory for Reinforcement Learning with Verifiable Rewards in Large Language Model Reasoning

यह शोध पत्र लार्ज लैंग्वेज मॉडल रीजनिंग में रिइन्फोर्समेंट लर्निंग के लिए एक सापेक्ष-बजट सिद्धांत (relative-budget theory) प्रस्तावित करता है, जो एक प्रमुख मात्रा $\xi$ को परिभाषित करता है जो न्यून (deficient), संतुलित (balanced) और प्रचुर (ample) व्यवस्थाओं में सैंपल दक्षता को नियंत्रित करती है, और अनुभवजन्य रूप से यह प्रमाणित करता है कि 1.5 और 2.0 के बीच का सापेक्ष बजट सीखने के प्रदर्शन को अधिकतम करता है।

मूल लेखक: Akifumi Wachi, Hirota Kinoshita, Shokichi Takakura, Rei Higuchi, Taiji Suzuki

प्रकाशित 2026-02-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Akifumi Wachi, Hirota Kinoshita, Shokichi Takakura, Rei Higuchi, Taiji Suzuki

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "A Relative-Budget Theory for Reinforcement Learning with Verifiable Rewards in Large Language Model Reasoning" पेपर का सरल, रोज़मर्रा की भाषा में अनुवाद दिया गया है।

मुख्य विचार: AI की सोच के लिए "गोल्डिलॉक्स" (Goldilocks) ज़ोन

कल्पना कीजिए कि आप एक छात्र (AI) को एक कठिन गणित का सवाल हल करना सिखा रहे हैं। आपके पास सोचने और उत्तर लिखने के लिए सीमित समय या "टोकन" (शब्द) हैं।

यह पेपर एक सरल नियम पेश करता है जिसे रिलेटिव बजट ( $\xi$ ) कहा जाता है। इसे आप इस अनुपात (ratio) के रूप में समझ सकते हैं कि आप छात्र को कितना समय दे रहे हैं बनाम उसे खुद से समस्या हल करने के लिए आमतौर पर कितने समय की आवश्यकता होती है।

$\xi$ (Xi) = (आपके द्वारा दिया गया समय) / (छात्र को आमतौर पर आवश्यक समय)।

लेखकों ने पाया कि AI कितनी अच्छी तरह सीखता है, यह पूरी तरह से इस अनुपात पर निर्भर करता है। यहाँ तीन अलग-अलग "ज़ोन" या स्थितियाँ हैं, और AI प्रत्येक में बहुत अलग व्यवहार करता है।

सीखने के तीन ज़ोन

1. "बहुत कम" वाला ज़ोन (डेफिसिएंट रिजीम, $\xi \approx 0$ )

उपमा: कल्पना कीजिए कि आप एक छात्र को एक ऐसा टेस्ट देने के लिए 10 मिनट देते हैं जिसे हल करने में उसे आमतौर पर 100 मिनट लगते हैं।

क्या होता है: छात्र लगभग कभी भी खत्म नहीं कर पाता। उत्तर खोजने से पहले ही उसका समय समाप्त हो जाता है।
परिणाम: शिक्षक (AI ट्रेनिंग सिस्टम) को सीखने के लिए लगभग कोई "सही" उदाहरण नहीं मिलते। क्योंकि AI को शायद ही कभी सफलता मिलती है, इसलिए वह कुछ भी नहीं सीख पाता। यह वैसा ही है जैसे किसी को तैरना सिखाने के लिए उसे पूल में फेंक देना जहाँ वह तल तक भी नहीं पहुँच सकता; वह बस घबराकर डूब जाएगा।
पेपर का दावा: इस ज़ोन में सीखना सैद्धांतिक रूप से असंभव है क्योंकि "सूचनात्मक प्रक्षेपवक्र" (सफल प्रयास) बहुत दुर्लभ हैं।

2. "बिल्कुल सही" वाला ज़ोन (बैलेंस्ड रिजीम, $\xi \approx 1.5 - 2.0$ )

उपमा: अब, आप छात्र को उसके सामान्य आवश्यक समय से लगभग 1.5 से 2 गुना अधिक समय देते हैं।

क्या होता है: छात्र के पास समस्या हल करने के लिए पर्याप्त समय होता है, लेकिन यह अभी भी चुनौतीपूर्ण है। कभी वे जल्दी हल करते हैं; कभी वे संघर्ष करते हैं और पूरा समय लेते हैं।
परिणाम: यह सबसे सटीक स्थान (sweet spot) है। शिक्षक को आसान जीत और कठिन संघर्षों का मिश्रण देखने को मिलता है। यह विविधता एक मजबूत "लर्निंग सिग्नल" पैदा करती है। AI स्पष्ट रूप से देख सकता है कि क्या काम करता है और क्या नहीं।
पेपर का दावा: यह वह जगह है जहाँ रीइन्फोर्समेंट लर्निंग (RL) सबसे कुशल है। AI यहाँ सबसे तेज़ी से सीखता है। दिलचस्प बात यह है कि यह "सुपरवाइज्ड फाइन-ट्यूनिंग" (SFT) नामक एक अन्य विधि के लिए सबसे कठिन ज़ोन भी है, क्योंकि समाधानों की विविधता एक साधारण नकल करने वाले शिक्षक के लिए भ्रमित करने वाली होती है।

3. "बहुत आसान" वाला ज़ोन (एम्पल रिजीम, $\xi \to \infty$ )

उपमा: आप एक छात्र को 10 मिनट का काम करने के लिए 100 घंटे देते हैं।

क्या होता है: छात्र हर बार लगभग तुरंत ही इसे हल कर लेता है। उसके पास इतना अतिरिक्त समय है कि कार्य बहुत ही मामूली लगता है।
परिणाम: AI सीखता तो है, लेकिन वह बहुत कुशल नहीं होता। चूंकि छात्र हमेशा तुरंत सफल हो जाता है, इसलिए सीखने के लिए कोई "संघर्ष" या विविधता नहीं बचती। AI सुधार करना बंद कर देता है क्योंकि वह कार्य के लिए पहले से ही बहुत अच्छा हो चुका है। यह वैसा ही है जैसे किसी चेस ग्रैंडमास्टर को एक पहेली देना जिसे एक 5 साल का बच्चा हल कर सकता है; वे चेस में बेहतर नहीं होंगे।
पेपर का दावा: सीखना स्थिर रहता है, लेकिन "सीमांत लाभ" (प्रति चरण सुधार) कम और कम होते जाते हैं। आप कंप्यूटिंग पावर बर्बाद कर रहे हैं।

"फेज़ ट्रांज़िशन" (Phase Transition)

पेपर 1.0 के रिलेटिव बजट के आसपास एक फेज़ ट्रांज़िशन का वर्णन करता है।

1.0 से नीचे: AI अंधेरे में फंसा हुआ है, उसे शायद ही कभी सफलता मिलती है।
1.0 से ऊपर: AI अचानक सफलता देखना शुरू कर देता है, और सीखना तेज़ हो जाता है।
शिखर (The Peak): लेखकों ने पाया कि सबसे अच्छा प्रदर्शन तब होता है जब बजट औसत आवश्यकता से थोड़ा अधिक होता है, विशेष रूप से 1.5 और 2.0 के बीच। यह AI को समस्या को हल करने के विभिन्न तरीकों को खोजने के लिए पर्याप्त "चलने की जगह" (wiggle room) देता है बिना समय बर्बाद किए।

AI ट्रेनिंग के लिए यह क्यों महत्वपूर्ण है

पेपर का तर्क है कि बहुत से लोग वर्तमान में पैसा और कंप्यूटर पावर बर्बाद कर रहे हैं।

यदि आप AI को बहुत कम समय देते हैं, तो वह कुछ नहीं सीखता।
यदि आप उसे बहुत अधिक समय देते हैं, तो वह धीरे सीखता है और संसाधनों को बर्बाद करता है।
समाधान: आपको अपना कंप्यूटर बजट इस तरह ट्यून करना चाहिए कि AI के पास आमतौर पर समस्या हल करने के लिए आवश्यक टोकन से लगभग 1.5 से 2 गुना अधिक समय हो। यह सुनिश्चित करता है कि AI सीखने के लिए पर्याप्त चुनौतीपूर्ण हो, लेकिन इतना भी चुनौतीपूर्ण न हो कि वह विफल हो जाए।

"नकल" बनाम "ट्रायल एंड एरर" पर एक नोट

यह पेपर दो शिक्षण शैलियों की तुलना भी करता है:

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): एक छात्र की तरह जो अपने शिक्षक के सटीक चरणों की नकल करता है। पेपर कहता है कि यह विधि "बिल्कुल सही" ज़ोन में विफल हो जाती है क्योंकि समस्या को हल करने के कई अलग-अलग तरीके हैं, और छात्र विविधताओं से भ्रमित हो जाता है।
रीइन्फोर्समेंट लर्निंग (RL): एक छात्र की तरह जो अलग-अलग दृष्टिकोणों को आजमाता है और सही उत्तर के लिए "सही का निशान" (check mark) प्राप्त करता है। यह विधि "बिल्कुल सही" ज़ोन में फलती-फूलती है क्योंकि यह उस विविधता को संभाल सकती है और सबसे अच्छा रास्ता खोज सकती है।

सारांश

AI से बेहतरीन रीजनिंग कौशल प्राप्त करने के लिए, केवल उस पर अनंत कंप्यूटिंग पावर न झोंकें। इसके बजाय, गोल्डिलॉक्स बजट खोजें: AI को समस्या हल करने के लिए आवश्यक समय से थोड़ा अधिक (लगभग 50% से 100% अधिक) समय दें। यह वातावरण बनाता है जहाँ वह तेज़ी से और प्रभावी ढंग से सीख सके।

तकनीकी सारांश: LLM रीजनिंग में सत्यापन योग्य पुरस्कारों के साथ एक सापेक्ष-बजट सिद्धांत (A Relative-Budget Theory for Reinforcement Learning with Verifiable Rewards in LLM Reasoning)

1. समस्या विवरण (Problem Statement)

सत्यापन योग्य पुरस्कारों के साथ सुदृढीकरण शिक्षण (Reinforcement Learning with Verifiable Rewards - RLVR) बड़े भाषा मॉडल (LLMs) की तर्क क्षमताओं को बढ़ाने के लिए एक प्रमुख प्रतिमान बन गया है, जो दीर्घ-अवधि नियोजन (long-horizon planning) और पुनरावृत्ति स्व-सुधार (iterative self-correction) को सक्षम बनाता है। हालाँकि, इसकी अनुभवजन्य प्रभावशीलता विभिन्न कार्यों और कंप्यूटेशनल बजटों के बीच काफी भिन्न होती है। मौजूदा सैद्धांतिक ढांचे अक्सर कार्य की कठिनाई और कंप्यूट बजट के बीच गतिशील संबंध को समझाने में विफल रहते हैं, विशेष रूप से ऑनलाइन लर्निंग सेटिंग्स में। अभ्यासकर्ताओं (practitioners) के पास कंप्यूट संसाधनों को कुशलतापूर्वक आवंटित करने के लिए दिशा-निर्देशों की कमी है, जिससे उन क्षेत्रों में विशाल संसाधनों के आवंटन का जोखिम रहता है जहाँ सीखना सैद्धांतिक रूप से अक्षम है या जहाँ लर्निंग सिग्नल लुप्त हो जाता है।

यह शोध पत्र उपलब्ध टोकन बजट और कार्य की अंतर्निहित कठिनाई के बीच के अनुपात द्वारा RLVR की नमूना दक्षता (sample efficiency) और अभिसरण (convergence) का विश्लेषण करके इस सैद्धांतिक समझ के अंतर को संबोधित करता है।

2. कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

2.1. सापेक्ष बजट ( $\xi$ ) (The Relative Budget)

लेखक एक केंद्रीय मात्रा पेश करते हैं जिसे सापेक्ष बजट (relative budget) कहा जाता है, जिसे इस प्रकार परिभाषित किया गया है:
$\xi := \frac{H}{E[T]}$
जहाँ $H$ जनरेशन क्षितिज (generation horizon/token budget) है और $E[T]$ एक आधार नीति $\pi_b$ के तहत पहले सही समाधान तक पहुँचने के लिए आवश्यक टोकन की अपेक्षित संख्या है। यह मीट्रिक कंप्यूट बाधाओं और कार्य की कठिनाई को एकीकृत करता है।

2.2. मॉडलिंग धारणाएं (Modeling Assumptions)

तर्क प्रक्रिया को बाइनरी रिवॉर्ड्स वाले एक परिमित-क्षितिज मार्कोव निर्णय प्रक्रिया (finite-horizon MDP) के रूप में मॉडल किया गया है। समय-से-समाधान $T(\tau)$ का विश्लेषण विशिष्ट वितरण संबंधी धारणाओं के तहत किया गया है:

मोमेंट्स (Moments): $T(\tau)$ का विचरण (variance) इसके माध्य के वर्ग के साथ स्केल करता है ( $v_x = \Theta(\mu_x^2)$ )।
लेफ्ट-टेल व्यवहार (Left-Tail Behavior): अपेक्षित समय के एक अंश के भीतर समस्या को हल करने की संभावना एक फलन $f(z)$ का अनुसरण करती है जो मूल (origin) के पास घातीय (exponentially) के बजाय बहुपद (polynomially) रूप से घटता है।
गामा वितरण (Gamma Distribution): ठोस विश्लेषण के लिए, $T(\tau)$ को गामा वितरण का उपयोग करके मॉडल किया गया है, जो जटिल तर्क कार्यों में डिस्क्रीट टोकन काउंट के लिए एक निरंतर प्रॉक्सी (continuous proxy) के रूप में कार्य करता है।

2.3. विश्लेषणात्मक दृष्टिकोण (Analytical Approach)

शोध पत्र एंटी-कंसन्ट्रेशन गुणांक (anti-concentration coefficient) $c_0(\xi)$ का विश्लेषण करता है, जो उच्च-पुरस्कार वाले प्रक्षेपवक्रों (high-reward trajectories/solutions) को नमूना लेने की संभावना को दर्शाता है (जो औसत से काफी तेजी से समाधान खोजे जाते हैं)। यह गुणांक सीधे RL की नमूना जटिलता (sample complexity) को नियंत्रित करता है। लेखक ऑनलाइन RL के लिए परिमित-नमूना गारंटी (finite-sample guarantees) का विश्लेषण करते हैं, और नीति में सुधार के साथ $\xi$ के विकास को ट्रैक करते हैं।

3. मुख्य योगदान और सैद्धांतिक परिणाम (Key Contributions and Theoretical Results)

यह शोध पत्र स्थापित करता है कि RLVR का प्रदर्शन $\xi$ के मान के आधार पर तीन अलग-अलग शासन (regimes) द्वारा शासित होता है:

3.1. लर्निंग दक्षता के तीन शासन (Three Regimes of Learning Efficiency)

दोषपूर्ण शासन (Deficient Regime) ( $\xi \to 0$ ):
- स्थिति: टोकन बजट $H$ , अपेक्षित समाधान समय से बहुत छोटा है।
- गतिशीलता: उच्च-पुरस्कार वाले प्रक्षेपवक्र अत्यंत दुर्लभ हैं। एंटी-कंसन्ट्रेशन गुणांक लुप्त हो जाता है ( $c_0 \to 0$ ), जिससे नमूना जटिलता विस्फोटित हो जाती है। सीखना सैद्धांतिक रूप से कठिन है।
संतुलित शासन (Balanced Regime) ( $\xi = \Theta(1)$ ):
- स्थिति: टोकन बजट, अपेक्षित समाधान समय के तुलनीय है।
- गतिशीलता: सूचनात्मक प्रक्षेपवक्य गैर-नगण्य संभावना के साथ होते हैं। एंटी-कंसन्ट्रेशन गुणांक शून्य से ऊपर बना रहता है ( $c_0 = \Theta(1)$ ), जिससे अधिकतम नमूना दक्षता प्राप्त होती है।
- SFT के साथ तुलना: यह शासन RL के लिए एक "स्वीट स्पॉट" है लेकिन सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के लिए "वर्स्ट-केस" (सबसे खराब स्थिति) है। संतुलित शासन में, सफल समाधान ट्रेसेस की विषमता (heterogeneity) अधिकतम होती है (विभिन्न लंबाई और रणनीतियाँ), जिससे इमिटेशन लर्निंग (imitation learning) कठिन हो जाता है।
प्रचुर शासन (Ample Regime) ( $\xi \to \infty$ ):
- स्थिति: टोकटन बजट, अपेक्षित समाधान समय से काफी अधिक है।
- गतिशीलता: लर्निंग स्थिर रहती है और एक सीमित एंटी-कंसन्ट्रेशन गुणांक के साथ बनी रहती है। हालांकि, जैसे-जैसे कार्य बजट के सापेक्ष सरल होता जाता है, प्रति इटरेशन मिलने वाला मामूली लाभ कम होता जाता है, और नमूना जटिलता $\xi$ के साथ रैखिक रूप से बढ़ती है।

3.2. ऑनलाइन RL के लिए परिमित-नमूना गारंटी (Finite-Sample Guarantees for Online RL)

लेखक सिद्ध करते हैं कि ऑनलाइन सेटिंग में, जैसे-जैसे नीति में सुधार होता है, अपेक्षित समाधान समय कम होता जाता है, जिससे $\xi$ इटरेशन के दौरान रैखिक रूप से बढ़ता है।

थ्योरम 6.4: गामा मॉडल के तहत, ऑनलाइन RL $\xi$ को इटरेशन के दौरान रैखिक रूप से बढ़ाने के लिए प्रेरित करता ( $\xi_i - \xi_0 \geq i(2K)^{-1}$ )।
ट्रेड-ऑफ: जबकि नीति टोकन बजट $H$ की ओर अभिसरित होती है, प्रचुर शासन (ample regime) में निरंतर सुधार बनाए रखने के लिए रोलआउट नमूनों की बढ़ती संख्या की आवश्यकता होती ( $\xi$ के सापेक्ष द्विघात गिरावट में नमूना जटिलता)।

3.3. इष्टतम बजट आवंटन (Optimal Budget Allocation)

गामा वितरण का उपयोग करके सैद्धांतिक विश्लेषण एक इष्टतम सापेक्ष बजट $\xi^*$ की पहचान करता है जो लर्निंग सिग्नल (रिवॉर्ड वेरिएंस) को अधिकतम करता है और एक स्थिर एंटी-कंसन्ट्रेशन गुणांक बनाए रखता है।

सैद्धांतिक भविष्यवाणी: इष्टतम $\xi^*$ का मान $1.0 \leq \xi^* \leq 1.4$ की सीमा में आता है।
निहितार्थ: अपेक्षित कठिनाई से थोड़ा अधिक बजट ( $\xi \gtrsim 1$ ) आवंटित करना विश्वसनीय लर्निंग सिग्नल के लिए महत्वपूर्ण है।

4. अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने मानक LLMs (Llama-3.2-3B, Phi-4-mini, Qwen3-4B) का उपयोग करके रीजनिंग बेंचमार्क (GSM8K, MATH-500) पर अपने सिद्धांत को सत्यापित किया।

फेज ट्रांजिशन (Phase Transition): प्रयोगों ने $\xi \approx 1.0$ पर एक फेज ट्रांजिशन की पुष्टि की। दोषपूर्ण शासन ( $\xi < 0.8$ ) में, रिवॉर्ड वेरिएंस और एंटी-कंसन्ट्रेशन नगण्य थे।
पीक लर्निंग सिग्नल: लर्निंग सिग्नल (रिवॉर्ड वेरिएंस) $\xi \in [1.5, 2.0]$ की सीमा में चरम पर था, जो सैद्धांतिक न्यूनतम से थोड़ा अधिक है, जो टोकन जनरेशन डिस्ट्रीब्यूशन की लॉन्ग-टेल्ड प्रकृति के कारण है।
प्रदर्शन सहसंबंध (Performance Correlation): रीजनिंग कार्यों पर पोस्ट-ट्रेनिंग सटीकता में $\xi$ के 1 (संतुलित शासन) के करीब पहुँचने पर तीव्र वृद्धि देखी गई और प्रचुर शासन ( $\xi > 2.0$ ) में यह संतृप्त (saturated) हो गई।
मॉडल मजबूती (Model Robustness): सैद्धांतिक भविष्यवाणियां विभिन्न मॉडलों और डेटासेट के लिए सटीक रहीं, यहाँ तक कि उन मॉडलों (जैसे Qwen3) के लिए भी जो बाइमॉडल टोकन वितरण प्रदर्शित करते हैं, जो यह सुझाव देता है कि मूल सिद्धांत विशिष्ट वितरण विचलन के प्रति मजबूत है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह एक एकीकृत सैद्धांतिक ढांचा प्रदान करता है जो LLM रीजनिंग में RLVR की शासन-निर्भर सफलता की व्याख्या करता है। इसका प्राथमिक महत्व निम्नलिखित है:

"क्षमता के किनारे" (Edge of Competence) को परिभाषित करना: यह सैद्धांतिक रूप से इस अनुभवजन्य अवलोकन को न्यायसंगत ठहराता है कि RL तब सबसे प्रभावी होता है जब कार्य न तो बहुत सरल हो और न ही बहुत कठिन, विशेष रूप से तब जब कंप्यूट बजट कार्य की अंतर्निहित कठिनाई के तुलनीय हो।
कंप्यूट आवंटन का मार्गदर्शन: सिद्धांत अभ्यासकर्ताओं के लिए एक ठोस दिशानिर्देश प्रदान करता है: टोकन बजट को इस तरह आवंटित करें कि $\xi \in [1.5, 2.0]$ हो। यह अत्यधिक बजट के घटते रिटर्न के बिना सूचनात्मक प्रक्षेपवक्रों की उपस्थिति सुनिश्चित करता है।
RL बनाम SFT विचलन की व्याख्या: यह स्पष्ट करता है कि क्यों वर्िफायर-आधारित RL, टेस्ट-टाइम कंप्यूट को स्केल करने में SFT से बेहतर प्रदर्शन करता है, विशेष रूप से संतुलित शासन में जहाँ सॉल्यूशन हेट्रोजेनिटी (solution heterogeneity) इमिटेशन लर्निंग को बाधित करती है लेकिन एक्सप्लोरेशन-आधारित RL में सहायता करती है।
सतत AI विकास (Sustainable AI Development): यह पहचानकर कि RL कब घटते रिटर्न (diminishing returns) देता है, यह ढांचा बड़े पैमाने पर मॉडल प्रशिक्षण से जुड़े वित्तीय और पर्यावरणीय लागतों को कम करने के लिए बड़े पैमाने पर प्रशिक्षण रन को बर्बाद होने से बचाने का लक्ष्य रखता है।

लेखक नोट करते हैं कि उनका विश्लेषण वेरिएंस विश्लेषण को सुलभ बनाने के लिए एक निरंतर प्रॉक्सी रिवॉर्ड पर निर्भर करता है और सख्त बाइनरी-रिवॉर्ड सेटिंग्स में सिद्धांत का विस्तार करना एक खुला प्रश्न है। हालांकि, वास्तविक सेटिंग्स के साथ अनुभवजन्य संरेखण यह सुझाव देता है कि सापेक्ष बजट $\xi$ तर्क-उन्मुख RL की प्रभावकारिता के लिए एक मौलिक कारक है।