🤖 machine learning

Learning to Reason Efficiently with Discounted Reinforcement Learning

यह शोध पत्र एक डिस्काउंटेड रिइन्फोर्समेंट लर्निंग दृष्टिकोण प्रस्तावित करता है जो तर्क संबंधी टोकन (reasoning tokens) को दंडित करता है ताकि बड़े रीजनिंग मॉडल्स को सटीकता से समझौता किए बिना संक्षिप्त चेन्स ऑफ थॉट (chains of thought) उत्पन्न करने के लिए प्रोत्साहित किया जा सके, जो प्रभावी रूप से रीजनिंग को एक स्टोकेस्टिक शॉर्टेस्ट पाथ समस्या के रूप में मानता है।

मूल लेखक: Alex Ayoub, Kavosh Asadi, Dale Schuurmans, Csaba Szepesvári, Karim Bouyarmane

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alex Ayoub, Kavosh Asadi, Dale Schuurmans, Csaba Szepesvári, Karim Bouyarmane

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Learning to Reason Efficiently with Discounted Reinforcement Learning" पेपर का सरल भाषा में अनुवाद दिया गया है:

बड़ी समस्या: "ज़रूरत से ज़्यादा सोचने वाला" AI

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र (एक Large Reasoning Model, या LRM) है जो गणित के सवाल हल करने में माहिर है। हालाँकि, इस छात्र की एक बुरी आदत है: अंतिम उत्तर देने से पहले, वे अपनी विचार प्रक्रिया का एक विशाल, बिना सिर-पैर का निबंध लिखते हैं। वे कह सकते हैं, "ठीक है, मुझे इस बारे में सोचने दें... शायद मुझे यह आज़माना चाहिए... नहीं, रुको, यह गलत है... चलो फिर से कोशिश करता हूँ..."

हालाँकि यह "Chain of Thought" (सोच की श्रृंखला) उन्हें सही उत्तर पाने में मदद करती है, लेकिन इसमें बहुत समय लगता है और बहुत अधिक ऊर्जा (कंप्यूटेशनल लागत) खर्च होती है। यह पेपर एक सरल प्रश्न पूछता है: क्या छात्र को 'A' ग्रेड पाने के लिए 10 पन्नों का निबंध लिखने की ज़रूरत है, या क्या वे उसी 'A' को 2 पन्नों के सारांश के साथ भी प्राप्त कर सकते हैं?

कई लोग मानते हैं कि "ज़्यादा सोचना = बेहतर सटीकता।" यह पेपर इस विचार को चुनौती देता है। यह तर्क देता है कि आप अक्सर बहुत कम सोच (reasoning) के साथ भी उतनी ही उच्च सटीकता प्राप्त कर सकते हैं, बशर्ते आप AI को कुशलता (efficiency) को महत्व देना सिखाएं।

समाधान: "डिस्काउंटेड रिवॉर्ड" (छूट वाला इनाम) का तरीका

लेखक Discounted Reinforcement Learning नामक एक अवधारणा का उपयोग करके इन AI छात्रों को प्रशिक्षित करने का एक चतुर तरीका प्रस्तावित करते हैं।

उपमा: पिज्जा डिलीवरी ड्राइवर

कल्पना कीजिए कि आप एक पिज्जा डिलीवरी ड्राइवर को प्रशिक्षित कर रहे हैं।

लक्ष्य: ग्राहक तक पिज्जा पहुँचाना और टिप (इनाम) प्राप्त करना।
पुराना तरीका: आप ड्राइवर को कहते हैं, "बस पिज्जा पहुँचा दो। तुम चाहे जितने चक्कर लगाओ, जब तक तुम अंततः वहाँ पहुँच जाते हो।" ड्राइवर यह सुनिश्चित करने के लिए कि वह सही रास्ते पर है, ब्लॉक के चारों ओर पाँच बार घूम सकता है, जिससे पेट्रोल और समय बर्बाद होता है।
नया तरीका (डिस्काउंटिंग): आप ड्राइवर से कहते हैं, "तुम्हें टिप मिलेगी, लेकिन तुम पिज्जा पहुँचाने में जितना अधिक समय लोगे, टिप उतनी ही घटती जाएगी।"
- यदि आप 10 मिनट में पहुँचाते हैं, तो आपको 100% टिप मिलेगी।
- यदि आप 20 मिनट में पहुँचाते हैं, तो टिप थोड़ी छोटी होगी।
- यदि आप 30 मिनट में पहुँचाते हैं, तो वह और भी छोटी होगी।

यह ड्राइवर के लिए सबसे छोटे सफल मार्ग को खोजने के लिए एक स्वाभाविक प्रोत्साहन पैदा करता है। वे अभी भी टिप (सटीकता) चाहते हैं, लेकिन अब उनके पास अनावश्यक चक्करों से बचने का एक मजबूत कारण है (छोटा तर्क/reasoning)।

यह पेपर में कैसे काम करता है

शोधकर्ताओं ने इस "घटती हुई टिप" के विचार को AI रीजनिंग पर लागू किया:

सेटअप: उन्होंने AI की रीजनिंग प्रक्रिया को एक खेल की तरह माना। हर बार जब AI एक "सोचने वाला" टोकन (उसकी आंतरिक बातचीत में एक शब्द) उत्पन्न करता है, तो यह एक कदम उठाने जैसा होता है।
डिस्काउंट (छूट): उन्होंने इनाम पर एक गणितीय "डिस्काउंट फैक्टर" (1 से थोड़ा कम संख्या) लागू किया।
- यदि AI समस्या को सही ढंग से हल करता है, तो उसे इनाम मिलता है।
- हालाँकि, उस इनाम को उसके द्वारा उपयोग किए गए प्रत्येक "सोचने वाले" टोकन के लिए डिस्काउंट फैक्टर से गुणा किया जाता है।
- महत्वपूर्ण विवरण: उन्होंने केवल रीजनिंग (तर्क) वाले टोकन को ही डिस्काउंट किया। उन्होंने फॉर्मेटिंग के लिए आवश्यक टोकन (जैसे "Answer:" लिखना या टैग्स बंद करना) को डिस्काउंट नहीं किया। यह सुनिश्चित करता है कि AI अपने विचारों में संक्षिप्त होने के लिए सीखता है, लेकिन उत्तर प्रस्तुत करने के नियमों का पालन करना भी जारी रखता है।
परिणाम: AI सीख जाता है कि पूर्ण इनाम पाने का सबसे तेज़ तरीका सही उत्तर तक पहुँचने का सबसे छोटा रास्ता खोजना है।

सैद्धांतिक "जादू" (Blackwell Optimality)

पेपर यह सिद्ध करने के लिए कि यह क्यों काम करता है, कुछ भारी गणित का उपयोग करता है। वे Blackwell Optimality की अवधारणा पर भरोसा करते हैं।

इसे ऐसे समझें: कल्पना कीजिए कि आपके पास किसी गंतव्य तक पहुँचने के विभिन्न मार्गों की एक सूची है।

कुछ मार्ग तेज़ लेकिन जोखिम भरे हैं (हो सकता है कि आप रास्ता भटक जाएँ)।
कुछ सुरक्षित लेकिन अविश्वसनीय रूप से लंबे हैं।
कुछ मार्ग सुरक्षित और छोटे दोनों हैं।

गणित यह सिद्ध करता है कि यदि आप अपनी "अधीरता" (डिस्काउंट) को बिल्कुल सही सेट करते हैं (1 के बहुत करीब, लेकिन ठीक 1 नहीं), तो AI स्वाभाविक रूप से उन मार्गों में से सबसे छोटा मार्ग चुनेगा जो सफलता की गारंटी देते हैं।

पेपर का दावा है कि कुछ सेटिंग्स की सीमा के लिए, यहाँ कोई समझौता (trade-off) नहीं है। आपको "छोटा और मूर्ख" या "लंबा और स्मार्ट" के बीच चुनाव करने की आवश्यकता नहीं है। आप "छोटा और स्मार्ट" पा सकते हैं। AI उस सबसे छोटे मार्ग को खोज लेता है जो अभी भी सही उत्तर की गारंटी देता है।

प्रयोगों ने क्या दिखाया

टीम ने कई गणितीय बेंचमार्क (जैसे GSM8K और MATH) पर विभिन्न AI मॉडल (जैसे Qwen और Llama) का उपयोग करके इसका परीक्षण किया।

सटीकता (Accuracy): "डिस्काउंटेड" मॉडल्स ने "अन-डिस्काउंटेड" मॉडल्स के समान ही सही उत्तर दिए।
लंबाई (Length): "डिस्काउंटेड" मॉडल्स ने काफी छोटे रीजनिंग चेन लिखे।
- एक परीक्षण में, बिना सटीकता खोए औसत रिस्पॉन्स की लंबाई 22% कम हो गई।
- दूसरे परीक्षण में, यह 13% कम हो गई।

कुछ मामलों में, छोटे मॉडल्स ने थोड़ा बेहतर प्रदर्शन भी किया, जिससे पता चलता है कि "फालतू बातों" को हटाने से वास्तव में AI को बेहतर ध्यान केंद्रित करने में मदद मिल सकती है।

सारांश

यह पेपर एक सरल लेकिन शक्तिशाली प्रशिक्षण तकनीक पेश करता है: AI को उसके द्वारा सोचे गए हर अतिरिक्त शब्द के लिए एक छोटा सा "टैक्स" चुकाने के लिए कहें।

ऐसा करके, AI एक "कुशल विचारक" (efficient thinker) बनना सीख जाता है। वह बिना वजह की बातें करना बंद कर देता है और सही उत्तर तक पहुँचने का सबसे सीधा रास्ता खोजने लगता है, जिससे उसकी बुद्धिमत्ता से समझौता किए बिना समय और कंप्यूटिंग शक्ति की बचत होती है। लेखक गणितीय रूप से सिद्ध करते हैं कि यह काम करता है और प्रयोगों के माध्यम से दिखाते हैं कि यह बिल्कुल वैसा ही करता है जैसा उन्होंने भविष्यवाणी की थी।

तकनीकी सारांश: डिस्काउंटेड सुदृढीकरण शिक्षण (Reinforcement Learning) के साथ कुशलतापूर्वक तर्क करना सीखना

समस्या विवरण

लार्ज रीजनिंग मॉडल्स (LRMs) जटिल कार्यों (जैसे गणित, कोड) को हल करने के लिए अंतिम उत्तर से पहले मध्यवर्ती तर्क टोकन (intermediate reasoning tokens) उत्सर्जित करते हैं। जबकि पोस्ट-ट्रेनिंग में सुदृढीकरण शिक्षण (RL) सटीकता में सुधार करता है, यह अक्सर अत्यधिक लंबे 'चेन ऑफ थॉट' (chain of thought) की ओर ले जाता है, जिससे कम्प्यूटेशनल लागत, मेमोरी उपयोग (बढ़ते KV कैश के माध्यम से) और इन्फरेंस लेटेंसी (inference latency) बढ़ जाती है।

क्षेत्र में प्रचलित धारणा यह है कि लंबे उत्तर स्वाभाविक रूप से सटीकता में सुधार करते हैं, जो प्रतिक्रिया लंबाई और शुद्धता के बीच एक ट्रेडऑफ (tradeoff) का सुझाव देती है। यह शोध पत्र उस धारणा को चुनौती देता है। यह तर्क देता है कि मॉडल क्लास और समस्या के उदाहरण द्वारा निर्धारित एक शासन (regime) तक, कोई अंतर्निहित ट्रेडऑफ नहीं है: सटीकता से समझौता किए बिना एक विशिष्ट उदाहरण-निर्भर सीमा तक प्रतिक्रिया की लंबाई को कम किया जा सकता है। लक्ष्य ऐसे LRMs को प्रशिक्षित करना है जो प्रभावी और कुशलता से सही उत्तरों तक पहुँच सकें, जो एक स्टोकेस्टिक शॉर्टेस्ट पाथ (Stochastic Shortest Path - SSP) समस्या में सबसे सफल पथ खोजने के समान है।

कार्यप्रणाली

सैद्धांतिक ढांचा: ब्लैकवेल अनुकूलता (Blackwell Optimality)

लेखक सत्यापनकर्ता-आधारित तर्क (verifier-based reasoning) को एक बाइनरी टर्मिनल रिवॉर्ड (सही के लिए 1, गलत के लिए 0) वाले सीमित-क्षितिज मार्कोव निर्णय प्रक्रिया (finite-horizon MDP) के रूप में मॉडल करते हैं। सटीकता को अधिकतम करने और पथ की लंबाई को न्यूनतम करने के उद्देश्य को औपचारिक रूप देने के लिए, वे ब्लैकवेल अनुकूलता का उपयोग करते हैं।

परिभाषा: एक पॉलिसी (policy) ब्लैकवेल अनुकूल है यदि वह $\gamma$ के 1 के पर्याप्त करीब होने पर सभी डिस्काउंट फैक्टर्स के लिए अनुकूल है।
तंत्र: लक्ष्य-प्राप्ति वाले MDPs में, जहाँ बाइनरी टर्मिनल रिवॉर्ड होते हैं, $\gamma \to 1$ के रूप में डिस्काउंटेड रिटर्न $J_\gamma(\pi)$ को अधिकतम करना पहले सफलता की संभावना (सटीकता) को अधिकतम करता है। वे नीतियां जो अधिकतम सफलता की संभावना प्राप्त करती हैं, उनके बीच चयन करने के लिए डिस्काउंटिंग तंत्र अपेक्षित पथ लंबाई को कम करने के आधार पर टाई-ब्रेकर (tie-breaker) के रूप में कार्य करता है।
मुख्य अंतर्दृष्टि: एक सीमित पॉलिसी क्लास $\Pi$ के लिए, एक क्रिटिकल डिस्काउंट फैक्टर $\gamma_{bw} < 1$ मौजूद है, जिससे $\gamma \in (\gamma_{bw}, 1)$ के लिए, $\gamma$ -अनुकूल नीतियों का सेट ब्लैकवेल अनुकूल नीतियों के सेट के साथ मेल खाता है। ये नीतियां सटीकता को अधिकतम करने के साथ-साथ अपेक्षित पथ की लंबाई को भी न्यूनतम करती हैं।

व्यावहारिक प्रशिक्षण विधि

सैद्धांतिक परिणामों से निर्देशित होकर, लेखक ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करके एक विशिष्ट प्रशिक्षण पद्धति प्रस्तावित करते हैं:

केवल डिस्काउंटेड एनवायरनमेंट रिवॉर्ड: डिस्काउंट फैक्टर $\gamma \in (0, 1)$ को विशेष रूप से एक्सट्रिंसिक एनवायरनमेंट रिवॉर्ड (सहीपन) पर लागू किया जाता है। इंट्रिन्सिक रिवॉर्ड्स (फॉर्मेटिंग, स्ट्रक्चरल शेपिंग) को अनडिस्कउंटेड रखा जाता है ताकि मॉडल सुव्यवस्थित आउटपुट उत्पन्न करना सुनिश्चित कर सके।
रीजनिंग टोकन मास्किंग: डिस्काउंटिंग केवल उन टोकन पर लागू होती है जिन्हें "रीजनिंग स्पैन" (जैसे, <reasoning> और </reasoning> टैग के बीच के टोकन) के रूप में पहचाना गया है। प्रॉम्प्ट पालन, फॉर्मेटिंग और अंतिम उत्तर के लिए आवश्यक टोकन को डिस्काउंट नहीं किया जाता है।
KL रेगुलराइजेशन: पॉलिसी कोलैप्स (जहाँ मॉडल बहुत जल्दी तर्क करना बंद कर देता है) को रोकने और लर्निंग को स्थिर करने के लिए एक मूविंग रेफरेंस पॉलिसी (जो समय-समय पर अपडेट होती है) के विरुद्ध KL पेनल्टी लागू की जाती है।
तुलनीय टोकन बजट: निष्पक्ष तुलना सुनिश्चित करने के लिए, डिस्काउंटेड और अनडिस्कउंटेड विधियों के बीच प्रशिक्षण के दौरान संसाधित कुल टोकन की संख्या को समायोजित किया जाता है।

अनुकूलित की जाने वाली ऑब्जेक्टिव फंक्शन है:
$\mathbb{E}_{S_1 \sim \mu, \tau \sim \pi(S_1)} [\gamma^{K(\tau)} r_e(\tau) + r_f(\tau)] - \beta \text{KL}(\pi || \pi')$
जहाँ $K(\tau)$ रीजनिंग टोकन की संख्या है, $r_e$ एनवायरनमेंट रिवॉर्ड है, और $r_f$ फॉर्मेटिंग रिवॉर्ड है।

मुख्य योगदान

कोई ट्रेडऑफ नहीं होने का सैद्धांतिक प्रमाण: शोध पत्र सिद्ध करता है कि किसी भी निश्चित (संभवतः प्रतिबंधित) पॉलिसी क्लास के भीतर, ब्लैकवेल अनुकूल नीतियां अनडिस्कउंटेड सफलता की संभावना को अधिकतम करती हैं और उन मैक्सिमizers के बीच, अपेक्षित पथ की लंबाई को न्यूनतम करती हैं। यह स्थापित करता है कि सटीकता और पथ की लंबाई के बीच कोई अंतर्निहित ट्रेडऑफ नहीं है।
ब्लैकवेल फैक्टर का अस्तित्व: सीमित पॉलिसी क्लासेस के लिए, लेखक सिद्ध करते हैं कि एक ब्लैकवेल डिस्काउंट फैक्टर $\gamma_{bw} < 1$ का अस्तित्व है। वे इस पर भी सीमाएं प्रदान करते हैं कि सटीकता बनाए रखते हुए प्रतिक्रिया को छोटा करने के लिए $\gamma$ को 1 के कितने करीब होना चाहिए, जो प्रतिबंधित डिप्लॉयमेंट क्लासेस के लिए हाइपरपैरामीटर चयन को स्पष्ट करता है।
अनुभवजन्य सत्यापन (Empirical Validation): डिस्काउंटेड ऑब्जेक्टिव के साथ GRPO का उपयोग करते हुए, लेखक दिखाते हैं कि मॉडल गणितीय बेंचमार्क (GSM8K, MATH, AMC, AIME, आदि) पर अनडिस्कउंटेड बेसलाइन्स की Pass@1 सटीकता से मेल खाते हुए या उसे पार करते हुए, प्रतिक्रिया की औसत लंबाई को काफी कम कर सकते हैं।

प्रयोगात्मक परिणाम

लेखकों ने विभिन्न गणितीय डेटासेट पर चार इंस्ट्रक्शन-ट्यून्ड मॉडल्स (Qwen2.5 7B/14B, Llama 3 8B, Phi-4) का मूल्यांकन किया।

GSM8K और MATH: डिस्काउंटेड मॉडल्स ने अनडिस्कउंटेड बेसलाइन्स की Pass@1 सटीकता से मेल खाया या उससे थोड़ा बेहतर प्रदर्शन किया, जबकि टोकन काउंट में उल्लेखनीय कमी आई।
- Qwen2.5 7B (GSM8K): सटीकता स्थिर रही (91.06% बनाम 91.07%), जबकि औसत प्रतिक्रिया लंबाई 217.60 से घटकर 170.08 टोकन (~22% की कमी) हो गई।
- Llama 3 8B (GSM8K): सटीकता में मामूली सुधार हुआ (80.87% बनाम 81.07%), जबकि लंबाई 125.43 से घटकर 108.67 टोकन (~13% की कमी) हो गई।
कठिन बेंचमार्क (AMC, AIME, MINERVA, OLYMPIAD): बड़े मॉडल्स (Qwen2.5 14B, Phi-4) के लिए भी यही रुझान देखा गया जो DeepScaleR पर प्रशिक्षित थे। डिस्काउंटेड मॉडल्स ने काफी छोटे ट्रेसेस के साथ तुलनीय या उच्च सटीकता प्राप्त की (उदाहरण के लिए, AMC 2023 पर Phi-4: 51.00% $\to$ 61.00% सटीकता, 1134 $\to$ 716 टोकन)।
डिस्काउंट फैक्टर संवेदनशीलता: $\gamma$ में बदलाव वाले प्रयोगों ने सैद्धांतिक ट्रेडऑफ की पुष्टि की: जैसे-जैसे $\gamma$ 1 से दूर जाता है, प्रतिक्रिया की लंबाई विश्वसनीय रूप से कम होती है, लेकिन यदि डिस्काउंट बहुत अधिक आक्रामक (aggressive) हो जाए तो सटीकता अंततः गिर जाती है।

महत्व और दावे

यह शोध पत्र दावा करता है कि यह क्यूरेटेड डेटा या प्रॉम्प्ट इंजीनियरिंग पर निर्भर किए बिना, कुशल तर्क के लिए एक सिद्धांत-आधारित, इंस्टेंस-अवेयर मैकेनिज्म प्रदान करता है। ब्लैकवेल अनुकूलता का लाभ उठाकर, यह दृष्टिकोण "कुशल तर्क" की समस्या को एक विशिष्ट डिस्काउंटिंग रणनीति के साथ एक मानक RL ऑब्जेक्टिव के रूप में पुनर्गठित करता है।

लेखक दावा करते हैं कि उनके परिणाम:

अंतर्निहित लंबाई-सटीकता ट्रेडऑफ को खारिज करते हैं: वे दिखाते हैं कि मॉडल की क्षमता द्वारा निर्धारित एक विशिष्ट सीमा तक सटीकता हानि के बिना छोटा तर्क संभव है।
लंबाई दंड (Length Penalties) को एकीकृत करते हैं: यह कार्य बताता है कि छोटे प्रति-चरण नकारात्मक रिवॉर्ड्स का उपयोग करने वाली विधियाँ इस सेटिंग में डिस्काउंटिंग के समान हैं, जिसका अर्थ है कि कई मौजूदा लेंथ-पेनल्टी विधियाँ यदि ठीक से लागू की जाएं, तो समान सटीकता-फिर-लंबाई क्रम को पुनः प्राप्त कर सकती हैं।
एक व्यावहारिक रेसिपी प्रदान करते हैं: प्रस्तावित विधि के लिए मानक पॉलिसी ऑप्टिमाइजेशन (जैसे GRKO) में किसी एल्गोरिथम परिवर्तन की आवश्यकता नहीं है, केवल रिवॉर्ड गणना (रीजनिंग टोकन को डिस्काउंट करना) और एक मूविंग रेफरेंस पॉलिसी के उपयोग में संशोधन की आवश्यकता है।

शोध पत्र इस बात पर ध्यान देते हुए समाप्त होता है कि हालांकि छोटे ट्रेसेस दक्षता में सुधार करते हैं, लेकिन संपीड़ित तर्क (compressed reasoning) के सामान्यीकरण (generalization) को बेहतर बनाने की क्षमता भविष्य के कार्य के लिए एक खुला प्रश्न बना हुआ है।