🤖 machine learning

Reward Granularity in RLVR: Comparing Process and Outcome Reward Structures for Mathematical Reasoning in Small Language Models

यह शोधपत्र प्रदर्शित करता है कि गणितीय तर्क कार्यों पर RLVR के साथ प्रशिक्षित छोटे भाषा मॉडलों के लिए, प्रक्रिया-स्तरीय (process-level) पुरस्कार पर्यवेक्षण, सटीकता और तर्क ट्रेस निष्ठा (reasoning trace fidelity) दोनों में केवल परिणाम-आधारित (outcome-only) पर्यवेक्षण की तुलना में काफी बेहतर प्रदर्शन करता है, जबकि हाइब्रिड पुरस्कार संरचनाओं को आम तौर पर उच्च प्रक्रिया भार (process weights) से लाभ होता है।

मूल लेखक: Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

प्रकाशित 2026-07-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anagha Radhakrishna Palandye, Rebecca Glick, Osheen Kaul

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही छोटे, उत्साही छात्र (एक छोटा AI मॉडल) को गणित के शब्द समस्या (word problems) हल करना सिखा रहे हैं। आप चाहते हैं कि वह सही उत्तर दे, लेकिन आप यह भी चाहते हैं कि वह केवल अनुमान लगाने के बजाय सोचना सीखे।

यह शोध पत्र एक शिक्षक की तरह दो अलग-अलग तरीकों की तुलना कर रहा है: केवल अंतिम उत्तर की जाँच करना बनाम उनके काम के हर एक चरण (step) की जाँच करना।

यहाँ उनके प्रयोग का सरल शब्दों में विवरण दिया गया है:

सेटअप: "नन्हा दिमाग" वाला छात्र

शोधकर्ताओं ने एक बहुत ही छोटे AI मॉडल (जिसे Qwen2.5-0.5B कहा जाता है) का उपयोग किया। इस मॉडल को एक बुद्धिमान लेकिन छोटे बच्चे के रूप में समझें जिसके पास बहुत बड़ी याददाश्त या बहुत अधिक दिमागी शक्ति नहीं है। छोटा होने के कारण, यदि निर्देश स्पष्ट नहीं हैं तो यह भ्रमित हो सकता है।

उन्होंने इस छात्र को हल करने के लिए 1,319 गणित की समस्याएं दीं (GSM8K नामक एक डेटासेट से)। उन्होंने इस छात्र को "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) का उपयोग करके प्रशिक्षित किया, जो वास्तव में पुरस्कारों की एक प्रणाली है: सही उत्तर के लिए "बहुत अच्छे!" और गलत उत्तर के लिए "फिर से प्रयास करें"।

दो शिक्षण शैलियाँ (पुरस्कार संरचनाएं)

शोधकर्ताओं ने इन पुरस्कारों को देने के पांच अलग-अलग तरीकों का परीक्षण किया:

"केवल परिणाम" वाला कोच (अंतिम ग्रेड):
- यह कैसे काम करता है: शिक्षक केवल बॉक्स में दिए गए अंतिम नंबर को देखता है। यदि उत्तर सही है, तो छात्र को एक गोल्ड स्टार मिलता है। यदि यह गलत है, तो उसे कुछ नहीं मिलता।
- परिणाम: छात्र लगभग 54% बार सही उत्तर देने में सफल रहा।
- समस्या: छात्र "चीटिंग" या अनुमान लगाना शुरू कर देता था। वे सीधे उत्तर पर पहुँच जाते थे, चरणों को छोड़ देते थे, या गोल्ड स्टार पाने के लिए तर्क बना लेते थे। उनका तर्क अव्यवsted था और अक्सर गलत होता था, भले ही अंतिम संख्या किस्मत से सही क्यों न आई हो।
"केवल प्रक्रिया" वाला कोच (चरण-दर-चरण ग्रेडर):
- यह कैसे काम करता है: शिक्षक छात्र द्वारा लिखे गए प्रत्येक चरण की जाँच करता है। क्या उन्होंने सही ढंग से जोड़ा? क्या उन्होंने अपने वेरिएबल्स को परिभाषित किया? यदि कोई चरण सही है, तो उन्हें एक अंक मिलता है। यदि कोई चरण गलत है, तो उनके अंक कट जाते हैं।
- परिणाम: छात्र 64% बार सही उत्तर प्राप्त करने में सफल रहा।
- लाभ: उनकी सोच बहुत अधिक तार्किक और ठोस हो गई। उन्होंने वास्तव में समस्या को हल करने का तरीका सीखा।
- दुष्प्रभाव: छात्र थोड़ा बातूनी हो गया। वे कभी-कभी बहुत अधिक चरण लिखते थे या खुद को दोहराते थे, जैसे कि कोई छात्र जो गलती करने से इतना डरता है कि वह $2+2$ को हल करने के लिए भी उपन्यास लिख देता है।
"हाइब्रिड" कोच (शैलियों का मिश्रण):
- शोधकर्ताओं ने इन दोनों शैलियों को मिलाने का प्रयास किया। उन्होंने छात्र को चरणों पर आधारित अधिकांश स्कोर और अंतिम उत्तर पर थोड़ा सा भार (weight) देकर स्कोर दिया (या इसके विपरीत)।
- आश्चर्य: सबसे अच्छा मिश्रण चरणों पर 90% ध्यान और अंतिम उत्तर पर 10% ध्यान था। यह छात्र "केवल प्रक्रिया" वाले छात्र के लगभग समान प्रदर्शन (61% सटीकता) के साथ कार्य करता था, लेकिन इसके उत्तर अधिक साफ और संक्षिप्त थे।
- चेतावनी: जब उन्होंने एक ऐसा मिश्रण आजमाया जो अंतिम उत्तर पर 90% ध्यान और चरणों पर केवल 10% ध्यान देता था, तो छात्र वास्तव में "केवल परिणाम" वाले छात्र से भी खराब प्रदर्शन करता था। ऐसा लगता है कि जब "अंतिम उत्तर" का पुरस्कार बहुत अधिक शोर करता है, तो यह छात्र को भ्रमित कर देता है और "चरण-दर-चरण" निर्देशों को बेकार बना देता है।

उन्होंने क्या पाया? (एक उपमा)

AI को एक हाइकर (पर्वतारोही) के रूप में समझें जो पहाड़ की चोटी (सही उत्तर) तक पहुँचने की कोशिश कर रहा है।

केवल परिणाम: आप हाइकर से कहते हैं, "यदि आप चोटी पर पहुँचते हैं, तो आपको एक इनाम मिलेगा।" हाइकर शॉर्टकट ले सकता है, चट्टान से नीचे फिसल सकता है, या रास्ता भटक सकता है, लेकिन यदि वह भाग्य से चोटी पर पहुँच जाता है, तो वह जीत जाता है। वह रास्ता नहीं सीखता है।
केवल प्रक्रिया: आप हाइकर से कहते हैं, "हर बार जब आप रास्ते पर एक सुरक्षित, सही कदम उठाते हैं, तो आपको एक नाश्ता मिलता है।" हाइकर रास्ता पूरी तरह से सीख लेता है। वह सुरक्षित रहने के लिए कुछ अतिरिक्त कदम उठा सकता है, लेकिन वह भरोसेमंद तरीके से वहाँ पहुँचता है।
हाइब्रिड: आप सुरक्षित कदमों के लिए नाश्ता देते हैं, लेकिन चोटी पर पहुँचने के लिए एक बड़ा पुरस्कार भी देते हैं। यदि पुरस्कार नाश्ते की तुलना में बहुत बड़ा है, तो हाइकर रास्ते को अनदेखा कर देता है और उड़ने या कूदने की कोशिश करता है, जिससे वह अधिक बार विफल होता है।

मुख्य निष्कर्ष

शोध पत्र निष्कर्ष निकालता है कि आप कैसे ग्रेड देते हैं, यह आपकी सोच से कहीं अधिक महत्वपूर्ण है।

छोटे AI मॉडल के लिए, केवल अंतिम उत्तर को पुरस्कृत करना पर्याप्त नहीं है। यह "हैलुसिनेशन" (भ्रम/नकली तर्क) पैदा करता है जहाँ मॉडल सही नंबर पाने के लिए चरणों का निर्माण करता है। मॉडल को वास्तव में सही ढंग से सोचने के लिए, आपको प्रक्रिया (चरणों) को भारी मात्रा में पुरस्कृत करना चाहिए।

"केवल प्रक्रिया" वाले दृष्टिकोण ने मॉडल को काफी स्मार्ट और सटीक बना दिया, जो यह सिद्ध करता है कि छोटे दिमागों के लिए, सही उत्तर पाने के साथ-साथ अपना काम दिखाना (showing your work) भी उतना ही महत्वपूर्ण है।

तकनीकी सारांश: छोटे भाषा मॉडलों (SLMs) के लिए RLVR में रिवॉर्ड ग्रैनुलैरिटी (इनाम की सूक्ष्मता)

समस्या विवरण

वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) गणितीय तर्क क्षमता को बढ़ाने के लिए एक प्रतिमान (paradigm) के रूप में उभरा है, जो आमतौर पर परिणाम-आधारित रिवॉर्ड्स (अंतिम उत्तर की शुद्धता) पर निर्भर करता है। हालांकि, प्रोसेस-लेवल सुपरविजन (चरण-दर-चरण रिवॉर्ड्स) का प्रभाव, विशेष रूप से छोटे भाषा मॉडलों (SLMs) जैसे कि Qwen2.5-0.5B के लिए, अभी भी कम खोजा गया है। ये छोटे मॉडल अक्सर स्पार्स (sparse), केवल परिणाम-आधारित फीडबैक मिलने पर स्वयं सुधार (self-correct) करने की आंतरिक क्षमता नहीं रखते हैं, जिससे उनके रीजनिंग ट्रेसेस (तर्क पथ) तार्किक रूप से असंगत, भ्रमित (hallucinated), या संरचनात्मक रूप से दोषपूर्ण हो सकते हैं, भले ही अंतिम उत्तर सही हो। केंद्रीय शोध प्रश्न यह है कि क्या प्रोसेस रिवॉर्ड्स रीजनिंग ट्रेसेस की सुसंगतता और वैधता में सुधार करते हैं और क्या हाइब्रिड रिवॉर्ड स्ट्रक्चर अकेले किसी भी दृष्टिकोण की तुलना में अधिक स्थिर रीजनिंग प्रदान करते हैं।

कार्यप्रणाली (Methodology)

लेखकों ने Qwen2.5-0.5B, एक कॉम्पैक्ट ट्रांसफॉर्मर मॉडल, को GSM8K डेटासेट (ग्रेड-स्कूल मैथ वर्ड प्रॉब्लम्स) पर ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करके फाइन-ट्यून करते हुए एक नियंत्रित अनुभवजन्य अध्ययन (controlled empirical study) किया।

प्रयोगात्मक सेटअप

बेसलाइन: एक प्री-ट्रेन्ड मॉडल जिसे डायरेक्ट-आंसर (बिना चेन-ऑफ-थॉट के) सेटिंग में मूल्यांकित किया गया, जिसने 33.13% सटीकता प्राप्त की।
रिवॉर्ड रिजीम्स (Reward Regimes): पाँच अलग-अलग रिवॉर्ड स्थितियों की तुलना की गई:
1. प्रोसेस-ओनली (Process-Only): प्रत्येक मध्यवर्ती चरण को रिवॉर्ड दिया जाता है यदि वह ग्राउंड-ट्रुथ गणना (संख्यात्मक सहनशीलता के भीतर) से मेल खाता है। यदि उत्पन्न की गई चेन ग्राउंड-ट्रुथ स्टेप काउंट से 1.5× से अधिक हो जाती है, तो दंड (penalty) लगाया जाता है।
2. आउटकम-ओनली (Outcome-Only): केवल अंतिम संख्यात्मक उत्तर की शुद्धता के आधार पर बाइनरी रिवॉर्ड।
3. हाइब्रिड कॉन्फ़िगरेशन: प्रोसेस और आउटकम रिवॉर्ड्स का भारित संयोजन ( $R = \lambda \cdot R_{process} + (1-\lambda) \cdot R_{outcome}$ ) जहाँ $\lambda \in \{0.9, 0.5, 0.1\}$ है।
मूल्यांकन रणनीति:
- सटीकता (Accuracy): पूरे 1,319-प्रश्नों के टेस्ट सेट पर मापी गई।
- रीजनिंग फिडेलिटी (Reasoning Fidelity): एक स्तरीकृत (stratified) 45-प्रश्न स्लाइस (15 आसान, 15 मध्यम, 15 कठिन) पर चार मेट्रिक्स का उपयोग करके मूल्यांकन किया गया:
  - CoT-Pass@1: एकल सैंपल ट्रेस की सफलता दर।
  - ट्रेस वैलिडिटी (Trace Validity): तार्किक सुव्यवस्थितता (विरोधाभासों या अमान्य रूपांतरणों की अनुपस्थिति)।
  - चेन लेंथ डेविएशन (Chain Length Deviation): उत्पन्न और ग्राउंड-ट्रुथ स्टेप काउंट के बीच का अंतर।
  - प्रोसेस स्टेप रेशियो (Process Step Ratio): ग्राउंड-ट्रुथ रीजनिंग के साथ संरेखित चरणों का अनुपात।
- त्रुटि विश्लेषण (Error Analysis): विफलता मोड (जैसे गलत व्युत्पत्ति, कैलकुलेटर त्रुटियां, छूटे हुए चरण, विरोधाभास) को वर्गीकृत करने के लिए GPT-4o का उपयोग एक जज के रूप में किया गया।

मुख्य परिणाम

1. सटीकता में वृद्धि

प्रोसेस-ओनली सुपरविजन ने 63.73% के साथ उच्चतम टेस्ट सटीकता प्राप्त की, जो बेसलाइन की तुलना में +30.60% का सुधार है। इसने आउटकम-ओनली सुपरविजन (53.75%, +20.62% सुधार) को महत्वपूर्ण रूप से पीछे छोड़ दिया।

हाइब्रिड प्रदर्शन: उच्च प्रोसेस वेट ( $\lambda=0.9$ ) वाले हाइब्रिड कॉन्फ़िगरेशन ने 61.10% सटीकता प्राप्त की।
विसंगति (Anomaly): लो-प्रोसेस/हाई-आउटकम कॉन्फ़िगरेशन ( $\lambda=0.1$ ) शुद्ध आउटकम सुपरविजन से भी कम प्रदर्शन ( $\lambda=0.1$ के साथ 49.30%) कर गया, जो यह सुझाव देता है कि इस विशिष्ट वेटिंग में परस्पर विरोधी अनुकूलन संकेत (conflicting optimization signals) प्रदर्शन को खराब कर देते हैं।

2. रीजनिंग फिडेलिटी और स्थिरता

ट्रेस वैलिडिटी: $\lambda=0.9$ हाइब्रिड मॉडल ने उच्चतम ट्रेस वैलिडिटी (0.60) प्राप्त की, इसके बाद आउटकम-ओनली (0.40) और प्रोसेस-ओनली (0.22) का स्थान रहा।
चेन लेंथ: प्रोसेस-ओनली मॉडल्स ने ग्राउंड-ट्रुथ चेन लेंथ में सबसे बड़ा विचलन (6.49) दिखाया, जो लंबे या अनावश्यक (verbose/redundant) रीजनिंग की ओर झुकाव का संकेत देता है। आउटकम-ओनली मॉडल्स ने अधिक संक्षिप्त (concise) ट्रेसेस बनाए (विचलन 3.64)।
प्रोसेस स्टेप रेशियो: $\lambda=0.9$ हाइब्रिड मॉडल ने उच्चतम अनुपात (0.84) प्राप्त किया, जो ग्राउंड-ट्रुथ मध्यवर्ती चरणों के साथ सबसे अच्छा संरेखण दर्शाता है।

3. गुणात्मक और त्रुटि विश्लेषण

प्रोसेस-ओनली मॉडल्स: संरचनात्मक रूप से असंगत लेकिन अंकगणितीय रूप से आधारित (arithmetically grounded) ट्रेसेस उत्पन्न किए। उन्होंने बार-बार संरचनात्मक विसंगतियों और विरोधाभासों को पेश किया, जो संभवतः स्थानीय रूप से प्रशंसनीय (locally plausible) चरणों की लंबी श्रृंखला बनाने के प्रोत्साहन के कारण हुआ।
आउटकम-ओनली मॉडल्स: संक्षिप्त श्रृंखलाएं बनाईं लेकिन व्युत्पत्ति (derivation) और अंकगणितीय त्रुटियों के प्रति संवेदनशील थीं, जो कमजोर मध्यवर्ती ग्राउंडिंग और रीजनिंग पॉइंट्स के बीच "जंप" करने की प्रवृत्ति को दर्शाती हैं।
हाइब्रिड मॉडल्स: सबसे अधिक मानव-समान रीजनिंग फ्लो प्रदर्शित किए, जो स्टेप निरंतरता और आवश्यक संक्षिप्तता के बीच संतुलन बनाते हैं, और इनमें विनाशकारी विफलताओं (catastrophic failures) के बिना त्रुटियों के प्रकारों का सबसे समान वितरण देखा गया।

महत्व और योगदान

लेखक दावा करते हैं कि रिवॉर्ड ग्रैनुलैरिटी RLVR के लिए एक प्रथम-क्रम का डिज़ाइन निर्णय (first-order design decision) है, न कि केवल एक मामूली कार्यान्वयन विवरण। मुख्य योगदान हैं:

व्यवस्थित तुलना: एक छोटे मॉडल पर पांच रिवॉर्ड स्थितियों की एक नियंत्रित तुलना प्रदान करना, जो यह प्रदर्शित करता है कि SLMs के लिए स्पार्स आउटकम फीडबैक की तुलना में डेंस प्रोसेस सिग्नल अधिक सूचनात्मक मार्गदर्शन प्रदान करते हैं।
सटीकता से परे: यह स्थापित करना कि केवल सटीकता पर्याप्त नहीं है; प्रोसेस सुपरविजन ट्रेस फिडेलिटी और स्टेप वैलिडिटी में सुधार करता है, जबकि आउटकम-ओनली सुपरविजन "फ्लैकी" (flaky) रीजनिंग की ओर ले जा सकता है।
हाइब्रिड डायनेमिक्स: यह पहचानना कि हालांकि हाइब्रिड रिवॉर्ड्स आम तौर पर प्रोसेस वेट के साथ सकारात्मक रूप से सहसंबंधित होते हैं, विशिष्ट लो-प्रोसेस कॉन्फ़िगरेशन परस्पर विरोधी संकेत पैदा कर सकते हैं जो प्रदर्शन को नुकसान पहुँचाते हैं।
विफलता मोड का लक्षण वर्णन: LLM-as-a-judge का उपयोग करके विशिष्ट विफलता वितरण को प्रकट करना: प्रोसेस मॉडल संरचनात्मक विसंगति से जूझते हैं, जबकि आउटकम मॉडल व्युत्पत्ति त्रुटियों से जूझते हैं।

लेखक निष्कर्ष निकालते हैं कि ऐसे मॉडल विकसित करने के लिए जो न केवल सही उत्तर दें बल्कि विश्वसनीय रूप से तर्क भी करें, यह आवश्यक है कि रीजनिंग के प्रक्रिया (process) और परिणाम (outcome) दोनों की निगरानी की जाए। प्रोसेस-ओनली और आउटकम-ओनली सुपरविजन के बीच लगभग 10-प्रतिशत अंक का सटीकता अंतर छोटे भाषा मॉडलों के लिए रिवॉर्ड ग्रैनुलैरिटी के महत्वपूर्ण महत्व को रेखांकित करता है।