🤖 machine learning

Rewards as Labels: Revisiting RLVR from a Classification Perspective

यह शोध पत्र "रिवॉर्ड्स ऐज़ लेबल्स" (REAL) का प्रस्ताव करता है, जो एक नया ढांचा है जो GRPO जैसी विधियों में ग्रेडिएंट मिसअसाइनमेंट और डोमिनेशन की समस्याओं को संबोधित करने के लिए 'रिनफोर्समेंट लर्निंग विद वेरीफिएबल रिवॉर्ड्स' को एक वर्गीकरण (classification) समस्या के रूप में पुनर्गठित करता है, जिससे अत्याधुनिक बेसलाइनों की तुलना में गणितीय तर्क संबंधी बेंचमार्क पर बेहतर प्रशिक्षण स्थिरता और प्रदर्शन प्राप्त होता है।

मूल लेखक: Zepeng Zhai, Meilin Chen, Jiaxuan Zhao, Junlang Qian, Lei Shen, Yuan Lu

प्रकाशित 2026-03-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zepeng Zhai, Meilin Chen, Jiaxuan Zhao, Junlang Qian, Lei Shen, Yuan Lu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, लेकिन थोड़े भ्रमित रोबोट को गणित की समस्याएँ हल करना सिखा रहे हैं। आप चाहते हैं कि वह बेहतर बने, इसलिए आप Reinforcement Learning with Verifiable Rewards (RLVR) नामक एक विधि का उपयोग करते हैं।

यहाँ बताया गया है कि पुराना तरीका कैसे काम करता था, वह क्यों टूटा हुआ था, और यह नया पेपर, "Rewards as Labels" (REAL), इसे कैसे ठीक करता है।

पुराना तरीका: "वॉल्यूम नॉब" की समस्या (GRPO)

पिछले तरीके (जिसे GRPO कहा जाता था) में, शिक्षक (कंप्यूटर एल्गोरिदम) रोबोट को एक गणित की समस्या 8 बार हल करने के लिए कहता था।

यदि रोबोट ने उत्तर सही दिया, तो शिक्षक उसे एक "शाबाशी" देता था (Reward = 1)।
यदि उसने गलत उत्तर दिया, तो शिक्षक उसे "फिर से कोशिश करो" कहता था (Reward = 0)।

इसके बाद शिक्षक रोबोट के उत्तरों को देखता था और उसके मस्तिष्क को समायोजित करने की कोशिश करता था। लेकिन यहाँ एक समस्या थी: शिक्षक रिवॉर्ड (पुरस्कार) का उपयोग रोबोट के आत्मविश्वास के लिए एक "वॉल्यूम नॉब" (आवाज़ कम-ज़्यादा करने वाला बटन) के रूप में करता था।

"बहुत तेज़" वाली गलती (Gradient Domination):
कल्पना कीजिए कि रोबोट को पूरा विश्वास है कि उसका उत्तर गलत है (उदाहरण के लिए, वह सोचता है कि "2+2=5" होने की संभावना 99% है)। क्योंकि वह इतना आत्मविश्वासी था, पुराने शिक्षक ने "वॉल्यूम नॉब" को पूरी तरह से ऊपर कर दिया। रोबोट के मस्तिष्क को उस गलती को सुधारने के लिए एक बहुत बड़ा, चौंकाने वाला झटका लगा।

परिणाम: रोबोट घबरा गया। उसने अत्यधिक सुधार (over-correct) किया, और उस एक गलती को ठीक करने के लिए वह सब कुछ भूल गया जो वह जानता था। यह एक ऐसे छात्र की तरह था जिसे एक गलत उत्तर के लिए डांट पड़ी और वह बाकी टेस्ट के लिए सब कुछ भूल गया।

"बहुत धीमा" वाली गलती (Gradient Misassignment):
अब, कल्पना कीजिए कि रोबोट ने उत्तर सही दिया, लेकिन वह अनिश्चित था (उदाहरण के लिए, वह सोचता है कि "2+2=4" लेकिन उसका आत्मविश्वास केवल 50% था)। पुराने शिक्षक ने कम आत्मविश्वास देखा और "वॉल्यूम नॉब" को बहुत नीचे कर दिया।

परिणाम: रोबोट को शायद ही कोई "शाबाशी" महसूस हुई। वह अगली बार आत्मविश्वासी बनने के लिए पर्याप्त नहीं सीख पाया। यह एक ऐसे छात्र की तरह था जिसे एक बेहतरीन उत्तर के लिए केवल एक धीमी "ठीक है" मिली, इसलिए उसने उस विषय पर दोबारा पढ़ाई करने की ज़हमत नहीं उठाई।

पुराने तरीके का सारांश: शिक्षक आत्मविश्वासी गलतियों पर बहुत कठोर और अनिश्चित सफलताओं पर बहुत नरम था। इसने सीखना अस्थिर और अक्षम बना दिया।

नया तरीका: "ट्रैफिक लाइट" सिस्टम (REAL)

इस पेपर के लेखकों, Zepeng Zhai और उनकी टीम ने कहा, "रुको जरा, हम रिवॉर्ड्स को वॉल्यूम नॉब की तरह क्यों इस्तेमाल कर रहे हैं? आइए उन्हें सरल लेबल की तरह इस्तेमाल करें, जैसे एक ट्रैफिक लाइट।"

उन्होंने एक नया ढांचा प्रस्तावित किया जिसे REAL (Rewards as Labels) कहा जाता है।

यह पूछने के बजाय कि, "मुझे इस उत्तर पर कितनी ज़ोर से चिल्लाना चाहिए?", वे पूछते हैं, "क्या यह उत्तर ग्रीन लाइट (अच्छा) है या रेड लाइट (बुरा)?"

REAL कैसे काम करता है:

वर्गीकरण, न कि वॉल्यूम:
शिक्षक सभी 8 उत्तरों को देखता है।

सही उत्तरों को ग्रीन ढेर (Green Pile) में रखा जाता है।
गलत उत्तरों को रेड ढेर (Red Pile) में रखा जाता है।
लक्ष्य केवल ग्रीन उत्तरों को ऊपर धकेलना और रेड उत्तरों को नीचे धकेलना है। इससे कोई फर्क नहीं पड़ता कि रोबोट 99% निश्चित था या 1% निश्चित; निर्देश समान है: "ग्रीन को ऊपर ले जाओ, रेड को नीचे ले जाओ।"

"एंकर" (सुरक्षा जाल):
यह सुनिश्चित करने के लिए कि रोबोट भ्रमित न हो, शिक्षक एक जीरो पॉइंट (Zero Point) यानी एक एंकर जोड़ता है।

यदि कोई उत्तर ग्रीन है, तो शिक्षक कहता है, "तुम्हें शून्य से ऊपर होना चाहिए।"
यदि कोई उत्तर रेड है, तो शिक्षक कहता है, "तुम्हें शून्य से नीचे होना चाहिए।"
यह एक स्पष्ट, सुरक्षित सीमा बनाता है। रोबोट को कभी भी बहुत बड़ा "झटका" नहीं लगता, और न ही उसे कभी बहुत कमजोर "पीठ थपथपाना" मिलता है।

जादुई उपमा: संतुलित सी-सॉ (Seesaw)

पुराने तरीके को एक सी-सॉ के रूप में सोचें जहाँ भारी बच्चा (आत्मविश्वासी गलती) हल्के बच्चे (अनिश्चित सफलता) को इतनी ज़ोर से धक्का देता है कि हल्का बच्चा बोर्ड से उड़ जाता है।

नया REAL तरीका सी-सॉ के नीचे एक स्प्रिंग रखता है।

यदि भारी बच्चा बहुत ज़ोर से धक्का देता है, तो स्प्रिंग झटके को सोख लेता है ताकि बोर्ड ऊपर की ओर न उछले।
यदि हल्का बच्चा बहुत हल्का है, तो स्प्रिंग धीरे से उसे ऊपर उठा देता है ताकि वह अटक न जाए।
परिणाम: सी-सॉ संतुलित रहता है, और हर कोई एक स्थिर, सुरक्षित गति से सीखता है।

यह क्यों मायने रखता है (परिणाम)

लेखकों ने इसका परीक्षण कुछ सबसे कठिन गणितीय समस्याओं (जैसे AIME और ओलंपियाड प्रतियोगिताओं) पर किया।

स्थिरता (Stability): रोबोट पागल नहीं हुआ (entropy collapse) और न ही भ्रमित हुआ (entropy explosion)। इसने निरंतरता के साथ सीखा।
प्रदर्शन (Performance): एक छोटे मस्तिष्क (1.5 बिलियन पैरामीटर्स) के साथ भी, नए तरीके ने पुराने "वॉल्यूम नॉब" तरीके को बहुत बड़े अंतर से हराया (लगभग 6.7% बेहतर)।
स्केलेबिलिटी (Scalability): जब उन्होंने एक बड़े मस्तिष्क (7 बिलियन पैरामीटर्स) का उपयोग किया, तब भी यह जीत गया।

मुख्य बात (Bottom Line)

पेपर तर्क देता है कि हमें AI को सिखाने के लिए जटिल, शोर वाले रिवॉर्ड्स की आवश्यकता नहीं है। हमें बस चीजों को स्पष्ट रूप से "अच्छा" या "बुरा" के रूप में लेबल करने की आवश्यकता है और सीखने की प्रक्रिया को एक वर्गीकरण समस्या (classification problem) (चीजों को डिब्बों में छाँटना) की तरह मानने की आवश्यकता है, न कि एक रिग्रेशन समस्या (regression problem) (एक डायल को घुमाना) की तरह।

ऐसा करके, उन्होंने "आत्मविश्वासी गलतियों पर चिल्लाने" और "अनिश्चित सफलताओं को अनदेखा करने" की समस्याओं को ठीक किया, जिससे गणित और तर्क के लिए AI प्रशिक्षण बहुत अधिक स्थिर और प्रभावी हो गया।

यहाँ शोध पत्र "Rewards as Labels: Revisiting RLVR from a Classification Perspective" (REAL) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र Verifiable Rewards के साथ Reinforcement Learning (RLVR) में मौजूद महत्वपूर्ण अक्षमताओं को संबोधित करता है, विशेष रूप से प्रमुख Group Relative Policy Optimization (GRPO) फ्रेमवर्क और इसके वेरिएंट्स (जैसे DAPO, GSPO) के संदर्भ में। जबकि GRPO ने रीजनिंग कार्यों पर Large Language Models (LLMs) को सफलतापूर्वक बेहतर बनाया है, लेखक दो मौलिक ग्रेडिएंट मिसमैच (gradient mismatches) की पहचान करते हैं जो उप-इष्टतम (suboptimal) पॉलिसी अपडेट की ओर ले जाते हैं:

Positives में ग्रेडिएंट मिसअसाइनमेंट (Gradient Misassignment in Positives): सही (positive) रोलआउट्स के लिए, GRPO उन टोकन को असमान रूप से बड़े अपडेट असाइन करता है जिनके पास पहले से ही उच्च प्रायिकता (high probability) है (आसान टोकन)। इसके विपरीत, "कठिन" (hard) पॉजिटिव टोकन (वर्तमान पॉलिसी के तहत कम प्रायिकता वाले) कमजोर ग्रेडिएंट प्राप्त करते हैं। इसके परिणामस्वरूप मॉडल प्रशिक्षित न किए गए घटकों को सुधारने के बजाय पहले से अनुकूलित क्षेत्रों पर ध्यान केंद्रित करने लगता है।
Negatives में ग्रेडंड डोमिनेशन (Gradient Domination in Negatives): गलत (negative) रोलआउट्स के लिए, GRPO में ग्रेडिएंट का परिमाण (magnitude) अनबाउंडेड होता है। उच्च-विश्वास वाले नेगेटिव टोकन (वे टोकन जिनके बारे में मॉडल बहुत आश्वस्त है लेकिन वे गलत हैं) अत्यधिक बड़े ग्रेडिएंट उत्पन्न करते हैं जो अपडेट पर हावी हो जाते हैं, जिससे अन्य सूचनात्मक नेगेटिव सैंपल्स का योगदान दब जाता है। यह अस्थिर प्रशिक्षण और आउटलेर्स (outliers) के प्रति संवेदनशीलता का कारण बनता है।

ये समस्याएँ अक्षम क्रेडिट असाइनमेंट, स्थानीय इष्टतम (local optima) की ओर समयपूर्व अभिसरण (premature convergence), और प्रशिक्षण अस्थिरता (जैसे एंट्रॉपी कोलैप्स या विस्फोट) का कारण बनती हैं।

2. कार्यप्रणाली: REAL फ्रेमवर्क (Methodology: The REAL Framework)

लेखक REAL (Rewards as Labels) प्रस्तावित करते हैं, जो एक नया फ्रेमवर्क है जो पॉलिसी ऑप्टिमाइज़ेशन को एक स्केलर रिवॉर्ड वेटिंग परिप्रेक्ष्य से बदलकर एक वर्गीकरण (classification) परिप्रेक्ष्य के रूप में मौलिक रूप से पुनर्कल्पित करता है।

मुख्य वैचारिक परिवर्तन (Core Conceptual Shift)

रिवॉर्ड्स ( $r \in \{0, 1\}$ ) को ग्रेडिएंट को स्केल करने वाले स्केलर वेट के रूप में मानने के बजाय, REAL उन्हें कैटेगोरिकल लेबल (categorical labels) के रूप में मानता है। उद्देश्य को एक वर्गीकरण कार्य के रूप में पुनर्गठित किया गया है: वांछनीय (positive) और अवांछनीय (negative) रोलआउट्स के बीच अंतर करना।

तकनीकी घटक (Technical Components)

लॉगिट परिभाषा (Logit Definition):
एक रोलआउट $o_k$ के लिए, मॉडल एक लेंथ-नॉर्मलाइज्ड रिलेटिव लॉग-प्रोबेबिलिटी स्कोर (लॉगिट) $\bar{s}_k$ की गणना करता है:
$\bar{s}_k = \frac{1}{|o_k|} \sum_{t=1}^{|o_k|} \log \frac{\pi_\theta(o_{k,t} | q)}{\pi_{old}(o_{k,t} | q)}$
यह स्कोर नई पॉलिसी के तहत पुरानी पॉलिसी की तुलना में सापेक्ष परिवर्तन को मापता है।
एंकर लॉगिट्स (Anchor Logits):
अस्पष्ट अपडेट दिशाओं (जैसे, दोनों पॉजिटिव और नेगेटिव स्कोर का घटना) को रोकने के लिए, REAL 0 पर एक निश्चित एंकर लॉगिट (anchor logit) पेश करता है।

पॉजिटिव सैंपल्स के लिए, 0 एक नेगेटिव लॉगिट के रूप में कार्य करता है।
नेगेटिव सैंपल्स के लिए, 0 एक पॉजिटिव लॉगिट के रूप में कार्य करता है।
यह एक स्पष्ट अलगाव लागू करता है: पॉजिटिव स्कोर $>0$ होने चाहिए और नेगेटिव स्कोर $<0$ होने चाहिए।

लॉस फंक्शन (Loss Function):
REAL एक एकीकृत Softmax Cross-Entropy लॉस (विशेष रूप से Circle Loss या समान मार्जिन-आधारित लॉस का एक वेरिएंट) का उपयोग करता है, ताकि एंकर ( $S_0$ ) के सापेक्ष पॉजिटिव लॉगिट्स ( $S_+$ ) और नेगेटिव लॉगिट्स ( $S_-$ ) के सेट को अलग किया जा सके।
$\mathcal{L}_{REAL} = \mathcal{L}_{CE}(S_+, S_0) + \mathcal{L}_{CE}(S_0, S_-)$
जहाँ $\mathcal{L}_{CE}$ को $\log(1 + \sum e^{z_{neg} - z_{pos}})$ के रूप में परिभाषित किया गया है। यह फॉर्मूलेशन स्वाभाविक रूप से ग्रेडिएंट एलोकेशन को संतुलित करता है।
सैद्धांतिक गुण (Theoretical Properties - Gradient Analysis):
शोध पत्र सिद्ध करता है कि REAL एक मोनोटोनिक और बाउंडेड ग्रेडिएंट वेटिंग (monotonic and bounded gradient weighting) प्रेरित करता है।

ग्रेडिएंट का परिमाण $1/\tau$ (जहाँ $\tau$ एक तापमान पैरामीटर है) द्वारा ऊपरी रूप से सीमित (upper-bounded) है।
पॉजिटिव्स के लिए, ग्रेडिएंट सापेक्ष लॉग-प्रोबेबिलिटी बढ़ने के साथ घटता है (पहले से अनुकूलित टोकन को ओवर-अपडेट करने से रोकता है)।
नेगेटिव्स के लिए, ग्रेडिएंट सख्ती से सीमित है, जो आउटलेयर डोमिनेशन को रोकता है।
महत्वपूर्ण रूप से: यह बाउंडेड प्रकृति एक निहित, अनुकूली ग्रेडिएंट क्लिपिंग (implicit, adaptive gradient clipping) के रूप में कार्य करती है, जिससे GRPO में प्रशिक्षण को स्थिर करने के लिए अक्सर आवश्यक स्पष्ट KL-डाइवर्जेंस पेनल्टी की आवश्यकता समाप्त हो जाती है।

3. मुख्य योगदान (Key Contributions)

ग्रेडिएंट मिसमैच की पहचान: शोध पत्र औपचारिक रूप से "Positives में ग्रेडिएंट मिसअसाइनमेंट" और "Negatives में ग्रेडिएंट डोमिनेशन" को GRPO-शैली के तरीकों में अस्थिरता के मूल कारणों के रूप में पहचानता है और विश्लेषण करता है।
REAL फ्रेमवर्क: वर्गीकरण-आधारित RLVR को प्रस्तावित करता है जो रिवॉर्ड्स को लेबल के रूप में मानता है, संतुलित ग्रेडिएंट एलोकेशन प्राप्त करने के लिए एंकर लॉगिट्स और सॉफ्टमैक्स क्रॉस-एन्ट्रॉपी का उपयोग करता है।
सैद्धांतिक गारंटी: प्रदर्शित करता है कि REAL बाउंडेड, मोनोटोनिक ग्रेडिएंट वेटिंग प्रदान करता है, जो स्पष्ट KL पेनल्टी के बिना स्थिर प्रशिक्षण सुनिश्चित करता है।
अनुभवजन्य श्रेष्ठता (Empirical Superiority): व्यापक प्रयोग दिखाते हैं कि REAL कई मॉडल स्केल्स और बेंचमार्क पर लगातार GRPO, DAPO और GSPO से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने DeepSeek-R1-Distill-Qwen मॉडल्स (1.5B और 7B पैरामीटर्स) का उपयोग करके गणितीय तर्क बेंचमार्क (AIME 2024/2025, MATH 500, AMC 2023, Minerva, Olympiad Bench) पर REAL का मूल्यांकन किया।

1.5B मॉडल प्रदर्शन:
- REAL ने DAPO की तुलना में औसत Pass@1 में 6.7% और GRPO की तुलना में 9.5% का सुधार किया।
- इसने मजबूत बेसलाइन GSPO को भी पछाड़ दिया।
7B मॉडल प्रदर्शन:
- REAL ने DAPO से 6.2% और GSPO से 1.7% बेहतर प्रदर्शन करना जारी रखा।
- 63.2% का औसत Pass@1 प्राप्त किया।
प्रशिक्षण स्थिरता (Training Stability):
- GRPO (जो एंट्रॉपी कोलैप्स से ग्रस्त है) और DAPO (एंट्रॉपी विस्फोट) के विपरीत, REAL ने पूरे प्रशिक्षण के दौरान स्थिर एंट्रॉपी बनाए रखी।
- इसने बिना किसी स्पष्ट KL पेनल्टी के प्रतिस्पर्धी प्रदर्शन हासिल किया, जो इसके निहित ग्रेडिएंट क्लिपिंग की प्रभावकारिता की पुष्टि करता है।
एब्लेशन स्टडीज (Ablation Studies):
- एंकर लॉगिट्स को हटाने से प्रदर्शन में थोड़ी कमी आई लेकिन यह स्थिर रहा।
- सॉफ्टमैक्स के बजाय बाइनरी क्रॉस-एन्ट्रॉपी (BCE) का उपयोग करने से कम प्रदर्शन (50.4% बनाम 52.6%) हुआ, जो सॉफ्टमैक्स फॉर्मूलेशन में निहित ग्रुप-वाइज कॉम्पिटिशन के महत्व को उजागर करता है।
- पाया गया कि तापमान पैरामीटर $\tau=0.5$ इष्टतम था; कम मान ( $\tau=0.1$ ) अनबाउंडेड ग्रेडिएंट्स के कारण अस्थिरता का कारण बनते हैं।

5. महत्व (Significance)

प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र RLVR के प्रचलित दृष्टिकोण को चुनौती देता है जो इसे एक स्केलर रिवॉर्ड ऑप्टिमाइज़ेशन समस्या मानता है, इसे सफलतापूर्वक एक वर्गीकरण कार्य के रूप में पुनर्गठित करता है। यह क्रेडिट असाइनमेंट के लिए अधिक सिद्धांत-आधारित दृष्टिकोण प्रदान करता है।
स्थिरता और दक्षता: ग्रेडिएंट मिसमैच समस्याओं को हल करके, REAL स्थिर प्रशिक्षण डायनेमिक्स को सक्षम बनाता है, जिससे मॉडल कोलैप्स का जोखिम कम होता है और जटिल हाइपरपैरामीटर ट्यूनिंग (जैसे KL पेनल्टी) की आवश्यकता कम होती है।
स्केलेबिलिटी: विधि 1.5B से 7B मॉडल्स तक प्रभावी रूप से स्केल होती है, जो सुझाव देती है कि यह भविष्य के बड़े पैमाने के रीजनिंग मॉडल्स के लिए एक मजबूत आधार है।
सरलता: अपनी सैद्धांतिक गहराई के बावजूद, इसका कार्यान्वयन मानक वर्गीकरण लॉस पर निर्भर करता है, जिससे इसे मौजूदा RLVR पाइपलाइनों में एकीकृत करना आसान हो जाता है।

निष्कर्षतः, REAL एक स्थिर, कुशल और सैद्धांतिक रूप से सुदृढ़ GRPO का विकल्प प्रदान करता है, जो वेरीफिएबल रिवॉर्ड्स के माध्यम से जटिल रीजनिंग कार्यों के लिए LLMs को प्रशिक्षित करने में अत्याधुनिक स्थिति (state-of-the-art) को महत्वपूर्ण रूप से आगे बढ़ाता है।