🤖 AI

GRPO is Secretly a Process Reward Model

यह शोध पत्र सैद्धांतिक रूप से सिद्ध करता है कि आउटकम रिवॉर्ड मॉडल के साथ ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO), एक प्रोसेस रिवॉर्ड मॉडल के समान है, असंतुलित स्टेप्स (imbalanced steps) को संभालने में इसकी एक खामी की पहचान करता है, और एक सरल संशोधन ( $\lambda$ -GRPO) प्रस्तावित करता है जो स्पष्ट प्रोसेस रिवॉर्ड मॉडल्स की आवश्यकता के बिना, रीजनिंग प्रदर्शन और प्रशिक्षण दक्षता में महत्वपूर्ण सुधार करता है।

मूल लेखक: Michael Sullivan, Alexander Koller

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Michael Sullivan, Alexander Koller

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रोज़मर्रा के उदाहरणों के माध्यम से समझाया गया है।

मुख्य विचार: रेसिपी में "गुप्त सामग्री" (The "Secret Sauce" in the Recipe)

कल्पना कीजिए कि आप एक रोबोट को एक जटिल गणित की समस्या हल करना सिखा रहे हैं। आप रोबोट को एक प्रॉम्प्ट देते हैं, और वह समाधान को चरण-दर-चरण (step-by-step) लिखने की कोशिश करता है।

आमतौर पर, रोबोट को ग्रेड देने के दो तरीके होते हैं:

अंतिम ग्रेड (Outcome Reward): आप केवल अंत में देखते हैं। क्या उसने सही उत्तर दिया? यदि हाँ, तो +10 अंक। यदि नहीं, तो 0 अंक। यह एक ऐसे शिक्षक की तरह है जो केवल अंतिम परीक्षा के स्कोर को देखता है और इस बात को नज़रअंदाज़ कर देता है कि छात्र ने काम कैसे किया।
चरण-दर-चरण ग्रेड (Process Reward): आप हर एक चरण (step) को ग्रेड देते हैं। "समीकरण सेट करने के लिए अच्छा काम किया," "ओह, यहाँ साइन गलत है।" यह करना कठिन है क्योंकि इसके लिए आपको हर लाइन की जाँच करने के लिए एक इंसान (या एक स्मार्ट AI) की आवश्यकता होती है।

पेपर की खोज:
लेखकों ने पाया कि GRPO (Group Relative Policy Optimization) नामक एक लोकप्रिय प्रशिक्षण विधि वास्तव में दूसरे काम (चरण-दर-चरण ग्रेडिंग) को गलती से कर रही है, भले ही इसे केवल पहले काम (अंतिम ग्रेड) के लिए बनाया गया हो।

वे इसे एक "प्रोसेस रिवॉर्ड मॉडल" (Process Reward Model - PRM) कहते हैं, लेकिन वे कहते हैं कि GRPO "गुप्त रूप से" एक ऐसा ही मॉडल है। यह एक ऐसे शेफ की तरह है जिसे लगता है कि वह सिर्फ केक बना रहा है, लेकिन वास्तव में वह एक गुप्त सामग्री का उपयोग कर रहा है जो बिना उसके जाने ही केक को पूरी तरह से फुला देती है।

"गुप्त" प्रक्रिया कैसे काम करती है: क्लास चैट का उदाहरण (The "Group Chat" Analogy)

यह समझने के लिए कि GRPO गुप्त रूप से चरणों को कैसे ग्रेड करता है, एक कक्षा के छात्रों (एक "ग्रुप") की कल्पना करें जो एक ही पहेली को हल करने की कोशिश कर रहे हैं।

सेटअप: शिक्षक एक प्रश्न पूछता है। पाँच छात्र अपने उत्तर लिखते हैं।
ओवरलैप (Overlap):
- छात्र A लिखता है: "पहले, मैं 2 जोड़ता हूँ..."
- छात्र B लिखता है: "पहले, मैं 2 जोड़ता हूँ..."
- छात्र C लिखता है: "पहले, मैं 2 जोड़ता हूँ..."
- छात्र D लिखता है: "पहले, मैं 5 से गुणा करता हूँ..."
- छात्र E लिखता है: "पहले, मैं 5 से गुणा करता हूँ..."

ध्यान दें कि छात्र A, B, और C का पहला चरण समान है ("2 जोड़ें")। छात्र D और E का एक अलग पहला चरण है।

गुप्त ग्रेडिंग:
- यदि समूह का अंतिम उत्तर अच्छा है, तो शिक्षक पूरे समूह को उच्च स्कोर देता है।
- क्योंकि A, B, और C ने एक ही पहला चरण साझा किया था, एल्गोरिदम समझ जाता है: "हे, यह विशिष्ट चरण ('2 जोड़ें') इन तीनों लोगों के लिए अच्छे परिणाम की ओर ले जाता है।"
- इसके बाद, यह उन सभी के लिए उस विशिष्ट चरण के लिए एक "बोनस" देता जिन्होंने इसका उपयोग किया था।
- इसके विपरीत, यदि समूह विफल हो जाता है, और D और E दोनों ने "5 से गुणा करें" के साथ शुरुआत की थी, तो एल्गोरिदम समझ जाता है कि यह चरण जोखिम भरा है और इसे दंड (penalty) देता है।

परिणाम: भले ही शिक्षक ने केवल अंतिम उत्तर देखा हो, एल्गोरिदम प्रभावी रूप से यह पता लगा लेता है कि कौन से चरण अच्छे थे और कौन से बुरे, बस यह देखकर कि कौन से चरण सफल समूहों में एक साथ दिखाई दिए।

समस्या: "अनुचित भीड़" (The "Unfair Crowd")

लेखकों ने इस गुप्त तंत्र में एक खामी पाई। यह तब बहुत अच्छा काम करता है जब भीड़ संतुलित हो, लेकिन जब भीड़ असंतुलित होती है, तो यह टूट जाता है।

उदाहरण:
एक मतदान प्रणाली की कल्पना करें जहाँ आप गिनते हैं कि कितने लोगों ने एक विशिष्ट विचार के लिए वोट दिया।

परिदृश्य: 90% छात्र "2 जोड़ें" से शुरुआत करते हैं, और केवल 10% "5 से गुणा करें" से।
खामी: यदि "2 जोड़ें" समूह को औसत से थोड़ा कम स्कोर मिलता है, तो एल्गोरिदम "2 जोड़ें" चरण को "5 से गुणा करें" चरण की तुलना में 90 गुना अधिक तीव्रता से दंडित करेगा, केवल इसलिए क्योंकि वहाँ बहुत सारे लोग इसे कर रहे थे।
परिणाम: रोबोट "2 जोड़ें" वाले रास्ते को पूरी तरह से छोड़ सकता है, भले ही वह वास्तव में एक अच्छा रास्ता हो, सिर्फ इसलिए क्योंकि "भीड़" बहुत बड़ी थी और उसे थोड़ा खराब स्कोर मिला। यह नए रास्तों को खोजने या अच्छे रास्तों पर टिके रहने से डरने लगता है यदि संख्याएँ झुकी हुई हों।

समाधान: $\lambda$ -GRPO (द "फेयरनेस फ़िल्टर")

लेखकों ने $\lambda$ -GRPO नामक एक सरल सुधार प्रस्तावित किया है।

उदाहरण:
हर एक वोट को समान रूप से गिनने के बजाय, वे एक "फेयरनेस फ़िल्टर" (निष्पक्षता फ़िल्टर) जोड़ते हैं।

यदि कोई चरण बहुत लोकप्रिय है (कई छात्रों ने इसे किया), तो फ़िल्टर कहता है, "ठीक है, आइए स्कोर को लोगों की संख्या से विभाजित करें।"
यदि कोई चरण दुर्लभ है, तो फ़िल्टर कहता है, "ठीक है, आइए इसे थोड़ा अधिक महत्व दें।"

यह सुनिश्चित करता है कि एक चरण का मूल्यांकन उसके अपने गुणों के आधार पर हो, न कि इस आधार पर कि उस विशिष्ट समूह में कितने लोग उसे कर रहे थे। यह एल्गोरिदम को भीड़ के आकार से डराए बिना काम करने में मदद करता है।

परिणाम: तेज़ और स्मार्ट

लेखकों ने वास्तविक गणितीय समस्याओं पर इस सुधार का परीक्षण किया:

बेहतर प्रदर्शन: $\lambda$ -GRPO का उपयोग करने वाले मॉडलों ने मानक मॉडलों की तुलना में गणितीय तर्क कार्यों पर बेहतर स्कोर प्राप्त किया।
तेज़ सीखना: वे आधे समय में (कम प्रशिक्षण चरणों में) अपने शिखर प्रदर्शन तक पहुँच गए।
कोई अतिरिक्त लागत नहीं: उन्हें हर चरण को ग्रेड करने के लिए महंगे इंसानों को काम पर रखने की आवश्यकता नहीं पड़ी। उन्होंने बस मौजूदा एल्गोरिदम के गणित में बदलाव किया।

सारांश

यह पेपर प्रकट करता है कि एक लोकप्रिय AI प्रशिक्षण विधि (GRPO) गुप्त रूप से एक चरण-दर-चरण ग्रेडर की तरह काम कर रही थी। हालाँकि, इसमें एक बग था जहाँ यह असंतुलित समूहों से भ्रमित हो जाती थी। लेखकों ने इस बग को एक सरल गणितीय सुधार ( $\lambda$ -GRPO) के साथ ठीक किया, जिससे AI बिना किसी अतिरिक्त महंगे टूल के तर्क संबंधी कार्यों को तेज़ी से और बेहतर तरीके से सीख सका।

तकनीकी सारांश: GRPO गुप्त रूप से एक प्रोसेस रिवॉर्ड मॉडल (Process Reward Model) है

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए सुदृढीकरण शिक्षण (Reinforcement Learning - RL) अक्सर आउटकम रिवॉर्ड मॉडल्स (Outcome Reward Models - ORMs) पर निर्भर करता है, जो पूरे प्रक्षेपवक्र (trajectory) को एक एकल स्केलर रिवॉर्ड प्रदान करते हैं। जबकि प्रोसेस रिवॉर्ड मॉडल्स (PRMs) मध्यवर्ती चरणों (intermediate steps) को पुरस्कृत करके अधिक सूक्ष्म-स्तरीय क्रेडिट असाइनमेंट प्रदान करते हैं, स्पष्ट न्यूरल PRMs को प्रशिक्षित करने के लिए महंगी चरण-स्तरीय मानव एनोटेशन की आवश्यकता होती है और यह रिवॉर्ड हैकिंग के प्रति संवेदनशील होता है। फलस्वरूप, कई सफल RL अनुप्रयोग, विशेष रूप से गणितीय तर्क (mathematical reasoning) में, ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) का उपयोग करते हैं, जो पारंपरिक PPO में उपयोग किए जाने वाले क्रिटिक मॉडल और जनरलाइज्ड एडवांटेज एस्टीमेशन (GAE) को समाप्त कर देता है।

हालाँकि, एक महत्वपूर्ण अंतराल यह समझने में मौजूद है कि GRPO चरण-स्तरीय संकेतों (step-level signals) को कैसे संभालता है। जबकि GRPO को आमतौर पर एक आउटकम-लेवल एल्गोरिदम के रूप में देखा जाता है, यह स्पष्ट नहीं है कि क्या यह अंतर्निहित रूप से प्रोसेस-लेवल क्रेडिट असाइनमेंट करता है। इसके अलावा, यदि ऐसा अंतर्निहित असाइनमेंट मौजूद है, तो यह अज्ञात है कि क्या मानक GRPO ऑब्जेक्टिव फंक्शन में ऐसी अंतर्निहित खामियां हैं जो तब नकारात्मक प्रभाव डालती हैं जब प्रोसेस स्टेप्स की आवृत्तियाँ (frequencies) या रिवॉर्ड्स असंतुलित होते हैं।

कार्यप्रणाली (Methodology)

सैद्धांतिक तुल्यता (Theoretical Equivalence)

लेखक एक सैद्धांतिक प्रमाण प्रदान करते हैं कि मानक GRPO, जब एक ORM से लैस होता है, तो वह एक गैर-तुच्छ (non-trivial), मोंटे-कार्लो-आधारित PRM के साथ एक PRM-सचेत RL ऑब्जेक्टिव के गणितीय रूप से समान है।

अंतर्निहित प्रोसेस स्टेप्स (Implicit Process Steps): लेखक "प्रोसेस सेट्स" ( $\lambda$ ) को एक प्रशिक्षण समूह $G$ के भीतर प्रक्षेपवक्रों के उपसमुच्चय के रूप में परिभाषित करते हैं जो समान प्रीफिक्स (prefixes) साझा करते हैं। ये साझा प्रीफिक्स स्वाभाविक रूप से प्रोसेस स्टेप्स (उप-प्रक्षेपवक्र) को परिभाषित करते हैं।
अंतर्निहित PRM निर्माण (Implicit PRM Construction): वे एक फलन $f$ का निर्माण करते है जो प्रत्येक प्रक्षेपवक्र को प्रोसेस स्टेप्स के एक अनुक्रम (sequence) से जोड़ता है। उस विशिष्ट प्रीफिक्स को साझा करने वाले सभी प्रक्षेपवर्याओं के समूह में औसत आउटकम रिवॉर्ड के रूप में उस विशिष्ट प्रोसेस स्टेप को रिवॉर्ड दिया जाता है (एक मोंटे-कार्लो अनुमान)।
तुल्यता प्रमाण (Equivalence Proof): हल्के अनुमानों के तहत (विशेष रूप से टोकन-लेवल पॉलिसी ग्रेडिएंट ऑब्जेक्टिव और प्रति बैच एक अपडेट इटरेशन का उपयोग करते हुए), लेखक सिद्ध करते हैं कि मानक GRPO लॉस फंक्शन ( $L_{GRPO}$ ), एक PRM-सचेत लॉस फंक्शन ( $L_{PRM}$ ) के समान है जहाँ एडवांटेज इन अंतर्निहित चरण-स्तरीय रिवॉर्ड्स के सापेक्ष कंप्यूट किए जाते हैं।

एक दोष की पहचान (Identification of a Flaw)

विश्लेषण एक असंतुलित प्रोसेस स्टेप फ्रीक्वेंसी से संबंधित मानक GRPO ऑब्जेक्टिव में एक दोष को प्रकट करता है।

मानक फॉर्मूलेशन में, कुल लॉस में एक प्रोसेस स्टेप का योगदान उस संख्या ( $|\lambda|$ ) द्वारा स्केल किया जाता है जो उस स्टेप को साझा करती है।
यदि किसी प्रोसेस स्टेप का एडवांटेज नकारात्मक है (अर्थात, इसका औसत रिवॉर्ड समूह के औसत से कम है) लेकिन यह कई प्रक्षेपवर्याओं द्वारा साझा किया जाता है, तो दंड (penalty) $|\lambda|$ द्वारा बढ़ जाता है। यह उस स्टेप को उत्पन्न करने की संभावना को अत्यधिक दबा देता है, जिससे उन उच्च-रिवॉर्ड प्रक्षेपवर्याओं की खोज बाधित हो सकती है जो अनजाने में एक कम-रिवॉर्ड वाले प्रीफिक्स को साझा करती हैं।
इसके विपरीत, यदि किसी स्टेप का एडवांटेज सकारात्मक है, तो रिवॉर्ड सिग्नल को बढ़ाया जाता है, जो वैकल्पिक पथों की खोज में बाधा डाल सकता है।

प्रस्तावित समाधान: $\lambda$ -GRPO

इस दोष को कम करने के लिए, लेखक $\lambda$ -GRPO का प्रस्ताव करते हैं, जो GRPO लॉस फंक्शन में एक सरल संशोधन है।

तंत्र (Mechanism): एक टोकन $y^{(i)}_t$ के लिए टोकन-लेवल लॉस को उसके प्रोसेस सेट के आकार, $|\lambda(i,t)|^{-1}$ , द्वारा स्केल किया जाता है।
प्रभाव (Effect): यह नॉर्मलाइजेशन मानक ऑब्जेक्टिव में पाए जाने वाले फ्रीक्वेंसी स्केलिंग फैक्टर $|\lambda|$ को रद्द कर देता है। परिणामस्वरूप, प्रत्येक प्रोसेस सेट एक दिए गए इंडेक्स पर लॉस में समान योगदान देता है, चाहे कितने भी प्रक्षेपवक्य उस प्रीफिक्स को साझा करें। यह एल्गोरिदम को केवल समूह के भीतर उनकी आवृत्ति के कारण किसी स्टेप को अत्यधिक दंडित करने या अत्यधिक पुरस्कृत करने से रोकता है।

मुख्य परिणाम (Key Results)

अंतर्निहित PRM का अनुभवजन्य सत्यापन (Empirical Validation of Implicit PRM)

लेखकों ने अनुभवजन्य रूप से सत्यापित किया कि वास्तविक दुनिया की सेटिंग्स में "छिपा हुआ" PRM स्ट्रक्चर गैर-तुच्छ है।

OpenRS मैथ-रीज़निंग डेटासेट का उपयोग करते हुए, उन्होंने प्रशिक्षण के दौरान प्रक्षेपवक्य प्रीफिक्स द्वारा बनाए गए ट्री स्ट्रक्चर्स ( $B(G)$ ) का विश्लेषण किया।
परिणामों ने दिखाया कि 6 और 36 के ग्रुप साइज के लिए, 99% से अधिक जनरेटेड ग्रुप्स ने गैर-तुच्छ प्रोसेस रिवॉर्ड्स प्रेरित किए (अर्थात, प्रीफिक्स काफी ओवरलैप हुए)।
जैसे-जैसे प्रशिक्षण आगे बढ़ा और मॉडल कन्वर्ज हुए, इन प्रीफिक्स स्ट्रक्चर्स की जटिलता (पाथ डेप्थ) और मध्यवर्ती स्टेप्स में शामिल टोकन्स का अनुपात नाटकीय रूप से बढ़ गया।

सिंथेटिक कार्यों पर प्रदर्शन (Performance on Synthetic Tasks)

"एंटी-एक्सप्लोरेशन" परिकल्पना का परीक्षण करने के लिए डिज़ाइन किए गए एक सिंथेटिक बाइनरी-ट्री एनवायरनमेंट पर:

मानक GRPO अधिकतम-रिवॉर्ड टारगेट पाथ पर कन्वर्ज करने में संघर्ष करता है जब वह पाथ लोअर-रिवॉर्ड वाले पथों के साथ एक प्रीफिक्स साझा करता है (कंपाउंडेड नेगेटिव एडवांटेज के कारण)।
$\lambda$ -GRPO विभिन्न कॉन्फ़िगरेशन (प्रीफिक्स लंबाई और नकारात्मक रिवॉर्ड मान) में लगातार टारगेट पाथ पर कन्वर्ज हुआ।

डाउनस्ट्रीम रीजनिंग बेंचमार्क्स (Downstream Reasoning Benchmarks)

लेखकों ने DeepSeek-R1-Distill-Qwen-1.5B और Llama-3.2-1B-Instruct मॉडल्स को OpenRS डेटासेट पर फाइन-ट्यून किया और उन्हें पांच रीजनिंग बेंचमार्क्स (AIME24, MATH-500, AMC23, Minerva, OlympiadBench) पर इवैल्यूएट किया।

सटीकता (Accuracy): $\lambda$ -GRPO मॉडल्स ने 20 विशिष्ट टास्क/मॉडल कॉन्फ़िगरेशन में से 15 पर मानक GRPO मॉडल्स को पछाड़ दिया।
दक्षता (Efficiency): $\lambda$ -GRPO मॉडल्स ने मानक GRPO द्वारा आवश्यक ट्रेनिंग स्टेप्स की तुलना में आधे से भी कम स्टेप्स में अपना पीक वैलिडेशन एक्यूरेसी प्राप्त कर लिया।
स्पीडअप (Speedup): लेखक स्टेप्स-टू-पीक-परफॉरमेंस के संदर्भ में लगभग 2x ट्रेनिंग स्पीडअप की रिपोर्ट करते हैं, जिसमें नॉर्मलाइजेशन कैलकुलेशन के लिए नगण्य कम्प्यूटेशनल ओवरहेड है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि मानक GRPO एल्गोरिदम पहले से ही आउटकम-लेवल रिवॉर्ड्स और प्रक्षेपवक्य ओवरलैप से प्राप्त एक समृद्ध, बिल्ट-इन PRM स्ट्रक्चर रखता है। इस कार्य का महत्व तीन मुख्य क्षेत्रों में है:

सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): यह GRPO को स्पष्ट करता है, यह सिद्ध करता है कि यह केवल एक आउटकम-लेवल एल्गोरिदम नहीं है बल्कि एक ऐसा एल्गोरिदम है जो मोंटे-कार्लो अनुमान के माध्यम से अंतर्निहित रूप से संरचित, स्टेप-लेवल रिवॉर्ड्स के लिए अनुकूलित (optimize) करता है।
एल्गोरिद्मिक सुधार (Algorithmic Improvement): यह फ्रीक्वेंसी इम्बैलेंस के संबंध में मानक ऑब्जेक्टिव में एक विशिष्ट गणितीय दोष की पहचान करता है और एक कम्प्यूटेशनल रूप से सस्ता समाधान ( $\lambda$ -GRPO) प्रदान करता है जो प्रदर्शन में काफी सुधार करता है।
व्यावहारिक प्रभाव (Practical Impact): यह प्रदर्शित करता है कि महंगे न्यूरल PRMs को प्रशिक्षित करने या स्टेप-लेवल मानव एनोटेशन एकत्र करने की लागत के बिना उच्च-गुणवत्ता वाला स्टेप-लेवल क्रेडिट असाइनमेंट प्राप्त किया जा सकता है। इन अंतर्निहित संरचनाओं का लाभ उठाकर, अभ्यासकर्ता नगण्य अतिरिक्त लागत के साथ रीजनिंग क्षमताओं और प्रशिक्षण दक्षता में सुधार कर सकते हैं।

लेखक निष्कर्ष निकालते हैं कि भविष्य के कार्यों को केवल महंगे, स्पष्ट PRMs पर निर्भर रहने के बजाय इन अंतर्निहित स्टेप-लेवल सिग्नल्स का उपयोग करना चाहिए।