💬 NLP

GTPO and GRPO-S: Token and Sequence-Level Reward Shaping with Policy Entropy

यह शोध पत्र GTPO और GRPO-S को प्रस्तुत करता है, जो दो नवीन सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम हैं जो सूक्ष्म-स्तरीय (fine-grained), टोकन-स्तरीय और अनुक्रम-स्तरीय क्रेडिट असाइनमेंट प्राप्त करने के लिए गतिशील एंट्रॉपी-आधारित रिवॉर्ड शेपिंग को लागू करके लार्ज लैंग्वेज मॉडल रीजनिंग को उन्नत करते हैं, जिससे GRPO और DAPO जैसी मौजूदा विधियों की स्थूल-स्तरीय (coarse-grained) सीमाओं को दूर किया जा सके।

मूल लेखक: Hongze Tan, Zihan Wang, Jianfei Pan, Jinghao Lin, Hao Wang, Yifan Wu, Tao Chen, Zhihang Zheng, Zhihao Tang, Haihua Yang

प्रकाशित 2026-02-06

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hongze Tan, Zihan Wang, Jianfei Pan, Jinghao Lin, Hao Wang, Yifan Wu, Tao Chen, Zhihang Zheng, Zhihao Tang, Haihua Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र "GTPO और GRPO-S: पॉलिसी एंट्रॉपी के साथ टोकन और सीक्वेंस-लेवल रिवॉर्ड शेपिंग" का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए विवरण दिया गया।

बड़ी समस्या: "सब कुछ या कुछ भी नहीं" वाला ग्रेड

कल्पना कीजिए कि आप एक छात्र (AI) को एक बहुत लंबी, जटिल गणित की समस्या हल करना सिखा रहे हैं। छात्र एक 50-चरणों (steps) वाला समाधान लिखता है।

चरण 1 से 49 तक शानदार, तार्किक और सही हैं।
चरण 50 (अंतिम उत्तर) एक छोटी सी गणना की गलती के कारण गलत है।

वर्तमान मुख्यधारा की विधियों (जैसे GRPO) में, शिक्षक अंतिम परिणाम को देखता है, देखता है कि वह गलत है, और पूरे 50-चरणों के निबंध को फेल कर देता है (0 अंक)।

परिणाम: छात्र सोचता है, "ओह, मुझे लगता है कि चरण 1 से 49 भी बेकार थे।" वे अच्छे हिस्सों को भूल जाते हैं और अगली बार पूरी तरह से एक अलग, यादृच्छिक (random) दृष्टिकोण अपनाने की कोशिश कर सकते हैं।
दोष: इसे कोर्स-ग्रेन्ड क्रेडिट असाइनमेंट (coarse-grained credit assignment) कहा जाता है। यह पूरे विचार क्रम (chain of thought) को एक एकल ब्लॉक के रूप में मानता है, यह अनदेखा करते हुए कि अधिकांश हिस्सा वास्तव में सटीक था।

समाधान: "एंट्रॉपी" दिशा-सूचक (Compass)

इस शोध पत्र के लेखक छात्र को ग्रेड देने का एक नया तरीका प्रस्तावित करते हैं। वे पॉलिसी एंट्रॉपी (Policy Entropy) नामक एक अवधारणा पेश करते हैं।

एंट्रॉपी को "कड़ी मेहनत से सोचने" या "अनिश्चितता" के माप के रूप में समझें।

कम एंट्रॉपी (Low Entropy): छात्र बहुत आश्वस्त है। वह बस वही टाइप कर रहा है जो वह पहले से जानता है (जैसे, "1 + 1 = 2")।
उच्च एंट्रॉपी (High Entropy): छात्र रुक रहा है, कई विकल्पों पर विचार कर रहा है, और एक कठिन विकल्प के साथ संघर्ष कर रहा है। वह विभिन्न रास्तों की खोज कर रहा है।

शोध पत्र का तर्क है कि जब आप सही होते हैं तो उच्च एंट्रॉपी अच्छी होती है (इसका अर्थ है कि आपने सही रास्ते की सावधानीपूर्वक खोज की), लेकिन जब आप गलत होते हैं तो उच्च एंट्रॉपी बुरी होती है (इसका अर्थ है कि आप गलत दिशा में आत्मविश्वास के साथ अनुमान लगा रहे थे)।

दो नई एल्गोरिदम

यह शोध पत्र दो नए "शिक्षक" (एल्गोरिदम) पेश करता है जो बेहतर फीडबैक देने के लिए इस एंट्रॉपी दिशा-सूचक का उपयोग करते हैं।

1. GTPO (ग्रुप टोकन पॉलिसी ऑप्टिमाइज़ेशन)

उपमा: "हाइलाइटर" वाला शिक्षक
पूरे निबंध को एक साथ ग्रेड देने के बजाय, GTPO हर एक शब्द (टोकन) को व्यक्तिगत रूप से ग्रेड देता है।

यदि निबंध सही है: शिक्षक उन शब्दों को हाइलाइट करता है जहाँ छात्र हिचकिचाया या विभिन्न विकल्पों की खोज की (उच्च एंट्रॉपी) और उन्हें अतिरिक्त बोनस अंक देता है। यह छात्र को बताता है: "उस विशिष्ट चरण के बारे में कड़ी मेहनत करने के लिए बहुत अच्छा काम किया!"
यदि निबंध गलत है: शिक्षक उन शब्दों को देखता है जहाँ छात्र बहुत अधिक आत्मविश्वासी लेकिन गलत था (कम एंट्रॉपी)। वे इन शब्दों को भारी दंड (penalty) देते हैं। यह छात्र को बताता है: "आप यहाँ बहुत आश्वस्त थे, और आप गलत थे। अगली बार इतने आत्मविश्वासी न रहें।"

यह क्यों मदद करता है: यह तर्क के अच्छे हिस्सों को सुरक्षित रखता है और उस विशिष्ट अति-आत्मविश्वास को दंडित करता है जिसके कारण विफलता हुई।

2. GRPO-S (सीक्वेंस-लेवल GRPO)

उपमा: "रिपोर्ट कार्ड" वाला शिक्षक
कभी-कभी, हर एक शब्द को ग्रेड देना बहुत धीमा या गणनात्मक रूप से भारी हो सकता है। GRPO-S एक हल्का संस्करण है।

व्यक्तिगत शब्दों को देखने के बजाय, यह पूरे निबंध के औसत "सोचने के प्रयास" को देखता है।
यदि निबंध सही है: यह जाँचता है, "क्या छात्र ने आम तौर पर कड़ी मेहनत की और खोज की?" यदि हाँ, तो पूरे निबंध को बढ़ावा मिलता है।
यदि निबंध गलत है: यह जाँचता है, "क्या छात्र आत्मविश्वास के साथ गलत था?" यदि हाँ, तो पूरे निबंध को बड़ा दंड मिलता है।

यह क्यों मदद करता है: यह तेज़ है लेकिन पुराने "सब कुछ या कुछ भी नहीं" वाले तरीके से अधिक स्मार्ट है। यह बहुत लंबे तर्क कार्यों के दौरान छात्र को स्थिर रखने के लिए विशेष रूप से अच्छा है।

परिणाम: क्या हुआ?

लेखकों ने कठिन गणित बेंचमार्क (जैसे AIME और MATH) पर इन नए शिक्षकों का परीक्षण किया।

पुराना तरीका (GRPO/DAPO): छात्र अक्सर फंस जाता था। वे या तो बहुत जल्दी हार मान लेते थे या आत्मविश्वासपूर्ण लेकिन गलत उत्तरों के लूप में "फंस" जाते थे (पॉलिसी कोलैप्स)।
नया तरीका (GTPO/GRPO-S):
- एक्सप्लोरेशन (Exploration): छात्र लंबे समय तक विभिन्न रास्तों को आज़माते रहे क्योंकि उन्हें "कड़ी मेहनत करने" (उच्च एंट्रॉपी) के लिए पुरस्कृत किया गया था जब वे सही थे।
- सटीकता (Precision): उन्होंने आत्मविश्वास के साथ गलत होने से बचना सीख लिया।
- प्रदर्शन (Performance): उन्होंने कठिन गणित समस्याओं पर काफी बेहतर स्कोर किया, और पहले की तुलना में अधिक जटिल तर्क श्रृंखलाओं को हल किया।

एक वाक्य में सारांश

यह शोध पत्र AI मॉडल्स को एक लंबे विचार क्रम को केवल "पास या फेल" ग्रेड के रूप में देखना बंद करने की शिक्षा देता है, और इसके बजाय उन्हें एक विस्तृत रिपोर्ट कार्ड देता है जो उन्हें सही होने पर कड़ी मेहनत करने और गलत होने पर विनम्र रहने के लिए पुरस्कृत करता है, जिससे बहुत अधिक स्मार्ट तर्क क्षमता विकसित होती है।

तकनीकी सारांश: GTPO और GRPO-S

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान सुदृढीकरण शिक्षण (Reinforcement Learning - RL) एल्गोरिदम, विशेष रूप से ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) और इसके वेरिएंट जैसे DAPO, कोर्स-ग्रेन्ड क्रेडिट असाइनमेंट (coarse-grained credit assignment) से ग्रस्त हैं। इन फ्रेमवर्क्स में, एक समान रिवॉर्ड (जैसे, सही अंतिम उत्तर के लिए +1, और गलत उत्तर के लिए 0 या -1) को उत्पन्न अनुक्रम (sequence) के प्रत्येक टोकन को दिया जाता है। यह प्रतिमान दो महत्वपूर्ण सीमाएं पैदा करता है:

सही तर्क का दंडित होना (Penalization of Correct Reasoning): एक अनुक्रम जिसमें दर्जनों सही तार्किक चरण (logical steps) होते हैं, उसे शून्य रिवॉर्ड मिलता है यदि अंतिम उत्तर गलत हो जाता है, जिससे मूल्यवान मध्यवर्ती तर्क (intermediate reasoning) प्रभावी रूप से खारिज हो जाता है।
दोषपूर्ण पथों को पुरस्कृत करना (Rewarding Flawed Paths): इसके विपरीत, एक अनुक्रम जो अनुमानित या दोषपूर्ण मध्यवर्ती चरणों के माध्यम से सही उत्तर तक पहुँचता है, उसे पूर्ण श्रेय प्राप्त होता है, जो गलत तर्क पैटर्न को सुदृढ़ करता है।
लंबाई का पक्षपात (Length Bias): मानक GRPO डिज़ाइन स्वाभाविक रूप से सही उत्तरों के लिए लंबे अनुक्रमों का पक्ष लेते हैं क्योंकि वे यूनिफॉर्म एडवांटेज के एकत्रीकरण पर आधारित होते हैं, जो सांख्यिकीय रूप से उप-इष्टतम (suboptimal) है।

हाल के कार्यों ने पॉलिसी एंट्रॉपी (policy entropy) का उपयोग रेगुलाइजेशन बाधा के रूप में या टोकन को फ़िल्टर करने के लिए बाइनरी मास्क के रूप में किया है, लेकिन वे उच्च-मूल्य वाली खोज (high-value exploration) और गलत समाधानों में आत्मविश्वासपूर्ण त्रुटियों के बीच अंतर करने के लिए रिवॉर्ड सिग्नल को सक्रिय रूप से आकार देने में विफल रहे हैं।

2. कार्यप्रणाली (Methodology)

लेखक डायनेमिक एंट्रॉपी वेटिंग (Dynamic Entropy Weighting) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जो पॉलिसी एंट्रॉपी को सूक्ष्म-स्तरीय (fine-grained) क्रेडिट असाइनमेंट के लिए एक आंतरिक आधार (intrinsic anchor) के रूप में पुन: उपयोग करता है। मुख्य परिकल्पना यह है कि एक रीजनिंग अनुक्रम के भीतर उच्च पॉलिसी एंट्रॉपी, महत्वपूर्ण निर्णय बिंदुओं (संज्ञानात्मक प्रयास/cognitive effort) के साथ सह-संबंधित होती है। यह फ्रेमवर्क एंट्रॉपी के आधार पर रिवॉर्ड को पुनर्वितरित करता है, जो दो पूरक एल्गोरिदम के माध्यम से संचालित होता है:

A. ग्रुप टोकन पॉलिसी ऑप्टिमाइज़ेशन (GTPO)

GTPO टोकन स्तर पर कार्य करता है, प्रत्येक टोकन को एक अद्वितीय, एंट्रॉपी-वेटेड रिवॉर्ड प्रदान करता है।

सफल अनुक्रम ( $O^+$ ): उच्च एंट्रॉपी वाले टोकन (जो मूल्यवान अन्वेषण या अनिश्चितता का संकेत देते हैं) को रिवॉर्ड बोनस मिलता है। इसे इस प्रकार आकार दिया जाता है:
$\tilde{r}^+_{i,t} = \alpha_1 r_i + \alpha_2 \frac{H_{i,t}}{\sum_{k} H_{k,t}} \cdot d_t$
जहाँ $H_{i,t}$ टोकन की जनरेशन एंट्रॉपी है, और $d_t$ स्टेप $t$ पर सक्रिय सफल अनुक्रमों की संख्या है। यह अनिश्चित लेकिन सही चरणों को सुदृढ़ करता है।
असफल अनुक्रम ( $O^-$ ): कम एंट्रॉपी वाले टोकन (जो उच्च आत्मविश्वास का संकेत देते हैं) को भारी दंड मिलता है। इसे इनवर्स एंट्रॉपी (inverse entropy) का उपयोग करके आकार दिया जाता है:
$\tilde{r}^-_{j,t} = \alpha_1 (-1) + \alpha_2 \frac{1/H_{j,t}}{\sum_{k} (1/H_{k,t})} \cdot h_t \cdot (-1)$
यह आत्मविश्वासपूर्ण गलतियों को दंडित करता है, जिससे मॉडल को गलत तर्क मोड से बाहर निकलने के लिए प्रोत्साहित किया जाता है।
एडवांटेज कैलकुलेशन: पॉजिटिव और नेगेटिव सेट्स के लिए अलग-अलग एडवांटेज फंक्शन कंप्यूट किए जाते हैं, जिन्हें बैच के सभी टोकन पर नॉर्मलाइज़ किया जाता है ताकि निरंतर स्केलिंग सुनिश्चित हो सके।

B. सीक्वेंस-लेवल GRPO (GRPO-S)

GRPO-S एक हल्का, सीक्वेंस-लेवल वेरिएंट है जिसे लंबे चेन-ऑफ-थॉट (CoT) कार्यों के लिए स्थिरता बनाए रखने हेतु डिज़ाइन किया गया है।

यह टोकन-लेवल रिवॉर्ड के बजाय, पूरे अनुक्रम के लिए उसके औसत एंट्रॉपी ( $\hat{H}_k$ ) के आधार पर ग्लोबल रिवॉर्ड को मॉड्युलेट करता है।
उच्च औसत अन्वेषण वाले सफल अनुक्रमों को बोनस मिलता है, जबकि उच्च आत्मविश्वास (कम औसत एंट्रॉपी) वाले गलत अनुक्रमों को दंडित किया जाता है।
यह दृष्टिकोण GTPO की सूक्ष्म-स्तरीय सटीकता और मैक्रो-लेवल अनुक्रम स्थिरता के बीच एक संतुलन प्रदान करता है।

सैद्धांतिक गारंटी (Theoretical Guarantees)

पेपर एक सैद्धांतिक विश्लेषण प्रदान करता है जो सिद्ध करता है:

रिवॉर्ड मास कंजर्वेशन (Reward Mass Conservation): विशिष्ट हाइपरपैरामीटर बाधाओं ( $\alpha_1 + \alpha_2 = 1$ ) के तहत, शेप्ड पॉजिटिव रिवॉर्ड्स का योग मूल बाइनरी रिवॉर्ड्स के योग के बराबर होता है, जिससे यह सुनिश्चित होता है कि कुल लर्निंग सिग्नल ग्राउंड ट्रुथ के सापेक्ष निष्पक्ष (unbiased) बना रहे।
एसिम्टोटिक कंसिस्टेंसी (Asymptotic Consistency): जैसे-जैसे प्रशिक्षण आगे बढ़ता है और सफल अनुक्रमों के बीच एंट्रॉपी वेरिएंस कम होता जाता है, एंट्रॉपी वेटिंग द्वारा पेश किया गया ग्रेडिएंट बायस समाप्त हो जाता है, जिससे मानक GRPO/DAPO के समान ग्लोबल ऑप्टिमम पर अभिसरण (convergence) सुनिश्चित होता है।
वेरिएंस रिडक्शन (Variance Reduction): GTPO में उपयोग किया जाने वाला टोकन-लेवल नॉर्मलाइज़ेशन, मानक GRPO के टू-स्टेज एवरेजिंग की तुलना में सांख्यिकीय रूप से बेहतर है, जो ग्रेडिएंट वेरिएंस को कम करता है।

3. मुख्य योगदान (Key Contributions)

कोर्स-ग्रेन्ड सीमाओं की पहचान: यह पेपर GRPO फ्रेमवर्क को उन सीमाओं को संबोधित करके मौलिक रूप से अनुकूलित करता है जो विशिष्ट तर्क चरणों को क्रेडिट असाइन करने में असमर्थ है।
GTPO एल्गोरिदम: कुशल GRPO फ्रेमवर्क के भीतर डायनेमिक एंट्रॉपी वेटिंग का उपयोग करके पहला वास्तविक, फाइन-ग्रेन्ड, प्रति-टोकन क्रेडिट असाइनमेंट पेश करता है।
GRPO-S एल्गोरिदम: एक सीक्वेंस-लेवल वेरिएंट प्रस्तावित करता है जो पूरे अनुक्रमों के अन्वेषण मूल्य (exploratory value) को कैप्चर करता है, जो बेहतर स्थिरता प्रदान करता है।
सैद्धांतिक विश्लेषण: प्रस्तावित ऑब्जेक्टिव फंक्शन्स की अनबायस्डनेस और कन्वर्जेंस के प्रमाण प्रदान करता है।
प्रायोगिक सत्यापन: चुनौतीपूर्ण गणितीय तर्क बेंचमार्क पर महत्वपूर्ण प्रदर्शन लाभ प्रदर्शित करता है।

4. प्रायोगिक परिणाम (Experimental Results)

प्रयोग Qwen2.5-7B और Qwen2.5-32B मॉडल्स पर AIME 2024, AIME 2025, और MATH 500 बेंचमार्क्स पर किए गए।

प्रदर्शन: दोनों GTPO और GRPO-S ने नए स्टेट-ऑफ-द-आर्ट परिणाम स्थापित किए, जो लगातार GRPO, DAPO, और उन्नत "DAPO w/ Forking Tokens" बेसलाइन से बेहतर रहे।
- AIME 2024 (Qwen2.5-7B) पर, GTPO ने 64.89% का Pass@32 प्राप्त किया, जो DAPO के 35.51% की तुलना में एक बड़ा सुधार है।
- AIME 2025 पर, GRPO-S ने 23.33% (7B) और 34.33% (32B) का Pass@32 प्राप्त किया, जो सभी बेसलाइन्स से बेहतर है।
एक्सप्लोरेशन बनाम स्थिरता (Exploration vs. Stability): DAPO के विपरीत, जो अक्सर समयपूर्व पॉलिसी कोलैप्स (एंट्रॉपी कोलैप्स) के कारण स्थिर हो जाता है, GTPO और GRPO-S ने एक "एंट्रॉपी रिबाउंड" घटना प्रदर्शित की। मॉडल्स ने उच्च अन्वेषण बनाए रखा, जिससे लंबे, अधिक विविध तर्क श्रृंखलाएं और उच्च अंतिम रिवॉर्ड सीलिंग संभव हुई।
सैंपल एफिशिएंसी (Sample Efficiency): विधियाँ लगभग 210 ट्रेनिंग स्टेप्स के भीतर अभिसरित (converge) हुईं, जो इंगित करता है कि प्रदर्शन में सुधार लंबे प्रशिक्षण के कारण नहीं बल्कि अधिक कुशल लर्निंग सिग्नल के कारण था।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि मॉडल अनिश्चितता का लाभ उठाना और उसे निर्देशित करना विश्वसनीय AI सिस्टम विकसित करने के लिए एक आशाजनक सीमा है। पॉलिसी एंट्रॉपी को केवल एक रेगुलाइजेशन टर्म के रूप में नहीं, बल्कि सक्रिय रिवॉर्ड शेपिंग (active reward shaping) के लिए एक डायनेमिक सिग्नल के रूप में उपयोग करके, प्रस्तावित विधियां सक्षम बनाती हैं:

सटीक क्रेडिट असाइनमेंट: बिना किसी स्पष्ट वैल्यू नेटवर्क के, गलत पथों में मूल्यवान अन्वेषण और गलत पथों में आत्मविश्वासपूर्ण त्रुटियों के बीच अंतर करना।
मजबूत तर्क (Robust Reasoning): LLMs को पैटर्न नकल से आगे बढ़ाकर सत्यापन योग्य, चरण-दर-चरण तर्क की ओर ले जाना।
स्केलेबिलिटी: एक सिद्धांतपूर्ण ट्रेड-ऑफ प्रदान करना जो ग्रैनुलर प्रिसिजन (GTPO) और सीक्वेंस स्टेबिलिटी (GRPO-S) के बीच है, जो विभिन्न मॉडल आकारों और कार्य कठिनाइयों केAcross प्रभावी रूप से स्केल होता है।

लेखक निष्कर्ष निकालते हैं कि उनका फ्रेमवर्क वर्तमान RLHF विधियों में निहित स्थिरता-अन्वेषण (stability-exploration) के बीच के संतुलन को हल करता है, जिससे मॉडल जटिल रीजनिंग स्पेस को अधिक प्रभावी ढंग से एक्सप्लोर कर पाते हैं और ओवरकॉन्फिडेंट, गलत तर्क के जाल से बच पाते हैं।