💬 NLP

Future-KL Regularized GRPO: Process-Level Credit Assignment from $f$ -Divergence Regularization

यह शोध पत्र फ्यूचर-केएल रेगुलराइज्ड पॉलिसी ऑप्टिमाइज़ेशन (FRPO) को प्रस्तुत करता है, जो एक क्रिटिक-फ्री विधि है जो $f$ -डाइवर्जेंस से व्युत्पन्न एक कॉज़ल फ्यूचर-रेगुलराइजेशन रिटर्न-टू-गो को शामिल करके GRPO के टोकन-लेवल KL रेगुलराइजेशन को ठीक करती है, जिससे उच्च एंट्रॉपी और कम पॉलिसी ड्रिफ्ट बनाए रखते हुए गणितीय तर्क प्रदर्शन में सुधार होता है।

मूल लेखक: Jiarui Yao, Ruida Wang, Hao Bai, Tong Zhang

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiarui Yao, Ruida Wang, Hao Bai, Tong Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक रोबोट को सोचना सिखाना

कल्पना कीजिए कि आप एक रोबोट (एक AI) को गणित के सवाल हल करना सिखा रहे हैं। आप उसे एक समस्या देते हैं, और वह एक लंबा, चरण-दर-चरण समाधान लिखने की कोशिश करता है। यह सुनिश्चित करने के लिए कि वह केवल अंदाज़ा न लगाए या पटरी से न उतर जाए, आप उसके काम की जाँच करने के लिए एक "शिक्षक" (एक संदर्भ मॉडल) का उपयोग करते हैं।

यह पेपर एक विशिष्ट प्रशिक्षण पद्धति पर केंद्रित है जिसे GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है। GRPO को एक क्लासरूम सेटिंग के रूप में समझें:

रोबोट एक ही गणित के सवाल के कई उत्तर बनाता है (एक "ग्रुप")।
एक सत्यापनकर्ता (verifier) उनकी जाँच करता है: "क्या आपने सही अंतिम संख्या प्राप्त की?" (हाँ/नहीं)।
रोबोट अपने सहपाठियों के उत्तरों के साथ तुलना करके सीखता है। यदि कोई उत्तर दूसरों की तुलना में बेहतर है, तो रोबोट को "हाई फाइव" (पुरस्कार/रिवॉर्ड) मिलता है। यदि यह खराब है, तो उसे "थम्स डाउन" मिलता है।

समस्या: "लोकल" दंड बनाम "फ्यूचर" लागत

मानक प्रशिक्षण में, एक नियम होता है जो रोबोट को उसका व्यक्तित्व बहुत अधिक बदलने से रोकता है। इसे KL रेगुलराइजेशन कहा जाता है। यह एक "अपनी लेन में बने रहने" के नियम जैसा है। यदि रोबोट मूल शिक्षक से बहुत अलग चीजें लिखना शुरू कर देता है, तो उसे दंडित किया जाता है।

पुराना तरीका (गलती):
वर्तमान में, अधिकांश सिस्टम इस दंड को टोकन-दर-टोकन (शब्द-दर-शब्द) लागू करते हैं, जो वाक्य के अंत में एक साधारण "जुर्माने" की तरह होता है।

उपमा: कल्पना कीजिए कि एक ड्राइवर लंबी सड़क यात्रा पर जा रहा है। पुराना सिस्टम केवल तभी जाँच करता है जब ड्राइवर ठीक उस क्षण से गुजरता है जब वह पुलिस कार के पास होता है। यह इस तथ्य को अनदेखा कर देता है कि यदि ड्राइवर ने 10 मील पहले गलत मोड़ लिया था, तो वह अब अपने रास्ते से 10 मील भटक चुका है। सिस्टम हर मील को एक अलग घटना के रूप में मानता है।

पेपर का अंतर्दृष्टि (Insight):
लेखकों ने महसूस किया कि तर्क की एक लंबी श्रृंखला (जैसे गणित के प्रमाण) में, आप जो भी शब्द लिखते हैं, वह उसके बाद आने वाले सभी शब्दों के मार्ग को बदल देता है।

द "फ्यूचर" कॉस्ट: यदि रोबोट वाक्य की शुरुआत में थोड़ा सा भी भटक जाता है, तो यह भविष्य के सभी शब्दों को अर्थपूर्ण बनाने के लिए भी भटकने के लिए मजबूर करता है। उस शुरुआती गलती की "लागत" केवल वह गलती नहीं है; बल्कि उन सभी भविष्य के शब्दों की संचित लागत है जिन्हें उस गलत रास्ते पर चलना होगा।
लुप्त संकेत (Missing Signal): पुराना सिस्टम इस "भविष्य की लागत" को अनदेखा करता है। यह केवल वर्तमान शब्द को दंडित करता है, उस लहर (ripple effect) को नहीं जो यह पैदा करता है।

जटिलता: आप उन्हें मिला क्यों नहीं सकते

पेपर यह भी बताता है कि GRPO कैसे काम करता है, उसमें एक पेचीदा गणितीय समस्या है।

गैर-रेखीय स्कोर (Non-Linear Score): GRPO केवल कच्चे स्कोर (0 या 1) को नहीं देखता है। यह समूह के भीतर स्कोर को सामान्य (normalize) करता है (जैसे कक्षा में छात्रों की रैंकिंग करना)। यह स्कोर और रिवॉर्ड के बीच एक अजीब, घुमावदार संबंध बनाता है।
टकराव (The Collision): यदि आप "अपनी लेन में रहने" के दंड को रैंकिंग करने से पहले सीधे स्कोर में मिलाने की कोशिश करते हैं, तो आप गणित को बिगाड़ देते हैं। यह एक छात्र के ग्रेड में "देरी के दंड" को जोड़ने जैसा है, इससे पहले कि कक्षा की रैंक निर्धारित की जाए। यह रैंकिंग प्रणाली को विकृत करता है और सीखने के संकेत को खराब कर देता है।

समाधान: FRPO (फ्यूचर-केएल रेगुलराइज्ड पॉलिसी ऑप्टिमाइज़ेशन)

लेखक एक नई विधि प्रस्तावित करते हैं जिसे FRPO कहा जाता है। यह चरण-दर-चरण इस प्रकार काम करती है:

चरण 1: उत्तरों की रैंकिंग (The Advantage)। पहले, केवल अंतिम गणितीय उत्तर के आधार पर रिवॉर्ड की गणना करें। समूह के उत्तरों को रैंक करें ताकि यह देखा जा सके कि कौन से अच्छे थे और कौन से बुरे। यह "ग्रुप एडवांटेज" है।
चरण 2: भविष्य का दंड जोड़ना (The Correction)। रैंकिंग होने के बाद, जीतने वाले और हारने वाले उत्तरों के प्रत्येक शब्द को देखें।
- प्रत्येक शब्द के लिए, न केवल अपना स्वयं का दंड, बल्कि उसके बाद आने वाले सभी शब्दों के दंड का योग भी ज्ञात करें।
- उपमा: कल्पना कीजिए कि एक रिले रेस चल रही है। पुराना सिस्टम केवल उस धावक को दंडित करता है जिसने बैटन गिराया। नया सिस्टम उस धावक को दंडित करता है जिसने बैटन गिराया साथ ही इस तथ्य के लिए भी कि अगले तीन धावकों को अब पकड़ बनाने के लिए धीमा दौड़ना पड़ेगा। यह श्रेय (या दोष) उस संपूर्ण भविष्य की यात्रा के आधार पर देता है जो वर्तमान शब्द द्वारा शुरू की गई है।
चरण 3: अपडेट। रोबोट के मस्तिष्क को अपडेट करने के लिए "ग्रुप रैंक" को इस नए "फ्यूचर पेनल्टी" के साथ जोड़ें।

यह क्यों मायने रखता है (परिणाम)

पेपर का परीक्षण कठिन गणितीय समस्याओं (जैसे हाई स्कूल प्रतियोगिताओं में पाई जाने वाली) को हल करने वाले बड़े भाषा मॉडलों पर किया गया।

बेहतर स्कोर: नई विधि (FRPO) ने पुराने तरीकों की तुलना में अधिक समस्याओं को सही ढंग से हल किया।
कम विचलन (Less Drift): रोबोट अपने मूल "शिक्षक" व्यक्तित्व के करीब रहा। वह पागल नहीं हुआ या उच्च स्कोर पाने के लिए बेतुकी बातें (hallucinations) करने नहीं लगा।
अधिक रचनात्मकता: रोबोट ने अपने सोचने के स्तर में एक स्वस्थ "एन्ट्रॉपी" (विविधता) बनाए रखी। वह एक उबाऊ, दोहराव वाला रोबोट नहीं बना, लेकिन वह पटरी से भी नहीं उतरा।

सारांश

पेपर का तर्क है कि AI को तर्क करने के लिए प्रशिक्षित करते समय, आप इसे केवल उस शब्द के लिए दंडित नहीं कर सकते जो यह अभी कह रहा है। आपको इसे उस भविष्य के मार्ग के लिए दंडित करना होगा जो वह शब्द बनाता है। प्रशिक्षण प्रक्रिया में इस "फ्यूचर कॉस्ट" गणना को जोड़कर, AI अधिक सुसंगत रूप से सोचना सीखता है, कठिन समस्याओं को हल करता है, और बिना किसी जटिल "क्रिटिक" मॉडल की निगरानी के स्थिर रहता है।

संक्षेप में: ड्राइवर को अभी तेज गाड़ी चलाने के लिए दंडित न करें; बल्कि उस गलत मोड़ के लिए दंडित करें जो उसने 10 मील पहले लिया था, जिसके कारण उसे वापस ट्रैक पर आने के लिए तेज गाड़ी चलानी पड़ी। यही "फ्यूचर-केएल" अंतर्दृष्टि है।

तकनीकी सारांश: फ्यूचर-केएल (Future-KL) रेगुलराइज्ड जीआरपीओ (GRPO)

समस्या विवरण (Problem Statement)
ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) लार्ज लैंग्वेज मॉडल (LLM) के पोस्ट-ट्रेनिंग में क्रिटिक-मुक्त सुदृढ़ीकरण शिक्षण (RL) के लिए एक प्रमुख प्रतिमान (paradigm) के रूप में उभरा है, विशेष रूप से गणितीय तर्क (mathematical reasoning) के लिए। GRPO एक समूह में नमूना ली गई प्रतिक्रियाओं (sampled responses) के भीतर परिणाम पुरस्कारों (outcome rewards) को सामान्य (normalize) करके सीखे गए वैल्यू फंक्शन की आवश्यकता को समाप्त करता है। हालाँकि, GRPO में KL रेगुलराइजेशन के मानक कार्यान्वयन आमतौर पर KL दंड को एक स्थानीय, लॉस-साइड टोकन दंड (जैसे कि $k_3$ एस्टीमेटर का उपयोग करके) के रूप में मानते हैं।

लेखक इस दृष्टिकोण में एक मौलिक त्रुटि की पहचान करते हैं: यह ऑटोरेग्रेसिव जनरेशन द्वारा प्रेरित प्रोसेस-लेवल क्रेडिट असाइनमेंट (process-level credit assignment) की अनदेखी करता है। एक ऑटोरेग्रेसिव ट्राजेक्टरी (trajectory) में, एक प्रारंभिक टोकन न केवल अपना स्थानीय रेगुलराइजेशन लागत वहन करता है, बल्कि भविष्य के प्रीफिक्स के वितरण को भी बदल देता है, जिससे सभी आगामी टोकन के KL लागत प्रभावित होती है। मानक स्थानीय लॉस टर्म केवल नमूना लिए गए टोकन के दंड को अलग करते हैं, और भविष्य के रेगुलराइजेशन "रिटर्न-टू-गो" (return-to-go) को छोड़ देते हैं।

इसके अलावा, पेपर GRPO के ग्रुप नॉर्मलाइजेशन और मानक KL-इन-रिवॉर्ड फॉर्मुलेशन के बीच एक संरचनात्मक असंगति को उजागर करता है। लीनियर रिवॉर्ड ऑब्जेक्टिव्स (जैसे MaxEnt RL) के विपरीत, जहाँ रिवॉर्ड और रेगुलराइज़र को फ्यूज किया जा सकता है, GRPO का ग्रुप नॉर्मलाइजेशन एक नॉन-लीनियर प्रॉम्प्ट-लेवल यूटिलिटी (non-linear prompt-level utility) (विशेष रूप से बाइनरी रिवॉर्ड्स के लिए arcsin ट्रांसफॉर्म) प्रेरित करता है। यह नॉन-लिनियरिटी अर्थ है कि नॉर्मलाइजेशन से पहले रिवॉर्ड में KL दंड जोड़ने से निहित उद्देश्य (implicit objective) विकृत हो जाता है, जिससे टोकन-लेवल KL सूचना एकल ट्राजेक्टरी-लेवल स्केलर में सिमट जाती है और सही ग्रेडिएंट सिग्नल बनाए रखने में विफल रहती है।

कार्यप्रणाली (Methodology)
यह पेपर सामान्य टोकन-वाइज $f$ -डाइवर्जेंस रेगुलराइजेशन के तहत GRPO-शैली के ऑब्जेक्टिव्स के लिए ऑन-पॉलिसी पॉलिसी ग्रेडिएंट को व्युत्पन्न (derive) करता है। मुख्य सैद्धांतिक अंतर्दृष्टि यह है कि ग्रेडिएंट दो अलग-अलग स्केलिंग गुणों वाले दो विशिष्ट पदों में विभाजित होता है:

रिवॉर्ड टर्म (The Reward Term): नॉन-लीनियर यूटिलिटी $\ell(p)$ से विरासत में मिला यह टर्म, एक प्रॉम्प्ट-डिपेंडेंट गेन $\ell'(p)$ वहन करता है। बाइनरी रिवॉर्ड्स के लिए, यह स्टैंडर्डाइज्ड GRPO एडवांटेज को पुनः प्राप्त करता है।
रेगुलराइज़र टर्म (The Regularizer Term): यह टर्म $\ell'$ से स्वतंत्र है और एक स्थानीय टोकन दंड तथा एक कॉज़ल फ्यूचर-रेगुलराइजेशन रिटर्न-टू-गो (causal future-regularization return-to-go) में विभाजित होता है।

इस व्युत्पत्ति के आधार पर, लेखक फ्यूचर-केएल रेगुलराइज्ड पॉलिसी ऑप्टिमाइजेशन (FRPO) का प्रस्ताव करते हैं। एल्गोरिदम एक पृथक (decoupled) तरीके से मानक GRPO अपडेट को संशोधित करता है:

मूल वेरीफायर रिवॉर्ड्स से ग्रुप-नॉर्मलाइज्ड आउटकम एडवांटेज ( $\hat{A}^{GRPO}$ ) को सख्ती से कंप्यूट करें, जिससे निहित नॉन-लीनियर यूटिलिटी सुरक्षित रहे।
वर्तमान टोकन से ट्राजेक्टरी के अंत तक प्रति-टोकन लॉग-रेशियो ( $\delta_{i,j} = \log \frac{\pi_\theta}{\pi_{ref}}$ ) के रिवर्स क्युमुलेटिव सम (reverse cumulative sum) की गणना करके एक टोकन-लेवल फ्यूचर-KL करेक्शन टर्म का निर्माण करें।
एडवांटेज कंस्ट्रक्शन के बाद इस फ्यूचर-KL टर्म को एडवांटेज में जोड़ें, न कि नॉर्मलाइजेशन से पहले रिवॉर्ड को शेप (shape) करके।

टोकन $i$ में प्रतिक्रिया $t$ के लिए अपडेट नियम है:
$\hat{A}^{FRPO}_{i,t} = \text{sg}\left( \hat{A}^{GRPO}_i - \beta \sum_{j=t}^{T_i} \delta_{i,j} \right)$
जहाँ $\text{sg}$ स्टॉप-ग्रेडिएंट (stop-gradient) को दर्शाता है। इस दृष्टिकोण के लिए कोई क्रिटिक नहीं चाहिए, कोई अतिरिक्त मॉडल पास नहीं चाहिए, और इसमें मानक GRPO के समान ही कम्प्यूटेशनल ओवरहेड है।

प्रमुख योगदान (Key Contributions)

नॉन-लीनियर यूटिलिटी की पहचान: पेपर प्रदर्शित करता है कि GRPO का ग्रुप नॉर्मलाइजेशन एक नॉन-लीनियर यूटिलिटी ( $\ell(p) = 2 \arcsin \sqrt{p}$ बाइनरी रिवॉर्ड्स के लिए) प्रेरित करता है, जो रिवॉर्ड और KL को फ्यूसेबल (fuseable) नहीं रहने देता। रिवॉर्ड में KL जोड़ने से ऑब्जेक्टिव संरचनात्मक रूप से विकृत हो जाता है।
ऑन-पॉलिसी ग्रेडिएंट का व्युत्पत्ति: लेखक टोकन-वाइज $f$ -डाइवर्जेंस रेगुलराइजेशन के लिए सही ऑन-पॉलिसी ग्रेडिएंट को व्युत्पन्न करते हैं, यह दिखाते हुए कि इसके लिए एक फ्यूचर-रेगुलराइजेशन रिटर्न-टू-गो टर्म आवश्यक है जो स्थानीय लॉस-साइड कार्यान्वयन में अनुपस्थित है।
FRPO एल्गोरिदम: वे FRPO का प्रस्ताव करते हैं, जो एक सरल, डीकप्ल्ड अपडेट है जो GRPO के आउटकम एडवांटेज को सुरक्षित रखते हुए आवश्यक फ्यूचर-KL क्रेडिट असाइनमेंट को इंजेक्ट करता है। यह विधि ट्राजेक्टरी-लेवल रैंकिंग को प्रोसेस-लेवल KL रेगुलराइजेशन से अलग करती है।
ऑप्टिमलिटी इंटरप्रिटेशन: फ्यूचर-KL स्ट्रक्चर को एंट्रॉपी-रेगुलराइज्ड RL की ऑप्टिमलिटी स्थितियों के साथ संरेखित दिखाया गया है, जहाँ अनुकूल नीति (optimal policy) एक प्रोसेस-रिवॉर्ड फॉर्म में भविष्य की KL लागतों को शामिल करती है।

प्रायोगिक परिणाम (Experimental Results)
लेखक Qwen3 बेस मॉडल्स (1.7B, 4B, और 30B-A3B) का उपयोग करके DAPO-Math-17k डेटासेट पर गणितीय तर्क कार्यों पर FRPO का मूल्यांकन करते हैं।

प्रदर्शन (Performance): 30B-A3B मॉडल पर, FRPO ने MATH500 बेंचमार्क पर सबसे मजबूत बेसलाइन (स्टैंडर्ड GRPO विद लॉस-साइड KL) की तुलना में pass@16 में लगभग 5% एब्सोल्यूट गेन हासिल किया। यह AIME24, AIME25 और अन्य ओलंपियाड-स्तर के बेंचमार्क पर भी बेसलाइन्स से बेहतर प्रदर्शन करता है।
स्थिरता और ड्रिफ्ट (Stability and Drift): FRPO, लॉस-साइड KL बेसलाइन्स की तुलना में उच्च अंतिम एंट्रॉपी और कम पॉलिसी ड्रिफ्ट (PPO-KL द्वारा मापा गया) बनाए रखता है। यह सुझाव देता है कि यह विधि अत्यधिक विचलन के बिना लॉन्ग चेन-ऑफ-थॉट (CoT) रीजनिंग पैटर्न को प्रेरित करती है।
एब्लेशन (Ablation): प्रयोग पुष्टि करते हैं कि इस कार्य के लिए रिवर्स KL (मोड-सीकिंग) रिवर्स फॉरवर्ड KL (मोड-कवरिंग) की तुलना में बेहतर प्रदर्शन करता है। पेपर यह भी नोट करता है कि फ्यूचर-KL टर्म के लिए $k_1$ एस्टीमेटर (लॉग-रेशियो) का उपयोग करना $k_3$ की तुलना में पसंदीदा है, क्योंकि $k_3$ की गैर-नकारात्मकता (non-negativity) एक वन-साइडेड पेनल्टी सिग्नल बनाती है जो क्रेडिट असाइनमेंट में बाधा डालती है।
विफलता मोड (Failure Modes): पेपर देखता है कि "KL-इन-रिवॉर्ड" दृष्टिकोण (नॉर्मलाइजेशन से पहले रिवॉर्ड में KL जोड़ना) मॉडल कोलैप्स या प्रदर्शन गिरावट की ओर ले जाता है, जो इस सैद्धांतिक दावे की पुष्टि करता है कि GRPO के नॉन-लीनियर यूटिलिटी के तहत ऐसा फ्यूजन संरचनात्मक रूप से गलत है।

महत्व (Significance)
पेपर का तर्क है कि इस कार्य का महत्व एक व्यापक रूप से उपयोग किए जाने वाले RL फ्रेमवर्क में एक सूक्ष्म लेकिन महत्वपूर्ण कार्यान्वयन त्रुटि को सुधारने में निहित है। "लोकल लॉस पेनल्टी" से "प्रोसेस-लेवल क्रेडिट असाइनमेंट" के दृष्टिकोण की ओर शिफ्ट होकर, लेखक दिखाते हैं कि जटिल वैल्यू फंक्शन या अतिरिक्त कम्प्यूटेशनल लागत पेश किए बिना GRPO को बेहतर बनाया जा सकता है। प्रस्तावित FRPO विधि एक सैद्धांतिक रूप से आधारित, लाइटवेट संशोधन प्रदान करती है जो बेस मॉडल के स्थिरता और सामान्यीकरण गुणों को सुरक्षित रखते हुए रीजनिंग क्षमताओं को बढ़ाती है। यह कार्य इस बात पर जोर देता है कि ऑटोरेग्रेसिव सेटिंग्स में, रेगुलराइजेशन स्वाभाविक रूप से एक प्रोसेस-लेवल सिग्नल है, और फ्यूचर कॉस्ट-टू-गो की अनदेखी करने से सब-ऑप्टिमल क्रेडिट असाइनमेंट होता है।