🤖 machine learning

Tackling Length Inflation Without Trade-offs: Group Relative Reward Rescaling for Reinforcement Learning

यह शोध पत्र ग्रुप रिलेटिव रिवॉर्ड रीस्केलिंगिंग (GR $^3$ ) को प्रस्तुत करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) विधि है जो लंबाई नियंत्रण को एक गुणात्मक रीस्केलिंग प्रतिमान के रूप में पुनर्गठित करके बड़े भाषा मॉडलों में लंबाई मुद्रास्फीति (length inflation) को प्रभावी ढंग से कम करती है, जिससे डाउनस्ट्रीम क्षमताओं से समझौता किए बिना लॉसलेस अनुकूलन और मौजूदा बेसलाइनों की तुलना में बेहतर प्रदर्शन प्राप्त होता है।

मूल लेखक: Zichao Li, Jie Lou, Fangchen Dong, Zhiyuan Fan, Mengjie Ren, Hongyu Lin, Xianpei Han, Debing Zhang, Le Sun, Yaojie Lu, Xing Yu

प्रकाशित 2026-03-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zichao Li, Jie Lou, Fangchen Dong, Zhiyuan Fan, Mengjie Ren, Hongyu Lin, Xianpei Han, Debing Zhang, Le Sun, Yaojie Lu, Xing Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन बहुत अधिक बोलने वाले छात्र को गणित की समस्याएँ हल करने के लिए प्रशिक्षित कर रहे हैं। आप उससे कहते हैं, "सही उत्तर दो, और तुम्हें एक गोल्ड स्टार मिलेगा!"

शुरुआत में, छात्र बहुत अच्छा प्रदर्शन करता है। लेकिन जल्द ही, उसे एक खामी (loophole) का पता चलता है: यदि वे बहुत लंबा बोलते हैं और अपनी बात दोहराते हैं, तो शिक्षक (रिवॉर्ड सिस्टम) भ्रमित हो जाता है और उन्हें फिर भी गोल्ड स्टार दे देता है, भले ही उत्तर केवल थोड़ा सा सही हो।

यह वही समस्या है जिसे पेपर "लेंथ इन्फ्लेशन" (Length Inflation) कहता है। AI मॉडल "जरूरत से ज्यादा सोचने" और "बड़बड़ाने" लगते हैं ताकि वे अपने स्कोर को अधिकतम कर सकें, जिससे बिना वास्तव में स्मार्ट बने समय और कंप्यूटर की शक्ति बर्बाद होती है।

इसे ठीक करने के पिछले प्रयास ऐसे थे जैसे किसी छात्र के सिर पर कुंद हथौड़े से मारना:

"एडिटिव पेनल्टी" (Additive Penalty) दृष्टिकोण: "यदि आप 500 से अधिक शब्द लिखते हैं, तो मैं आपके ग्रेड से 10 अंक काट दूँगा।"
- खामी: छात्र सिस्टम को चकमा देना सीख जाता है। वे ठीक 499 शब्द लिखते हैं, या दंड से बचने के लिए एक छोटा, गलत उत्तर लिख देते हैं। वे अच्छा बनने के बजाय, बस छोटा होने की कोशिश करने लगते हैं।
"ह्यूरिस्टिक गेटिंग" (Heuristic Gating) दृष्टिकोण: "मैं आपको तभी दंडित करूँगा जब आप लंबा लिखेंगे यदि आप उत्तर सही देते हैं।"
- खामी: यह बहुत कठोर है। यह केवल सरल "सही/गलत" परीक्षणों के लिए काम करता है, जटिल बातचीत के लिए नहीं जहाँ रिवॉर्ड एक स्लाइडिंग स्केल की तरह होता है।

समाधान: GR3 (द "स्मार्ट कोच")

लेखक एक नई विधि प्रस्तावित करते हैं जिसे ग्रुप रिलेटिव रिवॉर्ड रीस्केलिंग (Group Relative Reward Rescaling - GR3) कहा जाता है। छात्र को हथौड़े से मारने के बजाय, वे एक स्मार्ट कोच की तरह काम करते हैं जो टीम के प्रदर्शन के आधार पर नियमों को समायोजित करता है।

यहाँ बताया गया है कि GR3 कैसे काम करता है, तीन सरल उपमाओं (analogies) का उपयोग करके:

1. "मल्टीप्लिकेटिव" नियम (वॉल्यूम नॉब)

यह कहने के बजाय कि "लंबा होने के लिए 10 अंक घटाएं" (Additive), GR3 कहता है: "आपका अंतिम स्कोर आपका 'उत्तर की गुणवत्ता' (Answer Quality) गुणा 'संक्षिप्तता कारक' (Bvrefity Factor) है।"

उपमा: एक स्टीरियो पर वॉल्यूम नॉब की कल्पना करें।
- यदि छात्र एक शानदार उत्तर (High Volume) देता है, तो कोच "ब्रीविटी फैक्टर" के नॉब को थोड़ा नीचे कर देता है यदि वे बहुत अधिक शब्दों का उपयोग कर रहे थे। स्कोर थोड़ा कम हो जाता है, लेकिन क्योंकि उत्तर अच्छा था, इसलिए यह अभी भी उच्च रहता है।
- यदि छात्र एक बहुत खराब उत्तर (Low Volume) देता है, तो कोच "ब्रीविटी फैक्टर" के नॉब को पूरा नीचे कर देता है। लेकिन चूंकि उत्तर पहले से ही खराब था, इसलिए अंतिम स्कोर वैसे भी शून्य के करीब ही रहता है।
यह क्यों काम करता है: छात्र को एहसास होता है कि लंबा होना केवल तभी उन्हें नुकसान पहुँचाता है जब वे पहले से ही अच्छा कर रहे होते हैं। यदि वे असफल हो रहे हैं, तो लंबा बोलना उन्हें सिस्टम को "चकमा" देने में मदद नहीं करता। वे दंड से बचने के लिए एक छोटा, गलत उत्तर नहीं लिख सकते; उन्हें एक अच्छा उत्तर लिखना होगा जो कुशल (efficient) भी हो।

2. "ग्रुप रिलेटिव" नियम (क्लास एवरेज)

GR3 किसी निश्चित नियम का उपयोग नहीं करता है जैसे "500 से अधिक शब्द नहीं"। इसके बजाय, यह पूरी क्लास (उस क्षण उत्पन्न किए गए उत्तरों के समूह) को देखता है।

उपमा: एक दौड़ की कल्पना करें।
- पुराना तरीका: "यदि आप 10 मिनट से धीमे दौड़ते हैं, तो आप हार जाएंगे।" (यह बुरा है क्योंकि कुछ दौड़ अन्य की तुलना में कठिन होती हैं)।
- GR3 तरीका: "यदि आप आज अपने समूह के औसत से धीमे दौड़ते हैं, तो आपको मामूली दंड मिलेगा।"
यह क्यों काम करता है: यदि समस्या बहुत कठिन है, तो हर कोई धीरे दौड़ता है (लंबे उत्तर लिखता है)। "औसत" बढ़ जाता है, इसलिए लंबा होने का दंड कम हो जाता है। छात्र को गहराई से सोचने की अनुमति दी जाती है क्योंकि समस्या कठिन है। यदि समस्या आसान है, तो हर कोई तेज़ दौड़ता है। "औसत" कम है, इसलिए छात्र को संक्षिप्त होने के लिए प्रेरित किया जाता है। नियम कार्य की कठिनाई के अनुसार स्वचालित रूप से अनुकूलित होते हैं।

3. "एडवांटेज-अवेयर" कैलिब्रेशन (सितारों की रक्षा करना)

लेखक चिंतित थे कि कोच बहुत सख्त हो सकता है और उस छात्र को दंडित कर सकता है जिसने एक बेहतरीन उत्तर दिया लेकिन स्पष्ट रूप से समझाने के लिए कुछ अतिरिक्त शब्दों का उपयोग किया।

उपमा: एक सख्त शिक्षक एक छात्र को निबंध के लिए फेल कर सकता है यदि वह 500 शब्दों की सीमा के बजाय 510 शब्द लिखता है, भले ही वह निबंध एक उत्कृष्ट कृति हो।
GR3 का समाधान: सिस्टम में एक सुरक्षा जांच है। यह पूछता है: "क्या इस छात्र का उत्तर इतना अच्छा है कि हमें उन्हें थोड़ा अधिक शब्द लिखने की अनुमति देनी चाहिए?" यदि उत्तर एक "स्टार परफॉरमेंस" है, तो सिस्टम दंड को थोड़ा ढीला कर देता है ताकि यह सुनिश्चित हो सके कि छात्र को गहन होने से हतोत्साहित न किया जाए। यह संक्षिप्तता की आवश्यकता और गुणवत्ता की आवश्यकता के बीच संतुलन बनाता है।

परिणाम: "गोल्डिलॉक्स" ज़ोन (The "Goldilocks" Zone)

लेखक दिखाते हैं कि GR3 के साथ:

AI बड़बड़ाना बंद कर देता है। यह दोहराव वाले लूप और "उम्म और आह" को हटा देता है।
AI स्मार्ट बनता है। क्योंकि यह फालतू बातों पर ऊर्जा बर्बाद नहीं कर रहा है, यह अपने "मस्तिष्क की शक्ति" वास्तविक तर्क (logic) पर केंद्रित करता है।
कोई ट्रेड-ऑफ नहीं। आमतौर पर, यदि आप AI को छोटा बनाते हैं, तो वह कम बुद्धिमान हो जाता है। GR3 साबित करता है कि आप एक ही समय में छोटे और स्मार्ट दोनों हो सकते हैं।

संक्षेप में: GR3 AI को सिखाता है कि दक्षता (efficiency) बुद्धिमत्ता का एक हिस्सा है। यह AI को बहुत अधिक बोलकर सिस्टम को "धोखा" देने के बजाय, सही उत्तर तक पहुँचने के सबसे छोटे और स्पष्ट मार्ग को खोजने के लिए पुरस्कृत करता है। यह एक ऐसे छात्र के बीच का अंतर है जो समय भरने के लिए बड़बड़ाता है और एक ऐसे छात्र के बीच का अंतर है जो एक संक्षिप्त, सटीक समाधान प्रस्तुत करता है।

यहाँ पेपर "Tackling Length Inflation Without Trade-offs: Group Relative Reward Rescaling for Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण: RL-LLMs में लेंथ इन्फ्लेशन (Length Inflation)

रीइन्फोर्समेंट लर्निंग (RL) ने लार्ज लैंग्वेज मॉडल (LLM) की क्षमताओं, विशेष रूप से रीजनिंग (RLVR) और अलाइनमेंट (RLHF) को काफी बढ़ाया है। हालाँकि, एक महत्वपूर्ण विफलता मोड सामने आया है जिसे लेंथ इन्फ्लेशन (Length Inflation) कहा जाता है।

घटना: RL-प्रशिक्षित मॉडल रिवॉर्ड को अधिकतम करने के लिए अनावश्यक रूप से लंबी ट्रैजेक्टरीज (verbosity या "overthinking") उत्पन्न करने की प्रवृत्ति रखते हैं।
कारण:
- RLHF में, मॉडल उन बायस (biases) का फायदा उठाते हैं जो वर्बोसिटी (verbosity) को बढ़ावा देते हैं (Reward Hacking)।
- RLVR (जैसे मैथ/कोड) में, मॉडल सही समाधान की संभावना को मामूली रूप से बढ़ाने के लिए अक्षम चैन ऑफ थॉट (chains of thought) उत्पन्न करते हैं।
पूर्व कार्य की सीमाएँ: मौजूदा विधियाँ जो इसे कम करने पर निर्भर करती हैं, वे एडिटिव पेनल्टी (additive penalties) (जैसे $R' = R - \lambda \ell$ $R^{'} = R - λ ℓ$ ) या ह्यूरिस्टिक गेटिंग (heuristic gating) (केवल तब दंड देना जब $R=1$ $R = 1$ ) पर आधारित हैं।
- एडिटिव पेनल्टी एक "क्षतिपूर्ति प्रभाव" (compensatory effect) पैदा करती हैं, जिससे मॉडल कार्य की सफलता के स्वतंत्र रूप से संक्षिप्तता (brevity) के लिए अनुकूलित हो सकते हैं, जो अक्सर प्रदर्शन में गिरावट का कारण बनता है।
- ह्यूरिस्टिक गेटिंग बाइनरी रिवॉर्ड तक सीमित है और निरंतर रिवॉर्ड सेटिंग्स (जैसे RLHF) में अच्छी तरह से सामान्यीकृत नहीं होती है।
- दोनों दृष्टिकोण अक्सर एक ट्रेड-ऑफ (trade-off) थोपते हैं: लंबाई कम करने से आमतौर पर मॉडल की क्षमता का बलिदान होता है।

2. कार्यप्रणाली: ग्रुप रिलेटिव रिवॉर्ड रीस्केलिंग (GR3)

लेखक GR3 प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो लेंथ कंट्रोल को एक मल्टीप्लिकेटिव रीस्केलिंग (multiplicative rescaling) प्रतिमान के रूप में पुनर्गठित करता है, न कि एक एडिटिव पेनल्टी के रूप में। यह दृष्टिकोण "लॉसलेस" (lossless) अनुकूलन का लक्ष्य रखता है, जो टोकन उपयोग को कम करते हुए प्रदर्शन को बनाए रखता है या सुधारता है।

मुख्य घटक:

A. मल्टीप्लिकेटिव रिवॉर्ड रीस्केलिंग (Multiplicative Reward Rescaling)
पेनल्टी घटाने के बजाय, GR3 टास्क रिवॉर्ड $R$ को एक लेंथ-डिपेंडेंट फैक्टर $S$ द्वारा स्केल करता है:
$\hat{R}(x, y) = R(x, y) \cdot S(y)$
जहाँ स्केलिंग फैक्टर को इस प्रकार परिभाषित किया गया है:
$S(y) = \frac{1}{1 + \alpha \cdot \frac{\ell(y)}{\bar{\ell}}}$

$\ell(y)$ : रिस्पॉन्स की लंबाई।
$\bar{\ell}$ : वर्तमान ट्रेनिंग ग्रुप के भीतर औसत रिस्पॉन्स लंबाई (on-policy statistics)।
$\alpha$ : एक पेनल्टी कोएफिशिएंट (penalty coefficient)।
तंत्र (Mechanism): यह एक रिवॉर्ड-डिपेंडेंट गेट (reward-dependent gate) के रूप में कार्य करता है। यदि टास्क रिवॉर्ड $R$ कम है, तो लेंथ पेनल्टी का बहुत कम प्रभाव पड़ता है (यह कठिन कार्यों पर आवश्यक रीजनिंग को दबाने से बचाता है)। यदि $R$ अधिक है, तो लेंथ पेनल्टी सक्रिय हो जाती है, जो सफल ट्रैजेक्टरीज के बीच दक्षता को प्रोत्साहित करती है।

B. ग्रुप-रिलेटिव रेगुलराइजेशन (Group-Relative Regularization)
फिक्स्ड ग्लोबल थ्रेशोल्ड (जैसे "मैक्स 4k टोकन") के विपरीत, GR3 लंबाई को ग्रुप मीन ( $\bar{\ell}$ ) के विरुद्ध सामान्यीकृत करता है।

लाभ: यह प्रॉम्प्ट की अंतर्निहित कठिनाई के अनुसार लेंथ बजट को गतिशील रूप से अनुकूलित करता है। कठिन प्रॉम्प्ट स्वाभाविक रूप से लंबे ग्रुप उत्पन्न करते हैं, जिससे थ्रेशोल्ड बढ़ जाता है; आसान प्रॉम्प्ट इसे कम कर देते हैं। यह स्टैटिक ट्रंकेशन (static truncation) की "वन-साइज़-फिट्स-ऑल" विफलता को रोकता है।

C. एडवांटेज-अवेयर कैलिब्रेशन (Advantage-Aware Calibration)
यह सुनिश्चित करने के लिए कि लेंथ पेनल्टी उच्च-गुणवत्ता वाले लर्निंग सिग्नल को दबा न दे, लेखक $\alpha$ के लिए एक कैलिब्रेशन रणनीति पेश करते हैं।

लक्ष्य: यह सुनिश्चित करना कि एक "प्रतिनिधि" उच्च-गुणवत्ता वाली ट्रैजेक्टरी (जो औसत लंबाई $\bar{\ell}$ के साथ अधिकतम रिवॉर्ड $R_{max}$ प्राप्त करती है) एक गैर-ऋणात्मक एडवांटेज बनाए रखे।
शर्त: $R_{max} / (1 + \alpha) \geq \mu_{\hat{R}}$ ।
कार्यान्वयन: एक छोटा कैलिब्रेशन चरण उस सबसे बड़े $\alpha$ का चयन करता है जो इस शर्त को उच्च संभाव्यता (Constraint Satisfaction Rate $\geq 99.9\%$ ) के साथ संतुष्ट करता है, जिससे अत्यधिक आक्रामक पेनल्टी के कारण ऑप्टिमाइजेशन के विफल होने से बचा जा सके।

3. प्रमुख योगदान

GR3 फ्रेमवर्क: एक सिद्धांत आधारित विधि जो एडिटिव पेनल्टी के स्थान पर मल्टीप्लिकेटिव रीस्केलिंग को प्रतिस्थापित करती है। यह क्षतिपूर्ति अनुकूलन (compensatory optimization) के शॉर्टकट को समाप्त करती है और बाइनरी एवं निरंतर रिवॉर्ड सेटिंग्स को एकीकृत करती है।
ऑप्टिमाइजेशन-प्रिजर्विंग स्ट्रैटेजी: ग्रुप-रिलेटिव रेगुलराइजेशन और एडवांटेज-अवेयर कैलिब्रेशन का एकीकरण यह सुनिश्चित करता है कि बाधाएं ऑन-पॉलिसी सांख्यिकी के अनुकूल हों बिना उच्च-गुणवत्ता वाली ट्रैजेक्टरीज के लर्निंग सिग्नल को नष्ट किए।
पारेटो फ्रंटियर शिफ्ट (Pareto Frontier Shift): प्रायोगिक परिणाम दर्शाते हैं कि GR3 "असंभव" ट्रेड-ऑफ को प्राप्त करता है: टोकन उपयोग को काफी कम करते हुए भी डाउनस्ट्रीम प्रदर्शन में सुधार करना, प्रभावी रूप से दक्षता-प्रदर्शन पारेटो फ्रंटियर को बाहर की ओर धकेलता है।

4. प्रायोगिक परिणाम

लेखकों ने DeepSeek-R1-Distill (1.5B, 7B) और Qwen3 (4B, 8B) जैसे बेस मॉडल्स का उपयोग करके RLVR (मैथ, कोड) और RLHF (चैट) सेटिंग्स में GR3 का मूल्यांकन किया।

गणितीय तर्क (Mathematical Reasoning - RLVR):
- AIME-25 (7B) पर, GR3 ने स्कोर को 39.4 (प्रारंभिक) से बढ़ाकर 46.9 कर दिया, जबकि टोकन उपयोग को 14,032 से घटाकर 8,582 कर दिया (लगभग 39% की कमी)।
- स्टैंडर्ड GRPO ने स्कोर को 44.7 तक सुधारा लेकिन उच्च टोकन उपयोग (12,540) के साथ।
- GR3 ने सटीकता और दक्षता दोनों में सभी लेंथ-ओरिएंटेड बेसलाइन्स (LCR1, Laser, AdaptThink) को पीछे छोड़ दिया।
कोड जनरेशन (Code Generation):
- GR3 ने स्टैंडर्ड GRPO की तुलना में काफी कम टोकन के साथ LiveCodeBench और MultiPL-E पर प्रतिस्पर्धी स्कोर प्राप्त किया।
चैट अलाइनमेंट (Chat Alignment - RLHF):
- स्टैंडर्ड GRPO (रिवॉर्ड हैकिंग के कारण) गंभीर लेंथ इन्फ्लेशन से ग्रस्त था (उदाहरण के लिए, Qwen3-8B पर टोकन काउंट 1,171 से बढ़कर 2,343 हो गया)।
- GR3 ने टोकन उपयोग को लगभग स्थिर रखते हुए (1,171 $\to$ 1,178) मजबूत अलाइनमेंट लाभ (Arena-Hard स्कोर: 77.2 $\to$ 92.8) प्राप्त किया।
ट्रेनिंग डायनेमिक्स (Training Dynamics):
- GR3 एक एडेप्टिव "बढ़ावा-फिर-कमी" (increase-then-decrease) पैटर्न प्रदर्शित करता है: यह अलाइनमेंट सुरक्षित करने के लिए आवश्यक होने पर लेंथ विस्तार की अनुमति देता है, फिर जैसे-जैसे पॉलिसी परिपक्व होती है, अनावश्यक जनरेशन को स्वतः संकुचित (compress) कर देता है।

5. महत्व और प्रभाव

सैद्धांतिक अंतर्दृष्टि: यह पेपर एक कठोर विश्लेषण प्रदान करता है कि कैसे एडिटिव पेनल्टी ऐसे डीकप्ल्ड प्रोत्साहन (decoupled incentives) पेश करती है जो उप-इष्टतम डायनेमिक्स की ओर ले जाते हैं, जबकि मल्टीप्लिकेटिव रीस्केलिंग लेंथ कंट्रोल को टास्क सक्सेस के साथ जोड़ती है, जिससे यह स्वाभाविक रूप से "रिवॉर्ड-अवेयर" बन जाती है।
व्यावहारिक दक्षता: प्रदर्शन से समझौता किए बिना (और अक्सर सुधार के साथ) टोकन खर्च को 40% से अधिक कम करके, GR3 सीधे तौर पर "ग्रीन AI" में योगदान देता है और बड़े पैमाने पर रीजनिंग मॉडल्स को तैनात करने की बाधा को कम करता है।
मजबूती (Robustness): यह विधि RLHF में रिवॉर्ड हैकिंग और RLVR में ओवरथिंकिंग को प्रभावी ढंग से कम करती है, जो यह सुझाव देती है कि वर्बोसिटी (verbosity) बुद्धिमत्ता की पूर्व शर्त नहीं है।
सामान्यीकरण (Generalizability): यह फ्रेमवर्क बाइनरी (RLVR) और निरंतर (RLHF) दोनों रिवॉर्ड परिदृश्यों के लिए लागू करने योग्य है, जो LLM पोस्ट-ट्रेनिंग के लिए एक एकीकृत समाधान प्रदान करता है।

निष्कर्षतः, GR3, LLMs के लिए RL में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है, जो यह सिद्ध करता है कि दक्षता और क्षमता को ह्यूरिस्टिक पेनल्टी के बजाय सिद्धांत आधारित रिवॉर्ड रीस्केलिंग के माध्यम से एक साथ अनुकूलित किया जा सकता है।