💬 NLP

Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning

यह शोध पत्र एंट्रॉपी रेश्यो क्लिपिंग (ERC) का प्रस्ताव करता है, जो एक सॉफ्ट ग्लोबल कंस्ट्रेंट है जो वर्तमान और पिछले पॉलिसियों के बीच एंट्रॉपी रेश्यो पर द्विदिश सीमाएं लगाकर लार्ज लैंग्वेज मॉडल्स के लिए सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) को स्थिर करता है ताकि वितरण बदलाव (डिस्ट्रीब्यूशन शिफ्ट) और प्रशिक्षण अस्थिरता को कम किया जा सके।

मूल लेखक: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou

प्रकाशित 2026-04-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Tiehua Mei, Zijia Lin, Yuntao Li, Wenping Hu, Ruiming Tang, Kun Gai, Guorui Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक रोबोट को सोचना सिखाना

कल्पना कीजिए कि आप एक बहुत ही स्मार्ट रोबोट (एक लार्ज लैंग्वेज मॉडल) को जटिल गणितीय समस्याओं को हल करने के लिए प्रशिक्षित कर रहे हैं। आप इसके लिए रीइन्फोर्समेंट लर्निंग (RL) नामक विधि का उपयोग करते हैं। इसे एक खेल की तरह समझें जहाँ रोबोट अलग-अलग उत्तर देता है, यदि वह सही है तो उसे एक "स्कोर" (रिवॉर्ड) मिलता है, और वह अगली बार बेहतर करने के लिए सीखता है।

समस्या क्या है? रोबोट थोड़ा अनिश्चित (wild card) है। कभी-कभी, उच्च स्कोर पाने की उत्सुकता में, वह अपने सोचने के तरीके में बहुत बड़े और लापरवाह बदलाव कर देता है। वह अत्यधिक सतर्क होने से लेकर पूरी तरह से अराजक (chaotic) होने के बीच झूल सकता है। इससे प्रशिक्षण अस्थिर हो जाता है, जैसे एक कार जो फिसलन भरी सड़क पर चल रही हो जहाँ पहिए नियंत्रण से बाहर होकर घूमने लगते हैं।

पुराना समाधान: "लोकल" सीटबेल्ट

रोबोट को पागल होने से रोकने के लिए, शोधकर्ता PPO-Clip नामक तकनीक का उपयोग करते हैं।

उपमा (Analogy): कल्पना कीजिए कि रोबोट एक कार चला रहा है। PPO-Clip एक ऐसी सीटबेल्ट की तरह है जो केवल यह जाँचती है कि ड्राइवर अभी स्टीयरिंग व्हील को बहुत कसकर तो नहीं पकड़ रहा है।
दोष: यह केवल उन विशिष्ट चालों को देखता है जो रोबोट ने वास्तव में चली हैं। यह उन चीज़ों को अनदेखा कर देता है जो रोबोट ने नहीं कीं।
- उदाहरण: यदि रोबोट आमतौर पर 90% बार "हाँ" और 10% बार "नहीं" कहता है, तो PPO-Clip यह सुनिश्चित करता है कि वह अचानक 99% बार "हाँ" न कहने लगे। लेकिन यह इस बात पर ध्यान नहीं देता कि क्या रोबोट "शायद" या "रुको" जैसे शब्द इस तरह से फुसफुसाने लगा है जिससे उसका व्यक्तित्व पूरी तरह बदल गया है, भले ही उसने परीक्षण के दौरान वे शब्द वास्तव में ज़ोर से न कहे हों। रोबोट का आंतरिक "वाइब" (vibe) भटक जाता है, भले ही सीटबेल्ट कहे कि सब ठीक है।

नया समाधान: "ग्लोबल" थर्मोस्टेट

इस शोध पत्र के लेखक एक नया टूल प्रस्तावित करते हैं जिसे ERC (एंट्रॉपी रेशियो क्लिपिंग) कहा जाता है।

उपमा: स्टीयरिंग व्हील की जाँच करने के बजाय, ERC एक थर्मोस्टेट स्थापित करता है जो पूरे कमरे के तापमान (रोबोट के पूरे मस्तिष्क) की निगरानी करता है।
"एंट्रॉपी" क्या है? इस संदर्भ में, एंट्रॉपी को रोबोट की जिज्ञासा या नई चीज़ों को आज़माने की इच्छा के रूप में समझें।
- कम एंट्रॉपी: रोबोट एक रोबोट की तरह है। वह केवल वही करता है जो वह जानता है। यह उबाऊ और सुरक्षित है।
- उच्च एंट्रॉपी: रोबोट एक अराजक प्रतिभाशाली (chaotic genius) है। वह सब कुछ आज़माता है, यहाँ तक कि बेतुकी चीज़ें भी। यह जोखिम भरा है।
- बिल्कुल सही: रोबोट जिज्ञासु है लेकिन केंद्रित भी है।

ERC कैसे काम करता है:
ERC लगातार रोबोट के वर्तमान "जिज्ञासा स्तर" की तुलना उसके पिछले स्तर से करता है।

अनुपात (Ratio): यह एक अनुपात की गणना करता है: वर्तमान जिज्ञासा / पुरानी जिज्ञासा।
क्लिपिंग (Clipping): यदि यह अनुपात बहुत अधिक हो जाता है (रोबोट बहुत ज्यादा जंगली हो रहा है) या बहुत कम हो जाता है (रोबोट बहुत उबाऊ हो रहा है), तो ERC ब्रेक लगा देता है। यह कहता है, "रुको, तुम अपना व्यक्तित्व बहुत तेज़ी से बदल रहे हो। चलो थोड़ा धीमे चलते हैं।"

यह गेम चेंजर क्यों है

1. यह "अदृश्य" भटकाव को पकड़ लेता है

याद है पुराने तरीके में केवल उन चालों की जाँच होती थी जो रोबोट ने किए थे? ERC उन चालों की भी जाँच करता है जो रोबोट ने नहीं कीं।

उपमा: कल्पना कीजिए कि एक शेफ सूप बना रहा है। पुराना तरीका केवल उस चम्मच का स्वाद लेता है जो शेफ ने वास्तव में परोसा है। यदि शेफ ने चुपके से पूरे बर्तन में एक गैलन नमक डाल दिया है लेकिन केवल एक छोटा सा बिना नमक वाला चम्मच परोसा है, तो पुराना तरीका उसे नहीं जान पाएगा।
ERC का दृष्टिकोण: ERC पूरे बर्तन का स्वाद लेता है। यह समझ जाता है कि, "हे, पूरा सूप बहुत नमकीन होता जा रहा है," भले ही परोसा गया चम्मच ठीक हो। यह शेफ को पूरा बैच खराब करने से रोकता है।

2. यह रोबोट को संतुलित रखता है

शोध पत्र दिखाता है कि ERC के बिना, रोबोट की "जिज्ञासा" (एंट्रॉपी) ऊपर-नीचे बहुत अधिक उछलती है। एक मिनट वह जीनियस होता है, दूसरे ही मिनट वह एक भ्रमित ढेर बन जाता है।

ERC का प्रभाव: यह यात्रा को सुचारू बनाता है। रोबोट "गोल्डिलॉक्स ज़ोन" (Goldilocks zone) में रहता है—न बहुत सख्त, न बहुत जंगली। यह प्रशिक्षण प्रक्रिया को बहुत सहज और तेज़ बनाता है।

3. यह एक "सॉफ्ट" बाधा (Soft Constraint) है

शीर्षक इसे "सॉफ्ट ग्लोबल कंस्ट्रेंट" कहता है।

हार्ड कंस्ट्रेंट (Hard Constraint): एक दीवार की तरह। आप इससे टकराते हैं, तो रुक जाते हैं।
सॉफ्ट कंस्ट्रेंट (Soft Constraint): कंधे पर एक कोमल हाथ की तरह। यह आपको केंद्र की ओर वापस लाता है, लेकिन आपको रोकता नहीं है। ERC रोबोट को नए विचारों का पता लगाने की अनुमति देता है, लेकिन यदि वह रास्ते से बहुत दूर भटकने लगता है, तो यह उसे धीरे से वापस लाता है।

परिणाम: एक सुचारू यात्रा

शोधकर्ताओं ने गणितीय समस्याओं (जैसे AIME प्रतियोगिता) पर इसका परीक्षण किया।

ERC के बिना: रोबोट का प्रदर्शन अस्थिर था। वह बेहतर होता, फिर खराब होता, फिर बेहतर होता।
ERC के साथ: रोबлот ने निरंतर सुधार किया। उसने कठिन समस्याओं को हल किया और प्रशिक्षण प्रक्रिया के दौरान क्रैश नहीं हुआ।

सारांश

AI को प्रशिक्षित करना एक कुत्ते को प्रशिक्षित करने जैसा समझें।

पुराना तरीका (PPO-Clip): आप कुत्ते को तभी प्रशंसा देते हैं जब वह बैठता है। यदि कुत्ता डाकिया को देखकर भौंकने लगता है (जिसे आपने देखा नहीं), तो आप उसे सुधारते नहीं हैं। अंततः, कुत्ता भ्रमित और अनियंत्रित हो जाता है।
नया तरीका (ERC): आप कुत्ते की समग्र ऊर्जा को देखते हैं। यदि कुत्ता बहुत अधिक उत्तेजित (बहुत अधिक एंट्रॉपी) या बहुत अधिक सुस्त (बहुत कम एंट्रॉपी) हो जाता है, तो आप उसे धीरे से एक शांत, केंद्रित अवस्था में वापस लाते हैं।

इस "जिज्ञासा थर्मोस्टेट" को जोड़कर, शोधकर्ताओं ने AI प्रशिक्षण को अधिक स्थिर, कुशल और कठिन समस्याओं को हल करने में सक्षम बनाया है।

यहाँ शोध पत्र "Entropy Ratio Clipping as a Soft Global Constraint for Stable Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) का पोस्ट-ट्रेनिंग तेजी से रीइन्फोर्समेंट लर्निंग (RL), विशेष रूप से वेरिफिएबल रिवॉर्ड्स (RLVR) पर निर्भर करता है, ताकि तर्क (reasoning) और संरेखण (alignment) को बढ़ाया जा सके। हालाँकि, ये विधियाँ अक्सर एक ऑफ-पॉलिसी ट्रेनिंग प्रतिमान (off-policy training paradigm) का उपयोग करती हैं, जहाँ डेटा एक पुराने पॉलिसी ( $\pi_{old}$ ) द्वारा जनरेट किया जाता है लेकिन वर्तमान पॉलिसी ( $\pi_{\theta}$ ) को अपडेट करने के लिए उपयोग किया जाता है। यह एक वितरण संबंधी बदलाव (distributional shift) पैदा करता है जो पॉलिसी को सैद्धांतिक "ट्रस्ट रीजन" (trust region) से बाहर धकेल सकता है, जिससे दो महत्वपूर्ण अस्थिरताएं उत्पन्न होती हैं:

एंट्रॉपी अस्थिरता (Entropy Instability): पॉलिसी एंट्रॉपी में भारी उतार-चढ़ाव, जिससे अत्यधिक अन्वेषण (exploration) या विकृत व्यवहार (degenerate behavior) होता है।
ग्रेडिएंट नॉर्म अस्थिरता (Gradient Norm Instability): ग्रेडिएंट का विस्फोट (exploding) या लुप्त होना (vanishing) जो अभिसरण (convergence) में बाधा डालता है।

मौजूदा समाधानों की सीमाएं:

PPO-Penalty: यह KL-डाइवर्जेंस पेनल्टी का उपयोग करता है लेकिन यह $\beta$ गुणांक के प्रति अत्यधिक संवेदनशील है और अन्वेषण को बहुत अधिक बाधित कर सकता है।
PPO-Clip: वर्तमान मानक (जो DAPO, GRPO आदि में उपयोग किया जाता है) केवल नमूनाकृत क्रियाओं (sampled actions) के लिए इम्पोर्टेंस सैंपलिंग अनुपात ( $r_t$ $r_{t}$ ) को क्लिप करता है।
- द ब्लाइंड स्पॉट (The Blind Spot): PPO-Clip गैर-नमूनाकृत क्रियाओं (unsampled actions) को नियंत्रित करने में विफल रहता है। भले ही नमूनाकृत टोकन की संभावना में थोड़ा बदलाव हो (क्लिपिंग से बचने के लिए), गैर-नमूनाकृत टोकनों की संभावनाएं काफी बदल सकती हैं, जिससे वैश्विक वितरण (global distribution) विचलित हो सकता है। यह छिपे हुए ट्रस्ट-रीजन उल्लंघन और उसके बाद प्रशिक्षण अस्थिरता का कारण बनता है।

2. कार्यप्रणाली: एंट्रॉपी रेश्यो क्लिपिंग (Methodology: Entropy Ratio Clipping - ERC)

लेखक एंट्रॉपी रेश्यो क्लिपिंग (ERC) का प्रस्ताव करते हैं, जो एक तंत्र है जो मौजूदा स्थानीय क्लिपिंग विधियों के पूरक के रूप में पॉलिसी वितरण पर एक वैश्विक प्रतिबंध (global constraint) पेश करता है।

A. एंट्रॉपी रेशो मेट्रिक (The Entropy Ratio Metric)

केवल नमूनाकृत टोकनों की संभावना पर ध्यान केंद्रित करने के बजाय, ERC पूरे वोकैबुलरी ( $V$ ) में नई और पुरानी पॉलिसियों के बीच एंट्रॉपी के सापेक्ष परिवर्तन को मापता है।
एक डिकोडिंग स्टेप $t$ के लिए, एंट्रॉपी रेशो $\rho_t$ को इस प्रकार परिभाषित किया गया है:
$\rho_t = \frac{H(\pi_{\theta, t})}{H(\pi_{old, t})} = \frac{-\sum_{a \in V} \pi_{\theta}(a | y_{<t}, x) \log \pi_{\theta}(a | y_{<t}, x)}{-\sum_{a \in V} \pi_{old}(a | y_{<t}, x) \log \pi_{old}(a | y_{<t}, x)}$
यह मेट्रिक अन्वेषण व्यवहार में वैश्विक बदलाव को पकड़ता है, जिसमें गैर-नमूनाकृत क्रियाएं भी शामिल हैं।

B. ERC तंत्र (The ERC Mechanism)

ERC एंट्रॉपी रेशो पर एक द्विदिश हार्ड क्लिपिंग (bidirectional hard clipping) प्रतिबंध लागू करता है।

प्रतिबंध सीमा (Constraint Range): अनुपात $\rho_t$ को $(1 - \beta_{low}, 1 + \beta_{high})$ के भीतर सीमित किया जाता है।
ग्रेडिएंट ट्रंकेशन (Gradient Truncation): यदि एंट्रॉपी रेशो इस सीमा से बाहर जाता है, तो उस टोकन के लिए ग्रेडिएंट को शून्य कर दिया जाता है (हार्ड ट्रंकेशन)।
एकीकरण (Integration): ERC को DAPO और GPPO जैसे एल्गोरिदम के ऑब्जेक्टिव फंक्शन में एकीकृत किया जाता है। उदाहरण के लिए, ERC-DAPO में, लॉस (loss) में एक इंडिकेटर फंक्शन $I_{i,t}$ जोड़ा जाता है:
$J_{ERC}(\theta) = \mathbb{E} \left[ \frac{1}{\sum |y_i|} \sum \sum I_{i,t} \cdot \min(\dots) \right]$
जहाँ $I_{i,t} = 1$ यदि $1-\beta_{low} < \rho_{i,t} < 1+\beta_{high}$ , और अन्यथा $0$ है।

मुख्य अंतर: KL रेगुलराइजेशन (जो पॉइंटवाइज अंतर को दंडित करता है) या मानक PPO-clip (जो केवल स्थानीय अपडेट को सीमित करता है) के विपरीत, ERC एक ग्लोबल डिस्ट्रीब्यूशन-लेवल कंस्ट्रेंट के रूप में कार्य करता है जो विशेष रूप से पॉलिसी की अन्वेषण क्षमता की स्थिरता को लक्षित करता है।

3. मुख्य योगदान (Key Contributions)

नया मेट्रिक: पॉलिसी अन्वेषण में सापेक्ष परिवर्तनों को मापने के लिए एंट्रॉपी रेशो का परिचय, जो वैश्विक वितरण संबंधी बदलाव को मापने के लिए एक नया आयाम प्रदान करता है।
ERC तंत्र: एक द्विदिश क्लिपिंग तंत्र का प्रस्ताव जो एंट्रॉपी रेशो को नियंत्रित करता है, प्रभावी रूप से गैर-नमूनाकृत क्रियाओं के बहाव (drift) के कारण होने वाले ट्रस्ट-रीजन विचलन को कम करता है।
एल्गोरिदम अगनोस्टिक इंटीग्रेशन: कई RL एल्गोरिदम (DAPO, GPPO) के साथ ERC का सफल एकीकरण और मूल्यांकन, जो निरंतर स्थिरता और प्रदर्शन लाभ प्रदर्शित करता है।
सैद्धांतिक अंतर्दृष्टि: यह प्रदर्शन करना कि ERC एक "सॉफ्ट ग्लोबल कंस्ट्रेंट" के रूप में कार्य करता है जो PPO-clip का पूरक है, और गैर-नमूनाकृत क्रियाओं के बहाव (unsampled action drift) के ब्लाइंड स्पॉट को संबोधित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने DeepSeek-R1-Distill-Qwen मॉडल्स (1.5B और 7B पैरामीटर्स) पर KlearReasoner-MathSub-30K डेटासेट का उपयोग करके ERC का मूल्यांकन किया।

बेंचमार्क प्रदर्शन:
- ERC ने गणितीय तर्क बेंचमार्क (AIME24/25, HMMT25, MATH500, AMC23) में बेसलाइन्स (GRPO, DAPO, GPPO) को लगातार पछाड़ दिया।
- उल्लेखनीय लाभ: चुनौतीपूर्ण AIME25 बेंचमार्क पर, ERC-DAPO ने 7B मॉडल के स्कोर को DAPO के 45.9 से बढ़ाकर 48.4 कर दिया। HMMT25 पर, इसने 27.4 से 28.7 तक सुधार किया।
- कोड रीजनिंग (HumanEval, LCB) और इंस्ट्रक्शन फॉलोइंग (IFBench) में भी सुधार देखे गए।
प्रशिक्षण स्थिरता (Training Stability):
- एंट्रॉपी: ERC ने मानक DAPO में देखे गए तीव्र एंट्रॉपी उतार-चढ़ाव को समाप्त कर दिया, जिससे एक सुचारू प्रक्षेपवक्र (trajectory) बना रहा।
- ग्रेडिएंट नॉर्म: ERC ने ग्रेडिएंट वेरिएंस को काफी कम कर दिया और विस्फोट/लुप्त होने की घटनाओं को रोका।
- क्लिपिंग रेशो: जबकि PPO-clip आमतौर पर केवल ~0.02% टोकन को क्लिप करता है, ERC ~20.29% को क्लिप करता है। विश्लेषण से पता चलता है कि ERC मुख्य रूप से लो-एंट्रॉपी क्षेत्रों (जैसे "frac", "sqrt" जैसे नियत प्रतीक) में टोकन को क्लिप करता है, जबकि हाई-एंट्रॉपी टोकन (जैसे "wait", "therefore" जैसे रीजनिंग शब्द) को सुरक्षित रखता है। यह सुझाव देता है कि ERC शोर वाले अपडेट को हटाता है जबकि अन्वेषण व्यवहार को बनाए रखता है।
तुलना:
- KL रेगुलराइजेशन बनाम: ERC ने AIME बेंचमार्क पर PPO-पेनल्टी (KL-रेगुलराइज्ड) को पछाड़ दिया, जिससे बेहतर अन्वेषण दक्षता मिली।
- एंट्रॉपी रेगुलराइजेशन बनाम: ERC के द्विदिश क्लिपिंग ने यूनिडायरेक्शनल एंट्रॉपी पेनल्टी की तुलना में एंट्रॉपी कोलैप्स और विस्फोट दोनों को बेहतर ढंग से संभाला।
- सीक्वेंस-लेवल क्लिपिंग बनाम: ERC (टोकन-लेवल) ने सीक्वेंस-लेवल क्लिपिंग विधियों (GSPO) से बेहतर प्रदर्शन किया।

5. महत्व (Significance)

यह कार्य LLMs के लिए वर्तमान ऑफ-पॉली RL की एक मौलिक खामी को संबोधित करता है: स्थानीय क्लिपिंग (PPO-Clip) की वैश्विक वितरण संबंधी बदलावों को नियंत्रित करने में असमर्थता।

स्थिरता: एंट्रॉपी रेशो पर एक वैश्विक प्रतिबंध लागू करके, ERC प्रशिक्षण गतिशीलता को स्थिर करता है, जिससे बिना विचलन के अधिक आक्रामक लर्निंग रेट या जटिल रीजनिंग कार्यों की अनुमति मिलती है।
दक्षता: यह उन "शोर वाले" अपडेट को फ़िल्टर करता है (नियतिवादी टोकन) जो सीखने में योगदान नहीं देते हैं, जो प्रभावी रूप से एक स्पार्स सिग्नल फिल्टर के रूप में कार्य करता है।
सामान्यीकरण (Generalizability): यह विधि मौजूदा क्लिपिंग तंत्रों के प्रति ऑर्थोगोनल है और विभिन्न RL एल्गोरिदम (DAPO, GPPO) के साथ संयोजन की जा सकती है, जो इसे LLM पोस्ट-ट्रेनिंग टूलकिट में एक मजबूत जोड़ बनाती है।

निष्कर्षतः, एंट्रॉपी रेश्यो क्लिपिंग PPO के स्थानीय प्रतिबंधों को एक आवश्यक वैश्विक परिप्रेक्ष्य प्रदान करता है, यह सुनिश्चित करता है कि पॉलिसी जटिल तर्क कार्यों के लिए आवश्यक अन्वेषण बनाए रखते हुए ट्रस्ट-रीजन के भीतर सुचारू रूप से विकसित हो।