🤖 machine learning

Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective

यह शोध पत्र STEER को प्रस्तुत करता है, जो सत्यापन योग्य पुरस्कारों (RLVR) के साथ सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए एक सिद्धांतगत एंट्रॉपी-मॉड्यूलेशन विधि है, जो टोकन-स्तरीय एंट्रॉपी परिवर्तनों के लिए एक सैद्धांतिक ढांचा व्युत्पन्न करके और गणितीय एवं कोडिंग बेंचमार्क में मौजूदा ह्यूरिस्टिक हस्तक्षेपों से बेहतर प्रदर्शन करने के लिए टोकन को अनुकूल रूप से पुन: भारित (reweighting) करके एंट्रॉपी पतन (entropy collapse) को संबोधित करता है।

मूल लेखक: Zhezheng Hao, Hong Wang, Haoyang Liu, Jian Luo, Jiarui Yu, Hande Dong, Qiang Lin, Can Wang, Jiawei Chen

प्रकाशित 2026-04-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhezheng Hao, Hong Wang, Haoyang Liu, Jian Luo, Jiarui Yu, Hande Dong, Qiang Lin, Can Wang, Jiawei Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को जटिल गणित की समस्याओं को हल करने या कोड लिखने के लिए प्रशिक्षित कर रहे हैं। आप एक तकनीक का उपयोग करते हैं जिसे Reinforcement Learning with Verifiable Rewards (RLVR) कहा जाता है। इसे एक खेल की तरह समझें जहाँ रोबोट अलग-अलग समाधान आज़माता है, और यदि उसे सही उत्तर मिलता है, तो उसे एक "गोल्ड स्टार" (इनाम) मिलता है। यदि वह गलत होता है, तो उसे कुछ नहीं मिलता। समय के साथ, रोबोट अधिक गोल्ड स्टार पाने के लिए सीखता है।

समस्या: रोबोट बहुत अधिक आत्मविश्वासी (और अटक) जाता है

"एन्ट्रॉपी" (Entropy) को समझने के लिए, कल्पना करें कि रोबोट का मस्तिष्क संभावित उत्तरों का एक विशाल पुस्तकालय है।

उच्च एन्ट्रॉपी (High Entropy): पुस्तकालय विविध, अलग-अलग विचारों से भरा है। रोबोट खोज कर रहा है, कई अलग-अलग रास्तों को आज़मा रहा है, और नई संभावनाओं के लिए खुला है।
निम्न एन्ट्रॉपी (Low Entropy/Collapse): पुस्तकालय अचानक छोटा हो जाता है। रोबोट नए प्रयोग करना बंद कर देता है और केवल उस एक रास्ते को चुनता है जिसे वह सबसे अच्छा मानता है। वह कठोर और दोहराव वाला बन जाता है।

RLVR में, रोबोट अक्सर बहुत जल्दी इस "लो-एन्ट्रॉपी" अवस्था में फंस जाता है। वह नई चीजें आज़माना बंद कर देता है क्योंकि उसे गलतियाँ करने से डर लगता है। वह एक ही "तर्क" (reasoning) को बार-बार दोहराने लगता है। यदि वह एक रास्ता गलत है, तो रोबोट विफल हो जाता है, और प्रशिक्षण रुक जाता है क्योंकि वह बेहतर समाधान खोजने में असमर्थ होता है।

पुराने समाधान: अनुमान लगाना और जांचना

इस शोध पत्र से पहले, वैज्ञानिक इसे ठीक करने के लिए "ह्यूरिस्टिक" (heuristic) विधियों का उपयोग करते थे—मूल रूप से वे अनुमान लगा रहे थे कि क्या काम कर सकता है।

"क्लिप-हाई" (Clip-High) विधि: उन्होंने रोबोट के आत्मविश्वास में बड़े बदलावों को सीमित करने के नियमों को ढीला करने की कोशिश की, इस उम्मीद में कि यह रोबोट को अधिक चीजें आज़माने के लिए मजबूर करेगा।
"रीवेटिंग" (Reweighting) विधि: उन्होंने दुर्लभ उत्तरों को अतिरिक्त अंक देने या सामान्य उत्तरों से अंक वापस लेने की कोशिश की।

पुराने तरीकों के साथ समस्या यह थी कि वे एक लीक होती नाव को केवल एक छेद बंद करके ठीक करने की कोशिश करने जैसे थे, जबकि अन्य छेदों को अनदेखा किया जा रहा था। वे पूरी तरह से यह नहीं समझ पाए थे कि रोबोट क्यों "कोलैप्स" हो रहा था, इसलिए उनके सुधार केवल तुक्के या अनिश्चित थे।

नया अंतर्दृष्टि: एक गणितीय मानचित्र

इस शोध पत्र के लेखकों ने इसके पीछे के कारणों को गहराई से समझने का निर्णय लिया। उन्होंने एक सटीक गणितीय सूत्र (एक "टाइट एनालिटिकल एप्रोक्सिमेशन") बनाया जो ठीक से ट्रैक करता है कि हर एक चरण के साथ रोबोट की "विविधता" (एन्ट्रॉपी) कैसे बदलती है।

उन्होंने पाया कि विविधता में परिवर्तन चार विशिष्ट कारकों द्वारा नियंत्रित होता है:

क्लिपिंग नियम (The Clipping Rule): प्रशिक्षण एल्गोरिदम कितना बड़ा बदलाव सीमित करता है।
एडवांटेज स्कोर (The Advantage Score): एक विशिष्ट उत्तर औसत से कितना बेहतर है।
संभावना (The Probability): रोबोट के उस उत्तर को चुनने की संभावना कितनी थी।
वर्तमान एन्ट्रॉपी (The Current Entropy): उस सटीक क्षण में रोबोट का दिमाग कितना विविध था।

उन्होंने इसे एक चार-चतुर्थक मानचित्र (four-quadrant map) के रूप में देखा। इस आधार पर कि कोई उत्तर "सही/गलत" था और "संभावित/असंभावित" था, रोबोट या तो अधिक विविध बनेगा या कम विविध। उन्होंने महसूस किया कि पिछले तरीके केवल इनमें से एक या दो चतुर्थांशों को देख रहे थे, जिससे वे बड़ी तस्वीर को समझने में चूक गए।

समाधान: STEER

इस मानचित्र के आधार पर, उन्होंने STEER (Stabilizing Token-level Entropy-changE via Reweighting) नामक एक नया उपकरण बनाया।

STEER को रोबोट की सीखने की प्रक्रिया के लिए एक स्मार्ट ट्रैफिक कंट्रोलर के रूप में सोचें।

अनुमान लगाने के बजाय, STEER गणना करता है कि रोबोट द्वारा उत्पन्न होने वाले प्रत्येक शब्द (टोकन) के लिए विविधता कितनी बदल रही है।
यदि रोबोट एक ऐसा कदम उठाने वाला है जिससे उसकी विविधता बहुत तेज़ी से गिर जाएगी (एन्ट्रॉपी कोलैप्स), तो STEER उस विशिष्ट कदम पर धीरे से ब्रेक लगा देता है।
यह रोबोट को सीखने से नहीं रोकता है; यह केवल सीखने के उन हिस्सों को धीमा करता है जो बहुत आक्रामक हैं, जिससे रोबोट का दिमाग खुला और विविध बना रहता है।

परिणाम

टीम ने छह अलग-अलग गणितीय बेंचमार्क और तीन कोडिंग चुनौतियों पर STEER का परीक्षण किया।

परिणाम: STEER ने पूरे प्रशिक्षण के दौरान रोबोट के "मन" को विविध और खोजी बनाए रखा।
स्कोर: इसने लगातार अन्य सभी शीर्ष विधियों को पछाड़ दिया, अधिक गणितीय समस्याओं को हल किया और बेहतर कोड लिखा।
बहुमुखी प्रतिभा: यह विभिन्न आकार के रोबोटों (छोटे से लेकर बड़े मॉडल तक) और विभिन्न प्रकार के प्रशिक्षण एल्गोरिदम पर अच्छी तरह से काम करता है।

सारांश में

यह शोध पत्र तर्क देता है कि AI को बेहतर ढंग से सोचने के लिए सिखाने हेतु, हम केवल यह अनुमान नहीं लगा सकते कि उसकी रचनात्मकता को कैसे बनाए रखा जाए। हमें यह समझने की आवश्यकता है कि वह अपनी रचनात्मकता को कैसे खोता है। इन परिवर्तनों का एक सटीक मानचित्र बनाकर, उन्होंने STEER बनाया, जो एक सूक्ष्म-नियंत्रक (fine-tuned regulator) के रूप में कार्य करता है, यह सुनिश्चित करता है कि AI जिज्ञासु और खोजी बना रहे, न कि एक कठोर लूप में फंस जाए। इससे अधिक स्मार्ट और सक्षम AI मॉडल विकसित होते हैं।

यहाँ शोध पत्र "Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

Reinforcement Learning with Verifiable Rewards (RLVR) गणित और कोडिंग जैसे कार्यों में Large Language Models (LLMs) की तर्क क्षमता (reasoning capabilities) को बढ़ाने के लिए एक आधारभूत तकनीक है। हालाँकि, RLVR प्रशिक्षण अक्सर एंट्रॉपी कोलैप्स (entropy collapse) से ग्रस्त होता है, जो एक ऐसी घटना है जहाँ प्रशिक्षण के दौरान पॉलिसी की एंट्रॉपी तेजी से गिर जाती है।

यह कोलैप्स दो महत्वपूर्ण विफलताओं का कारण बनता है:

सीमित अन्वेषण (Restricted Exploration): मॉडल सजातीय (homogeneous) तर्क प्रक्षेपवक्र (rollouts) उत्पन्न करता है, जिससे वह विविध या सही समाधान खोजने में विफल रहता है।
अनुकूलन व्यवधान (Optimization Disruption): GRPO (Group Relative Policy Optimization) जैसे समूह-आधारित एल्गोरिदम में, सजातीय रोलआउट गैर-विभेदक (non-discriminative) एडवांटेज स्कोर की ओर ले जाते हैं, जिससे प्रशिक्षण स्थिर हो जाता है।

जबकि हाल के कार्य इसे हीयुरिस्टिक हस्तक्षेपों (जैसे क्लिपिंग बाउंड्स को समायोजित करना, सकारात्मक नमूनों को पुन: भारित करना, या एंट्रॉपी-जागरूक एडवांटेज के माध्यम से) के माध्यम से कम करने का प्रयास करते हैं, इन विधियों में यह समझने के लिए एक एकीकृत सैद्धांतिक समझ की कमी है कि वे क्यों काम करते हैं या विफल होते हैं। उनकी प्रभावशीलता अक्सर सीमित होती है क्योंकि वे टोकन-स्तरीय एंट्रॉपी गतिकी (dynamics) को नियंत्रित करने वाले सिद्धांतों के बजाय मोटे तौर पर (coarse-grained) समायोजन पर निर्भर करती हैं।

2. कार्यप्रणाली और सैद्धांतिक विश्लेषण (Methodology & Theoretical Analysis)

लेखक मोटे तौर पर वैश्विक एंट्रॉपी निगरानी से हटकर सूक्ष्म (fine-grained) टोकन-स्तरीय एंट्रॉपी विश्लेषण की ओर बढ़ने का प्रस्ताव देते हैं।

A. सैद्धांतिक व्युत्पत्ति (Theorem 1)

यह शोध पत्र प्रत्येक अपडेट स्टेप पर टोकन-स्तरीय एंट्रॉपी परिवर्तन ( $\Omega(s)$ ) के लिए एक सटीक विश्लेषणात्मक सन्निकटन (approximation) व्युत्पन्न करता है। यह दिखाया गया है कि परिवर्तन चार प्रमुख कारकों द्वारा नियंत्रित होता है:

क्लिपिंग इंडिकेटर ( $I_{clip}$ ): क्या इम्पोर्टेंस सैंपलिंग अनुपात क्लिप्ड है।
एडवांटेज ( $A$ ) और पुरानी पॉलिसी ( $\pi_{old}$ ): अपडेट के लिए वेटिंग कारक।
टोकन संभाव्यता ( $\pi_\theta$ ): टोकन की वर्तमान संभावना।
सशर्त एंट्रॉपी ( $H(s)$ ): वर्तमान अवस्था की एंट्रॉपी।

एंट्रॉपी परिवर्तन का व्युत्पन्न सूत्र है:
$\Omega(s) \approx -\frac{\eta}{L} \mathbb{E}_{\pi_\theta} \left[ I_{clip} \cdot A \cdot \frac{\pi_{old}}{\pi_\theta} (1 - \pi_\theta) (\log \pi_\theta + H(s)) \right]$

B. फोर-क्वाड्रेंट फ्रेमवर्क (The Four-Quadrant Framework)

एडवांटेज ( $A$ ) और टोकन संभाव्यता ( $\pi_\theta$ ) के संयुक्त प्रभाव के आधार पर, लेखक टोकन अपडेट को चार चतुर्थांशों (quadrants) में वर्गीकृत करते हैं:

चतुर्थांश I (Exploitation/दोहन): उच्च संभाव्यता, सही ( $A>0$ )। एंट्रॉपी घटती है (द्रव्यमान केंद्रित होता है)।
चतुर्थांश II (Exploration/अन्वेषण): कम संभाव्यता, सही ( $A>0$ )। एंट्रॉपी बढ़ती है (पॉलिसी में विविधता आती है)।
चतुर्थांश III (Suppression/दमन): कम संभाव्यता, गलत ( $A<0$ )। एंट्रॉपी घटती है (दुर्लभ त्रुटियों को दंडित करता है)।
चतुर्थाखंड IV (Error-Correction/त्रुटि-सुधार): उच्च संभाव्यता, गलत ( $A<0$ )। एंट्रॉपी बढ़ती है (विकल्पों की खोज के लिए वितरण को समतल करती है)।

एंट्रॉपी कोलैप्स को एक ऐसी स्थिति के रूप में पहचाना गया है जहाँ एंट्रॉपी-घटाने वाले बल (चतुर्थांश I और III) लगातार एंट्रॉपी-बढ़ाने वाले बलों (चतुर्थांश II और IV) पर हावी रहते हैं।

C. मौजूदा विधियों की आलोचना (Critique of Existing Methods)

यह शोध पत्र मौजूदा हीयुरिस्टिक्स (जैसे Clip-Higher, Unlikeliness, Entropy-Aware Advantage) का विश्लेषण करता है और पाता है कि वे सीमित हैं क्योंकि:

वे केवल चार में से एक या दो कारकों को समायोजित करते हैं।
वे टोकन-स्तरीय नियंत्रण के बजाय मोटे तौर पर समायोजन (जैसे वैश्विक क्लिपिंग) लागू करते हैं।
कुछ विधियाँ (जैसे Entropy-Aware Advantage) अनजाने में उन टोकनों के एंट्रॉपी परिवर्तन को तेज कर सकती हैं जो पहले से ही भारी बदलावों से गुजर रहे हैं।

3. प्रस्तावित समाधान: STEER

इन सीमाओं को दूर करने के लिए, लेखक STEER (Stabilizing Token-level Entropy-changE via Reweighting) पेश करते हैं।

मुख्य तंत्र: STEER प्रत्येक टोकन के लिए सैद्धांतिक रूप से अनुमानित एंट्रॉपी परिवर्तन $\Omega(s)$ की गणना करता है।
अनुकूली पुन: भारण (Adaptive Reweighting): यह टोकन के ग्रेडिएंट पर एक स्केलिंग वेट $\lambda(s)$ लागू करता है। अत्यधिक बड़े एंट्रॉपी परिवर्तन (बढ़ने या घटने वाले दोनों) वाले टोकन को डायनेमिक्स को स्थिर करने के लिए डाउन-वेट किया जाता है।
वेट फंक्शन:
$\lambda(s) = \exp\left(-\alpha \frac{|\Omega(s)|}{\max_{s' \in B} |\Omega(s')|}\right)$
यह सुनिश्चित करता है कि अस्थिर एंट्रॉपी डायनेमिक्स चलाने वाले टोकन ग्रेडिएंट में कम योगदान दें, जबकि स्थिर टोकनों को संरक्षित किया जाए।
लाभ:
- सिद्धांत-आधारित: यह हीयुरिस्टिक्स के बजाय व्युत्पन्न सैद्धांतिक सन्निकटन पर आधारित है।
- सूक्ष्म (Fine-grained): यह टोकन स्तर पर कार्य करता है।
- कुशल (Efficient): इसमें नगण्य कम्प्यूटेशनल लागत जुड़ती है (केवल $\Omega(s)$ की गणना की आवश्यकता होती है)।
- सार्वभौमिक (Universal): विभिन्न RL एल्गोरिदम (GRPO, RLOO, OPO) और मॉडल परिवारों के साथ संगत है।

4. प्रायोगिक परिणाम (Experimental Results)

लेखकों ने छह गणितीय तर्क बेंचमार्क (AIME, AMC, MATH, आदि) और तीन कोडिंग बेंचमार्क (LiveCodeBench, Zeta, Internal) में STEER का मूल्यांकन किया।

प्रदर्शन: STEER ने लगातार अत्याधुनिक बेसलाइनों (GRPO, OPO, Clip-High, Entro. Adv., आदि सहित) को पछाड़ दिया।
- Qwen2.5-Math-7B पर, STEER ने 48.6% का औसत स्कोर प्राप्त किया, जो दूसरे सर्वश्रेष्ठ तरीके (OPO 46.4%) से काफी अधिक है।
- Qwen2.5-14B पर, इसने 45.2% औसत प्राप्त किया, जो प्रतिस्पर्धियों से बेहतर है।
एंट्रॉपी नियंत्रण: STEER ने प्रशिक्षण के दौरान स्थिर एंट्रॉपी डायनेमिक्स बनाए रखने में सफलता प्राप्त की, जिससे बेसलाइनों में देखी गई तीव्र गिरावट को रोका जा सका। चरम परिदृश्यों में (जहाँ क्लिपिंग को अक्षम कर दिया गया था), अन्य विधियों के विफल होने पर भी STEER स्थिर रहा।
सामान्यीकरण (Generalization):
- मॉडल स्केल: 1.5B, 7B, और 14B मॉडलों में प्रभावी।
- मॉडल परिवार: Qwen, Llama, और Mistral आर्किटेक्चर पर काम करता है।
- एल्गोरिदम: GRPO, RLOO, और OPO पर सफलतापूर्वक लागू।
कोडिंग कार्य: STEER ने कोड जनरेशन और एडिटिंग कार्यों में प्रदर्शन में सुधार किया, जो शुद्ध गणितीय तर्क से परे इसकी मजबूती को प्रदर्शित करता है।

5. महत्व और योगदान (Significance and Contributions)

सैद्धांतिक सफलता: यह शोध पत्र RLVR में टोकन-स्तरीय एंट्रॉपी परिवर्तन के लिए पहला सटीक विश्लेषणात्मक सन्निकटन प्रदान करता है, जो मौजूदा हीयुरिस्टिक्स के तंत्र को स्पष्ट करता है और उनकी अंतर्निहित सीमाओं को उजागर करता है।
एकीकृत ढांचा: यह एंट्रॉपी डायनेमिक्स के लिए एक फोर-क्वाड्रेंट दृश्य प्रस्तुत करता है, जो यह समझने के लिए एक स्पष्ट वैचारिक मानचित्र प्रदान करता है कि विभिन्न प्रकार के टोकन अन्वेषण बनाम दोहन में कैसे योगदान करते हैं।
प्रभावी एल्गोरिदम (STEER): यह एक सरल, सिद्धांत-आधारित विधि प्रस्तावित करता है जो प्रशिक्षण को स्थिर करने के लिए टोकन को अनुकूल रूप से पुन: भारित करती है। STEER जटिल आर्किटेक्चरल परिवर्तनों या भारी कम्प्यूटेशनल ओवरहेड के बिना बेहतर प्रदर्शन प्राप्त करता है।
व्यावहारिक प्रभाव: एंट्रॉपी कोलैप्स की समस्या को हल करके, STEER उन्नत तर्क कार्यों के लिए RLVR के अधिक स्थिर और प्रभावी स्केलिंग को सक्षम बनाता है, जो अगली पीढ़ी के रीजनिंग मॉडल्स के विकास के लिए महत्वपूर्ण है।

संक्षेप में, यह कार्य क्षेत्र को 'ट्रायल-एंड-एरर' हीयुरिस्टिक्स से हटाकर एंट्रॉपी डायनेमिक्स की एक सिद्धांत-आधारित समझ की ओर ले जाता है, जो एक मजबूत समाधान (STEER) प्रदान करता है जो LLM रीजनिंग के क्षेत्र को महत्वपूर्ण रूप से आगे बढ़ाता है।