🤖 machine learning

CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning

यह शोध पत्र CE-GPPO को प्रस्तुत करता है, जो एक नवीन सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम है जो उन क्लिप्ड टोकन से सीमित ग्रेडिएंट्स को पुन: पेश करके पॉलिसी एंट्रॉपी को स्थिर करता है जिन्हें मानक PPO में आमतौर पर त्याग दिया जाता है, जिससे बड़े भाषा मॉडलों में तर्क प्रदर्शन में सुधार होता है।

मूल लेखक: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Yuntao Li, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

प्रकाशित 2026-04-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhenpeng Su, Leiyu Pan, Minxuan Lv, Yuntao Li, Wenping Hu, Fuzheng Zhang, Kun Gai, Guorui Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: AI को सोचना सिखाना

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र (AI मॉडल) को कठिन गणित के सवाल हल करने के लिए प्रशिक्षित कर रहे हैं। आप चाहते हैं कि वे नए, अनोखे समाधान खोजने के लिए रचनात्मक (Creative) हों (Exploration), लेकिन साथ ही वे जो काम करता है उस पर टिके रहने के लिए केंद्रित (Focused) भी हों (Exploitation)।

AI की दुनिया में, इस संतुलन को एन्ट्रॉपी (Entropy) कहा जाता है।

उच्च एन्ट्रॉपी (High Entropy): छात्र बेतहाशा अंदाज़े लगा रहा है, हर संभव उत्तर आज़मा रहा है। यह नए रास्ते खोजने के लिए अच्छा है, लेकिन परीक्षा पूरी करने के लिए बुरा है।
निम्न एन्ट्रॉपी (Low Entropy): छात्र एक विशिष्ट उत्तर पर अटक गया है और कुछ और आज़माने से इनकार कर रहा है। इसे "एन्ट्रॉपी कोलैप्स" (Entropy Collapse) कहा जाता है। यह उस छात्र की तरह है जिसने एक फॉर्मूला रट लिया है और हर उस सवाल में फेल हो जाता है जो उससे मेल नहीं खाता।

समस्या: वह "सुरक्षा जाल" जो अच्छे विचारों को काट देता है

इन AI छात्रों को प्रशिक्षित करने का मानक तरीका PPO (प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन) नामक एक विधि है। PPO को एक सख्त शिक्षक के रूप में समझें जिसके पास एक "सुरक्षा जाल" (Safety Net) है।

यह कैसे काम करता है: यदि छात्र ऐसा उत्तर सुझाता है जो उनके सामान्य उत्तरों से बहुत अलग है (एक लो-प्रोबेबिलिटी टोकन), तो शिक्षक जाँच करता है: "क्या यह बहुत जोखिम भरा है?"
समस्या: यदि उत्तर बहुत अलग है, तो शिक्षक फीडबैक को क्लिप (Clip) कर देता है (यानी काट देता है)। वे कहते हैं, "नहीं, हम इससे नहीं सीखेंगे।"
गलती: शोध में पाया गया कि यह सुरक्षा जाल बहुत अधिक आक्रामक है। यह दो प्रकार के मूल्यवान फीडबैक को काट देता है:
1. "प्रतिभाशाली" अंदाज़े (The "Genius" Guesses): कभी-कभी, छात्र एक जंगली अंदाज़ा लगाता है जो बहुत शानदार साबित होता है। शिक्षक इसे काट देता है, जिससे छात्र कभी रचनात्मक बनना नहीं सीख पाता। (परिणाम: एन्ट्रॉपी कोलैप्स)।
2. "बुरी" आदतें (The "Bad" Habits): कभी-कभी, छात्र एक बुरी आदत पर अटक जाता है। शिक्षक को उन्हें इसे छोड़ने के लिए मजबूती से कहना चाहिए। लेकिन यदि शिक्षक इस फीडबैक को काट देता है, तो छात्र बिना किसी दिशा के भटकता रहता है। (परिणाम: एन्ट्रॉपी एक्सप्लोजन)।

समाधान: CE-GPPO (एक "कोमल मार्गदर्शक")

लेखक CE-GPPO नामक एक नई विधि प्रस्तावित करते हैं। "जोखिम भरे" उत्तरों से फीडबैक को काटने के बजाय, वे शिक्षक को उन्हें सुनने देते हैं, लेकिन केवल आवाज़ (Volume) को एडजस्ट करते हैं।

इसे एक स्टीरियो के वॉल्यूम नॉब (Volume Knob) की तरह समझें:

"प्रतिभाशाली" अंदाज़े (PA&LP टोकन): ये जंगली, रचनात्मक विचार हैं। CE-GPPO इनकी आवाज़ बढ़ा (UP) देता है। यह कहता है, "हे, भले ही यह एक जोखिम भरा अंदाज़ा था, लेकिन यह अच्छा हो सकता है! आइए इसे ध्यान से सुनें ताकि हम बहुत उबाऊ न हो जाएं।" यह छात्र को रचनात्मक बनाए रखता है।
"बुरी" आदतें (NA&LP टोकन): ये गलतियाँ हैं। CE-GPPO इनकी आवाज़ को थोड़ा कम (DOWN) कर देता है। यह कहता है, "हम जानते हैं कि यह एक गलती है, लेकिन आइए घबराएं नहीं और अत्यधिक सुधार करने की कोशिश न करें। बस छात्र को वापस सही रास्ते पर लाएं।" यह छात्र को भ्रमित होने और बहुत दूर भटकने से रोकता है।

यह बेहतर क्यों है?

पुरानी विधि (PPO/GRGRO) में, शिक्षक एक क्लब के बाउंसर की तरह था जो उन सभी को बाहर निकाल देता था जो बहुत अलग दिखते थे।

परिणाम: क्लब उबाऊ हो गया (एन्ट्रॉपी कोलैप्स), या बाउंसर ने उन सभी को बाहर निकाल दिया जिन्होंने जाने की कोशिश की, जिससे दंगा हो गया (एन्ट्रॉपी एक्सप्लोजन)।

CE-GPPO के साथ, शिक्षक एक कोमल मार्गदर्शक (Gentle Guide) है:

वे आउटलेयर्स (Outliers) को सुनते हैं: वे अजीब विचारों को अनदेखा नहीं करते; वे बस उन्हें सावधानी से तौलते हैं।
वे संतुलन बनाए रखते हैं: वे सुनिश्चित करते हैं कि छात्र नए समाधान खोजने के लिए पर्याप्त जिज्ञासु बना रहे, लेकिन समस्या को वास्तव में हल करने के लिए पर्याप्त केंद्रित भी रहे।

परिणाम: स्मार्ट AI

शोधकर्ताओं ने इसका परीक्षण गणित और कोडिंग की समस्याओं पर किया।

पुराना तरीका: AI या तो एक ही ढर्रे में फंस जाता था या पागलों की तरह अंदाज़े लगाने लगता था।
नया तरीका (CE-GPPO): AI स्थिर रहा। वह न तो उबाऊ हुआ और न ही भ्रमित।
परिणाम: AI ने पिछली विधियों की तुलना में काफी कठिन गणितीय समस्याओं (जैसे AIME और HMMT प्रतियोगिताएं) को हल किया। यह छोटे और बड़े दोनों प्रकार के AI मॉडल पर बेहतर काम कर गया।

सारांश उपमा (Summary Analogy)

कल्पना कीजिए कि आप साइकिल चलाना सीख रहे हैं।

पुरानी विधि (PPO): यदि आप बहुत अधिक बाईं या दाईं ओर झुकते हैं, तो कोई हैंडल पकड़ लेता है और आपको तुरंत सीधा कर देता है। आप कभी भी अपने दम पर संतुलन बनाना नहीं सीख पाते, और आप झुकने की कोशिश करने से डर जाते हैं।
CE-GPPO: यदि आप बहुत अधिक झुकते हैं, तो कोई आपको धीरे से वापस लाता है लेकिन आपको झुकने का अनुभव भी करने देता है। वे कहते हैं, "ओह, यह थोड़ा ज़्यादा था, लेकिन आपने लगभग कर लिया था! अगली बार थोड़ा कम झुकने की कोशिश करें।" आप संतुलन बनाना, स्थिर रहना और अंततः तेज़ी से और दूर तक चलना सीखते हैं।

संक्षेप में: CE-GPPO "आउटलेयर" विचारों को अनदेखा करने के बजाय उन्हें सुनकर AI के प्रशिक्षण को ठीक करता है, जिससे AI रचनात्मक और स्थिर दोनों बना रहता है।

यहाँ शोध पत्र "CE-GPPO: Coordinating Entropy via Gradient-Preserving Clipping Policy Optimization in Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट लर्निंग (RL), जटिल तर्क कार्यों (जैसे गणित और कोड) के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को फाइन-ट्यून करने के लिए एक प्रमुख प्रतिमान (paradigm) बन गया है। हालाँकि, इस प्रक्रिया में एक महत्वपूर्ण चुनौती पॉलिसी एंट्रॉपी (policy entropy) का प्रबंधन करना है, जो अन्वेषण (exploration - नए कार्यों को आज़माना) और दोहन (exploitation - ज्ञात अच्छे कार्यों को परिष्कृत करना) के बीच संतुलन निर्धारित करती है।

मौजूदा विधियाँ, विशेष रूप से प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) और इसके वेरिएंट्स (जैसे GRPO और DAPO), प्रशिक्षण स्थिरता सुनिश्चित करने के लिए एक क्लिपिंग मैकेनिज्म (clipping mechanism) पर निर्भर करती हैं। यह मैकेनिज्म उन टोकन से ग्रेडिएंट सिग्नल को हटा देता है जिनके महत्व नमूनाकरण अनुपात (importance sampling ratios) $[1-\epsilon, 1+\epsilon]$ के अंतराल के बाहर होते हैं। लेखक पहचानते हैं कि यह क्लिपिंग अनजाने में दो विशिष्ट विफलता मोड (failure modes) का कारण बनती है:

एंट्रॉपी कोलैप्स (Entropy Collapse): पॉजिटिव-एडवांटेज लो-प्रोबेबिलिटी (PA&LP) टोकन को क्लिप करके, एल्गोरिदम मूल्यवान अन्वेषणात्मक व्यवहारों को दबा देता है। ये टोकन अक्सर उच्च-एंट्रॉपी वाले, महत्वपूर्ण निर्णय बिंदु होते हैं। इन्हें हटाने से समयपूर्व अभिसरण (premature convergence) और आउटपुट विविधता की हानि होती है।
एंट्रॉपी एक्सप्लोजन (Entropy Explosion): नेगेटिव-एडवांटेज लो-प्रोबेबिलिटी (NA&LP) टोकन को क्लिप करके, एल्गोरिदम मॉडल को उच्च-संभाव्यता वाले विकल्पों को सुदृढ़ करने से रोकता है। यह मॉडल को अत्यधिक अन्वेषण के लिए मजबूर करता है, जिससे अभिसरण में देरी होती है और अस्थिरता आती है।

वर्तमान समाधान, जैसे कि DAPO की "क्लिप-हायर" रणनीति, ऊपरी सीमा को बढ़ाकर एंट्रॉपी कोलैप्स को कम करने का प्रयास करते हैं, लेकिन वे मूल कारण को संबोधित करने में विफल रहते हैं: क्लिपिंग अंतराल के बाहर के टोकन से ग्रेडिएंट्स को पूरी तरह से हटा देना।

2. कार्यप्रणाली: CE-GPPO (Methodology: CE-GPPO)

लेखक CE-GPPO (Coordinating Entropy via Gradient-Preserving Policy Optimization) प्रस्तावित करते हैं, जो एक नया एल्गोरिदम है जो नियंत्रित और सीमित तरीके से क्लिप्ड टोकनों से ग्रेडिएंट्स को पुन: पेश करता है।

मुख्य तंत्र (Core Mechanism)

क्लिपिंग अंतराल के बाहर के टोकन के लिए ग्रेडिएंट्स को सख्ती से शून्य करने के बजाय, CE-GPPO इन सिग्नल्स को संरक्षित करने के लिए एक स्टॉप-ग्रेडिएंट ऑपरेशन (stop-gradient operation) का उपयोग करता है और उन्हें सीखने योग्य गुणांकों ( $\beta_1$ और $\beta_2$ ) का उपयोग करके स्केल करता है।

ऑब्जेक्टिव फंक्शन को इस प्रकार परिभाषित किया गया है:
$\ell^{(i)} = \begin{cases} \beta_1 \cdot \frac{1-\epsilon}{\text{sg}(\delta)} \delta \cdot \hat{A}_{i,t} & \text{यदि } \delta < 1-\epsilon \text{ और } \hat{A}_{i,t} < 0 \quad (\text{NA\&LP}) \\ \beta_2 \cdot \frac{1+\epsilon}{\text{sg}(\delta)} \delta \cdot \hat{A}_{i,t} & \text{यदि } \delta > 1+\epsilon \text{ और } \hat{A}_{i,t} > 0 \quad (\text{PA\&LP}) \\ \delta \cdot \hat{A}_{i,t} & \text{अन्यथा} \end{cases}$

जहाँ:

$\delta$ महत्व नमूनाकरण अनुपात (importance sampling ratio) है।
$\hat{A}_{i,t}$ अनुमानित एडवांटेज (estimated advantage) है।
$\text{sg}(\cdot)$ स्टॉप-ग्रेडिएंट ऑपरेशन को दर्शाता है (अनुपात को स्वयं अपडेट होने से रोकना)।
$\beta_1$ NA&LP टोकन से ग्रेडिएंट्स के भार को नियंत्रित करता है (दोहन/अभिसरण को प्रोत्साहित करता है)।
$\beta_2$ PA&LP टोकन के भार को नियंत्रित करता है (अन्वेषण को प्रोत्साहित करता है)।

सैद्धांतिक औचित्य (Theoretical Justification)

एंट्रॉपी डायनेमिक्स: लेखक सिद्ध करते हैं कि पॉलिसी एंट्रॉपी का विकास लॉग-प्रोबेबिलिटी और एडवांटेज फंक्शन के बीच सहप्रसरण (covariance) द्वारा नियंत्रित होता है। क्लिप्ड ग्रेडिएंट्स को पुन: पेश करके, CE-GPPO सीधे इस सहप्रसरण को स्थिर करने के लिए हेरफेर करता है।
स्थिरता: केवल क्लिपिंग को हटाने वाली विधियों के विपरीत, CE-GPPO इन "आउट-ऑफ-क्लिप" ग्रेडिएंट्स के परिमाण को $\beta \cdot (1 \pm \epsilon)$ तक सीमित रखता है। चूंकि $\beta$ आमतौर पर 1 के करीब होता है, इसलिए ग्रेडिएंट का परिमाण सीमित रहता है, जिससे यह सुनिश्चित होता है कि पॉलिसी पुरानी पॉलिसी से अत्यधिक विचलित न हो (ट्रस्ट रीजन की अवधारणा को बनाए रखना)।
जटिलता: यह विधि कोई अतिरिक्त फॉरवर्ड पास या सहायक घटक नहीं जोड़ती है, जिससे मानक PPO/GRPO के समान ही कम्प्यूटेशनल और मेमोरी जटिलता बनी रहती है।

3. मुख्य योगदान (Key Contributions)

तंत्र की खोज (Mechanism Discovery): यह शोध पत्र टोकन प्रोबेबिलिटी, एडवांटेज फंक्शन्स और एंट्रॉपी डायनेमिक्स के बीच अंतर्निहित संबंध का व्यवस्थित विश्लेषण करता है, यह पहचानते हुए कि क्लिप्ड PA&LP और NA&LP टोकन एंट्रॉपी अस्थिरता के प्राथमिक चालक हैं।
एल्गोरिदम प्रस्ताव: CE-GPPO को एक ग्रेडिएंट-प्रिजर्विंग विकल्प के रूप में पेश किया गया है जो $\beta_1$ और $\beta_2$ के माध्यम से एंट्रॉपी पर सूक्ष्म नियंत्रण की अनुमति देने के लिए फॉरवर्ड और बैकवर्ड पास को अलग करता है।
अनुभवजन्य सत्यापन: व्यापक प्रयोगों से पता चलता है कि CE-GPPO विभिन्न मॉडल स्केल्स और रीजनिंग बेंचमार्क पर एंट्रॉपी कोलैप्स और एक्सप्लोजन दोनों को प्रभावी ढंग से कम करता है, और बेसलाइन्स से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने गणितीय तर्क (AIME, HMMT, MATH), कोड तर्क (HumanEval, LCB), और इंस्ट्रक्शन फॉलोइंग बेंचमार्क पर DeepSeek-R1-Distill-Qwen मॉडल्स (1.5B और 7B पैरामीटर्स) पर CE-GPPO का मूल्यांकन किया।

प्रदर्शन लाभ: CE-GPPO ने लगातार बेसलाइन्स (GRPO, DAPO, CISPO, GSPO) को पछाड़ दिया।
- 7B मॉडल पर, CE-GPO ने औसत रूप से सर्वश्रेष्ठ बेसलाइन (DAPO) पर 3-पॉइंट सुधार प्राप्त किया।
- 1.5B मॉडल पर, इसने 2.5-पॉइंट सुधार प्राप्त किया।
- AIME25 (7B पर DAPO के 59.7 के मुकाबले 66.0) और HMMT25 जैसे कठिन कार्यों पर उल्लेखनीय लाभ देखे गए।
एंट्रॉपी स्थिरता:
- नेटिव GRPO तीव्र एंट्रॉपी कोलैप्स से ग्रस्त था।
- DAPO ने प्रशिक्षण के बाद के चरणों में एंट्रॉपी रिबाउंड (ओवर-एक्सप्लोरेशन) दिखाया।
- CE-GPPO ने पूरे प्रशिक्षण के दौरान एक स्थिर, उच्च एंट्रॉपी बनाए रखी, जिससे स्मूथ अभिसरण और बेहतर अंतिम प्रदर्शन हुआ।
हाइपरपैरामीटर संवेदनशीलता: यह विधि मजबूत है। सेटिंग $\beta_1 = 0.5, \beta_2 = 1$ (जो अन्वेषण/PA&LP टोकन को अधिक भार देती है) को विभिन्न मॉडल आकारों के लिए आम तौर पर प्रभावी पाया गया।
SOTA के साथ तुलना: CE-GPPO ने CISPO (जो असंतुलित ग्रेडिएंट्स के कारण मॉडल कोलैप्स से ग्रस्त था) और GSPO (जो एंट्रॉपी एक्सप्लोजन से ग्रस्त है) को पीछे छोड़ दिया।

5. महत्व (Significance)

यह कार्य वर्तमान RLHF/RLVR पाइपलाइनों में एक मौलिक सीमा को संबोधित करता है: प्रशिक्षण स्थिरता (क्लिपिंग के माध्यम से) और अन्वेषण संकेतों के संरक्षण के बीच का ट्रेड-ऑफ।

प्रतिमान परिवर्तन (Paradigm Shift): यह इस धारणा को चुनौती देता है कि क्लिप्ड टोकन को हटा दिया जाना चाहिए, बल्कि यह दिखाता है कि वे एंट्रॉपी को विनियमित करने के लिए महत्वपूर्ण जानकारी रखते हैं।
व्यावहारिक प्रभाव: एक सरल, कम्प्यूटेशनल रूप से मुफ्त संशोधन (ग्रेडिएंट री-वेटिंग) प्रदान करके जो LLMs में तर्क क्षमताओं को महत्वपूर्ण रूप से बढ़ाता है, CE-GPPO जटिल तर्क डोमेन में मॉडल के प्रदर्शन को सुधारने के लिए एक व्यावहारिक उपकरण प्रदान करता है, जो अक्सर एंट्रॉपी रेगुलाइजेशन से जुड़ी अस्थिरता से मुक्त है।
गतिशील नियंत्रण: यह $\beta_1$ और $\beta_2$ को ट्यून करके अन्वेषण और दोहन को गतिशील रूप से संतुलित करने के लिए एक तंत्र पेश करता है, जो अधिक अनुकूलित (adaptive) RL ट्रेनिंग शेड्यूल्स की ओर एक मार्ग सुझाता है।