💬 NLP

EBPO: Empirical Bayes Shrinkage for Stabilizing Group-Relative Policy Optimization

यह शोध पत्र EBPO का प्रस्ताव करता है, जो एक नवीन ढांचा है जो लार्ज लैंग्वेज मॉडल्स के लिए ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन को स्थिर करने हेतु एम्पेरिकल बेयस श्रिंकेज (Empirical Bayes shrinkage) का उपयोग करके स्थानीय बेसलाइन्स को वैश्विक सांख्यिकी के साथ नियमित करता है, जिससे अनुमानित वेरिएंस कम होता है, वैनिशिंग ग्रेडिएंट्स को रोकता है, और विविध रीजनिंग बेंचमार्क पर मौजूदा विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Kevin Han, Yuhang Zhou, Mingze Gao, Gedi Zhou, Serena Li, Abhishek Kumar, Xiangjun Fan, Weiwei Li, Lizhu Zhang

प्रकाशित 2026-02-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kevin Han, Yuhang Zhou, Mingze Gao, Gedi Zhou, Serena Li, Abhishek Kumar, Xiangjun Fan, Weiwei Li, Lizhu Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र (एक AI) को कठिन गणित की समस्याएं हल करना सिखाने की कोशिश कर रहे हैं। आप उसे एक समस्या देते हैं, और वह उसे कई बार हल करने की कोशिश करता है। कभी वह सही होता है, कभी गलत।

उसे सिखाने में मदद करने के लिए, आपको उसे फीडबैक (प्रतिपुष्टि) देना होगा। वर्तमान सबसे अच्छा तरीका (जिसे GRPO कहा जाता है) इस प्रकार काम करता है:

आप छात्र से एक ही समस्या को 8 बार हल करने के लिए कहते हैं (एक "ग्रुप")।
आप उन 8 उत्तरों को देखते हैं। यदि 4 सही हैं और 4 गलत, तो आप छात्र को कहते हैं, "तुम औसत रहे।"
यदि सभी 8 उत्तर गलत हैं, तो वर्तमान तरीका कहता है, "खैर, सब फेल हो गए, इसलिए औसत शून्य है। उत्तरों के बीच कोई अंतर नहीं है, इसलिए मैं तुम्हें यह नहीं बता सकता कि तुम्हें अलग से क्या करना चाहिए।" छात्र को शून्य फीडबैक मिलता है और वह उस प्रयास से कुछ भी नहीं सीख पाता।
यदि सभी 8 उत्तर सही हैं, तो छात्र को कोई नई जानकारी नहीं मिलती क्योंकि सभी सफल रहे।

यह दो बड़ी समस्याएं पैदा करता है:

"छोटा समूह" वाली समस्या (The Small Group Problem): यदि आप केवल पैसा/कंप्यूटर शक्ति बचाने के लिए छात्र को 2 या 3 बार ही पूछ सकते हैं, तो औसत बहुत अस्थिर होता है। एक भाग्यशाली अनुमान भी पूरे सबक को बिगाड़ सकता है।
"पूर्ण विफलता" वाली समस्या (The Total Failure Problem): यदि समस्या बहुत कठिन है और छात्र हर बार विफल रहता है, तो शिक्षक हार मान लेता है और उस दौर के लिए सिखाना बंद कर देता है।

पेश है EBPO: "बुद्धिमान गुरु" वाला दृष्टिकोण

यह पेपर एक नया तरीका पेश करता है जिसे EBPO (एम्पिरिकल बेयस पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है। छात्र के पिछले 8 प्रयासों को अलग से देखने के बजाय, EBPO एक बुद्धिमान गुरु की तरह काम करता है जो छात्र के संपूर्ण इतिहास को याद रखता है।

यह एक सरल उपमा (analogy) का उपयोग करके इस प्रकार काम करता है:

1. "श्रिंकेज" (Shrinkage) का तरीका (शक्ति उधार लेना)

कल्पना कीजिए कि छात्र एक परीक्षा दे रहा है।

पुराना तरीका (GRPO): यदि छात्र एक कठिन कैलकुलस की समस्या पर 0/8 अंक प्राप्त करता है, तो शिक्षक कहता है, "तुम्हारा स्कोर 0 है। बस इतना ही।"
नया तरीका (EBPO): शिक्षक छात्र के पिछले प्रदर्शन को देखता है। "रुको, तुम आमतौर पर आसान बीजगणित (algebra) में 80% अंक लाते हो, लेकिन कठिन कैलकुलस में केवल 20%। भले ही आज तुम 0/8 लाए हो, लेकिन मैं जानता हूँ कि तुम एक बुद्धिमान छात्र हो जो आमतौर पर 0 से बेहतर प्रदर्शन करता है। इसलिए, मैं तुम्हारे स्कोर को तुम्हारे सामान्य औसत की ओर 'श्रिंक' (shrink) कर दूँगा।"

"0" कहने के बजाय, शिक्षक कहता है, "तुम सामान्य से खराब प्रदर्शन कर रहे हो, लेकिन पूरी तरह विफल होने जितना बुरा भी नहीं।" यह छात्र को एक पेनल्टी सिग्नल (अधिक मेहनत करने के लिए प्रेरित करना) देता है, भले ही वह पूरी तरह विफल हो जाए। यह "सीखना रुक जाने" की समस्या को रोकता है।

2. "स्मार्ट बेसलाइन" (Smart Baseline) (ग्लोबल बनाम लोकल)

"बेसलाइन" को तुलना के मानक के रूप में समझें।

GRPO एक लोकल बेसलाइन का उपयोग करता है: यह छात्र की तुलना केवल उसके अभी के 8 प्रयासों से करता है। यदि समूह छोटा या अराजक है, तो बेसलाइन शोर भरी (noisy) और अविश्वसनीय होती है।
EBPO एक ग्लोबल बेसलाइन का उपयोग करता है: यह छात्र के वर्तमान प्रयासों की तुलना उन हजारों पिछली समस्याओं के "ग्लोबल एवरेज" से करता है जिन्हें छात्र ने हल किया है।
- यदि छात्र एक कठिन समस्या में विफल होता है, तो EBPO कहता है, "यह अपेक्षित है; तुम आमतौर पर इनमें विफल होते हो।" (छोटा दंड/penalty)।
- यदि छात्र एक आसान समस्या में विफल होता है, तो EBPO कहता है, "यह अजीब है! तुम आमतौर पर इनमें महारत हासिल करते हो!" (बड़ा दंड/penalty)।

यह AI को यह समझने में सक्षम बनाता है कि "यह समस्या इतनी कठिन है कि कोई भी इसमें विफल हो सकता है" और "मैंने एक आसान सवाल पर मूर्खतापूर्ण गलती की है" के बीच क्या अंतर है।

3. "पाठ्यक्रम" (Curriculum) (सीखने का क्रम मायने रखता है)

पेपर यह भी सुझाव देता है कि प्रशिक्षण को एक स्कूल पाठ्यक्रम की तरह व्यवस्थित किया जाए।

रैंडम अराजकता (Random Chaos): "1+1" और "क्वांटम फिजिक्स" की समस्याओं को रैंडमली मिलाने से गुरु की याददाश्त भ्रमित हो जाती है कि क्या "कठिन" है और क्या "आसान"।
EBPO रणनीति: पहले आसान समस्याएं शुरू करें, फिर मध्यम, फिर कठिन। इससे "बुद्धिमान गुरु" को छात्र की क्षमताओं का अधिक सटीक मानचित्र बनाने में मदद मिलती है, जिससे फीडबैक और भी सटीक हो जाता है।

यह एक बड़ी बात क्यों है?

पैसा बचाता है: क्योंकि EBPO डेटा का उपयोग करने में इतना स्मार्ट है, इसलिए आपको अच्छे परिणाम प्राप्त करने के लिए प्रति समस्या 32 या 64 उत्तर उत्पन्न करने की आवश्यकता नहीं है। आप केवल 8 के साथ भी बेहतरीन परिणाम प्राप्त कर सकते हैं। यह भारी मात्रा में कंप्यूटर शक्ति बचाता है।
हार नहीं मानता: भले ही एक कठिन समस्या पर AI हर बार विफल हो जाए, EBPO फिर भी उसे उपयोगी फीडबैक देने का रास्ता निकाल लेता है। GRPO बस हार मान लेता है।
स्थिरता (Stability): यह AI को पागल होने (exploding gradients) या फंस जाने (vanishing gradients) से रोकता है। यह सीखने की प्रक्रिया को सुचारू और स्थिर रखता है।

निचोड़ (The Bottom Line)

GRPO एक ऐसे शिक्षक की तरह है जो केवल छात्र के वर्तमान प्रदर्शन को देखता है और यदि छात्र का दिन खराब हो या सैंपल साइज छोटा हो, तो वह भ्रमित हो जाता है।

EB_PO एक ऐसे शिक्षक की तरह है जो छात्र के पूरे इतिहास को जानता है, विशिष्ट विषय की कठिनाई को समझता है, और तब भी व्यक्तिगत और सहायक फीडबैक देता है जब छात्र पूरी तरह विफल हो जाता है। यह AI प्रशिक्षण को तेज़, सस्ता और अधिक विश्वसनीय बनाता है।

यहाँ शोध पत्र "EBPO: Empirical Bayes Shrinkage for Stabilizing Group-Relative Policy Optimization" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र Verifiable Rewards के साथ Reinforcement Learning (RLVR) में महत्वपूर्ण स्थिरता और दक्षता सीमाओं को संबोधित करता है, विशेष रूप से उस प्रमुख Group Relative Policy Optimization (GRPO) ढांचे के भीतर जिसका उपयोग तर्क संबंधी कार्यों (जैसे गणित, कोड) पर Large Language Models (LLMs) को प्रशिक्षित करने के लिए किया जाता है।

मानक GRPO के दो प्राथमिक विफलता मोड (failure modes) की पहचान की गई है:

उच्च Estimator Variance (High Estimator Variance): GRPO एडवांटेज फंक्शन की गणना सैंपल किए गए रिस्पॉन्स के एक छोटे समूह ( $G$ ) के माध्य (mean) और मानक विचलन (standard deviation) के विरुद्ध सामान्यीकरण करके करता है। जब $G$ छोटा होता है (कंप्यूटेशनल बाधाओं के कारण), तो स्थानीय समूह सांख्यिकी (local group statistics) शोरपूर्ण (noisy) होती है, जिससे अस्थिर ग्रेडिएंट उत्पन्न होते हैं।
Saturated Regimes में Vanishing Gradients: "सैचुरेटेड फेलियर" परिदृश्यों में (जहाँ मॉडल एक कठिन प्रॉम्प्ट के लिए सभी प्रयासों में विफल रहता है, जिससे सभी रिवॉर्ड्स शून्य हो जाते हैं), स्थानीय समूह माध्य शून्य हो जाता है। फलस्वरूप, सभी रिस्पॉन्स के लिए सापेक्ष एडवांटेज लुप्त हो जाता है ( $r_i - \mu_{group} = 0$ ), जिसके परिणामस्वरूप एक नल (null) ग्रेडिएंट मिलता है और प्रशिक्षण के चरण बर्बाद हो जाते हैं। इसके विपरीत, सैचुरेटेड सक्सेस रेजीम में, सुधार के लिए कोई सापेक्ष संकेत (relative signal) मौजूद नहीं होता है।

DAPO जैसे मौजूदा समाधान अस्थिर अपडेट को फ़िल्टर करके इसे कम करने का प्रयास करते हैं, जिससे डेटा की बर्बादी होती है। यह शोध पत्र एक ऐसे तरीके का तर्क देता है जो अनुमान को स्थिर करते हुए सभी डेटा को बनाए रखता है।

2. कार्यप्रणाली: Empirical Bayes Policy Optimization (EBPO)

लेखक EBPO का प्रस्ताव करते हैं, जो Empirical Bayes (EB) अनुमान का उपयोग करके एडवांटेज एस्टीमेशन को पुनर्गठित करता है। प्रत्येक प्रॉम्प्ट के लिए अलग-थलग बेसलाइन का अनुमान लगाने के बजाय, EBPO पॉलिसी के संचित वैश्विक सांख्यिकी (global statistics) से "शक्ति उधार लेता है" (borrows strength)।

मुख्य तंत्र: Shrinkage Estimation

EBPO शुद्ध रूप से स्थानीय GRPO बेसलाइन को एक shrinkage estimator से बदल देता है जो शोरपूर्ण स्थानीय समूह माध्य ( $\mu_{group}$ ) को एक स्थिर वैश्विक प्रायर (global prior, $\mu_{glob}$ ) के साथ गतिशील रूप से मिश्रित करता है।

मॉडल: यह माना जाता है कि एक प्रॉम्प्ट की लेटेंट सफलता संभावना $\theta_q$ , एक वैश्विक वितरण $\theta_q \sim \mathcal{N}(\mu_{glob}, \tau^2)$ से ली गई है।
बेसलाइन: EBPO बेसलाइन $V_q^{EB}$ को इस प्रकार परिभाषित किया गया है:
$V_q^{EB} = (1 - S_q)\mu_{group} + S_q\mu_{glob}$
जहाँ $S_q$ एक श्रिंकेज फैक्टर (shrinkage factor) है जो भीतर-समूह भिन्नता (within-group variance, $\sigma^2$ ) और समूह-के-बीच की भिन्नता (between-group variance, $\tau^2$ ) के अनुपात द्वारा निर्धारित होता है:
$S_q = \frac{\sigma^2/G}{\sigma^2/G + \tau^2}$
Online Updates: स्केलेबिलिटी सुनिश्चित करने के लिए, वैश्विक सांख्यिकी ( $\mu_{glob}, \sigma^2, \tau^2$ ) को Welford's online algorithm का उपयोग करके गतिशील रूप से अपडेट किया जाता है, जिससे छोटे-बैच सांख्यिकी का शोर (noise) समाप्त हो जाता है।

प्रमुख नवाचार (Key Innovations)

Non-Vanishing Gradients: भले ही एक समूह में मॉडल के सभी प्रयास विफल हो जाएं ( $r_i=0$ ), EBPO बेसलाइन गैर-शून्य (non-zero) रहता है (जो $\mu_{glob}$ द्वारा संचालित होता है)। यह एक नकारात्मक एडवांटेज सिग्नल उत्पन्न करता है ( $0 - V_q^{EB} < 0$ ), जो कठिन कार्यों पर विफलता को दंडित करने के लिए सूचनात्मक ग्रेडिएंट प्रदान करता है, न कि प्रशिक्षण को रोक देता है।
Difficulty-Aware Penalty: विफलता के लिए दंड वैश्विक कार्य की कठिनाई के साथ स्केल होता है। एक "आसान" कार्य (उच्च $\mu_{glob}$ ) में विफल होने पर, एक "कठिन" कार्य में विफल होने की तुलना में अधिक दंड मिलता है, जिससे मॉडल वैश्विक कठिनाई और स्थानीय शोर के बीच अंतर कर पाता है।
Clustering के माध्यम से Curriculum Learning: लेखक Clustered Sampling (विषय या कठिनाई-आधारित) पेश करते हैं। रैंडम शेफल्स के बजाय सुसंगत क्लस्टर्स पर प्रशिक्षण देकर, ऑनलाइन एस्टीमेटर सुसंगत स्थानीय वितरणों के अनुकूल होता है, जिससे प्रायर (prior) के अनुमान की त्रुटि कम होती है और प्रायर तथा विशिष्ट कार्य डोमेन के बीच "मिसमैच" को रोका जा सकता है।

3. सैद्धांतिक गारंटी (Theoretical Guarantees)

शोध पत्र कठोर सैद्धांतिक प्रमाण प्रदान करता है जो GRPO पर EBPO की श्रेष्ठता को प्रदर्शित करता है:

MSE में कमी: EBPO बेसलाइन, GRPO में उपयोग किए जाने वाले अनबायस्ड सैंपल मीन की तुलना में, वास्तविक कठिनाई $\theta_q$ के अनुमान में स्पष्ट रूप से कम Mean Squared Error (MSE) प्राप्त करता है। यह श्रिंकेज एस्टीमेटर्स (bias-variance trade-off) का एक क्लासिक परिणाम है।
Non-Vanishing Gradients: सैद्धांतिक रूप से यह सिद्ध किया गया है कि यदि वैश्विक सफलता दर $\mu_{glob} > 0$ है, तो यह सैचुरेटेड फेलियर रेजीम में भी गैर-शून्य ग्रेडिएंट योगदान प्रदान करता है।
Entropy Conservation: यह ढांचा स्पष्ट रूप से एंट्रॉपी डिके (entropy decay) को नियमित (regularize) करता है। ग्लोबल नॉर्मलाइजेशन कांस्टेंट के माध्यम से लो-वैरिएंस समूहों के अपडेट को कम करके, EBPO समय से पहले पॉलिसी कोलैप्स को रोकता है और GRPO की तुलना में उच्च अन्वेषण (exploration) क्षमताओं को बनाए रखता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न मॉडलों (LLaMA3-8B, Qwen3-8B, Qwen3-14B) का उपयोग करके विविध बेंचमार्क (AIME-2024/2025, OlympiadBench, MATH-500, AMC23) पर EBPO का मूल्यांकन किया।

प्रदर्शन (Performance): EBPO लगातार GRPO और अन्य बेसलाइन्स (DAPO, Dr. GRPO, EntropyMech) से बेहतर प्रदर्शन करता है।
- Qwen3-8B पर, EBPO ने 64.39% का औसत Pass@1 प्राप्त किया, जो GRPO (58.72%) से 5% से अधिक अधिक है।
- संसाधन-बाधित सेटिंग्स (Group Size $G=8$ ) में, EBPO ने GR प्रोटो (GRPO) को 11.28% से पीछे छोड़ दिया, जो बेहतर सैंपल दक्षता (sample efficiency) प्रदर्शित करता है।
प्रशिक्षण स्थिरता (Training Stability):
- Gradient Flow: GRPO के विपरीत, जो सैचुरेटेड रेजीम में वेनिशिंग ग्रेडिएंट्स से जूझता है, EBPO पूरे प्रशिक्षण के दौरान मजबूत ग्रेडिएंट नॉर्म्स बनाए रखता है।
- Update Stability: EBPO प्रति-चरण KL डाइवर्जेंस को सख्ती से सीमित करता है, जिससे GRPO में देखे जाने वाले अनियमित अपडेट स्पाइक्स और मॉडल कोलैप्स को रोका जा सकता है।
- Exploration: EBPO उच्च पॉलिसी एंट्रॉपी बनाए रखता है, जो बेहतर अन्वेषण और सामान्यीकरण (generalization) का संकेत देता है।
Curriculum का प्रभाव: कठिनाई-स्तरीकृत करिकुलम लर्निंग (EBPO-diff) ने, विशेष रूप से AIME और OlympiadBench जैसे एलीट-लेवल बेंचमार्क पर, प्रशिक्षण के शुरुआती चरणों में मजबूत लॉजिकल रैशनल्स को आइसोलेट करके प्रदर्शन को और बढ़ाया।

5. महत्व और योगदान (Significance and Contributions)

एल्गोरिदमिक ढांचा: EBPO पहला ढांचा है जो सीधे GRPO के ऑनलाइन ऑप्टिमाइजेशन लूप में एम्पिरिकल बेयस इन्फरेंस को एकीकृत करता है, जो ग्रेडिएंट वेरिएंस को स्थिर करने के लिए श्रिंकेज एस्टीमेटर्स का उपयोग करता है।
सैद्धांतिक आधार: यह कम वेरिएंस, नॉन-वेनिशिंग ग्रेडिएंट्स और बाउंडेड एंट्रॉपी डिके के लिए औपचारिक गारंटी प्रदान करता है, जो वर्तमान RLVR विधियों के सैद्धांतिक अंतराल को संबोधित करता है।
व्यावहारिक दक्षता: EBPO काफी छोटे ग्रुप साइज ( $G$ ) के साथ उच्च-प्रदर्शन प्रशिक्षण को सक्षम बनाता है, जिससे मॉडल विश्वसनीयता बनाए रखते हुए कंप्यूटेशनल लागत (मेमोरी और FLOPs) को काफी कम किया जा सकता है।
मजबूती (Robustness): यह विधि गणितीय तर्क में अंतर्निहित "स्पार्स रिवॉर्ड" (sparse reward) समस्या को प्रभावी ढंग से संभालती है, जिससे मॉडल उन विफलता मामलों से भी सीख पाते हैं जिन्हें मानक GRPO द्वारा छोड़ दिया जाता या अनदेखा कर दिया जाता है।

निष्कर्षतः, EBPO, LLMs के लिए RLVR को स्थिर करने की दिशा में एक महत्वपूर्ण कदम है, जो मानक ग्रुप-रिलेटिव ऑप्टिमाइजेशन के लिए एक सैद्धांतिक रूप से सुदृढ़, कंप्यूटेशनल रूप से कुशल और अत्यधिक प्रभावी विकल्प प्रदान करता है।