🤖 machine learning

AGPO: Adaptive Group Policy Optimization with Dual Statistical Feedback

यह शोध पत्र एडेप्टिव ग्रुप पॉलिसी ऑप्टिमाइज़ेशन (AGPO) का प्रस्ताव करता है, जो एक क्रिटिक-मुक्त सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो मानक PPO और GRPO विधियों की तुलना में गणित और STEM बेंचमार्क पर LLM तर्क प्रदर्शन को बेहतर बनाने के लिए समूह-स्तरीय सांख्यिकी का उपयोग करके क्लिपिंग बाउंड्स और डिकोडिंग तापमान को गतिशील रूप से समायोजित करता है।

मूल लेखक: Miaobo Hu, Shuhao Hu, Bokun Wang, Ruohan Wang, Xin Wang, Xiaobo Guo, Daren Zha, Jun Xiao

प्रकाशित 2026-05-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Miaobo Hu, Shuhao Hu, Bokun Wang, Ruohan Wang, Xin Wang, Xiaobo Guo, Daren Zha, Jun Xiao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र (एक लार्ज लैंग्वेज मॉडल) को कठिन गणित की समस्याएं हल करना सिखा रहे हैं। आप उसे एक प्रश्न देते हैं, वह उत्तर देने का प्रयास करता है, और आप उसे बताते हैं कि उसने सही किया या गलत। इसका लक्ष्य उसे अपनी गलतियों से सीखने में मदद करना और समय के साथ बेहतर बनाना है।

यह शोध पत्र एक नई शिक्षण पद्धति पेश करता है जिसे AGPO (Adaptive Group Policy Optimization) कहा जाता है। यह समझने के लिए कि यह क्यों विशेष है, आइए देखते हैं कि पुराना तरीका कैसे काम करता था बनाम नया तरीका।

पुराना तरीका: एक कठोर कोच (The Rigid Coach)

पहले, PPO या GRPO जैसी विधियाँ "निश्चित" नियमों के एक सेट का उपयोग करती थीं। कल्पना कीजिए कि एक कोच है जो हमेशा एक ही दो सेटिंग्स का उपयोग करता है, चाहे छात्र कैसा भी प्रदर्शन कर रहा हो:

"सुरक्षा जाल" (Clipping): यदि छात्र अपनी सोच में कोई बहुत बड़ा और जोखिम भरा कदम उठाने की कोशिश करता है, तो कोच उसे रोक देता है। लेकिन कोच हर बार एक ही आकार के सुरक्षा जाल का उपयोग करता है, चाहे छात्र अभी शुरुआत ही क्यों न कर रहा हो या वह लगभग एक उस्ताद बन चुका हो।
"रचनात्मकता का डायल" (Temperature): जब छात्र उत्तर उत्पन्न करता है, तो वे बहुत सख्त (केवल एक संभावित उत्तर) या बहुत रचनात्मक (कई जंगली विचार आज़माना) हो सकते हैं। कोच इस डायल को एक निश्चित संख्या पर सेट करता है और इसे कभी नहीं बदलता है।

समस्या: यह कठोर दृष्टिकोण नाजुक (brittle) है।

शुरुआत में: छात्र भ्रमित होता है और उसे सही रास्ता खोजने के लिए जंगली, रचनात्मक विचार आज़माने की आवश्यकता होती है। एक निश्चित, सख्त सेटिंग उन्हें पर्याप्त अन्वेषण करने से रोकती है।
बाद में: छात्र उत्तर के करीब पहुँच रहा होता है लेकिन अस्थिर होता है। एक निश्चित, ढीली सेटिंग उसे बहुत अधिक इधर-उधर भटकने के कारण उसकी प्रगति को खराब करने के लिए मजबूर कर सकती है।
परिणाम: कोच को इसे सही करने के लिए इन डायलों को मैन्युअल रूप से ट्यून करने में बहुत समय बिताना पड़ता है, और तब भी छात्र अटक सकता है या असफल हो सकता है।

नया तरीका: एक अनुकूलनशील कोच (The Adaptive Coach - AGPO)

AGPO एक ऐसे कोच की तरह है जो वास्तविक समय में छात्र के प्रदर्शन को देखता है और तुरंत नियमों को समायोजित करता है। इसे क्या करना है, यह बताने के लिए इसे किसी दूसरे "जज" (क्रिटिक) की आवश्यकता नहीं है; यह बस छात्र द्वारा अभी उत्पन्न किए जा रहे उत्तरों के समूह को देखता है।

कोच दो मुख्य उपकरणों का उपयोग करता है जो एक-दूसरे से बात करते हैं:

1. "स्मार्ट सुरक्षा जाल" (Adaptive Clipping)

एक निश्चित सुरक्षा जाल के बजाय, कोच यह देखता है कि छात्र के उत्तरों में कितना अंतर आ रहा है।

यदि उत्तर इधर-उधर बिखरे हुए हैं (उच्च असहमति) या पुरस्कार (rewards) अस्त-व्यस्त हैं, तो कोच जानता है कि छात्र अनिश्चित है। वे सुरक्षा जाल को चौड़ा कर देते हैं ताकि छात्र बड़े जोखिम ले सके और तेजी से सीख सके।
यदि उत्तर अराजक हैं या छात्र बहुत ज्यादा उछल-कूद कर रहा है (उच्च अस्थिरता), तो कोच सुरक्षा जाल को कस देता है ताकि छात्र बड़ी गलती करने से बच सके जो उसकी प्रगति को खराब कर दे।
रूपक (Metaphor): यह एक सर्फर की तरह है जो अपना संतुलन (stance) एडजस्ट करता है। यदि लहरें शांत हैं, तो वह दूर तक झुक सकता है। यदि लहरें टकरा रही हैं, तो वह स्थिर रहने के लिए झुक जाता है।

2. "गतिशील रचनात्मकता डायल" (Adaptive Temperature)

कोच यह भी समायोजित करता है कि छात्र कितना "रचनात्मक" होने की अनुमति है।

जब छात्र भ्रमित होता है (उच्च अनिश्चितता), तो कोच डायल को बढ़ाकर उच्च रचनात्मकता पर सेट कर देता है। यह छात्र को समाधान खोजने के लिए कई अलग-अलग दृष्टिकोण आज़माने के लिए प्रोत्साहित करता है।
जब छात्र आत्मविश्वासी होता है (कम अनिश्चितता), तो कोच डायल को घटाकर कम रचनात्मकता पर सेट कर देता है। यह छात्र को सबसे अच्छा उत्तर खोजने के बाद उस पर ध्यान केंद्रित करने और भटकने के बजाय टिके रहने में मदद करता है।
रूपक (Metaphor): इसे एक थर्मोस्टेट की तरह सोचें। यदि कमरा (समस्या) ठंडा और भ्रमित करने वाला है, तो कोच गर्मी (अन्वेषण) बढ़ा देता है ताकि कमरे को गर्म किया जा सके। यदि कमरा पहले से ही गर्म और स्पष्ट है, तो कोच गर्मी को कम कर देता है ताकि स्थिति स्थिर रहे।

व्यवहार में यह कैसे काम करता है

शोध पत्र ने इस "अनुकूलनशील कोच" का परीक्षण नौ अलग-अलग गणित और विज्ञान परीक्षणों (जैसे GSM8K और MATH बेंचमार्क) पर किया। उन्होंने Qwen2.5-14B नामक एक शक्तिशाली मॉडल का उपयोग किया।

परिणाम:

बेहतर स्कोर: AGPO-प्रशिक्षित छात्र ने कठोर विधियों (PPO और GRPO) से प्रशिक्षित छात्रों की तुलना में काफी अधिक स्कोर किया। उदाहरण के लिए, GSM8K गणित परीक्षण पर, इसने 67.3% सटीकता प्राप्त की, जो पिछले सर्वश्रेष्ठ प्रदर्शनों से बेहतर है।
तेजी से सीखना: इसने पुराने तरीकों की तुलना में वास्तविक समय में लगभग 1.6 गुना तेजी से उच्च सटीकता स्तर प्राप्त किया, भले ही इसने समान मात्रा में "सोचने का समय" (tokens) उपयोग किया हो।
दूसरों पर भी प्रभावी: उन्होंने इस पद्धति को अन्य छात्र मॉडलों (Llama-3 और Gemma-2) पर भी आज़माया, और यह उतना ही अच्छा काम करता है, जो यह साबित करता है कि यह एक सामान्य सुधार है, न कि केवल एक विशिष्ट मॉडल के लिए एक ट्रिक।

मुख्य निष्कर्ष (The Bottom Line)

AGPO एआई (AI) को तर्क करने के लिए प्रशिक्षित करने का एक स्मार्ट तरीका है। एक 'वन-साइज-फिट्स-ऑल' नियम पुस्तिका के बजाय, यह एक प्रतिक्रियाशील कोच की तरह कार्य करता है जो लगातार छात्र के आत्मविश्वास और समस्या की कठिनाई की जांच करता है, और तुरंत "जोखिम सीमाओं" और "रचनात्मकता स्तरों" को समायोजित करता है। इससे कठिन गणित और विज्ञान समस्याओं पर तेज़, अधिक स्थिर शिक्षण और बेहतर परिणाम मिलते हैं।

तकनीकी सारांश: AGPO – ड्यूल स्टैटिस्टिकल फीडबैक के साथ एडेप्टिव ग्रुप पॉलिसी ऑप्टिमाइज़ेशन

1. समस्या विवरण

रीइन्फोर्समेंट लर्निंग (RL) ने प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO) और ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) जैसे एल्गोरिदम के माध्यम से लार्ज लैंग्वेज मॉडल (LLM) की तर्क क्षमता (reasoning) को सुधारने में प्रभावशीलता सिद्ध की है। हालांकि, मौजूदा दृष्टिकोण आमतौर पर दो महत्वपूर्ण घटकों के लिए फिक्स्ड हाइपर-पैरामीटर्स (fixed hyper-parameters) पर निर्भर करते हैं:

क्लिपिंग रेडियस ( $\epsilon$ ): पॉलिसी अपडेट का ट्रस्ट-रीजन साइज स्थिर रहता है, जो ट्रेनिंग बैच की बदलती अनिश्चितता को अनदेखा करता है।
डिकोडिंग टेम्परेचर ( $\tau$ ): ट्राजेक्टरी जनरेशन के लिए उपयोग किया जाने वाला सैंपलिंग टेम्परेचर फिक्स्ड होता है, जो बदलते रिवॉर्ड लैंडस्केप के अनुकूल नहीं हो पाता।

लेखक तर्क देते हैं कि ये फिक्स्ड सेटिंग्स 'रीइन्फोर्समेंट लर्निंग फ्रॉम ह्यूमन फीडबैक' (RLHF) में तीन आवर्ती समस्याएं उत्पन्न करती हैं:

भारी ट्यूनिंग (Heavy Tuning): ट्रस्ट-रीजन और डिकोडिंग हाइपर-पैरामीटर्स को सेट करने के लिए महत्वपूर्ण मैनुअल प्रयास की आवश्यकता होती है।
एक्सप्लोरेशन–एक्सप्लोइटेशन मिसमैच (Exploration–Exploitation Mismatch): एक सिंगल सेटिंग शुरुआती चरण के एक्सप्लोरेशन और अंतिम चरण की स्थिरता दोनों को एक साथ सपोर्ट नहीं कर सकती।
ब्रिटल कन्वर्जेंस (Brittle Convergence): फिक्स्ड पैरामीटर्स रिवॉर्ड डिस्पर्शन (dispersion), उत्तरों की असहमति और KL ड्रिफ्ट के कारण शुरुआती चरणों में अंडर-अपडेटिंग या बाद के चरणों में अस्थिर पॉलिसी जम्प्स का कारण बन सकते हैं।

2. कार्यप्रणाली: AGPO

लेखक एडेप्टिव ग्रुप पॉलिसी ऑप्टिमाइज़ेशन (AGPO) का प्रस्ताव करते हैं, जो GRPO का एक हल्का, क्रिटिक-फ्री (critic-free) रिफाइनमेंट है। AGPO फिक्स्ड हाइपर-पैरामीटर्स को एक साझा प्रोब-व्युत्पन्न सांख्यिकीय अवस्था (shared probe-derived statistical state) द्वारा संचालित दो अलग-अलग एडेप्टिव कंट्रोलर्स से बदल देता है।

मुख्य आर्किटेक्चर: एक प्रोब, दो कंट्रोलर्स

AGPO एक ही प्रॉम्प्ट के लिए सैंपल किए गए $G$ रोलआउट्स के समूह पर काम करता है। मुख्य पॉलिसी अपडेट से पहले, ग्रुप-लेवल सांख्यिकी निकालने के लिए एक बेस टेम्परेचर ( $\tau_{base}$ ) पर एक प्रोब फेज (probe phase) चलाया जाता है। ये सांख्यिकी दो अलग-अलग कंट्रोलर्स को संचालित करती हैं:

A. एडेप्टिव क्लिपिंग (अपडेट मैग्नीट्यूड कंट्रोल)

एक फिक्स्ड $\epsilon$ के बजाय, AGPO एक फॉर्मूला का उपयोग करके एक एडेप्टिव क्लिपिंग रेडियस ( $\epsilon_{adaptive}$ ) की गणना करता है जो एक्सप्लोरेशन और स्थिरता के बीच संतुलन बनाता है:
$\epsilon_{adaptive} = \text{clip}\left( \epsilon_{base} \frac{H(\pi_{old}) (1 + \delta E_{probe})}{1 + \alpha \hat{\sigma} + \zeta |\tilde{\kappa}_3(r)| + \gamma \hat{D}^{step}_{KL}}, \epsilon_{min}, \epsilon_{max} \right)$

एक्सपेंशन सिग्नल्स ( $\epsilon$ बढ़ाना): हाई पॉलिसी एंट्रॉपी ( $H(\pi)$ ) और हाई प्रोब वोट एंट्रॉपी ( $E_{probe}$ ) एपिस्टेमिक अनिश्चितता या कम एक्सप्लोरेशन का संकेत देते हैं, जिससे एक बड़ा ट्रस्ट रीजन मिलता है।
कॉन्ट्रैक्शन सिग्नल्स ( $\epsilon$ घटाना): हाई रिवॉर्ड डिस्पर्शन ( $\hat{\sigma}$ ), रिवॉर्ड स्क्यूनेस ( $|\tilde{\kappa}_3(r)|$ ), और स्टेप-वाइज KL ड्रिफ्ट ( $\hat{D}^{step}_{KL}$ ) ऑप्टिमाइज़ेशन जोखिम का संकेत देते हैं, जिससे अस्थिर जम्प्स को रोकने के लिए एक टाइट ट्रस्ट रीजन मिलता है।
तंत्र (Mechanism): यह एल्गोरिदम को तब बड़े कदम उठाने की अनुमति देता है जब बैच अनिश्चित हो, लेकिन छोटे कदम उठाने की अनुमति देता है जब रिवॉर्ड सिग्नल शोरपूर्ण (noisy) हो या पॉलिसी बहुत तेज़ी से ड्रिफ्ट कर रही हो।

B. बाइडायरेक्शनल एडेप्टिव टेम्परेचर सैंपलिंग (ATS)

AGPO रोलआउट कलेक्शन के दौरान ट्राजेक्टरी विविधता को नियंत्रित करने के लिए एडेप्टिव टेम्परेचर सैंपलिंग (ATS) पेश करता है।

अनिश्चितता अनुमान (Uncertainty Estimation): रिवॉर्ड डिस्पर्शन, प्रोब डिसअग्रीमेंट और स्क्यूनेस से एक अनिश्चितता स्कोर $U_t$ की गणना की जाती है।
सेंटरिंग (Centering): इस स्कोर को एक्सपोनेंशियल मूविंग एवरेज (EMA) के माध्यम से बनाए रखे गए रनिंग बेसलाइन ( $\bar{U}_t$ ) के विरुद्ध सेंटर्ड किया जाता है।
टेम्परेचर एडजस्टमेंट: सैंपलिंग टेम्परेचर $\tau_t$ $τ_{t}$ को $\tau_{base}$ $τ_{ba se}$ के सापेक्ष एडजस्ट किया जाता है:
$\tau_t = \text{clip}\left( \tau_{base} (1 + \lambda \tilde{U}_t), \tau_{min}, \tau_{max} \right)$
- हीटिंग (Heating): यदि वर्तमान बैच बेसलाइन की तुलना में अधिक अनिश्चित है ( $\tilde{U}_t > 0$ ), तो एक्सप्लोरेशन को बढ़ावा देने के लिए $\tau_t$ बढ़ता है।
- कूलिंग (Cooling): यदि बैच अधिक निश्चित है ( $\tilde{U}_t < 0$ ), तो एक्सप्लोइटेशन को बढ़ावा देने के लिए $\tau_t$ घटता है।

ट्रेनिंग प्रक्रिया

ट्रेनिंग लूप प्रोब-ट्रेन (probe–train) संरचना का पालन करता है:

$\tau_{base}$ पर एक प्रोब ग्रुप सैंपल करें।
ग्रुप सांख्यिकी की गणना करें और कंट्रोलर स्टेट ( $\epsilon_{adaptive}$ और $\tau_t$ ) को अपडेट करें।
नए $\tau_t$ का उपयोग करके ट्रेनिंग रोलआउट्स को री-सैंपल करें।
एडेप्टिव $\epsilon_{adaptive}$ के साथ GRPO सरोगेट ऑब्जेक्टिव का उपयोग करके पॉलिसी को अपडेट करें।
अगले स्टेप के लिए मापा गया स्टेप-वाइज KL ड्रिफ्ट आगे ले जाएं।

3. प्रमुख योगदान

एडेप्टिव क्लिपिंग: एक सांख्यिकी-जागरूक $\epsilon$ जो रिवॉर्ड डिस्पर्शन, स्क्यूनेस, प्रोब डिसअग्रीमेंट और KL ड्रिफ्ट के आधार पर डायनेमिक रूप से ट्रस्ट रीजन को एडजस्ट करता है, जिससे फिक्स्ड क्लिपिंग रेडियस की आवश्यकता समाप्त हो जाती है।
शेयर्ड-प्रोब ड्यूल कंट्रोल: एक नया डिज़ाइन जहाँ एक सिंगल प्रोब फेज अपडेट मैग्नीट्यूड (क्लिपिंग) और एक्सप्लोरेशन स्ट्रैटेजी (टेम्परेचर) दोनों को संचालित करता है, जो बिना किसी वैल्यू क्रिटिक के बेहतर एक्सप्लोरेशन/स्टेबिलिटी ट्रेड-ऑफ प्राप्त करता है।
निरंतर लाभ (Consistent Gains): समान जेनरेटेड-टोकन बजट के तहत नौ अंग्रेजी और चीनी गणित/STEM बेंचमार्क पर सुधार प्रदर्शित किया गया, और विभिन्न मॉडल फैमिली (Llama-3-8B, Gemma-2-9B) पर सफल ट्रांसफर देखा गया।

4. अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने नौ बेंचमार्क (GSM8K, MATH, OCW, SAT, MMLUSTEM, CodeContests, CMATH, GaokaoMath-Cloze, GaokaoMath-QA) पर Qwen2.5-14B, Llama-3-8B, और Gemma-2-9B पर AGPO का मूल्यांकन किया।

प्रदर्शन: Qwen2.5-14B पर, AGPO ने GSM8K पर 67.3% और MATH पर 40.5% प्राप्त किया।
- यह मानक PPO पर +8.3 प्रतिशत अंक (pp) का लाभ और सबसे मजबूत एब्लेशन (केवल एडेप्टिव क्लिपिंग के साथ AGPO) पर +1.4 pp का लाभ है।
- AGPO ने सभी नौ बेंचमार्क पर सभी बेसलाइन्स (PPO, Adaptive-KL PPO, DPO, फिक्स्ड-क्लिप GRPO) को पछाड़ दिया।
दक्षता (Efficiency): AGPO ने GRPO की तुलना में नगण्य ओवरहेड (लगभग 3% थ्रूपुट ड्रॉप) का सामना किया, लेकिन लक्षित सटीकता (GSM8K पर 65%) तक पहुँचने के लिए PPO की तुलना में ~1.5x तेज़ थ्रूपुट और ~1.6x तेज़ वॉल-क्लॉक टाइम में रहा।
क्रॉस-मॉडल ट्रांसफर: लाभ Llama-3-8B और Gemma-2-9B में भी सुसंगत थे, जो पुष्टि करता है कि यह विधि किसी एक मॉडल फैमिली तक सीमित नहीं है।
एब्लेशन स्टडीज:
- दोनों एडेप्टिव क्लिपिंग और ATS ने सकारात्मक योगदान दिया; किसी एक को हटाने से प्रदर्शन कम हो गया।
- मजबूती (Robustness): स्टैंडर्ड डेविएशन के बजाय रोबस्ट डिस्पर्शन एस्टिमेटर्स (MAD, IQR) का उपयोग करने पर भी विधि स्थिर रही, विशेष रूप से बाइनरी या हेवी-टेल्ड रिवॉर्ड्स के लिए।
- सिग्नल महत्व: लीव-वन-आउट एब्लेशन ने पुष्टि की कि चारों सिग्नल (डिस्पर्शन, स्क्यूनेस, प्रोब एंट्रॉपी, स्टेप KL) सटीकता और ट्रेनिंग स्थिरता दोनों में योगदान देते हैं।

5. महत्व और सीमाएं

महत्व:
यह पेपर AGPO को RLHF की "ट्यूनिंग-हैवी" प्रकृति को कम करने की दिशा में एक महत्वपूर्ण कदम के रूप में प्रस्तुत करता है। ऑब्जर्वेबल ग्रुप-लेवल सांख्यिकी का उपयोग करके अपडेट मैग्नीट्यूड और एक्सप्लोरेशन दोनों के नियंत्रण को ऑटोमेट करके, AGPO एक क्रिटिक-फ्री विकल्प प्रदान करता है जो कंप्यूटेशनल रूप से कुशल और मजबूत है। लेखक जोर देते हैं कि यह दृष्टिकोण उन रीजनिंग बेंचमार्क को लक्षित करता है जहाँ एक्सप्लोरेशन और स्थिरता के बीच संतुलन बनाना महत्वपूर्ण है।

सीमाएं:
लेखक विनम्रतापूर्वक नोट करते हैं कि AGPO उचित रूप से स्थिर ग्रुप-लेवल सांख्यिकी पर निर्भर करता है। यह विधि निम्नलिखित परिदृश्यों में चुनौतियों का सामना कर सकती है:

रिवॉर्ड मिसस्पेसिफिकेशन (Reward misspecification)।
रिवॉर्ड हैकिंग (Reward hacking)।
अत्यंत स्पार्स (sparse) या एडवरसेरियल रूप से शोरपूर्ण रिवॉर्ड्स।

पेपर निष्कर्ष निकालता है कि हालांकि वर्तमान कार्यान्वयन प्रभावी है, इन चरम रिवॉर्ड स्थितियों को संभालना भविष्य के अनुसंधान के लिए एक खुला विषय बना हुआ है।