💬 NLP

On Advantage Estimates for Max@K Policy Gradients

यह शोध पत्र MaxPO प्रस्तुत करता है, जो सत्यापन योग्य पुरस्कारों (verifiable rewards) के साथ सुदृढीकरण शिक्षण (reinforcement learning) में max@K उद्देश्यों को अनुकूलित करने के लिए एक नई पॉलिसी-ग्रेडिएंट विधि है, जो केंद्रित लाभ (centered advantages) सुनिश्चित करने, ग्रेडिएंट वेरिएंस को कम करने और अधिक प्रभावी LLM पोस्ट-ट्रेनिंग के लिए मौजूदा एस्टिमेटर्स को एकीकृत करने के लिए एक नवीन 'लीव-टू-आउट' (Leave-Two-Out) बेसलाइन का उपयोग करता है।

मूल लेखक: Shota Takashiro, Soichiro Nishimori, Paavo Parmas, Yongmin Kim, Kohsei Matsutani, Gouki Minegishi, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

प्रकाशित 2026-06-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shota Takashiro, Soichiro Nishimori, Paavo Parmas, Yongmin Kim, Kohsei Matsutani, Gouki Minegishi, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शिक्षक हैं जो एक छात्र को एक बहुत कठिन गणितीय समस्या हल करने के लिए प्रशिक्षित करने की कोशिश कर रहे हैं। छात्र एक AI है, और समस्या एक "तर्क कार्य" (reasoning task) है।

पुराने तरीके से इन AI को प्रशिक्षित करने में (रीइन्फोर्समेंट लर्निंग), शिक्षक छात्र को एक बार समस्या हल करने के लिए कहता था। यदि उत्तर गलत था, तो उसे कोई फीडबैक नहीं मिलता था (शून्य रिवॉर्ड)। यदि वह सही था, तो उसे एक स्वर्ण स्टार मिलता था। समस्या क्या थी? छात्र को संभावनाओं के एक विशाल भूलभुलैया में सही रास्ते का अनुमान लगाना पड़ता था, और स्वर्ण स्टार मिलना इतना दुर्लभ था कि छात्र अक्सर फंस जाता था, यह जाने बिना कि कौन से अनुमान "लगभग सही" थे और कौन से "पूरी तरह से गलत"।

इसे ठीक करने के लिए, शोधकर्ताओं ने एक नई रणनीति शुरू की: "कई बार प्रयास करने" वाला दृष्टिकोण।

छात्र को एक बार समस्या हल करने के लिए कहने के बजाय, शिक्षक उनसे एक ही समय में K अलग-अलग समाधान उत्पन्न करने के लिए कहता है। लक्ष्य केवल एक सही उत्तर प्राप्त करना नहीं है; बल्कि यह सुनिश्चित करना है कि उन K प्रयासों में से कम से कम एक सही हो। इसे Max@K (या Pass@K) के लिए अनुकूलित करना कहा जाता है।

पुराने "कई बार प्रयास करने" वाले तरीकों के साथ समस्या

यह पेपर तर्क देता है कि हालांकि यह "कई बार प्रयास करने" वाला दृष्टिकोण बेहतरीन है, लेकिन AI को सिखाने के लिए उपयोग की जाने वाली गणित थोड़ी त्रुटिपूर्ण थी।

कल्पना कीजिए कि 8 छात्रों का एक समूह (एक "बैच") एक पहेली सुलझाने की कोशिश कर रहा है। आप प्रत्येक छात्र को बताना चाहते हैं कि उन्होंने कैसा प्रदर्शन किया।

पुराना तरीका (EI-only): इसने एक छात्र के उत्तर को देखा और उसकी तुलना अन्य 7 छात्रों के सर्वश्रेष्ठ उत्तर से की। यदि छात्र दूसरों से बेहतर प्रदर्शन करता था, तो उसे एक बड़ा "अच्छा काम किया!" का संकेत मिलता था। यदि वह उनसे खराब प्रदर्शन करता था, तो उसे "0" का संकेत मिलता था।
दोष: क्योंकि "अच्छा काम किया!" का संकेत हमेशा सकारात्मक (या शून्य) था और कभी नकारात्मक नहीं था, इसलिए शिक्षक अनिवार्य रूप से कह रहा था, "आप हमेशा औसत से बेहतर कर रहे हैं!" यह भ्रामक है। यह वैसा ही है जैसे एक कोच जो केवल "बहुत बढ़िया!" कहता है और कभी यह नहीं बताता कि एक खिलाड़ी वास्तव में टीम की वास्तविक क्षमता की तुलना में कम प्रदर्शन कर रहा है। यह प्रशिक्षण में बहुत अधिक "शोर" (variance) पैदा करता है, जिससे AI का सीखना अस्थिर और धीमा हो जाता है।

समाधान: "लीव-टू-आउट" बेसलाइन (The "Leave-Two-Out" Baseline)

लेखक एक स्मार्ट तरीका प्रस्तावित करते हैं जिससे छात्रों को ग्रेड दिया जा सके, जिसे वे MaxPO (Max@K पॉलिसी ऑप्टिमाइज़ेशन) कहते हैं।

वे एक नया ग्रेडिंग नियम पेश करते हैं, जिसे वे लीव-टू-आउट (L2O) बेसलाइन कहते हैं। यह कैसे काम करता है, इसके लिए एक सरल उपमा देखें:

कल्पना कीजिए कि आप 8 प्रतियोगियों के साथ एक टैलेंट शो का निर्णय ले रहे हैं।

पुराना तरीका: प्रतियोगी A का निर्णय करने के लिए, आप उनकी तुलना अन्य 7 के सर्वश्रेष्ठ से करते हैं। यदि A सबसे अच्छा है, तो उन्हें उच्च स्कोर मिलता है। यदि नहीं, तो उन्हें शून्य मिलता है। यह पक्षपाती है क्योंकि "अन्य 7 का सर्वश्रेष्ठ" एक बदलता हुआ लक्ष्य है जो इस बात पर निर्भर करता है कि कमरे में कौन मौजूद है।
नया तरीका (L2O): प्रतियोगी A का निर्णय करने के लिए, आप अस्थायी रूप से प्रतियोगी A और प्रतियोगी B दोनों को कमरे से बाहर निकाल देते हैं। फिर आप देखते हैं कि शेष 6 लोगों के बीच एक "निष्पक्ष" औसत प्रदर्शन क्या होगा।
- आप गणना करते हैं कि प्रतियोगी A इस "निष्पक्ष" समूह के विरुद्ध कैसा प्रदर्शन करता।
- महत्वपूर्ण रूप से, दो लोगों को हटाकर, आप यह सुनिश्चित करते हैं कि "निष्पक्ष" समूह में गलती से उस व्यक्ति (प्रतियोगी A) को शामिल न किया जाए जिसे आप परख रहे हैं, या कोई विशिष्ट "प्रतिद्वंद्वी" (प्रतियोगी B) जिसे तुलना को प्रभावित करने के लिए शामिल किया जा सकता है।

यह बेहतर क्यों है?
यह तरीका सुनिश्चित करता है कि पूरे समूह का "औसत" स्कोर ठीक शून्य हो। कुछ छात्र सकारात्मक स्कोर प्राप्त करते हैं (उन्होंने निष्पक्ष औसत से बेहतर किया), और कुछ नकारात्मक स्कोर प्राप्त करते हैं (उन्होंने निष्पक्ष औसत से कम किया)। ये सकारात्मक और नकारात्मक स्कोर पूरी तरह से एक-दूसरे को संतुलित कर देते हैं।

परिणाम: AI को बहुत स्पष्ट, कम "शोर" वाला संकेत मिलता है। वह जानता है कि एक निष्पक्ष आधार रेखा के सापेक्ष वह कहाँ खड़ा है, बजाय इसके कि उसे केवल यह बताया जाए कि "आप महान हैं" या "आप कुछ भी नहीं हैं।"

शोधपत्रों ने क्या पाया

शोधकर्ताओं ने इस नए "लीव-टू-आउट" तरीके का दो तरीकों से परीक्षण किया:

सरल खेलों में (Bandits और Mazes): उन्होंने दिखाया कि उनके नए तरीके ने सीखने के संकेत में "शोर" को भारी अंतर से कम कर दिया (कुछ मामलों में 77% तक कम शोर)। इसका मतलब है कि AI अधिक स्थिरता से सीखता है और यादृच्छिक उतार-चढ़ाव से भ्रमित नहीं होता है।
वास्तविक AI मॉडल्स में (LLMs): उन्होंने गणित की समस्याओं को हल करने के लिए बड़े भाषा मॉडल (जैसे Llama और Qwen) पर इसका परीक्षण किया।
- परिणाम: उनके नए तरीके (MaxPO) के साथ प्रशिक्षित AI ने कई बार प्रयास करने (जैसे Pass@256) की अनुमति मिलने पर समस्याओं को हल करने में उल्लेखनीय सुधार किया।
- Qwen मॉडल पर, इसने सफलता दर में 5.2% का सुधार किया।
- Llama मॉडल पर, इसने सफलता दर में 2.4% का सुधार किया।

बड़ी तस्वीर

पुराने तरीके को एक ऐसे कोच के रूप में सोचें जो अत्यधिक आशावादी है और सभी को "अच्छा काम किया" का स्टिकर देता है, भले ही वे संघर्ष कर रहे हों। नया तरीका (MaxPO) एक ऐसे कोच के रूप में है जो एक सख्त, निष्पक्ष और संतुलित स्कोरिंग प्रणाली का उपयोग करता है। शोर को हटाकर और स्कोर को शून्य के आसपास केंद्रित करके, AI बहुत तेज़ी से और अधिक प्रभावी ढंग से सीख सकता है, विशेष रूप से जब लक्ष्य कई प्रयासों में से कम से कम एक सही उत्तर खोजना हो।

यह शोधपत्र निष्कर्ष निकालता है कि "लीव-टू-आउट" दृष्टिकोण इन "कई बार प्रयास करने" वाले कार्यों के लिए गणितीय रूप से सही तरीका है, जो भविष्य के सुधारों के लिए एक एकीकृत और स्थिर आधार प्रदान करता है।

तकनीकी सारांश: Max@K पॉलिसी ग्रेडिएंट्स के लिए एडवांटेज अनुमानों पर

समस्या विवरण

रीइन्फोर्समेंट लर्निंग विद वेरीफिएबल रिवॉर्ड्स (RLVR) तर्क संबंधी कार्यों (reasoning tasks) पर लार्ज लैंग्वेज मॉडल्स (LLMs) के पोस्ट-ट्रेनिंग के लिए एक प्रमुख प्रतिमान (paradigm) है। हालाँकि, ये सेटिंग्स आमतौर पर स्पार्स, आउटकम-आधारित पुरस्कारों (जैसे, एक बाइनरी करेक्ट/इनकरेक्ट सिग्नल) पर निर्भर करती हैं, जो बड़े कॉम्बिनेटोरियल स्पेस में अन्वेषण (exploration) को कठिन बना देता है। जबकि एंट्रॉपी रेगुलराइजेशन और काउंट-आधारित बोनस जैसी विधियाँ मौजूद हैं, वे सहायक उद्देश्यों (auxiliary objectives) को पेश करती हैं जिन्हें सावधानीपूर्वक ट्यूनिंग की आवश्यकता होती है।

एक पूरक दृष्टिकोण सीधे इन्फरेंस-टाइम उद्देश्यों जैसे कि pass@K (K सैंपल्ड कंपलीशंस में से कम से कम एक का सही होने की संभावना) और इसके निरंतर सामान्यीकरण, max@K (K सैंपल्स के बीच अपेक्षित अधिकतम पुरस्कार) को अनुकूलित करना है। कई हालिया कार्यों ने इन उद्देश्यों के लिए अनबायस्ड (unbiased) पॉलिसी-ग्रेडिएंट (PG) एस्टिमेटर्स प्रस्तावित किए हैं। हालाँकि, इन एस्टिमेटर्स के बीच संबंध स्पष्ट नहीं हैं। विशेष रूप से, मौजूदा एस्टिमेटर्स अक्सर अलग-अलग सिग्नल्स, बेसलाइन्स और नॉर्मलाइजेशन का उपयोग करते हैं। इस कार्य में पहचाना गया एक महत्वपूर्ण मुद्दा यह है कि अग्रणी एस्टिमेटर्स (जैसे, एक्सपेक्टेड इम्प्रूवमेंट पर आधारित) PG एस्टिमेटर्स के रूप में अनबायस्ड हैं, लेकिन वे नॉन-सेंटर्ड एडवांटेज (non-centered advantages) उत्पन्न करते हैं। एक नॉन-सेंटर्ड एडवांटेज (जिसका माध्य शून्य न हो) एक अंडरएस्टिमेटेड बेसलाइन के अनुरूप होता है, जो अनुकूलन को उप-इष्टतम (suboptimal) क्रियाओं की ओर मोड़ सकता है और ग्रेडिएंट वेरिएंस को बढ़ा सकता है।

कार्यप्रणाली

यह शोध पत्र MaxPO (Max@K पॉलिसी ऑप्टिमाइज़ेशन) प्रस्तावित करता है, जो एक विधि है जो max@k उद्देश्यों के लिए एडवांटेज एस्टीमेशन को ठीक करने के लिए एक लीव-टू-आउट (Leave-Two-Out - L2O) बेसलाइन पेश करती है।

1. मौजूदा एस्टिमेटर्स का विश्लेषण

लेखक पूर्व कार्य (जैसे, वाल्डर और कारखानिस [54]) में उपयोग किए गए एक्सपेक्टेड इम्प्रूवमेंट (EI) एस्टिमेटर की समीक्षा करते हैं। वे प्रदर्शित करते हैं कि जबकि EI-आधारित एस्टिमेटर एक अनबायस्ड PG एस्टिमेटर है, परिणामी एडवांटेज सिग्नल $s(a)$ सख्ती से गैर-ऋणात्मक (non-negative) है (EI परिभाषा में ReLU ऑपरेशन के कारण)। फलस्वरूप, $E[s(a)] > 0$ है, जिसका अर्थ है कि एडवांटेज सेंटर्ड नहीं है। इस सेंट्रिंग की कमी से वेरिएंस रिडक्शन (variance reduction) की गुंजाइश बनी रहती है।

2. लीव-टू-आउट (L2O) बेसलाइन

बिल्कुल सेंटर्ड एडवांटेज प्राप्त करने के लिए जो PG अनबायस्डनेस को बनाए रखता है, लेखक L2O बेसलाइन पेश करते हैं।

चुनौती: एक मानक लीव-वन-आउट (L1O) बेसलाइन max@K सेटिंग में विफल रहता है क्योंकि एक सैंपल $i$ का रिवॉर्ड अन्य सैंपल्स $j$ के एडवांटेज कैलकुलेशन को अप्रत्यक्ष रूप से प्रभावित कर सकता है (क्योंकि $i$ मैक्स ऑपरेशन में एक संभावित तुलनाकार के रूप में कार्य करता है)। यह निर्भरता अनबायस्ड PG एस्टीमेशन के लिए आवश्यक स्वतंत्रता की स्थिति का उल्लंघन करती है।
समाधान: L2O बेसलाइन $b_{-i}^{L2O}$ को सभी अन्य सैंपल्स $j$ के एक्सपेक्टेड इम्प्रूवमेंट स्कोर्स के औसत द्वारा कंप्यूट किया जाता है, जहाँ प्रत्येक स्कोर तुलनाकारों के एक ऐसे सेट पर कंप्यूट किया जाता है जिसमें दोनों लक्ष्य सैंपल $i$ और सैंपल $j$ स्वयं शामिल नहीं होते हैं।
विशेषताएं:
- स्वतंत्रता (Independence): $j$ के लिए तुलनाकार सेट से $i$ को बाहर करके, बेसलाइन $b_{-i}^{L2O}$ , $r_i$ से स्वतंत्र है, जो यह सुनिश्चित करता है कि PG एस्टिमेटर अनबायस्ड बना रहे।
- सेंटरिंग (Centering): लेखक सिद्ध करते हैं कि प्रत्येक सैंपल किए गए बैच के लिए वास्तविक बैच-एवरेज एडवांटेज बिल्कुल शून्य है: $\frac{1}{B}\sum_{i=1}^B (s_i - b_{-i}^{L2O}) = 0$ ।
- दक्षता (Efficiency): जबकि एक नेटिव (naive) कंप्यूटेशन $O(B^3)$ होगा, लेखक एक वेक्टरकृत कार्यान्वयन (vectorized implementation) का उपयोग करके इसे $O(B^2)$ समय में कंप्यूट करते हैं, जो इसे GPU-एक्सेलेरेटेड LLM ट्रेनिंग के लिए व्यवहार्य बनाता है।

3. कैनोनिकल फाइनाइट-बैच एडवांटेज

यह शोध पत्र max@K के लिए एक कैनोनिकल फाइनाइट-बैच एडवांटेज को व्युत्पन्न करता है, जिसे $u_i - v_i$ के रूप में परिभाषित किया गया है:

$u_i$ : एक समूह का कंडीशनल एक्सपेक्टेड max@K मान जिसमें रिस्पॉन्स $i$ शामिल है।
$v_i$ : उन समूहों से लीव-वन-आउट एक्सपेक्टेड max@K मान जिनमें $i$ शामिल नहीं है।
लेखक दिखाते हैं कि MaxPO एस्टिमेटर इस कैनोनिकल सिग्नल ( $s_i - b_{-i}^{L2O} = u_i - v_i$ ) को सटीक रूप से रिकवर करता है। यह मौजूदा एस्टिमेटर्स के लिए एक एकीकृत दृष्टिकोण प्रदान करता है, उन्हें "अनसेंटर्ड" (जैसे, EI-only/PKPO) और "(नॉर्मलाइज्ड) कैनोनिकल" (जैसे, MaxPO, और कुछ एनालिटिकल pass@K वेरिएंट) में वर्गीकृत करता है।

4. LLM ट्रेनिंग में एकीकरण

MaxPO को ग्रुप-आधारित RL एल्गोरिदम (जैसे GRPO) में एकीकृत किया जाता है। प्रत्येक प्रॉम्प्ट के लिए, $G$ आउटपुट का एक समूह सैंपल किया जाता है। सीक्वेंस-लेवल एडवांटेज उत्पन्न करने के लिए प्रत्येक समूह के भीतर L2O बेसलाइन की गणना की जाती है, जिन्हें फिर टोकन-लेवल लॉस के लिए ब्रॉडकास्ट किया जाता है।

मुख्य योगदान

नॉन-सेंटर्ड एडवांटेज की पहचान: यह शोध पत्र पहचानता है कि अग्रणी max@K PG एस्टिमेटर्स (विशेष रूप से EI-आधारित) ग्रेडिएंट एस्टिमेटर्स के रूप में अनबायस्ड हैं लेकिन सेंटर्ड एडवांटेज उत्पन्न करने में विफल रहते हैं, जिससे उप-इष्टतम वेरिएंस गुण होते हैं।
लीव-टू-आउट (L2O) बेसलाइन: एक अभिनव बेसलाइन डिज़ाइन जो max@K जैसे नॉन-लीनियर सेटिंग में PG अनबायस्डनेस को बनाए रखते हुए भी यह सुनिश्चित करता है कि वास्तविक बैच एडवांटेज का माध्य शून्य हो।
कैनोनिकल एकीकरण: कैनोनिकल फाइनाइट-बैच एडवांटेज ( $u_i - v_i$ ) का व्युत्पन्न और यह प्रमाण कि MaxPO इस सिग्नल को रिकवर करता है, जो मौजूदा pass@K/max@K एस्टिमेटर्स की तुलना करने और उन्हें वर्गीकृत करने के लिए एक एकीकृत ढांचा प्रदान करता है।
कुशल कार्यान्वयन: L2O बेसलाइन को कंप्यूट करने के लिए एक $O(B^2)$ वेक्टरकृत एल्गोरिदम, जो LLM पोस्ट-ट्रेनिंग में व्यावहारिक अनुप्रयोग को सक्षम बनाता है।

प्रयोगात्मक परिणाम

लेखक बैंडिट/मेज़ (maze) प्रयोगों और LLM रीजनिंग कार्यों के माध्यम से विधि को सत्यापित करते हैं।

वेरिएंस रिडक्शन: बैंडिट वातावरण में, L2O बेसलाइन कच्चे EI एस्टिमेटर्स की तुलना में ग्रेडिएंट वेरिएंस को काफी कम कर देता है, जिसका प्रभाव एक्शन स्पेस के आकार के बढ़ने के साथ बढ़ता जाता है। LLM ट्रेनिंग (Llama-3.2-3B-Instruct) में, इस विधि ने PKPO (केवल EI बेसलाइन) की तुलना में ग्रेडिएंट वेरिएंस प्रॉक्सी को 77.4% तक कम कर दिया।
प्रदर्शन लाभ: पांच मैथ रीजनिंग बेंचमार्क्स (AIME24, AIME25, AMC23, MATH500, Minerva) पर, MaxPO ने PKPO, GRPO और Entropy-Adv सहित मजबूत बेसलाइन्स को पीछे छोड़ दिया।
- Qwen2.5-Math-7B पर, MaxPO ने PKPO की तुलना में task-average pass@256 में 5.2% का सुधार किया।
- Llama-3.2-3B-Instruct पर, इसने PKPO की तुलना में pass@256 में 2.4% का सुधार किया।
इन्फरेंस कंप्यूट स्केलिंग: MaxPO के प्रदर्शन लाभ उच्च इन्फरेंस कंप्यूट स्तरों (pass@k में बड़ा k) पर सबसे अधिक स्पष्ट थे, जो सुझाव देते हैं कि यह विधि पॉलिसी को अतिरिक्त टेस्ट-टाइम सैंपल्स का बेहतर उपयोग करने में मदद करती है।

महत्व और दावे

शोध पत्र का दावा है कि MaxPO max@K जैसे इन्फरेंस-टाइम उद्देश्यों के लिए पॉलिसी-ग्रेडिएंट एस्टिमेटर्स को डिजाइन करने और तुलना करने के लिए एक सिद्धांतिक आधार (principled foundation) प्रदान करता है। कैनोनिकल एडवांटेज फॉर्म की पहचान करके और मौजूदा एस्टिमेटर्स के बायस को ठीक करके, यह कार्य पोस्ट-ट्रेनिंग रीजनिंग मॉडल्स की दक्षता और स्थिरता में सुधार करने के लिए एक विधि प्रदान करता है।

लेखक विनम्रतापूर्वक नोट करते हैं कि उनका विश्लेषण i.i.d. सैंपलिंग के तहत फाइनाइट-बैच, ऑन-पॉलिसी एस्टीमेशन पर केंद्रित है। वे भविष्य के कार्यों के रूप में ऑफ-पॉलिसी ट्रेनिंग, एडैप्टिव सैंपलिंग और सह-संबंधित जनरेशन वाले सेटिंग्स के संबंध में सीमाओं को स्वीकार करते हैं। इसके अलावा, वे इस बात पर प्रकाश डालते हैं कि हालांकि यह विधि अनुकूलन (optimization) में सुधार करती है, बार-बार सैंपलिंग वाले रीजनिंग उद्देश्यों के बेहतर अनुकूलन के व्यापक प्रभाव हो सकते हैं, जो संभावित रूप से उन मॉडल्स को मजबूत कर सकते हैं जिनका दुरुपयोग भ्रामक सहायता या स्वचालित समस्या समाधान के लिए किया जा सकता है।