🤖 machine learning

Maximum Likelihood Reinforcement Learning

यह शोध पत्र मैक्सिमम लाइकलीहुड रिइन्फोर्समेंट लर्निंग (MaxRL) प्रस्तुत करता है, जो एक नवीन ढांचा है जो अपेक्षित-पुरस्कार (expected-reward) RL और मैक्सिमम लाइकलीहुड के बीच के अंतर को पाटते हुए एक कंप्यूट-इंडेक्स्ड ऑब्जेक्टिव प्रदान करता है जो मौजूदा विधियों पर पारेटो-डोमिनेट करता है और टेस्ट-टाइम स्केलिंग दक्षता में महत्वपूर्ण सुधार करता है।

मूल लेखक: Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

प्रकाशित 2026-08-21

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Fahim Tajwar, Guanning Zeng, Yueer Zhou, Yuda Song, Daman Arora, Yiding Jiang, Jeff Schneider, Ruslan Salakhutdinov, Haiwen Feng, Andrea Zanette

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटर को सोचने का तरीका सिखाने के दो प्रमुख तरीके हैं। पहला एक सख्त शिक्षक की तरह है जो हर सवाल के लिए सही जवाब प्रदान करता है, जिससे छात्र अपने काम की तुलना एक 'की' (key) से कर सके और उसके अनुसार अपनी समझ को सुधार सके। यह विधि, जिसे 'सुपरवाइज्ड लर्निंग' (supervised learning) कहा जाता है, आज हमारे द्वारा उपयोग किए जाने वाले सबसे प्रभावशाली इमेज रिकग्निज़र और भाषा उपकरणों को शक्ति प्रदान करती है। दूसरा दृष्टिकोण एक बच्चे के चलने सीखने की प्रक्रिया जैसा है: यहाँ कोई उत्तर कुंजी नहीं है, केवल वातावरण ही एकमात्र आधार है। सीखने वाला एक कदम उठाता है, गिरता है, फिर से प्रयास करता है, और अंततः अपने कार्यों के परिणामों को महसूस करके संतुलन बनाना सीख जाता है। यह 'रिनफोर्समेंट लर्निंग' (reinforcement learning) है, एक ऐसी विधि जिसे उन स्थितियों के लिए डिज़ाइन किया गया है जहाँ समाधान का मार्ग डेटा की सीधी रेखा नहीं, बल्कि विकल्पों की एक श्रृंखला है जो एक अंतिम परिणाम की ओर ले जाती है। वर्षों तक, जब एआई सिस्टमों को उन समस्याओं का सामना करना पड़ा जहाँ एकमात्र फीडबैक अंत में मिलने वाला एक सरल "हाँ" या "ना" था—जैसे कि गणित की समस्या को हल करना या भूलभुलैया (maze) से बाहर निकलना—शोधकर्ताओं ने इसी दूसरे तरीके पर भरोसा किया। उन्होंने समस्या को पुरस्कारों को अधिकतम करने के एक खेल के रूप में माना, यह मानते हुए कि यदि एआई को पर्याप्त "हाँ" संकेत मिल जाएं, तो वह सफल होना सीख जाएगा।

एक नया अध्ययन इस लंबे समय से चली आ रही धारणा को चुनौती देता है, यह सुझाव देते हुए कि इन प्रणालियों को सिखाने का मानक तरीका वास्तव में एक बहुत अधिक शक्तिशाली, लेकिन पहले तक अप्राप्य, सिद्धांत का एक मोटा अनुमान मात्र है। विभिन्न विश्वविद्यालयों के शोधकर्ताओं ने पाया कि जब एक एआई मॉडल सही उत्तर उत्पन्न करता है, तो वह अप्रत्यक्ष रूप से सफलता की एक संभावना (probability) बना रहा होता है। एक आदर्श दुनिया में, मॉडल को प्रशिक्षित करने का सबसे अच्छा तरीका इस संभावना को सीधे अधिकतम करना होगा, जिसे 'मैक्सिमम लाइकलीहुड' (maximum likelihood) की अवधारणा कहा जाता है। हालाँकि, क्योंकि उत्तर उत्पन्न करने की प्रक्रिया में अक्सर अप्रत्याशित चरण शामिल होते हैं जिन्हें कंप्यूटर की आंतरिक गणितीय गणनाओं द्वारा आसानी से मापा नहीं जा सकता, इसलिए वैज्ञानिक मजबूरन रिनफोर्समेंट लर्निंग के "खेल" वाले दृष्टिकोण का उपयोग करते रहे हैं। नया कार्य सिद्ध करता है कि यह मानक दृष्टिकोण वास्तविक लक्ष्य का केवल एक प्रथम-क्रम (first-order) अनुमान है। यह उस सूक्ष्म, महत्वपूर्ण जानकारी को छोड़ देता है जो उन दुर्लभ क्षणों में छिपी होती है जब मॉडल संघर्ष करता है लेकिन अंततः सफल हो जाता है। एक नया प्रशिक्षण ढांचा विकसित करके जिसे 'मैक्सिमम लाइकलीहुड रिनफोर्समेंट लर्निंग' या 'मैक्स आरएल' (MaxRL) कहा जाता है, टीम ने इस अंतर को पाटने का एक तरीका खोज लिया है, जिससे सिस्टम को अपनी सफलताओं से उस सटीकता के साथ सीखने में मदद मिलती है जो पहले असंभव थी।

इस खोज का मूल आधार यह है कि कंप्यूटर अपनी गलतियों और अपनी जीत को कैसे तौलता है। पारंपरिक विधि में, हर बार जब मॉडल एक सही उत्तर देता है, तो उसे एक पुरस्कार मिलता है, और सिस्टम अपने आंतरिक सेटिंग्स को इस तरह समायोजित करता है कि वह परिणाम अधिक संभावित हो जाए। हालाँकि, यह विधि सही उत्तर को इस बात की परवाह किए बिना समान मानती है कि समस्या कितनी कठिन थी। यदि मॉडल एक सरल पहेली और एक जटिल पहेली को समान सहजता से हल करता है, तो पारंपरिक प्रणाली दोनों को समान श्रेय देती है। नया शोध बताता है कि यह अक्षम है। वास्तविक लक्ष्य सही होने की संभावना को अधिकतम करना है, जो गणितीय रूप से यह मांग करता है कि सिस्टम उन कठिन समस्याओं पर बहुत अधिक ध्यान दे जहाँ सफलता दुर्लभ है। मानक विधि ऐसा करने में विफल रहती है क्योंकि यह केवल औसत सफलता दर को देखती है। नया ढांचा, MaxRL, गणना को बदलकर पूरे प्रयासों के इतिहास को देखता है। यह पूछता है: "यदि हम इस समस्या को कई बार आजमाते, तो हम कितनी बार सही होते?" कई प्रयासों में सफलता की आवृत्ति का विश्लेषण करके, सिस्टम समस्या की वास्तविक कठिनाई का अनुमान लगा सकता है और उसके अनुसार अपनी सीख को समायोजित कर सकता है।

इस विचार का परीक्षण करने के लिए, शोधकर्ताओं ने एक ऐसा सिस्टम बनाया जो इस अधिक परिष्कृत सीखने की प्रक्रिया का अनुकरण कर सके। उन्होंने उद्देश्यों का एक परिवार बनाया जिसे एक डायल (dial) की तरह ट्यून किया जा सकता है। डायल के एक छोर पर, सिस्टम आज उपयोग की जाने वाली मानक रिनफोर्समेंट लर्निंग विधियों की तरह व्यवहार करता है। दूसरे छोर पर, यह आदर्श 'मैक्सिमम लाइकलीहुड' ट्रेनर की तरह व्यवहार करता है, जो सैद्धांतिक रूप से तो पूर्ण है लेकिन आमतौर पर चलाना असंभव है। बीच में, यह डायल सिस्टम को प्रत्येक समस्या के कई प्रयास उत्पन्न करने के लिए अधिक कंप्यूटिंग शक्ति का उपयोग करने की अनुमति देता है ताकि वह एक बेहतर, अधिक सटीक अनुमान प्राप्त कर सके। टीम ने पाया कि जैसे-जैसे उन्होंने प्रत्येक समस्या के कई प्रयास उत्पन्न करने के लिए समर्पित कंप्यूटिंग शक्ति बढ़ाई, सिस्टम का प्रदर्शन नाटकीय रूप से सुधर गया। यह केवल यह नहीं था कि सिस्टम अधिक स्थिर हो गया; बल्कि जो वह सीख रहा था, उसका स्वरूप ही बदल गया। इसने उन कठिन समस्याओं पर तीव्रता से ध्यान केंद्रित करना शुरू कर दिया जिन्हें पुराने तरीकों ने अनदेखा कर दिया था, जिससे कार्य की बहुत गहरी समझ विकसित हुई।

इस दृष्टिकोण के परिणाम विभिन्न परीक्षणों में उल्लेखनीय रहे। एक नियंत्रित वातावरण में जहाँ शोधकर्ता सीधे आदर्श के विरुद्ध नए तरीके की तुलना कर सकते थे, नया सिस्टम जैसे-जैसे अधिक कंप्यूटिंग शक्ति जोड़ी गई, आदर्श ट्रेनर के प्रदर्शन के करीब पहुँच गया। इसके विपरीत, मानक विधियाँ एक सीमा पर आकर रुक गईं, और भारी मात्रा में डेटा दिए जाने के बावजूद महत्वपूर्ण प्रगति करने में विफल रहीं। जब टीम ने भूलभुलैया और गणितीय समस्याओं को हल करने जैसे अधिक जटिल, वास्तविक दुनिया के परिदृश्यों में कदम रखा, तो लाभ और भी स्पष्ट हो गया। गणितीय तर्क (mathematical reasoning) से जुड़े कार्यों में, नए तरीके ने वर्तमान अत्याधुनिक (state-of-the-art) विधियों की तुलना में बीस गुना अधिक कुशलता से प्रदर्शन में वृद्धि हासिल की। इसका अर्थ यह है कि समान स्तर का कौशल प्राप्त करने के लिए, नए सिस्टम को बहुत कम प्रयासों और कम कंप्यूटिंग समय की आवश्यकता पड़ी। सबसे महत्वपूर्ण बात यह है कि नया तरीका उस "ओवरफिटिंग" (overfitting) की समस्या से ग्रस्त नहीं हुआ जो अक्सर इन सिस्टमों को परेशान करती है, जहाँ एक मॉडल प्रशिक्षण डेटा को इतनी अच्छी तरह से याद कर लेता है कि वह नई, अनदेखी समस्याओं पर विफल हो जाता है। जबकि अन्य विधियों में समय के साथ विविध, सही समाधान उत्पन्न करने की क्षमता कम होती देखी गई, नए ढांचे ने सही उत्तरों की एक स्वस्थ विविधता बनाए रखी, जो यह दर्शाता है कि यह केवल पैटर्न को याद करने के बजाय अंतर्निहित तर्क को वास्तव में सीख रहा था।

इस कार्य के निहितार्थ केवल एआई को स्मार्ट बनाने तक ही सीमित नहीं हैं; यह मशीन लर्निंग की सीमाओं के बारे में हमारी सोच को बदल देता है। लंबे समय से, जटिल तर्क कार्यों पर इन सिस्टमों को प्रशिक्षित करने की कठिनाई के लिए एल्गोरिदम या डेटा की कमी को जिम्मेदार ठहराया जाता रहा है। यह अध्ययन सुझाव देता है कि बाधा वास्तव में 'ऑब्जेक्टिव फंक्शन' (objective function) थी—वह गणितीय लक्ष्य जिसे सिस्टम प्राप्त करने की कोशिश कर रहा था। औसत पुरस्कार को अधिकतम करने के बजाय सफलता की संभावना को अधिकतम करने के लक्ष्य को बदलकर, शोधकर्ताओं ने दक्षता के एक नए स्तर को अनलॉक किया है। सिस्टम अब केवल सही उत्तर का अनुमान नहीं लगा रहा है; यह सफलता की संभावना को समझने के लिए सीख रहा है, जो मानव सीखने के तरीके की नकल करता है जहाँ जीत दुर्लभ और कठिन होती है। शोधकर्ता नोट करते हैं कि यह दृष्टिकोण तब सबसे अच्छा काम करता है जब किसी उत्तर के सही होने की पुष्टि करने का एक स्पष्ट तरीका हो, जैसे कि गणित या कोडिंग में, लेकिन इसके सिद्धांत अन्य क्षेत्रों में भी लागू हो सकते हैं जहाँ परिणाम बाइनरी (binary) होता है। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस अधिक जटिल और अमूर्त समस्याओं को हल करना जारी रखता है, विरल फीडबैक (sparse feedback) से कुशलतापूर्वक सीखना अत्यंत महत्वपूर्ण होगा। यह नया ढांचा एक मार्ग प्रशस्त करता है, जो दिखाता है कि सफलता को परिभाषित करने के तरीके को परिष्कृत करके, हम मशीनों को न केवल तेजी से, बल्कि बेहतर तरीके से सीखना सिखा सकते हैं।

तकनीकी सारांश: मैक्सिमम लाइकलीहुड रीइन्फोर्समेंट लर्निंग (MaxRL)

समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट लर्निंग (RL), उन सेटिंग्स में मॉडल को प्रशिक्षित करने के लिए एक मानक प्रतिमान (paradigm) है जहाँ ऑब्जेक्टिव फंक्शन नॉन-डिफरेंशिएबल (non-differentiable) होता है और इसे केवल सैंपलिंग के माध्यम से ही मूल्यांकित किया जा सकता है, जैसे कि बाइनरी सफलता/विफलता परिणामों वाले कार्य (जैसे, प्रोग्राम सिंथेसिस, गणितीय तर्क, नेविगेशन)। इन परिदृश्यों में, मॉडल एक दिए गए इनपुट $x$ के लिए शुद्धता की एक निहित संभावना (implicit likelihood), $p_\theta(y^*(x) | x)$ , प्रेरित करता है। जबकि मैक्सिमम लाइकलीहुड (ML) डिफरेंशिएबल सेटिंग्स में इन संभावनाओं को अनुकूलित करने के लिए एक सिद्धांत-आधारित उद्देश्य है, यहाँ यह नॉन-डिफरेंशिएबल स्टोकेस्टिक जनरेशन प्रक्रिया के कारण पारंपरिक रूप से कठिन (intractable) है। फलस्वरूप, अभ्यासकर्ता मानक RL का सहारा लेते हैं, जो अपेक्षित इनाम (अपेक्षित पास रेट, $E[p_\theta]$ ) को अनुकूलित करता है, न कि लॉग-लाइक्लीहुड ( $E[\log p_\theta]$ ) को।

लेखक देखते हैं कि मानक RL और ML मौलिक रूप से भिन्न अनुकूलन व्यवहार (optimization behaviors) प्रेरित करते हैं। विशेष रूप से, ML ऑब्जेक्टिव का ग्रेडिएंट एक इनवर्स-प्रोबेबिलिटी रीवेटिंग ( $1/p_\theta$ ) शामिल करता है, जो "कठिन" इनपुट्स पर अधिक जोर देता है जिनकी सफलता की संभावना कम होती है। इसके विपरीत, मानक RL ग्रेडिएंट्स ( $\nabla p_\theta$ ) सभी इनपुट्स को रैखिक रूप से देखते हैं, जिससे अक्सर कठिन मामलों को कम महत्व दिया जाता है। यह विसंगति बताती है कि RL केवल नॉन-डिफरेंशिएबिलिटी के लिए एक वर्कअराउंड है, न कि शुद्धता-आधारित कार्यों के लिए इष्टतम उद्देश्य।

कार्यप्रणाली: मैक्सिमम लाइकलीहुड रीइन्फोर्समेंट लर्निंग (MaxRL)

यह शोध पत्र मैक्सिमम लाइकलीहुड रीइन्फोर्समेंट लर्निंग (MaxRL) पेश करता है, जो बढ़ी हुई सैंपलिंग कंप्यूट का लाभ उठाकर मानक अपेक्षित-इनाम RL और सटीक मैक्सिमम लाइकलीहुड के बीच के अंतर को पाटता है।

सैद्धांतिक आधार (Theoretical Foundation)

लेखक विफलता घटनाओं के संदर्भ में मैकलॉरिन सीरीज़ (Maclaurin series) का उपयोग करके मैक्सिमम लाइकलीहुड ऑब्जेक्टिव का एक जनसंख्या-स्तरीय विस्तार व्युत्पन्न करते हैं। एक पास रेट $p$ के लिए, लॉग-लाइक्लीहुड है:
$\log p = -\sum_{k=1}^{\infty} \frac{(1-p)^k}{k} = -\sum_{k=1}^{\infty} \frac{\text{fail@}k}{k}$
इसका अवकलन (differentiation) करने से ML ग्रेडिएंट प्राप्त होता है जो pass@k ग्रेडिएंट्स का एक अनंत हार्मोनिक मिश्रण है:
$\nabla_\theta J_{ML} = \sum_{k=1}^{\infty} \frac{1}{k} \nabla_\theta \text{pass@}k$
मानक RL पहले-क्रम के सन्निकटन (first-order approximation) के अनुरूप है ( $k=1$ ), जो केवल $\nabla_\theta \text{pass@}1$ को अनुकूलित करता है। MaxRL इस सीरीज़ को एक परिमित क्रम $T$ पर ट्रंकेट (truncate) करने का प्रस्ताव करता है, जो $J_{MaxRL}^{(T)}$ नामक ऑब्जेक्टिव्स का एक परिवार बनाता है जो RL ( $T=1$ ) और सटीक ML ( $T \to \infty$ ) के बीच इंटरपोलेट करता है।

ग्रेडिएंट एस्टीमेशन (Gradient Estimation)

कम पास रेट के लिए एडैप्टिव सैंपलिंग (जो कम्प्यूटेशनल रूप से महंगी है) के बिना इन ट्रंकेटेड ऑब्जेक्टिव्स का अनुमान लगाने के लिए, लेखक एक सरल ऑन-पॉलिसी एस्टीमेटर प्रस्तावित करते हैं।

सैंपलिंग: एक दिए गए इनपुट के लिए, पॉलिसी $m_\theta$ से $N$ ट्राजेक्टरीज $z_1, \dots, z_N$ सैंपल करें।
सफलता की स्थिति (Success Conditioning): सफल ट्राजेक्टरीज की पहचान करें जहाँ $f(z_i) = y^*(x)$ है। मान लीजिए $K$ सफलताओं की संख्या है।
एस्टीमेटर: ग्रेडिएंट एस्टीमेटर स्कोर फंक्शन्स ( $\nabla_\theta \log m_\theta(z_i|x)$ ) का औसत निकालता है, लेकिन केवल सफल ट्राजेक्टरीज पर, जिसे $K$ द्वारा नॉर्मलाइज किया जाता है:
$\hat{g}_N(x) = \frac{1}{K} \sum_{i=1}^N r_i S_i \quad (\text{यदि } K \ge 1)$
जहाँ $r_i$ बाइनरी रिवॉर्ड है और $S_i$ स्कोर है।
वेरिएंस रिडक्शन (Variance Reduction): वेरिएंस को कम करने के लिए एक कंट्रोल वेरिएट (अनकंडीशनल एवरेज स्कोर) को घटाया जाता है, जिसके परिणामस्वरूप अंतिम एस्टीमेटर प्राप्त होता है जिसका उपयोग एल्गोरिदम 1 में किया गया है।

मुख्य अंतर्दृष्टि (Key Insight): थ्योरम 2 स्थापित करता है कि यह एस्टीमेटर $T=N$ (या बेसलाइन घटाने के साथ $T=N-1$ ) के ट्रंकेटेड ML ऑब्जेक्टिव के लिए एक अनबायस्ड एस्टीमेटर (unbiased estimator) है। महत्वपूर्ण रूप से, रोलआउट की संख्या $N$ को बढ़ाने से केवल एक निश्चित ऑब्जेक्टिव का वेरिएंस कम नहीं होता; बल्कि यह स्वयं ऑब्जेक्टिव के एप्रोक्सिमेशन ऑर्डर (approximation order) को बढ़ाता है, जिससे अनुकूलन लक्ष्य वास्तविक मैक्सिमम लाइकलीहुड के करीब पहुँच जाता है।

कार्यान्वयन (Implementation)

MaxRL के लिए मानक ऑन-पॉलिसी RL कार्यान्वयन (जैसे RLOO या GRPO) में केवल एक पंक्ति के संशोधन की आवश्यकता होती है। एडवांटेज को कुल सैंपल्स या स्टैंडर्ड डेविएशन द्वारा नॉर्मलाइज करने के बजाय, एडवांटेज को मीन रिवॉर्ड (या सफल सैंपल्स की संख्या) द्वारा नॉर्मलाइज किया जाता है, जो प्रभावी रूप से ग्रेडिएंट सिग्नल को ML ऑब्जेक्टिव से मेल खाने के लिए रीवेट करता है।

मुख्य योगदान (Key Contributions)

औपचारिकीकरण (Formalization): शोध पत्र शुद्धता-आधारित RL को एक लेटेंट-जनरेशन मैक्सिमम लाइकलीहुड समस्या के रूप में औपचारिक रूप देता है, और सिद्ध करता है कि मानक RL केवल ML ऑब्जेक्टिव के प्रथम-क्रम सन्निकटन को अनुकूलित करता है।
कंप्यूट-इंडेक्स्ड ऑब्जेक्टिव्स (Compute-Indexed Objectives): यह pass@k घटनाओं में मैकलॉरिन एक्सपेंशन के माध्यम से अपेक्षित रिवॉर्ड और सटीक ML के बीच इंटरपोलेट करने वाले ऑब्जेक्टिव्स का एक परिवार पेश करता है, जिसे सैंपलिंग कंप्यूट बजट द्वारा नियंत्रित किया जाता है।
एस्टीमेटर-ऑब्जेक्टिव इक्विवेलेंस (Estimator-Objective Equivalence): यह एक सरल, अनबायस्ड ऑन-पॉलिसी एस्टीमेटर प्रदान करता है जहाँ रोलआउट काउंट $N$ को बढ़ाने से सीधे अनुमानित लाइकलीहुड ऑब्जेक्टिव की फिडेलिटी (fidelity) में सुधार होता है, न कि केवल वेरिएंस में कमी आती है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोगों से पता चलता है कि MaxRL विभिन्न स्केल्स और डेटा रेजिम्स में मौजूदा तरीकों (RLOO, GRPO) को पारेटो-डोमिनेट (Pareto-dominate) करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक चार अलग-अलग रेजिम्स में MaxRL का मूल्यांकन करते हैं:

नियंत्रित डिफरेंशिएबल सेटिंग (ImageNet): जब सटीक ML (क्रॉस-एन्ट्रॉपी) उपलब्ध होता है, तो MaxRL रोलआउट की संख्या बढ़ने के साथ उस पर अभिसरण (converge) करता है। इसके विपरीत, मानक REINFORCE भारी सैंपलिंग बजट के बावजूद कम शुरुआती पास रेट से प्रगति करने में विफल रहता है।
इनफिनिट डेटा रेजिम (Maze Navigation): 1M अद्वितीय मेजों (mazes) के साथ डेटा-समृद्ध सेटिंग में, MaxRL, GRPO और RLOO की तुलना में कंप्यूट के साथ काफी बेहतर स्केल करता है। जबकि अन्य विधियाँ स्थिर (plateau) हो जाती हैं, MaxRL सुधार करना जारी रखता है, जो pass@1 और pass@k के बीच एक बड़ा अंतर दिखाता है, जो विविधता और सीखने की क्षमता को बनाए रखता है।
डेटा-दुर्लभ रेजिम (GSM8K): एक निश्चित डेटासेट (GSM8K) पर कई एपोच के लिए प्रशिक्षित होने पर, MaxRL ओवरफिटिंग के प्रति बेहतर प्रतिरोध प्रदर्शित करता है। जबकि RLOO और GRPO "pass@k डिग्रेडेशन" (विविधता की हानि) से जूझते हैं और जल्दी प्लेटो हो जाते हैं, MaxRL कई एपोच तक सुधार बनाए रखता है, उच्च पीक प्रदर्शन प्राप्त करता है और आउटपुट विविधता बनाए रखता है।
लार्ज-स्केल रीजनिंग (Qwen3 Models): गणितीय तर्क कार्यों पर 1.7B और 4B पैरामीटर मॉडल को प्रशिक्षित करते समय, MaxRL, GRPO को पारेटो-डोमिनेट करता है। यह उच्च pass@1 स्कोर प्राप्त करता है और साथ ही pass@k (कवरेज) में भी सुधार करता है। विशेष रूप से, जब एक परफेक्ट वेरीफायर का उपयोग किया जाता है, तो MaxRL, GRPO की तुलना में 20x टेस्ट-टाइम स्केलिंग एफिशिएंसी गेन प्राप्त करता है, क्योंकि इसे समान कवरेज प्राप्त करने के लिए कम सैंपल्स की आवश्यकता होती है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि MaxRL बाइनरी-रिवॉर्ड कार्यों के लिए मानक RL का एक सिद्धांत-आधारित विकल्प प्रदान करता है। इसका प्राथमिक महत्व फाउंडेशन मॉडल RL की सीमाओं को अनुकूलन या सैंपलिंग प्रक्रिया के बजाय ऑब्जेक्टिव के चुनाव के परिणाम के रूप में पुनर्परिभाषित करने में निहित है।

अनुकूलन गतिशीलता (Optimization Dynamics): MaxRL लर्निंग सिग्नल को कठिन प्रॉम्प्ट्स (कम पास रेट) पर केंद्रित करता है, जबकि GRPO और RLOO डिस्ट्रीब्यूशन को चरम सीमाओं (0 या 1) की ओर ले जा सकते हैं।
स्केलिंग (Scaling): MaxRL अतिरिक्त डेटा और कंप्यूट दोनों के साथ बेहतर ढंग से स्केल करता है। डेटा-दुर्लभ सेटिंग्स में, यह लंबे समय तक चलने वाले RL प्रशिक्षण में देखी जाने वाली विविधता के पतन (diversity collapse) से बचता है।
दक्षता (Efficiency): टेस्ट-टाइम लक्ष्य (k सैंपल्स में से कोई भी सही समाधान खोजने की संभावना को अधिकतम करना) के साथ अपने प्रशिक्षण उद्देश्य को संरेखित करके, MaxRL इन्फरेंस दक्षता में भारी सुधार करता है।

लेखक निष्कर्ष निकालते हैं कि MaxRL शुद्धता-आधारित डोमेन में RL को स्केल करने के लिए एक आशाजनक दिशा है, जो बढ़ी हुई सैंपलिंग कंप्यूट के माध्यम से नॉन-डिफरेंशिएबल सेटिंग्स में मैक्सिमम लाइकलीहुड ट्रेनिंग के लाभों को पुनः प्राप्त करने का मार्ग प्रदान करती है।