🤖 machine learning

Emergence of Exploration in Policy Gradient Reinforcement Learning via Retrying

यह शोध पत्र ReMax को प्रस्तुत करता है, जो एक पॉलिसी ग्रेडिएंट ऑब्जेक्टिव है जो अन्वेषण (exploration) को कई प्रयासों के अपेक्षित अधिकतम प्रतिफल (expected maximum return) के रूप में औपचारिक रूप देता है, जिससे RePPO का विकास होता है—एक PPO वेरिएंट जो इस ऑब्जेक्टिव को एक निरंतर पुन: प्रयास पैरामीटर (continuous retry parameter) के साथ अनुकूलित करके बिना किसी स्पष्ट बोनस टर्म के प्रभावी, उभरते हुए स्टोकेस्टिक अन्वेषण को प्राप्त करता है।

मूल लेखक: Soichiro Nishimori, Paavo Parmas, Sotetsu Koyamada, Tadashi Kozuno, Toshinori Kitamura, Shin Ishii, Yutaka Matsuo

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Soichiro Nishimori, Paavo Parmas, Sotetsu Koyamada, Tadashi Kozuno, Toshinori Kitamura, Shin Ishii, Yutaka Matsuo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसे शहर में एक नए कॉफी शॉप तक पहुँचने का सबसे अच्छा रास्ता खोजने की कोशिश कर रहे हैं जिसे आपने पहले कभी नहीं देखा है। आपके पास एक नक्शा है, लेकिन वह अधूरा है।

पुराना तरीका (Standard RL):
अधिकांश रीइन्फोर्समेंट लर्निंग (RL) एजेंट एक घबराए हुए पर्यटक की तरह व्यवहार करते हैं। वे एक रास्ता आज़माते हैं, बुरा परिणाम मिलता है, और तुरंत घबरा जाते हैं। उन्हें एक ही जगह फंसने से रोकने के लिए, शोधकर्ता आमतौर पर उन्हें नए, अजीब रास्ते आज़माने के लिए एक "बोनस" या "इनाम" देते हैं। यह एक माता-पिता की तरह है जो कहते हैं, "अगर तुम एक अलग गली आज़माओगे, तो मैं तुम्हें एक कुकी दूँगा," भले ही वह गली किसी बंद गली (dead end) की ओर ले जाए। एजेंट केवल "कुकी" के कारण खोज (explore) करता है, इसलिए नहीं कि वह समझदार है।

नया विचार (ReMax):
यह पेपर ReMax नामक एक अलग दृष्टिकोण प्रस्तावित करता है। एक "कुकी" देने के बजाय कि नई चीज़ें आज़माने के लिए इनाम दिया जाए, ReMax इस बात को बदल देता है कि एजेंट सफलता के बारे में कैसे सोचता है।

मूल विचार सरल है: अपने निर्णय का आकलन केवल एक प्रयास के आधार पर न करें; इसे कई प्रयासों में से अपने सबसे अच्छे प्रयास के आधार पर परखें।

"रिट्राय" (दोबारा प्रयास) का रूपक

कल्पना कीजिए कि आप एक बहुविकल्पीय (multiple-choice) परीक्षा दे रहे हैं।

Standard RL: आप एक उत्तर चुनते हैं, और बस हो गया। यदि आपने गलत चुना, तो आपको शून्य अंक मिलते हैं। आप अनुमान लगाने से डरते हैं, इसलिए आप केवल वही उत्तर चुनते हैं जिसके बारे में आप 100% सुनिश्चित हैं (भले ही वह गलत हो)।
ReMax: कल्पना कीजिए कि शिक्षक कहते हैं, "आपको एक उत्तर चुनने का मौका मिलता है, लेकिन अगर आप गलत होते हैं, तो आपको 5 बार तक दोबारा प्रयास (retry) करने का मौका मिलता है। आपका स्कोर उन 5 प्रयासों में से आपके सबसे अच्छे उत्तर पर आधारित होगा।"

अचानक, रणनीति बदल जाती है!

यदि आप 100% सुनिश्चित हैं, तो आप हर बार वही उत्तर चुनते हैं।
लेकिन यदि आप अनिश्चित हैं (शायद दो उत्तरों के बीच 50/50 का अंतर है), तो आप केवल एक को चुनकर उम्मीद नहीं करते। आप अपने दांव फैलाते हैं। आप एक विकल्प आज़माते हैं, और यदि वह विफल हो जाता है, तो आप दूसरा विकल्प आज़माते हैं। क्योंकि आपको अपना सबसे अच्छा परिणाम रखने का मौका मिलता है, इसलिए एक जोखिम भरा विकल्प आज़माना एक स्मार्ट कदम बन जाता है। आप "कुकी" के कारण खोज (explore) नहीं कर रहे हैं; आप खोज रहे हैं क्योंकि दोबारा प्रयास करना जोखिम भरे रास्ते को सुरक्षित बनाता है।

पेपर में यह कैसे काम करता है

लेखकों ने, जिनका नेतृत्व सोइचिरो निशिमोरी और पावो पारमास ने किया है, इस "रिट्राय" अंतर्ज्ञान को ReMax नामक एक गणितीय सूत्र में औपचारिक रूप दिया।

"M" कारक: उन्होंने एक संख्या पेश की, M, जो यह दर्शाती है कि आपको कितनी बार "दोबारा प्रयास" करने या एक्शन लेने का मौका मिलता है।
- यदि M = 1, तो यह पुराना तरीका है: एक शॉट, एक स्कोर। एजेंट लालची हो जाता है और खोज करना बंद कर देता है।
- यदि M > 1, तो एजेंट को एहसास होता है कि यदि वह कुछ अलग चीजें आज़माता है, तो वह भाग्यशाली हो सकता है और उच्च इनाम प्राप्त कर सकता है। यह स्वाभाविक रूप से एजेंट को बिना किसी अतिरिक्त "बोनस" अंकों के, अलग-अलग क्रियाएं आज़माने (explore करने) के लिए प्रोत्साहित करता है।
"कंटीन्यूअस" (सतत) मोड़: वास्तविक दुनिया में, आप हमेशा ठीक 2 या 3 बार दोबारा प्रयास नहीं कर सकते। इसलिए, उन्होंने रिट्राय काउंट को एक स्मूथ डायल (एक निरंतर संख्या m) में बदल दिया।
- डायल को ऊपर घुमाने से (उच्च m) एजेंट अधिक साहसी और अजीब चीजें आज़माने के लिए तैयार हो जाता है।
- डायल को नीचे घुमाने से (कम m) एजेंट अधिक सतर्क और जो वह पहले से जानता है उस पर केंद्रित हो जाता है।
- यह AI को जिज्ञासा के लिए एक "बारीक नियंत्रण" (fine-grained control) वाला नॉब देता है।
"RePPO" इंजन: जटिल वीडियो गेम (जैसे MinAtar और Craftax) में इसे काम करने के लिए, उन्होंने एक लोकप्रिय AI एल्गोरिदम का एक नया संस्करण बनाया, जिसे उन्होंने RePPO नाम दिया।
- केवल एक "जिज्ञासा बोनस" (जैसे नई जगहों पर जाने के लिए नकली इनाम) जोड़ने के बजाय, RePPO केवल "M प्रयासों में से सर्वश्रेष्ठ" के लिए अनुकूलित (optimize) होता है।
- परिणाम: उनके प्रयोगों में, RePPO ने मानक तरीकों की तुलना में गेम खेलने में बेहतर प्रदर्शन किया। इसने अपनी "जिज्ञासा" (चुनावों में उच्च यादृच्छिकता/randomness) को स्वाभाविक रूप से बनाए रखा, बिना उन अतिरिक्त "कुकी" बोनस के जिन पर अन्य तरीके निर्भर करते हैं।

मुख्य निष्कर्ष

पेपर का दावा है कि खोज (exploration) को बाहरी पुरस्कारों के साथ मजबूर करने की आवश्यकता नहीं है। यदि आप केवल लक्ष्य को बदलकर "कुछ प्रयासों में से अपने सर्वश्रेष्ठ संभव परिणाम को अधिकतम करना" कर देते हैं, तो एजेंट स्वाभाविक रूप से यह समझ जाता है कि जीत हासिल करने का सबसे स्मार्ट तरीका अलग-अलग चीजें आज़माना है।

यह एक बच्चे को बताने जैसा है, "आपको पहली बार में सही होने की ज़रूरत नहीं है; बस कुछ प्रयासों के बाद मुझे अपना सबसे अच्छा प्रयास दिखाओ।" बच्चा स्वाभाविक रूप से पहेली को हल करने के विभिन्न तरीकों के साथ प्रयोग करना शुरू कर देता है, इसलिए नहीं कि आपने उसे रिश्वत दी, बल्कि इसलिए क्योंकि खेल के नियम प्रयोग करने को जीतने की रणनीति बनाते हैं।

तकनीकी सारांश: रिट्राइंग (Retrying) के माध्यम से पॉलिसी ग्रेडिएंट सुदृढीकरण शिक्षण (Reinforcement Learning) में अन्वेषण का उद्भव

1. समस्या विवरण

सुदृढीकरण शिक्षण (RL) में, अन्वेषण (Exploration) आमतौर पर रिवॉर्ड सिग्नल में स्पष्ट बोनस (जैसे कि एंट्रॉपी, क्यूरियोसिटी, या काउंट-आधारित बोनस) जोड़ने या पोस्टीरियर सैंपलिंग विधियों का उपयोग करने से संचालित होता है। लेखक एक अलग तंत्र का प्रस्ताव करते हैं: अन्वेषण को रिट्राइंग (Retrying) के माध्यम से अनिश्चितता के तहत पुरस्कारों को अधिकतम करने की एजेंट की आवश्यकता से स्वाभाविक रूप से उत्पन्न होना चाहिए।

मूल अंतर्ज्ञान यह है कि ऐसे वातावरण में जहाँ एक एजेंट कार्यों को पुनः प्रयास (retry) कर सकता है या समान अवस्थाओं (states) का सामना कर सकता है, एक 'ग्रीडी' पॉलिसी उप-इष्टतम (suboptimal) है यदि वह आगामी प्रयासों में उच्च रिटर्न की संभावना को अनदेखा करती है। पुनः प्रयास करने के अवसर के बिना, तर्कसंगत विकल्प वह कार्य है जो वर्तमान में उच्चतम रिवॉर्ड देने का विश्वास रखता है। हालांकि, अनिश्चितता के तहत, एक ऐसी पॉलिसी जो अनिश्चितता के विरुद्ध बचाव करने के लिए वैकल्पिक कार्यों का अन्वेषण करती है, कई परीक्षणों (trials) में उच्च अपेक्षित अधिकतम (expected maximum) रिटर्न प्राप्त कर सकती है। मौजूदा तरीकों को अनिश्चितता का अनुमान लगाने या बोनस बनाने के लिए जटिल सहायक मॉडलों की आवश्यकता होती है; यह शोध पत्र पूछता है कि क्या अन्वेषण को विशुद्ध रूप से एक रिवॉर्ड-आधारित उद्देश्य को अनुकूलित करके प्रेरित किया जा सकता है जो रिट्राइंग के मूल्य को औपचारिक रूप देता है।

2. कार्यप्रणाली (Methodology)

2.1 ReMax उद्देश्य (The ReMax Objective)

लेखक ReMax (Retry Maximum) प्रस्तावित करते हैं, जो एक एकल परीक्षण के अपेक्षित रिटर्न के बजाय $M$ स्वतंत्र नमूनों (trials) के अपेक्षित अधिकतम (expected maximum) के आधार पर एक पॉलिसी $\pi$ का मूल्यांकन करता है।

एक बैंडिट सेटिंग में जहाँ एक्शन वैल्यू $\mu$ और इन वैल्यूज पर एक वितरण $\Pi$ (जो एपिस्टेमिक अनिश्चितता को दर्शाता है) है, ReMax उद्देश्य को इस प्रकार परिभाषित किया गया है:
$J^M_{\text{ReMax}}(\pi) := \mathbb{E}_{\mu \sim \Pi} \left[ \mathbb{E}_{A^{[M]} \sim \pi} \left[ \max_{m \in [M]} \mu_{A_m} \mid \mu \right] \right]$
जहाँ $A^{[M]}$ पॉलिसी $\pi$ से $M$ स्वतंत्र ड्रॉ (draws) का प्रतिनिधित्व करता है।

तंत्र (Mechanism): $M$ ड्रॉ के अपेक्षित अधिकतम को अधिकतम करके, यह उद्देश्य पॉलिसी को उन कार्यों को संभाव्यता द्रव्यमान (probability mass) आवंटित करने के लिए प्रोत्साहित करता है जो उच्च रिवॉर्ड दे सकते हैं, भले ही वे वर्तमान में अनुमानित माध्य (mean) अधिकतम न हों। यह अनिश्चितता के विरुद्ध बचाव करने के लिए स्टोकेस्टिसिटी (stochasticity/अन्वेषण) को एक उभरते हुए गुण के रूप में प्रेरित करता है।
निश्चयात्मक मामला (Deterministic Case): निश्चित रिवॉर्ड्स के साथ भी, ReMax उद्देश्य की ज्यामिति (geometry) को नया आकार देता है। रिट्राइंग पैरामीटर $M$ को बढ़ाने से ऑप्टिमम के पास ग्रेडिएंट समतल हो जाता है, जिससे अभिसरण (convergence) धीमा हो जाता है और अन्वेषण बना रहता है, जबकि छोटा $M$ अपडेट को तेज करता है।

2.2 RL (MDPs) में विस्तार

मार्कोव डिसीजन प्रोसेस (MDPs) में ReMax का विस्तार करना चुनौतियाँ प्रस्तुत करता है:

अनिश्चितता इकाई (Uncertainty Unit): RL में अनिश्चितता पूरे वातावरण (रिवॉर्ड और ट्रांजिशन) को घेरे रहती है।
रिट्राइंग की व्यवहार्यता: एक ही स्टेट से कई कार्यों को पुनः प्रयास करने के लिए भौतिक रूप से वातावरण को रीसेट करना अक्सर अव्यवहारिक होता है।

इसे संबोधित करने के लिए, लेखक ReMax उद्देश्य को एक Q-फंक्शन $Q^\pi_M(s, a)$ का उपयोग करके परिभाषित करते हैं, जो अपेक्षित एपिसोडिक रिटर्न का प्रतिनिधित्व करता है। उद्देश्य को स्टेट $s$ पर Q-वैल्यूज के $M$ ड्रॉ के अपेक्षित अधिकतम के रूप में तैयार किया गया है:
$J^M_{\text{ReMax}}(\pi, s, Q) := \mathbb{E}_{Q \sim \mathcal{Q}} \left[ \mathbb{E}_{A^{[M]} \sim \pi} \left[ \max_{m \in [M]} Q(s, A_m) \right] \right]$
यहाँ, वितरण $\mathcal{Q}$ Q-वैल्यूज पर अनिश्चितता (या तो एंसेम्बल्स जैसे स्पष्ट मॉडलिंग के माध्यम से या डीप क्रिटिक्स की नॉन-स्टेशनैरिटी के माध्यम से) को कैप्चर करता है।

2.3 पॉलिसी ग्रेडिएंट सूत्रीकरण (Policy Gradient Formulation)

ReMax को कुशलतापूर्वक अनुकूलित करने के लिए, लेखक एक नया पॉलिसी ग्रेडिएंट (PG) एस्टिमेटर निकालते हैं जिसे एकल-ट्रैजेक्टरी रिटर्न से गणना योग्य बनाया जा सकता है।

नाइव दृष्टिकोण की विफलता: पॉलिसी ग्रेडिएंट प्रमेय का सीधा अनुप्रयोग सभी $M$ सैंपल किए गए कार्यों के लिए रिटर्न देखने की आवश्यकता रखता है, जो एपिसोडिक RL में अव्यवहारिक है।
एक्स्पेक्टेड इम्प्रूवमेंट (EI) पुनर्गठन: लेखक एक बेसलाइन पेश करते हैं जो "एक्स्पेक्टेड इम्प्रूवमेंट" (बायेसियन ऑप्टिमाइज़ेशन से लिया गया) पर आधारित है। वे मैक्स ऑपरेटर को एक एक्शन-विशिष्ट टर्म और एक बेसलाइन में विभाजित करते हैं जो अन्य $M-1$ ड्रॉ का अधिकतम ( $W_{-m}$ ) को दर्शाता है।
क्लोज्ड-फॉर्म समाधान: Q-वैल्यूज को सॉर्ट करके, वे अपेक्षित सुधार (expected improvement) टर्म के लिए एक क्लोज्ड-फॉर्म अभिव्यक्ति निकालते हैं। यह अनुमति देता है कि ग्रेडिएंट को एकल-ट्रैजेक्टरी रिटर्न $R(s, a)$ और वर्तमान Q-अनुमानों का उपयोग करके अनुमानित किया जा सके।
निरंतर पैरामीटर $m$ : पूर्णांक रिट्राइ संख्या $M$ को एक निरंतर वास्तविक पैरामीटर $m > 0$ में सामान्यीकृत किया गया है। यह अन्वेषण-दोहन (exploration-exploitation) के बीच सूक्ष्म नियंत्रण सक्षम बनाता है। क्लोज्ड-फॉर्म समाधान में $(1 - C_j)^{M-1}$ पद को $(1 - C_j)^{m-1}$ द्वारा प्रतिस्थापित किया गया है।

2.4 RePPO एल्गोरिदम

लेखक PPO फ्रेमवर्क के भीतर ReMax को लागू करते हुए RePPO (ReMax PPO) बनाते हैं।

आर्किटेक्चर: एक Q-क्रिटिक का उपयोग करने वाला ऑन-पॉलिसी एक्टर-क्रिटिक विधि।
सरोगेट ऑब्जेक्टिव: RePPO मानक PPO सरोगेट को संशोधित करता है, जिसमें मानक एडवांटेज के स्थान पर EI-आधारित एडवांटेज का उपयोग किया जाता है।
$A^+(t) = R^+(t) - b^+(s_t)$
जहाँ $R^+(t) = \text{EIm}(R^\lambda_t, \pi_\theta, Q_\phi(s_t, \cdot))$ और $b^+$ EI-रूपांतरित Q-वैल्यूज का अपेक्षित मान है।
Q-रिप्लेसमेंट रणनीति: क्रिटिक द्वारा सैंपल किए गए एक्शन के सुधार का अति-अनुमान (overestimation) लगाने से रोकने के लिए (Q-वैल्यू के कम अनुमान के कारण), लेखक EI टर्म की गणना करते समय सैंपल किए गए एक्शन के Q-वैल्यू को वास्तविक ट्रैजेक्टरी रिटर्न से बदल देते हैं। यह सुनिश्चित करता है कि "सुधार" को संभावित रूप से पक्षपाती अनुमान के बजाय वास्तविक रिटर्न के विरुद्ध मापा जाए।

3. मुख्य योगदान

ReMax उद्देश्य: एक नवीन RL उद्देश्य जो स्पष्ट अन्वेषण बोनस के बिना अनिश्चितता के तहत लालची रिवॉर्ड मैक्सिमाइजेशन (रिट्राइंग) के माध्यम से अन्वेषण को प्रेरित करता है।
सैद्धांतिक व्युत्पत्ति: एक नया पॉलिसी ग्रेडिएंट सूत्रीकरण जो $M$ ड्रॉ के अपेक्षित अधिकतम के क्लोज्ड-फॉर्म अभिव्यक्ति का उपयोग करता है और जिसे एकल-ट्रैजेक्टरी रिटर्न से अनुमानित किया जा सकता है।
निरंतर नियंत्रण: डिस्क्रीट रिट्राइ संख्या $M$ को निरंतर पैरामीटर $m$ में सामान्यीकृत करना, जिससे अन्वेषण दर का सटीक ट्यूनिंग संभव होता है।
RePPO एल्गोरिदम: एक व्यावहारिक डीप RL एल्गोरिदम (RePPO) जो PPO फ्रेमवर्क के भीतर ReMax को लागू करता है, यह प्रदर्शित करते हुए कि अन्वेषण स्वयं ऑब्जेक्टिव फंक्शन से उत्पन्न हो सकता है।

4. प्रयोगात्मक परिणाम

4.1 बैंडिट प्रयोग

स्टोकेस्टिसिटी: एक टू-आर्म्ड बैंडिट में, ReMax $M \ge 2$ के लिए स्टोकेस्टिक पॉलिसी प्रेरित करता है, जबकि मानक RL ( $M=1$ ) निश्चयात्मक (deterministic) पॉलिसी देता है।
अनुकूलनशीलता (Adaptivity): ReMax, रिवॉर्ड अनिश्चितता के परिमाण के अनुसार अन्वेषण को अनुकूलित करता है। जैसे-जैसे वेरिएंस बढ़ता है, इष्टतम ReMax पॉलिसी दुर्लभ उच्च-रिवॉर्ड परिणामों को पकड़ने के लिए अन्वेषण बढ़ाती है, जबकि एंट्रॉपी-रेगुलराइज्ड सॉफ्टमैक्स माध्य के आधार पर स्थिर रहता है।
रिग्रेट (Regret): पोस्टीरियर बैंडिट सेटिंग्स (बीटा-बर्नौली और गॉसियन-गॉसियन) में, ReMax सबलीनियर संचयी रिग्रेट प्रदर्शित करता है, जो थॉम्पसन सैंपलिंग और UCB के तुलनीय है, और सॉफ्टमैक्स बेसलाइन से बेहतर है।

4.2 MinAtar बेंचमार्क

चार खेलों (Breakout, Asterix, Freeway, Space Invaders) पर मूल्यांकन:

प्रदर्शन: RePPO ( $m \in [1.2, 1.4]$ ) ने मानक PPO वेरिएंट्स (PPO-V, PPO-Q) और एंट्रॉपी बोनस या रैंडम नेटवर्क डिस्टिलेशन (RND) बोनस वाले PPO को पछाड़ दिया।
अन्वेषण: RePPO ने बिना किसी स्पष्ट बोनस के भी, एंट्रॉपी बोनस वाले PPO की तुलना में प्रशिक्षण के दौरान उच्च पॉलिसी एंट्रॉपी बनाए रखी।
पैरामीटर संवेदनशीलता: प्रदर्शन $m=1.2$ से $1.4 $के आसपास चरम पर था। बड़ा$ m$ एंट्रॉपी क्षय (decay) को धीमा करता है (अन्वेषण बनाए रखता है), जबकि छोटा $m$ तेज़ अभिसरण की ओर ले जाता है लेकिन कम प्रदर्शन देता है।
एब्लेशन (Ablation): एक्शन-स्वतंत्र बेसलाइन या Q-रिप्लेसमेंट रणनीति को हटाने से प्रदर्शन में काफी गिरावट आई, जो उनकी आवश्यकता की पुष्टि करता है।

4.3 Craftax बेंचमार्क

एक बड़े पैमाने के, ओपन-एंडेड RL वातावरण Craftax पर मूल्यांकन:

प्रदर्शन: RePPO ( $m=1.2$ ) ने एंट्रॉपी और RND बोनस वाले PPO वेरिएंट्स (11.66% और 11.68%) की तुलना में प्रतिस्पर्धी प्रदर्शन (अधिकतम रिवॉर्ड का 11.87%) हासिल किया, और बिना बोनस वाले PPO से बेहतर प्रदर्शन किया।
स्केलेबिलिटी: RePPO ने बिना स्पष्ट बोनस के उच्च एंट्रॉपी बनाए रखी, जो दर्शाता है कि यह तंत्र जटिल, लॉन्ग-होरिजन कार्यों तक स्केल करता है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि ReMax पारंपरिक अन्वेषण विधियों के लिए एक आशाजनक विकल्प प्रदान करता है क्योंकि यह:

स्पष्ट बोनस की आवश्यकता को समाप्त करता है: अन्वेषण रिट्राइ के अपेक्षित अधिकतम रिटर्न को अधिकतम करने के उद्देश्य से स्वाभाविक रूप से उत्पन्न होता है।
एल्गोरिदम डिजाइन को सरल बनाता है: यह क्यूरियोसिटी बोनस को डिजाइन करने या स्पष्ट पोस्टीरियर मॉडल बनाए रखने के कम्प्यूटेशनल ओवरहेड और जटिलता से बचता है।
सूक्ष्म नियंत्रण प्रदान करता है: निरंतर पैरामीटर $m$ अन्वेषण-दोहन के बीच सटीक समायोजन की अनुमति देता है।

लेखक नोट करते हैं कि हालांकि उनके डीप RL प्रयोगों ने मुख्य रूप से स्टोकेस्टिक अन्वेषण (बढ़ी हुई पॉलिसी एंट्रॉपी) प्रदर्शित किया है, उनका सैद्धांतिक ढांचा डीप एक्सप्लोरेशन (टेम्पोरली कोहेरेंट सूचना संग्रह) का समर्थन करता है यदि इसे स्पष्ट अनिश्चितता मॉडलिंग (जैसे एंसेम्बल्स) के साथ जोड़ा जाए। वे ReMax को LLMs के रीजनिंग कार्यों में pass@K उद्देश्यों के समानांतर देखते हुए, एक सामान्य सिद्धांत के रूप में प्रस्तुत करते हैं।

उनका कार्य अपने सैद्धांतिक दावों में विनम्र है, यह नोट करते हुए कि डीप RL सेटिंग के लिए औपचारिक रिग्रेट बाउंड्स भविष्य के कार्य के लिए छोड़े गए हैं, और वर्तमान परिणाम प्रभावी होने के अनुभवजन्य प्रदर्शन हैं।