🤖 AI

Retry Policy Gradients in Continuous Action Spaces

यह शोध पत्र पाथवाइज डेरिवेटिव एस्टिमेटर्स (pathwise derivative estimators) को पेश करके निरंतर एक्शन स्पेस (continuous action spaces) के लिए ReMax रिट्राई-आधारित ऑब्जेक्टिव का विस्तार करता है, जिसके परिणामस्वरूप ReMAC एल्गोरिदम प्राप्त होता है जो पॉलिसी-ग्रेडिएंट लैंडस्केप को नया आकार देकर स्टोकेस्टिक एक्सप्लोरेशन को बढ़ावा देता है और स्पष्ट एंट्रॉपी रेगुलराइजेशन के बिना SAC-तुलनीय प्रदर्शन प्राप्त करता है।

मूल लेखक: Soichiro Nishimori, Paavo Parmas

प्रकाशित 2026-06-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Soichiro Nishimori, Paavo Parmas

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कमरे के आर-पार चलना सिखा रहे हैं। रोबोट की आँखों पर पट्टी बंधी है और वह केवल अंदाज़ा लगा सकता है कि उसे कहाँ कदम रखना है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) कहा जाता है। रोबोट अलग-अलग चालें चलता है, अच्छा करने पर उसे एक "स्कोर" (इनाम) मिलता है, और वह अपनी गलतियों से सीखता है।

बड़ी समस्या एक्सप्लोरेशन (Exploration) की है: आप रोबोट को नई चीज़ें आज़माने के लिए कैसे प्रेरित करेंगे, बजाय इसके कि वह बस वही पुराने, सुरक्षित और उबाऊ कदमों को दोहराता रहे?

पुराना तरीका: "नॉइज़" (Noise) जोड़ना

परंपरागत रूप से, रोबोट को एक्सप्लोर करने के लिए वैज्ञानिक उसके दिमाग में थोड़ा सा "नॉइज़" या रैंडमनेस (यादृच्छिकता) जोड़ देते हैं। यह ऐसा ही है जैसे रोबोट को कहना, "हे, कभी-कभी बस अपने पैरों को बेतरतीब ढंग से हिलाओ!" यह काम तो करता है, लेकिन यह एक व्यंजन में मसाला डालने जैसा है जिसे आपको सावधानी से मापना होता है और अंततः हटाना भी पड़ता है, अन्यथा व्यंजन का स्वाद बिगड़ सकता है।

नया विचार: "रिट्राय" (Retry) रणनीति

यह पेपर रोबोट को सिखाने का एक नया तरीका पेश करता है, जिसे ReMax ("रिट्राय मैक्सिमम") कहा जाता है।

रोबोट को रैंडम होने के लिए कहने के बजाय, ReMax खेल के नियम बदल देता है। कल्पना कीजिए कि आप एक परीक्षा दे रहे हैं।

पुराना तरीका: आपको एक सवाल का जवाब देने के लिए एक ही मौका मिलता है। आप अपना सबसे अच्छा अंदाज़ा चुनते हैं, और वही आपका स्कोर होता है।
ReMax का तरीका: आपको उसी सवाल के लिए M बार (मान लीजिए 4 या 8 बार) परीक्षा देने का मौका मिलता है। आप सभी 8 जवाब लिखते हैं, उनमें से सबसे अच्छे वाले को चुनते हैं, और वही आपका स्कोर होता है।

रोबोट यह सीखता है कि यदि वह अपने विकल्पों को खुला रखता है (यानी थोड़ा "स्टोकेस्टिक" या परिवर्तनशील रहता है), तो उसके पास कई कोशिशों में से एक बेहतरीन जवाब ढूंढने की बेहतर संभावना होती है। उसे किसी विशेष "नॉइज़" निर्देश की आवश्यकता नहीं है; कई कोशिशों में से सर्वश्रेष्ठ को खोजने की इच्छा स्वाभाविक रूप से उसे एक्सप्लोर करने के लिए मजबूर करती है।

निरंतर स्पेस (Continuous Spaces) में क्या होता है?

यह पेपर कंटीन्यूअस एक्शन स्पेस पर ध्यान केंद्रित करता है, जो एक फैंसी तरीका है यह कहने का कि रोबट अपने जोड़ों को किसी भी कोण (angle) पर घुमा सकता है, न कि केवल "बाएँ" या "दाएँ"।

लेखकों ने खोजा कि यह "रिट्राय" रणनीति रोबोट के सीखने के रास्ते को कैसे बदल देती है:

"पुश" (दिशा): जब रोबोट लक्ष्य से दूर होता है और बहुत सख्त (कम रैंडमनेस के साथ) चल रहा होता है, तो "रिट्राय" रणनीति का गणित स्वाभाविक रूप से उसे अधिक रैंडम बनने के लिए धकेलता है। यह ऐसा है जैसे रोबोट को एहसास होता है, "मैं एक कोने में फंस गया हूँ; मुझे बाहर निकलने का रास्ता खोजने के लिए अधिक हिलना-डुलना होगा।"
"ब्रेक" (परिमाण): जब रोबोट एकदम सही समाधान के करीब होता है, तो "रिट्राय" रणनीति एक हल्के ब्रेक की तरह काम करती है। यह सीखने की गति को धीमा कर देती है। यह अच्छा है क्योंकि यह रोबोट को एकदम सही जगह से आगे निकल जाने या ओवरशूट करने से रोकता है। यह उसे सेटल होने से पहले थोड़ा और एक्सप्लोर करने के लिए बनाए रखता है।

"ReMAC" रोबोट

लेखकों ने इस परीक्षण के लिए एक विशिष्ट रोबोट मस्तिष्क बनाया जिसे ReMAC (ReMax Actor-Critic) कहा जाता है। उन्होंने एक मानक, अत्यधिक सफल रोबोट मस्तिष्क (जिसे SAC कहा जाता है) को लिया और बस उसके "नॉइज़" निर्देशों को "रिट्राय" निर्देशों से बदल दिया।

परिणाम:

प्रदर्शन: ReMAC रोबोट ने दुनिया के बेहतरीन रोबोट्स (SAC) की तरह ही चलना सीखा।
एक्सप्लोरेशन: बिना किसी अतिरिक्त "नॉइज़" मसाले के, ReMAC रोबोट ने स्वाभाविक रूप से अपने आंदोलनों को लंबे समय तक अधिक विविध (उच्च एंट्रॉपी) बनाए रखा, ठीक वैसा ही जैसा सिद्धांत भविष्यवाणी करता है।
चुनौती: "रिट्राय" विधि के लिए रोबोट को एक साथ कई परिणामों का सिमुलेशन करना पड़ता है, जिसके लिए थोड़े अधिक कंप्यूटर पावर की आवश्यकता होती है।

एडम ऑप्टिमाइज़र (Adam Optimizer) का ट्विस्ट

पेपर में यह भी देखा गया कि रोबोट को प्रशिक्षित करने वाला कंप्यूटर टूल (जिसे Adam कहा जाता है) में एक छोटा सा सेटिंग (एक "स्टेबिलाइजेशन पैरामीटर") होता है जो एक वॉल्यूम नॉब की तरह काम करता है।

यदि नॉब को कम पर सेट किया जाता है, तो "रिट्राय" रणनीति का "ब्रेकिंग" प्रभाव कमजोर हो जाता है, और रोबोट तेजी से सीखता है लेकिन बहुत जल्दी सेटल हो सकता है।
यदि नॉब को उच्च पर सेट किया जाता है, तो ब्रेकिंग प्रभाव अधिक मजबूत होता है, जिससे रोबोट लंबे समय तक एक्सप्लोर करता रहता है।

संक्षेप में

यह पेपर दिखाता है कि आपको शोर (noise) जोड़कर AI को रैंडम होने के लिए मजबूर करने की आवश्यकता नहीं है। इसके बजाय, यदि आप AI को कई प्रयासों में से सर्वश्रेष्ठ के लिए अनुकूलित (optimize) करना सिखाते हैं, तो वह स्वाभाविक रूप से समझ जाता है कि सर्वश्रेष्ठ समाधान खोजने के लिए थोड़ा अप्रत्याशित होना ही सबसे स्मार्ट तरीका है। यह बिना किसी अतिरिक्त नियमों के जिज्ञासा को प्रोत्साहित करने का एक चतुर, अंतर्निहित तरीका है।

तकनीकी सारांश: निरंतर एक्शन स्पेस में रिट्राय पॉलिसी ग्रेडिएंट्स (Retry Policy Gradients)

समस्या विवरण

एक्सप्लोरेशन (Exploration) एक्सप्लोरेशन एक केंद्रीय चुनौती बनी हुई है, विशेष रूप से निरंतर नियंत्रण (continuous control) में। मानक दृष्टिकोण आमतौर पर स्टोकेस्टिक पॉलिसियों के साथ स्पष्ट एंट्रॉपी रेगुलराइजेशन (जैसे, सॉफ्ट एक्टर-क्रिटिक, SAC) या नॉइज़ इंजेक्शन पर निर्भर करते हैं। हालांकि ये प्रभावी हैं, लेकिन ये विधियाँ एक सहायक एंट्रॉपी बोनस पेश करती हैं जो इष्टतम नीति (optimal policy) को उच्च एंट्रॉपी की ओर पक्षपाती बनाती हैं, जिससे वास्तविक नियत (deterministic) इष्टतम तक पहुँचने में बाधा आ सकती है।

हाल ही में, "रिट्राय-आधारित" उद्देश्यों (जैसे, pass@K, max@K) ने डिस्क्रीट एक्शन स्पेस और लार्ज लैंग्वेज मॉडल (LLM) पोस्ट-ट्रेनिंग में आशाजनक परिणाम दिखाए हैं। ये उद्देश्य अपेक्षित रिटर्न के बजाय $M$ सैंपल किए गए ट्राजेक्टरीज से प्राप्त अधिकतम रिटर्न को अनुकूलित करते हैं। पूर्ववर्ती कार्य (ReMax) ने प्रदर्शित किया कि डिस्क्रीट स्पेस में, यह उद्देश्य बिना किसी स्पष्ट एंट्रॉपी बोनस के, रिटर्न अनिश्चितता के अनुकूल होकर स्वाभाविक रूप से एक्सप्लोरेशन को प्रोत्साहित करता है। हालाँकि, निरंतर एक्शन स्पेस में ReMax के सैद्धांतिक गुण अनछुए रहे, और डिस्क्रीट स्पेस के मौजूदा ग्रेडिएंट एस्टिमेटर्स निरंतर डोमेन में विस्तारित नहीं होते हैं।

कार्यप्रणाली

सैद्धांतिक ढांचा

लेखक एक पाथवाइज डेरिवेटिव एस्टिमेटर (pathwise derivative estimator) का उपयोग करके ReMax उद्देश्य को निरंतर एक्शन स्पेस में विस्तारित करते हैं।

उद्देश्य: दिए गए Q-फंक्शन $Q(s, a)$ और रिट्राय बजट $M$ के लिए, उद्देश्य को इस प्रकार परिभाषित किया गया है:
$J^M(\pi, Q) := \mathbb{E}_{s \sim p_0} \left[ \mathbb{E}_{a_{1:M} \sim \pi(\cdot|s)} \left[ \max_{m=1:M} Q(s, a_m) \right] \right]$
एंट्रॉपी-रेगुलराइज्ड उद्देश्यों के विपरीत, यह फॉर्मूलेशन नियत इष्टतम नीति ( $\pi^*$ ) को ग्लोबल ऑप्टिमम के रूप में सुरक्षित रखता है, जिससे स्टोकैस्टिसिटी की ओर एंट्रॉपी बोनस के कारण होने वाले पूर्वाग्रह से बचा जा सकता है।
ग्रेडिएंट एस्टिमेशन: चूंकि निरंतर स्पेस में सटीक गणना असंभव है, इसलिए लेखक एक रिपैरामीट्राइजेशन (RP) ग्रेडिएंट एस्टिमेटर का उपयोग करते हैं। एक्शन को $a_i = \mu + \sigma \epsilon_i$ (जहाँ $\epsilon_i \sim \mathcal{N}(0, I)$ ) के माध्यम से सैंपल किया जाता है। उद्देश्य को $B$ एक्शन सैंपल करके, उनके Q-वैल्यू को सॉर्ट करके, और शीर्ष $M$ वैल्यूज के भारित योग (weighted sum) की गणना करके अनुमानित किया जाता है। यह Q-नेटवर्क और पॉलिसी पैरामीटर्स के माध्यम से बैकप्रोपैगेशन की अनुमति देता है।

ग्रेडिएंट डायनेमिक्स का सैद्धांतिक विश्लेषण

पेपर इस बात का विस्तृत विश्लेषण प्रदान करता है कि कैसे ReMax ग्रेडिएंट एक क्वाड्रेटिक रिवॉर्ड $r(a) = -a^2$ के लिए गाऊसी नीति $\mathcal{N}(\mu, \sigma^2)$ के लिए ऑप्टिमाइजेशन लैंडस्केप को नया आकार देता है। जब $M > 1$ होता है, तो दो प्रमुख तंत्र पहचाने जाते हैं:

एंट्रॉपी वृद्धि (दिशात्मक प्रभाव): जब नीति का माध्य (mean) इष्टतम से दूर होता है और स्केल $\sigma$ छोटा होता है, तो ग्रेडिएंट दिशा स्वाभाविक रूप से $\sigma$ को बढ़ाने की ओर संकेत करती है। ऐसा इसलिए होता है क्योंकि $M$ सैंपल्स पर "max" ऑपरेटर रिवॉर्ड में सकारात्मक अपेक्षित ऊपर की ओर उतार-चढ़ाव (या लागत में नीचे की ओर उतार-चढ़ाव) बनाता है, जो केवल नीति के स्केल को बढ़ाकर ही सुलभ होता है। यह बिना किसी स्पष्ट बोनस के स्टोकेस्टिक एक्सप्लोरेशन को बढ़ावा देता है।
ग्रेडिएंट डैम्पिंग (परिमाण प्रभाव): जैसे-जैसे नीति इष्टतम के करीब पहुँचती है, ग्रेडिएंट का नॉर्म कम हो जाता है। $M$ सैंपल्स में से सर्वश्रेष्ठ का चयन करना इष्टतम से विचलन को कम करता है, जो प्रभावी रूप से सब-ऑप्टिमल सैंपल्स को "माफ" कर देता है और अभिसरण (convergence) को धीमा कर देता है। यह डैम्पिंग प्रभाव प्रशिक्षण के दौरान उच्च एंट्रॉपी को लंबे समय तक बनाए रखने में मदद करता है।

लेखक Adam ऑप्टिमाइज़र के साथ इसके इंटरैक्शन का भी विश्लेषण करते हैं। वे दिखाते हैं कि एडम का एडेप्टिव नॉर्मलाइजेशन (विशेष रूप से स्टेबिलाइजेशन पैरामीटर $\epsilon$ ) ग्रेडिएंट डैम्पिंग प्रभाव का मुकाबला कर सकता है। एक छोटा $\epsilon$ (डिफ़ॉल्ट $10^{-8}$ ) ग्रेडिएंट्स को नॉर्मलाइज़ करता है, जो संभावित रूप से अभिसरण को तेज करता है और एंट्रॉपी-बनाए रखने वाले प्रभाव को कम करता है, जबकि एक बड़ा $\epsilon$ डैम्पिंग व्यवहार को बहाल करता है।

एल्गोरिदम: ReMAC

लेखक इन निष्कर्षों को ReMax एक्टर-क्रिटिक (ReMAC) में लागू करते हैं, जो एक ऑफ-पॉलिसी एक्टर-क्रिटिक एल्गोरिदम है।

क्रिटिक: क्लिप्ड डबल Q-लर्निंग (ओवरएस्टिमेशन को कम करने के लिए दो क्रिटिक्स का उपयोग करके) के साथ मानक टेम्पोरल-डिफरेंस रिग्रेशन के माध्यम से प्रशिक्षित किया जाता है।
एक्टर: ReMax उद्देश्य के पाथवाइज डेरिवेटिव का उपयोग करके अनुकूलित किया जाता है।
कार्यान्वयन: ReMAC को SAC के एक न्यूनतम संशोधन के रूप में प्रस्तुत किया गया है, जो क्रिटिक टारगेट और टेम्परेचर ट्यूनिंग से एंट्रॉपी बोनस को हटा देता है, और एक्टर लॉस को ReMax लॉस से बदल देता है।

मुख्य परिणाम

सैद्धांतिक निष्कर्ष

वेक्टर फील्ड विश्लेषण: 1D गाऊसी नीतियों के लिए ग्रेडिएंट वेक्टर फील्ड के विज़ुअलाइज़ेशन पुष्टि करते हैं कि $M > 1$ के लिए, ग्रेडिएंट्स नीति को उच्च एंट्रॉपी की ओर धकेलते हैं, जबकि मानक RL ( $M=1$ ) हमेशा निम्न एंट्रॉपी की ओर धकेलता है।
अभिसरण गुण: ReMax नियत इष्टतम ( $\mu=0, \sigma=0$ ) की ओर अभिसरित होता है, जबकि एंट्रॉपी रेगुलराइजेशन एक स्टोकेस्टिक इष्टतम ( $\mu=0, \sigma>0$ ) की ओर अभिसरित होता है।
Adam इंटरैक्शन: एक टॉय प्रॉब्लम के सैद्धांतिक और अनुभवजन्य विश्लेषण से पता चलता है कि डैम्पिंग प्रभाव एडम के $\epsilon$ पैरामीटर के प्रति संवेदनशील है।

अनुभवजन्य मूल्यांकन (Empirical Evaluation)

प्रयोग Brax सुइट (Ant, HalfCheetah, Hopper, Reacher, Swimmer, Walker2d) के छह निरंतर नियंत्रण कार्यों पर 3 मिलियन स्टेप्स में किए गए।

प्रदर्शन: ReMAC ( $M > 1$ ) ने प्रदर्शन में SAC के तुल्य हासिल किया और आम तौर पर PPO से बेहतर प्रदर्शन किया। कई वातावरणों (Ant, Reacher, Swimmer, Walker2d) में, बड़े रिट्राय बजट ( $M=4, 8$ ) ने $M=1$ की तुलना में उच्च औसत रिटर्न दिया।
एंट्रॉपी डायनेमिक्स: सैद्धांतिक भविष्यवाणियों के अनुरूप, ReMAC ने $M > 1$ के साथ पूरे प्रशिक्षण के दौरान $M=1$ (मानक RL) की तुलना में उच्च नीति एंट्रॉपी बनाए रखी। एंट्रॉपी $M$ के साथ बढ़ती है, विशेष रूप से Ant और Swimmer वातावरणों में।
SAC के साथ तुलना: जबकि ReMAC ने मानक RL ( $M=1$ ) की तुलना में उच्च एंट्रॉपी प्राप्त की, इसकी एंट्रॉपी SAC से कम रही, जो अपेक्षित है क्योंकि SAC में स्पष्ट एंट्रॉपी मैक्सिमाइजेशन होता है।

महत्व और दावे

यह पेपर अपने योगदान को इस प्रकार प्रस्तुत करता है:

सैद्धांतिक विस्तार: यह ReMax को निरंतर एक्शन स्पेस में विस्तारित करने वाला और पाथवाइज डेरिवेटिव्स के माध्यम से इसके एक्सप्लोरेशन-प्रोत्साहित गुणों की कठोर सैद्धांतिक व्याख्या प्रदान करने वाला पहला कार्य है।
इंट्रिन्सिक एक्सप्लोरेशन: यह प्रदर्शित करता है कि रिट्राय-आधारित उद्देश्य स्पष्ट एंट्रॉपी बोनस के बजाय ग्रेडिएंट लैंडस्केप की ज्यामिति (दिशा और परिमाण) के माध्यम से स्टोकेस्टिक एक्सप्लोरेशन को प्रेरित कर सकते हैं। यह नियत समाधान से इष्टतम नीति को स्थानांतरित करने वाले पूर्वाग्रह से बचता है।
व्यावहारिक व्यवहार्यता: ReMAC का परिचय दिखाता है कि ये सैद्धांतिक गुण न्यूनतम आर्किटेक्चरल परिवर्तनों के साथ डीप RL सेटिंग्स में व्यावहारिक प्रदर्शन प्राप्त करते हैं।
ऑप्टिमाइजेशन अंतर्दृष्टि: यह कार्य रिट्राय-आधारित उद्देश्यों में एक्सप्लोरेशन-एक्सप्लोइटेशन ट्रेड-ऑफ को मॉड्युलेट करने में एडम के $\epsilon$ जैसे ऑप्टिमाइज़र हाइपरपैरामीटर की महत्वपूर्ण भूमिका को उजागर करता है।

लेखक अपनी सीमा के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि उनका सैद्धांतिक विश्लेषण स्मूथनेस और स्ट्रॉन्ग कॉन्वेक्सिटी (strong convexity) मानता है, जो सभी व्यावहारिक डीप RL वातावरणों में लागू नहीं हो सकता है। वे ReMAC को स्टोकेस्टिक एक्सप्लोरेशन के लिए एक प्रूफ-ऑफ-कॉन्सेप्ट के रूप में देखते हैं और सुझाव देते हैं कि भविष्य के कार्य स्पार्स-रिवॉर्ड सेटिंग्स में "डीप एक्सप्लोरेशन" को सक्षम करने के लिए Q-फंक्शन्स पर पोस्टीरियर सैंपलिंग के साथ ReMax को एकीकृत कर सकते हैं।