📊 statistics

ETGL-DDPG: A Deep Deterministic Policy Gradient Algorithm for Sparse Reward Continuous Control

यह शोध पत्र ETGL-DDPG का प्रस्ताव करता है, जो एक उन्नत डीप डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट एल्गोरिदम है जो निरंतर नियंत्रण कार्यों (continuous control tasks) में स्पार्स रिवॉर्ड चुनौतियों को प्रभावी ढंग से संबोधित करने के लिए $\epsilon_t$ -greedy अन्वेषण, एक डुअल एक्सपीरियंस रिप्ले बफर (GDRB), और लॉन्गएस्ट $n$ -स्टेप रिटर्न्स को एकीकृत करता है, जो अत्याधुनिक विधियों की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।

मूल लेखक: Ehsan Futuhi, Shayan Karimi, Chao Gao, Martin Müller

प्रकाशित 2026-02-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ehsan Futuhi, Shayan Karimi, Chao Gao, Martin Müller

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) सुलझाना सिखा रहे हैं। लेकिन यहाँ एक पेंच है: रोबोट को "गोल्ड स्टार" (एक इनाम) तभी मिलता है जब वह अंततः निकास (exit) खोज लेता है। इसके लिए वह हर कदम जो उसे निकास तक नहीं ले जाता, उसे बिल्कुल कुछ नहीं मिलता। कोई "अच्छा काम किया," या "बस पहुँचने ही वाले हो," जैसी कोई बात नहीं। बस सन्नाटा।

शोधकर्ता इसे स्पार्स रिवॉर्ड्स (Sparse Rewards) कहते हैं। यह एक नई भाषा सीखने जैसा है जहाँ आपका शिक्षक केवल तभी बोलता है जब आप एक आदर्श वाक्य बोलते हैं, लेकिन बाकी सब कुछ के लिए चुप रहता है। अधिकांश रोबोट (और वे एल्गोरिदम जो उन्हें नियंत्रित करते हैं) निराश हो जाते हैं, बिना किसी दिशा के भटकते रहते हैं और हार मान लेते हैं क्योंकि वे समझ नहीं पाते कि वास्तव में कौन से कदम महत्वपूर्ण हैं।

यह पेपर एक नया रोबोट मस्तिष्क पेश करता है जिसे ETGL-DDPG कहा जाता है। इसे इन "खामोश" भूलभुलैयाओं को हल करने के लिए रोबोट को तीन महाशक्तियाँ (superpowers) देने के रूप में समझें।

1. "मैप-मेकर" महाशक्ति ( $\epsilon_t$ -greedy)

समस्या: मानक रोबोट आमतौर पर यादृच्छिक (random) कदम उठाकर अन्वेषण (explore) करते हैं। एक अंधेरे कमरे में गोल-गोल घूमने वाले व्यक्ति की कल्पना करें जो दरवाजे से टकराने की उम्मीद कर रहा है। यह अक्षम है। कभी-कभी वे एक "स्मार्ट" कदम उठाते हैं, लेकिन वह केवल एक छोटा सा, एक सेकंड का धक्का होता है। उनके पास कोई योजना नहीं होती।

समाधान: लेखकों ने रोबोट को एक सर्च इंजन दिया।
केवल एक यादृच्छिक कदम उठाने के बजाय, जब रोबोट अन्वेषण करने का निर्णय लेता है, तो वह रुकता है और पूछता है: "यदि मैं उन सभी रास्तों को देखूँ जिन पर मैं पहले चल चुका हूँ, तो मैं कहाँ कभी नहीं गया हूँ?"

उपमा: कल्पना करें कि आप एक वीडियो गेम खेल रहे हैं। आमतौर पर, आप बस आगे बढ़ते हैं। लेकिन इस नई शक्ति के साथ, हर बार जब आप अन्वेषण करने का निर्णय लेते हैं, तो आप एक नक्शा निकालते हैं, उन क्षेत्रों को देखते हैं जहाँ आप अभी तक नहीं गए हैं, और वहाँ पहुँचने के लिए एक अस्थायी रास्ता बनाते हैं।
यह कैसे काम करता है: रोबोट अपनी याददाश्त के आधार पर संभावनाओं का एक छोटा, मानसिक "पेड़" (tree) बनाता है। वह एक ऐसा रास्ता चुनता है जो एक "शांत" हिस्से (एक ऐसी जगह जहाँ वह कम गया है) की ओर ले जाता है और उस रास्ते पर कुछ कदम चलता है। इसे $\epsilon_t$ -greedy कहा जाता है। यह केवल यादृच्छिक नहीं है; यह निर्देशित जिज्ञासा (directed curiosity) है।

2. "दो-नोटबुक" महाशक्ति (GDRB)

समस्या: रोबोट अपने पिछले गलतियों और सफलताओं को देखकर सीखते हैं, जो एक "मेमोरी बैंक" (जिसे रीप्ले बफर कहा जाता है) में संग्रहीत होती हैं। स्पार्स रिवॉर्ड गेम में, रोबोट की 9% मेमोरी "विफलताओं" (बिना गोल्ड स्टार के घूमना) से भरी होती है। यदि रोबोट यादृच्छिक रूप से एक स्मृति चुनता है, तो इसकी पूरी संभावना है कि वह एक विफलता चुनेगा। यह एक ऐसी कुकबुक पढ़कर केक बनाना सीखने जैसा है जो 99% खाली पन्नों से भरी है और जिसमें केवल अंत में एक रेसिपी है।

समाधान: लेखकों ने मेमोरी बैंक को दो अलग-अलग नोटबुक्स में विभाजित किया है।

नोटबुक A (सामान्य जर्नल): इसमें वह सब कुछ है जो रोबोट ने कभी किया है। यह "रिजर्वायर सैंपलिंग" (Reservoir Sampling) विधि का उपयोग करता है, जिसका अर्थ है कि यह पूरी दुनिया को याद रखने के लिए पुराने और नए अनुभवों का मिश्रण रखता है।
नोटबुक B (हॉल ऑफ फेम): इसमें केवल वे समय हैं जब रोबोट वास्तव में लक्ष्य तक पहुँचा।
उपमा: कल्पना करें कि एक छात्र परीक्षा के लिए अध्ययन कर रहा है। उनके पास एक मोटा पाठ्यपुस्तक (नोटबुक A) है जिसमें सभी तथ्य हैं। लेकिन उनके पास एक विशेष "चीट शीट" (नोटबुक B) भी है जिसमें केवल कठिन प्रश्नों के सही उत्तर हैं।
यह कैसे काम करता है: जैसे-जैसे रोबोट बेहतर होता जाता है और लक्ष्य को अधिक बार पाता है, वह "हॉल ऑफ फेम" से अधिक बार पढ़ना शुरू कर देता है। यह सुनिश्चित करता है कि रोबोट सफल रास्तों पर भारी ध्यान केंद्रित करे, जिससे वह अपनी विफलताओं को छानने की तुलना में बहुत तेज़ी से सीखता है।

3. "टाइम-ट्रैवल" महाशक्ति (Longest n-step Return)

समस्या: मानक लर्निंग में, यदि एक रोब "100-कदम की यात्रा के अंत में लक्ष्य तक पहुँचता है, तो "गोल्ड स्टार" केवल अंतिम कदम को अपडेट करता है। रोबोट को यात्रा के पहले कदम को श्रेय मिलने के लिए इस यात्रा को 100 बार करना होगा। यह काम के पूरे सप्ताह के बजाय केवल अंतिम घंटे के लिए वेतन पाने जैसा है।

समाधान: रोबोट इनाम को पीछे की ओर ट्रैक (backtrack) करना सीखता है।

उपमा: कल्पना करें कि आप एक कुत्ते को टहला रहे हैं। कुत्ता केवल तभी भौंकता है जब आप पार्क में पहुँचते हैं। पुराने तरीके में, आपको केवल पता चलता है कि आखिरी कदम अच्छा था। इस नई शक्ति के साथ, जैसे ही आप पार्क पहुँचते हैं, आप चिल्लाते हैं, "बहुत बढ़िया! वह पूरी सैर अच्छी थी!" और आप उस सफल यात्रा के हर एक कदम को श्रेय देते हैं।
यह कैसे काम करता है: जब रोबोट सफल होता है, तो वह उस अंतिम इनाम को लेता है और उसे उस सफल यात्रा के प्रत्येक कदम में पीछे की ओर फैला देता है। यह रोबोट को बहुत तेज़ी से सिखाता है कि जीतने के लिए वास्तव में कौन से मोड़ और चालें आवश्यक थीं।

परिणाम: एक स्मार्ट, तेज़ सीखने वाला

जब लेखकों ने इन तीन महाशक्तियों को मिलाया, तो रोबोट (ETGL-DDPG) स्पार्स-रिवॉर्ड भूलभुलैया का मास्टर बन गया।

उसने स्मार्ट अन्वेषण किया: यादृच्छिक रूप से भटकने के बजाय, उसने अनछुए क्षेत्रों का शिकार किया।
उसने सर्वश्रेष्ठ से सीखा: उसने अपना अध्ययन समय सफल यात्राओं पर केंद्रित किया।
उसने पूरी यात्रा को समझा: उसने महसूस किया कि पहला कदम उतना ही महत्वपूर्ण था जितना कि आखिरी कदम।

मुख्य बात:
यह पेपर दिखाता है कि रोबोट को अपनी जिज्ञासा की योजना बनाने, अपनी स्मृतियों को व्यवस्थित करने, और सफलता के लिए श्रेय साझा करने का तरीका देकर, यह उन कठिन समस्याओं को हल कर सकता है जो पहले सबसे बुद्धिमान AI को भी उलझा देती थीं। यह एक रोबोट को एक भ्रमित भटकने वाले से एक रणनीतिक खोजकर्ता में अपग्रेड करने जैसा है जो जानता है कि कहाँ देखना है और अपनी जीत से कैसे सीखना है।

यहाँ शोध पत्र "ETGL-DDPG: A Deep Deterministic Policy Gradient Algorithm for Sparse Reward Continuous Control" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र स्पार्स-रिवॉर्ड कंटीन्यूअस कंट्रोल (sparse-reward continuous control) वातावरणों में डीप डिटरमिनिस्टिक पॉलिसी ग्रेडिएंट (DDPG) की सीमाओं को संबोधित करता है। ऐसे परिवेशों में, एजेंट को केवल तभी पुरस्कार (reward) मिलता है जब वह एक विशिष्ट लक्ष्य अवस्था (goal state) तक पहुँचता है, अन्यथा पुरस्कार शून्य या नकारात्मक होता है। लेखक इस संदर्भ में मानक DDPG की तीन प्राथमिक विफलता स्थितियों (failure modes) की पहचान करते हैं:

दिशात्मक अन्वेषण का अभाव (Lack of Directional Exploration): मानक अन्वेषण रणनीतियाँ (जैसे कि गाऊसी शोर के साथ $\epsilon$ -greedy या निश्चित लंबाई के ऑप्शंस के साथ $\epsilon_z$ -greedy) अक्सर "दिशाहीन" होती हैं। वे यादृच्छिक शोर (random noise) या समान वितरण (uniform distributions) पर निर्भर करती हैं, जो दुर्लभ लक्ष्य अवस्थाओं को खोजने के लिए बड़े स्टेट स्पेस में नेविगेट करने में अक्षम होती हैं।
अकुशल रिप्ले बफर सैंपलिंग (Inefficient Replay Buffer Sampling): मानक DDPG एक यूनिफॉर्म रिप्ले बफर का उपयोग करता है। स्पार्स-रिवॉर्ड कार्यों में, सफल ट्रांज़िशन (जो लक्ष्य तक ले जाते हैं) अत्यंत दुर्लभ होते हैं। यूनिफॉर्म सैंपलिंग का अर्थ है कि एजेंट इन महत्वपूर्ण ट्रांज़िशन्स को शायद ही कभी देख पाता है, जिससे सीखना धीमा हो जाता है।
धीमा रिवॉर्ड प्रोपेगेशन (Slow Reward Propagation): मानक DDPG में, एक सफल एपिसोड से प्राप्त रिवॉर्ड केवल अंतिम चरण (final step) तक बैकप्रोपैगेट किया जाता है। एजेंट को प्रक्षेपवक्र (trajectory) के शुरुआती चरणों तक रिवॉर्ड सिग्नल को वापस पहुँचाने के लिए लक्ष्य तक कई बार पहुँचना पड़ता है, जिससे अभिसरण (convergence) धीमा हो जाता है।

2. कार्यप्रणाली: ETGL-DDPG

लेखक ETGL-DDPG का प्रस्ताव करते हैं, जो उपरोक्त समस्याओं को हल करने के लिए तीन ऑर्थोगोनल तकनीकों को एकीकृत करता है।

A. $\epsilon_t$ -greedy: खोज के साथ अन्वेषण (Exploration with Search)

यादृच्छिक शोर के बजाय, लेखक एक टेम्पोरली एक्सटेंडेड अन्वेषण रणनीति पेश करते हैं जिसे $\epsilon_t$ -greedy कहा जाता है।

तंत्र (Mechanism): प्रायिकता $\epsilon$ के साथ, एजेंट एक "ऑप्शन" (कार्यों का एक अनुक्रम) उत्पन्न करने के लिए एक ट्री सर्च (tree search) शुरू करता है।
खोज प्रक्रिया (Search Process):
- एजेंट निरंतर अवस्था स्थान (continuous state space) को बकेटों में विभाजित करने के लिए एक लोकैलिटी-सेंसिटिव हैशिंग (LSH) फंक्शन (SimHash) का उपयोग करता है।
- यह प्रत्येक बकेट के विज़िट काउंट ( $n(\phi(s))$ ) को बनाए रखता है।
- सर्च ट्री को रिप्ले बफर से ट्रांज़िशन का उपयोग करके बनाया जाता है (जो एक अनुमानित ट्रांज़िशन मॉडल के रूप में कार्य करता है)।
- सर्च ट्री नोड्स को विस्तारित करता है, और उन अनविज़िटेड या कम विज़िट किए गए बकेट्स ( $n(\phi(s)) = 0$ ) की ओर पथों को प्राथमिकता देता है।
- एक बार बजट $N$ प्राप्त होने पर या अनविज़िटेड नोड मिलने पर, रूट से उस नोड तक का पथ एक 'ऑप्शन' के रूप में वापस किया जाता है।
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं कि हल्के MDP धारणाओं के तहत, $\epsilon_t$ -greedy में पॉलीनोमियल सैंपल कॉम्प्लेक्सिटी (यह PAC-MDP है) होती है, जो स्टेट स्पेस का कुशल कवरेज सुनिश्चित करती है।

B. GDRB: गोल-कंडीशन्ड ड्यूल रिप्ले बफर

सफल एपिसोड से प्राप्त दुर्लभ जानकारी का बेहतर उपयोग करने के लिए, लेखक गोल-कंडीशन्ड ड्यूल रिप्ले बफर (GDRB) का प्रस्ताव करते हैं।

संरचना: दो अलग-अलग बफ़र्स बनाए रखे जाते हैं:
1. $D_\beta$ (एक्सप्लोरेशन बफर): इसमें सभी ट्रांज़िशन संग्रहीत होते हैं। यह पुराने डेटा के कवरेज को सुनिश्चित करने और कैटास्ट्रॉफिक फॉरगेटिंग को रोकने के लिए रिजर्वायर सैंपलिंग (Reservoir Sampling) का उपयोग करता है।
2. $D_e$ (एक्सप्लॉइटेशन बफर): इसमें केवल सफल एपिसोड (जहाँ लक्ष्य प्राप्त किया गया था) के ट्रांज़िशन संग्रहीत होते हैं। यह FIFO (फर्स्ट-इन-फर्स्ट-आउट) नीति का उपयोग करता है।
अनुकूली सैंपलिंग (Adaptive Sampling): प्रशिक्षण के दौरान $D_e$ बनाम $D_\beta$ से लिए गए नमूनों का अनुपात गतिशील रूप से बदलता है। प्रशिक्षण की शुरुआत में, जब सफल एपिसोड दुर्लभ होते हैं, तो एजेंट मुख्य रूप से $D_\beta$ से नमूने लेता है। जैसे-जैसे पॉलिसी में सुधार होता है, उच्च-मूल्य वाले सफल प्रक्षेपवक्रों को प्राथमिकता देने के लिए सैंपलिंग वेट $D_e$ की ओर स्थानांतरित हो जाता है।

C. लॉन्गेस्ट $n$ -स्टेप रिटर्न (Longest $n$ -step Return)

रिवॉर्ड प्रोपेगेशन को तेज करने के लिए, लेखक मानक वन-स्टेप TD अपडेट के स्थान पर लॉन्गेस्ट $n$ -स्टेप रिटर्न का उपयोग करते हैं।

तंत्र: प्रत्येक सफल एपिसोड के लिए, टारगेट वैल्यू पूरे एपिसोड के कुल डिस्काउंटेड रिटर्न (उस चरण से लक्ष्य तक) के रूप में गणना की जाती है।
प्रभाव: यह लक्ष्य रिवॉर्ड को केवल अंतिम चरण तक ही नहीं, बल्कि सफल प्रक्षेपवक्र के सभी चरणों में तुरंत प्रसारित करता है।
असफल एपिसोड: असफल एपिसोड के लिए, अपडेट समय सीमा तक के सबसे लंबे संभव रिटर्न का उपयोग करता है, जो Q-वैल्यू में ओवरएस्टिमेशन बायस को कम करने में मदद करता है।

3. प्रमुख योगदान (Key Contributions)

$\epsilon_t$ -greedy: एक अभिनव अन्वेषण रणनीति जो अनविज़िटेड अवस्थाओं की ओर निर्देशित अन्वेषण (directed exploration) सक्षम करने के लिए रिप्ले बफर और LSH के साथ ट्री सर्च को जोड़ती है। शोध पत्र इसकी पॉलीनोमियल सैंपल कॉम्प्लेक्सिटी का सैद्धांतिक प्रमाण प्रदान करता है।
GDRB: एक ड्यूल-बफर आर्किटेक्चर जो सफल और असफल अनुभवों को अलग करता है, और दुर्लभ लक्ष्य-प्राप्ति ट्रांज़िशन्स की उपयोगिता को अधिकतम करने के लिए अनुकूली सैंपलिंग का उपयोग करता है।
Longest $n$ -step Integration: एक विधि जो प्रक्षेपवक्र के सभी चरणों में अंतिम एपिसोड रिवॉर्ड को साझा करती है, जिससे स्पार्स-रिवॉर्ड सेटिंग्स में सीखना काफी तेज हो जाता है।
व्यापक मूल्यांकन: इन तीनों घटकों को DDPG में एकीकृत करने से एक मजबूत एल्गोरिदम बनता है जो मानक बेसलाइन्स और अन्य स्टेट-ऑफ-द-आर्ट विधियों से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने स्पार्स रिवॉर्ड वाले छह कंटीन्यूअस कंट्रोल बेंचमार्क्स (3 नेविगेशन, 3 मैनिपुलेशन) पर ETGL-DDPG का मूल्यांकन किया:

वातावरण (Environments): वॉल-मेज़ (Wall-maze), यू-मेज़ (U-maze), पॉइंट-पुश (Point-push), विंडो-ओपन (Window-open), सॉकर (Soccer), और बटन-प्रेस (Button-press)।
बेसलाइन्स: DDPG, SAC, TD3, और DOIE के विरुद्ध तुलना की गई।
प्रदर्शन:
- ETGL-DDPG ने नेविगेशन कार्यों (Wall-maze, U-maze, Point-push) में किसी भी अन्य विधि की तुलना में तेजी से 100% सफलता दर प्राप्त की।
- मैनिपुलेशन कार्यों में, इसने SAC और TD3 सहित सभी बेसलाइन्स को लगातार पछाड़ा।
- चुनौतीपूर्ण Wall-maze (जिसमें लोकल ऑप्टिमा की ओर ले जाने वाला "ग्रेडिएंट क्लिफ" है) में, केवल ETGL-DDPG और DOIE ने गैर-शून्य सफलता प्राप्त की, जिसमें ETGL-DDPG तेजी से अभिसरण (converge) हुआ।
एब्लेशन अध्ययन (Ablation Studies):
- $\epsilon_t$ -greedy को सबसे महत्वपूर्ण घटक के रूप में पहचाना गया, जिसने $\epsilon_z$ -greedy और इंट्रिन्सिक मोटिवेशन विधियों की तुलना में पर्यावरण कवरेज में काफी सुधार किया।
- GDRB ने सभी वातावरणों में प्रदर्शन में सुधार किया।
- Longest $n$ -step के मिश्रित परिणाम रहे (कुछ कार्यों में अत्यधिक लाभकारी, कुछ में वेरिएंस के कारण थोड़ा हानिकारक), लेकिन तीनों के संयोजन ने सर्वोत्तम समग्र परिणाम दिए।
दक्षता (Efficiency): एल्गोरिदम को मानक DDPG की तुलना में लगभग 1.5 गुना अधिक वॉल-क्लॉक ट्रेनिंग टाइम की आवश्यकता होती है, जो मुख्य रूप से $\epsilon_t$ -greedy में ट्री सर्च के कारण है, लेकिन यह इसके काफी उच्च सैंपल दक्षता और सफलता दर द्वारा न्यायसंगत है।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह शोध पत्र प्रदर्शित करता है कि स्पार्स-रिवॉर्ड कंटीन्यूअस कंट्रोल समस्याओं को हल करने के लिए स्ट्रक्चर्ड एक्सप्लोरेशन और लक्षित अनुभव पुनरावृत्ति (targeted experience replay) आवश्यक हैं।

सैद्धांतिक प्रभाव: यह प्लेनिंग (planning) के लिए रिप्ले बफर का एक स्थानीय मॉडल के रूप में उपयोग करके मॉडल-फ्री RL और प्लानिंग के बीच के अंतर को पाटता है, और सैंपल दक्षता पर सैद्धांतिक गारंटी प्रदान करता है।
व्यावहारिक प्रभाव: ETGL-DDPG उन रोबोटिक्स और कंट्रोल कार्यों के लिए एक मजबूत समाधान प्रदान करता है जहाँ रिवॉर्ड स्पार्स होते हैं और मैनुअल रिवॉर्ड शेपिंग कठिन या असंभव होती है।
भावी कार्य: लेखक स्टोकेस्टिक वातावरणों को संभालने में सीमाओं को नोट करते हैं (वर्तमान में नियतात्मक डोमेन के लिए डिज़ाइन किया गया है) और इमेज-आधारित उच्च-आयामी स्टेट स्पेस के लिए डायनेमिक हैशिंग (जैसे नॉर्मलाइजिंग फ्लो) का उपयोग करने का सुझाव देते हैं।

संक्षेप में, ETGL-DDPG अन्वेषण, डेटा उपयोग और क्रेडिट असाइनमेंट को व्यवस्थित रूप से संबोधित करके DDPG को कठिन, स्पार्स-रिवॉर्ड कंटीन्यूअस कंट्रोल कार्यों के लिए व्यवहार्य बनाकर एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।

1. "मैप-मेकर" महाशक्ति (ϵt\epsilon_tϵt​-greedy)