🤖 AI

Ensemble Elastic DQN: A Step Dependent Ensemble Approach for Reducing Overestimation in Deep Value-Based Reinforcement Learning

यह शोध पत्र एन्सेम्बल इलास्टिक डीक्यूएन (EEDQN) को प्रस्तुत करता है, जो एक वैल्यू-बेस्ड सुदृढीकरण शिक्षण (रीइन्फोर्समेंट लर्निंग) एल्गोरिदम है जो ओवरएस्टिमेशन बायस (अति-आकलन पूर्वाग्रह) को प्रभावी ढंग से कम करने और कई मिनाटार (MinAtar) वातावरणों में बेहतर प्रदर्शन प्राप्त करने के लिए एडेप्टिव इलास्टिक मल्टी-स्टेप रिटर्न्स को होराइजन-डिपेंडेंट एन्सेम्बल एग्रीगेशन के साथ संयोजित करता है।

मूल लेखक: Adrian Ly, Richard Dazeley, Peter Vamplew, Francisco Cruz, Sunil Aryal

प्रकाशित 2026-07-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Adrian Ly, Richard Dazeley, Peter Vamplew, Francisco Cruz, Sunil Aryal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं। रोबोट चीज़ों को आज़माकर, अंक (इनाम) प्राप्त करके, और यह समझने की कोशिश करके सीखता है कि कौन सी चालें उसे लंबे समय में सबसे अधिक अंक दिलाएंगी। इसे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) कहा जाता है।

जिस विशिष्ट पद्धति के बारे में यह शोध पत्र बात करता है, उसे डीप क्यू-नेटवर्क (Deep Q-Network - DQN) कहा जाता है। DQN को एक ऐसे रोबोट के रूप में सोचें जिसके पास एक "क्रिस्टल बॉल" (भविष्य देखने वाला गोला) है जो यह अनुमान लगाती है कि भविष्य की चाल कितनी अच्छी होगी। हालाँकि, इस क्रिस्टल बॉल में एक दोष है: यह अत्यधिक आशावादी (overly optimistic) होने की प्रवृत्ति रखती है। क्योंकि रोबोट को शोर-शराबे वाले, अपूर्ण डेटा के आधार पर भविष्य का अनुमान लगाना पड़ता है, इसलिए वह कभी-कभी अनजाने में कई खराब अनुमानों में से "सबसे अच्छे" अनुमान को चुन लेता है। यह वैसा ही है जैसे कोई छात्र बहुविकल्पीय परीक्षा दे रहा हो और शुद्ध भाग्य से उत्तर पत्र पर सबसे ऊँची संख्या चुन ले, भले ही उसे वास्तव में उत्तर पता न हो। इससे रोबोट अपने कौशल को बढ़ा-चढ़ाकर आंकने लगता है, गलत निर्णय लेता है, और खराब प्रदर्शन के चक्र में फंस जाता है।

यह शोध पत्र एक नया समाधान पेश करता है जिसे एनसेंबल इलास्टिक डीक्यूएन (Ensemble Elastic DQN - EEDQN) कहा जाता है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "समिति" बनाम "अकेला भेड़िया" (एनसेंबल लर्निंग)

मानक DQN भविष्यवाणियां करने के लिए एक एकल "क्रिस्टल बॉल" (एक न्यूरल नेटवर्क) का उपयोग करता है। EEDQN पांच अलग-अलग क्रिस्टल बॉल्स (नेटवर्क्स का एक समूह या एनसेंबल) की एक समिति (committee) का उपयोग करता है।

समस्या: यदि आप एक व्यक्ति से भविष्यवाणी करने के लिए कहते हैं, तो वह बहुत गलत हो सकता है।
समाधान: यदि आप पांच लोगों से पूछते हैं, तो आप अधिक विश्वसनीय परिणाम प्राप्त करने के लिए उनके उत्तरों का औसत निकाल सकते हैं। हालाँकि, शोध पत्र में पाया गया कि केवल औसत निकालना रोबोट को बहुत अधिक आशावादी होने से रोकने के लिए पर्याप्त नहीं है।

2. "खिंचने वाला रबर बैंड" (इलास्टिक मल्टी-स्टेप रिटर्न्स)

आमतौर पर, रोबोट केवल अगले ही कदम को देखकर सीखते हैं (जैसे एक कदम आगे बढ़ना और यह देखना कि क्या आप लड़खड़ा जाते हैं)। कभी-कभी, और आगे तक देखना बेहतर होता है, जैसे कि एक पूरा रास्ता बनाना।

पुराना तरीका: पिछले तरीकों में आगे देखने के लिए एक निश्चित दूरी का उपयोग किया जाता था (जैसे, हमेशा 5 कदम आगे देखें)। यह कठोर था।
नया तरीका (इलास्टिक): EEDQN एक "खिंचने वाले रबर बैंड" का उपयोग करता है।
- यदि रोबोट गेम के सुरक्षित और अनुमानित हिस्से से गुजर रहा है, तो रबर बैंड बाहर की ओर खिंचता है, जिससे रोबोट तेजी से सीखने के लिए भविष्य में बहुत आगे तक देख पाता है।
- यदि रोबोट गेम के अराजक या बदलते हुए हिस्से में पहुँचता है, तो रबर बैंड पीछे की ओर खिंचकर छोटा हो जाता है ताकि वह खराब दीर्घकालिक अनुमानों से भ्रमित न हो।
- शोध पत्र का अपग्रेड: इस "रबर बैंड" का मूल संस्करण जटिल गणित (क्लस्टरिंग) का उपयोग करने के कारण भारी और धीमा था। EEDQN इसे एक हल्के नियम से बदल देता है: यह बस यह जाँचता है कि वर्तमान स्थान का अनुमानित मूल्य अगले स्थान के मूल्य से बहुत अलग है या नहीं। यदि वे अलग हैं, तो यह खिंचना बंद कर देता है। यह रोबोट को बहुत तेज़ और चलाने में आसान बनाता है।

3. "स्मार्ट एग्रीगेशन" (असली जादू)

यह इस शोध पत्र का सबसे रचनात्मक हिस्सा है। लेखकों ने महसूस किया कि समिति की क्रिस्टल बॉल्स को इस आधार पर अलग तरह से बोलना चाहिए कि रोबोट भविष्य में कितनी दूर देख रहा है।

तत्काल अगले कदम को देखना (कम दूरी): समिति को अपने विचारों का औसत (average) लेना चाहिए। यह रोबट को आत्मविश्वासी रखता है और बिना बहुत अधिक डरे आगे बढ़ने में मदद करता है।
भविष्य में बहुत दूर देखना (लंबी दूरी): समिति को न्यूनतम (minimum) (सबसे निराशावादी) विचार लेना चाहिए।
- उपमा: कल्पना कीजिए कि आप एक रोड ट्रिप की योजना बना रहे हैं।
  - अगले मोड़ के लिए, आप समूह की औसत सलाह पर भरोसा करते हैं।
  - लेकिन 500 मील दूर की यात्रा के लिए, आप समूह के सबसे सतर्क व्यक्ति की बात सुनते हैं। क्यों? क्योंकि आप जितना दूर देखेंगे, उतनी ही अधिक संभावना है कि आपका "क्रिस्टल बॉल" गलत और अत्यधिक आशावादी होगा। लंबी अवधि की योजनाओं के लिए "सबसे खराब स्थिति" वाले व्यक्ति की बात सुनकर, आप रोबोट को असंभव पुरस्कारों के बारे में उम्मीदें जगाने से रोकते हैं।

उन्होंने क्या पाया?

शोधकर्ताओं ने पांच मिनी-वीडियो गेम्स (MinAtar वातावरण) पर इस नए रोबोट का परीक्षण किया।

परिणाम: EEDQN पांच में से चार खेलों में पहले स्थान पर रहा या बराबरी पर रहा।
निदान: उन्होंने रोबोट की "क्रिस्टल बॉल" संख्याओं की जाँच की और पाया कि मानक रोबोट ऐसे स्कोर का अनुमान लगा रहे थे जो भौतिक रूप से असंभव थे (जैसे, यह अनुमान लगाना कि आपको 1,000 अंक मिलेंगे जबकि गेम में केवल 100 अंक ही संभव हैं)। EEDQN ने इन संख्याओं को वास्तविक और नियंत्रण में रखा।
सबक: कोई "एक ही नियम सबके लिए" (one size fits all) वाला नियम नहीं है। कुछ खेलों में, बहुत सतर्क रहना (न्यूनतम को चुनना) सबसे अच्छा काम करता है। अन्य में, मिश्रण बेहतर होता है। लेकिन मुख्य निष्कर्ष यह है कि "खिंचने वाले रबर बैंड" को "स्मार्ट समिति" के साथ जोड़ने से अकेले किसी भी ट्रिक का उपयोग करने की तुलना में बेहतर परिणाम मिलते हैं।

सारांश

यह शोध पत्र AI के वीडियो गेम सीखने के एक स्मार्ट तरीके को प्रस्तुत करता है। यह AI के बहुत अधिक आत्मविश्वासी होने की समस्या को हल करता है:

एक मस्तिष्क के बजाय टीम का उपयोग करके।
यह तय करने के लिए कि कितना आगे देखना है, एक खिंचने वाली समयरेखा (stretchy timeline) का उपयोग करके।
यह सुनिश्चित करने के लिए कि टीम वोट देने का तरीका बदले कि वे कितनी दूर देख रहे हैं (कम दूरी के लिए औसत लेना, लंबी दूरी के लिए सबसे सतर्क अनुमान चुनना)।

यह AI को तेजी से सीखने, अधिक स्थिर रहने और अपनी क्षमताओं का अतिरंजित आकलन करने के जाल से बचने में मदद करता है।

तकनीकी सारांश: एन्सेम्बल इलास्टिक डीक्यूएन (EEDQN)

समस्या विवरण

डीप क्यू-नेटवर्क्स (DQN) और अन्य वैल्यू-आधारित सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम अक्सर ओवरएस्टिमेशन बायस (overestimation bias) से ग्रस्त होते हैं। यह तब होता है जब बूटस्ट्रैप्ड टारगेट्स शोर वाले वैल्यू अनुमानों पर मैक्सिमाइजेशन ऑपरेशन का उपयोग करते हैं, जिससे सकारात्मक त्रुटियां चुनी जा सकती हैं और आगामी अपडेट के माध्यम से प्रसारित की जा सकती हैं। क्यू-वैल्यू का यह उछाल एजेंट को क्रिया चयन (action selection) को भ्रमित करने, एजेंट को अत्यधिक अनुमानित स्टेट-एक्शन क्षेत्रों में पुन: जाने के लिए प्रोत्साहित करने और उप-इष्टतम नीतियों (sub-optimal policies) की ओर अभिसरण (convergence) में योगदान देने में भ्रामक हो सकता है।

जबकि एन्सेम्बल-आधारित विधियों (जैसे, Averaged DQN, MaxMin DQN) और मल्टी-स्टेप विधियों (जैसे, Rainbow, Elastic Step DQN) ने स्वतंत्र रूप से स्थिरता और सैंपल दक्षता (sample efficiency) में सुधार करने की क्षमता दिखाई है, उनका आपसी संबंध अभी भी कम खोजा गया है। इन दृष्टिकोणों को जोड़ना गैर-तुच्छ (non-trivial) है; जबकि एन्सेम्बल एग्रीगेशन ओवरएस्टिमेशन को कम कर सकता है, सभी टारगेट्स पर रूढ़िवादी एग्रीगेशन (conservative aggregation) लागू करने से अंडरएस्टिमेशन बायस (underestimation bias) का जोखिम बढ़ सकता है। इसके अलावा, मौजूदा एडेप्टिव मल्टी-स्टेप विधियाँ जैसे कि Elastic Step DQN, क्लस्टरिंग-आधारित समानता परीक्षणों के कारण कम्प्यूटेशनल रूप से महंगी हैं, जो उनकी स्केलेबिलिटी को सीमित करती हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र एन्सेम्बल इलास्टिक डीक्यूएन (EEDQN) प्रस्तावित करता है, जो एक वैल्यू-आधारित एल्गोरिदम है जो होराइजन-डिपेंडेंट (horizon-dependent) एन्सेम्बल एग्रीगेशन के साथ एडेप्टिव इलास्टिक मल्टी-स्टेप रिटर्न्स को एकीकृत करता है।

1. स्केलेबल इलास्टिक स्टेप मैकेनिज्म

EEDQN मूल Elastic Step DQN को क्लस्टरिंग के कम्प्यूटेशनल ओवरहेड को समाप्त करने के लिए संशोधित करता है। स्टेट समानता निर्धारित करने के लिए रिप्रेजेंटेशन क्लस्टरिंग का उपयोग करने के बजाय, EEDQN एक लाइटवेट क्यू-वैल्यू डिफरेंस रूल का उपयोग करता है:

यह $N$ टारगेट नेटवर्क्स $\{\hat{Q}_i\}$ का एक एन्सेम्बल बनाए रखता है।
यह एन्सेम्बल मीन टारगेट वेक्टर $\bar{Q}^-(s, \cdot)$ की गणना करता है।
यह स्टार्ट स्टेट ( $s_0$ ) और वर्तमान नेक्स्ट स्टेट ( $s'$ ) के मीन टारगेट वेक्टर्स के बीच $L_1$ अंतर ( $z$ ) की गणना करता है।
एक एडेप्टिव थ्रेशोल्ड ( $h$ ) हाल के $z$ मानों के ऐतिहासिक बफर से प्राप्त किया जाता है ( $h = \text{mean}(B) + \text{std}(B)/\sqrt{|B|}$ )।
यदि $z > h$ , तो प्रक्षेपवक्र (trajectory) को एक नए वैल्यू रीजन में प्रवेश करने वाला माना जाता है, जो संचित रिटर्न को स्टोर करने और संचय (accumulation) को रीसेट करने को ट्रिगर करता है। अन्यथा, रिवार्ड्स संचय जारी रखते हैं।

2. होराइजन-डिपेंडेंट एन्सेम्बल एग्रीगेशन

EEDQN का एक मुख्य नवाचार संचित रिटर्न की लंबाई (होराइजन $k$ ) के आधार पर विभिन्न एग्रीगेशन नियमों का उपयोग करना है:

वन-स्टेप टारगेट्स ( $k=1$ ): बूटस्ट्रैप वैल्यू की गणना एन्सेम्बल मीन का उपयोग करके की जाती है। यह टारगेट्स को अत्यधिक रूढ़िवादी होने से रोकता है, जो उन क्षेत्रों में सीखने में बाधा डाल सकता है जहाँ बूटस्ट्रैपिंग आवश्यक है।
मल्टी-स्टेप इलास्टिक रिटर्न्स ( $k > 1$ ): बूटस्ट्रैप वैल्यू की गणना एन्सेम्बल मिनिमम का उपयोग करके की जाती है। चूंकि लंबे रिटर्न्स बूटस्ट्रैप टर्म से पहले महत्वपूर्ण रिवॉर्ड जानकारी को पहले ही संचित कर लेते हैं, इसलिए मिनिमम का उपयोग अत्यधिक आशावादी एक्सट्रपलेशन (optimistic extrapolation) को कम करता है बिना फुल टारगेट वैल्यू पर हावी हुए।

टारगेट वैल्यू $y$ को इस प्रकार परिभाषित किया गया है:
$y = \begin{cases} R(k) & \text{यदि टर्मिनल है} \\ R(1) + \gamma G_{\text{mean}}(s', a^*) & \text{यदि } k=1 \\ R(k) + \gamma^k G_{\text{min}}(s', a^*) & \text{यदि } k>1 \end{cases}$
जहाँ $a^*$ एन्सेम्बल मीन के आधार पर चयनित ग्रीडी एक्शन है।

मुख्य योगदान

एल्गोरिदम प्रस्ताव: EEDQN का परिचय, जो एडेप्टिव मल्टी-स्टेप रिटर्न्स को एन्सेम्बल-आधारित टारगेट एग्रीगेशन के साथ जोड़ता है।
स्केलेबिलिटी में सुधार: डायस्क्रीट कंट्रोल सेटिंग्स में एडेप्टिव रिटर्न निर्माण को अधिक लागू करने योग्य बनाने के लिए क्लस्टरिंग-आधारित समानता परीक्षण को एक लाइटवेट क्यू-वैल्यू डिफरेंस रूल से बदलना।
होराइजन-डिपेंडेंट एग्रीगेशन: एक नियम का प्रस्ताव जहाँ वन-स्टेप टारगेट्स एन्सेम्बल मीन का उपयोग करते हैं जबकि लंबे इलास्टिक रिटर्न्स एन्सेम्बल मिनिमम का उपयोग करते हैं, जिसका उद्देश्य आशावादी बायस को कम करने और सैंपल दक्षता को बनाए रखने के बीच संतुलन बनाना है।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): पांच MinAtar वातावरणों में DQN, Double DQN, Averaged DQN, MaxMin DQN, और Elastic Step DQN के विरुद्ध व्यापक मूल्यांकन।
एब्लेशन विश्लेषण (Ablation Analysis): एन्सेम्बल कंजर्वेटिज्म और एडेप्टिव रिटर्न लेंथ के बीच इंटरैक्शन का विश्लेषण करने के लिए विभिन्न एग्रीगेशन नियमों (मीन, मिनिमम, स्वैप्ड, और कॉनवेक्स कॉम्बिनेशन) की जांच।

प्रयोगात्मक परिणाम

EEDQN का मूल्यांकन 10 मैच किए गए रैंडम सीड्स का उपयोग करके पांच MinAtar वातावरणों (Seaquest, SpaceInvaders, Asterix, Breakout, Freeway) पर किया गया।

प्रदर्शन: EEDQN ने पांच में से चार वातावरणों (SpaceInvaders, Asterix, Breakout, Freeway) में उच्चतम फाइनल रिटर्न प्राप्त किया। Seaquest में, MaxMin DQN ने सर्वश्रेष्ठ प्रदर्शन किया, जिसमें EEDQN दूसरे स्थान पर रहा।
वैल्यू इन्फ्लेशन कंट्रोल: अधिकतम देखे गए क्यू-वैल्यूज की तुलना सैद्धांतिक डिस्काउंटेड रिटर्न अपर बाउंड से करने वाले एक डायग्नोस्टिक मेट्रिक ने दिखाया कि EEDQN और MaxMin DQN सभी वातावरणों में इन्फ्लेशन थ्रेशोल्ड से नीचे रहे। इसके विपरीत, DQN, DDQN, Averaged DQN, और Elastic Step DQN कम से कम एक वातावरण में इस बाउंड से ऊपर निकल गए।
एब्लेशन निष्कर्ष: कोई भी एकल एग्रीगेशन नियम सभी वातावरणों में प्रभावी नहीं रहा।
- EEDQN ( $k=1$ के लिए Mean, $k>1$ के लिए Min) Asterix, Breakout, और Freeway में सर्वश्रेष्ठ रहा।
- MinEEDQN (सभी के लिए Min) Seaquest में सर्वश्रेष्ठ रहा, जो गंभीर ओवरएस्टिमेशन समस्याओं वाला वातावरण है।
- ConvexEEDQN2 (50/50 मिक्स) SpaceInvaders में सर्वश्रेष्ठ रहा।
- यह सुझाव देता है कि इष्टतम स्तर का कंजर्वेटिज्म वातावरण-निर्भर है।

महत्व और दावे

यह शोध पत्र दावा करता है कि EEDQN सफलतापूर्वक यह प्रदर्शित करता है कि एडेप्टिव मल्टी-स्टेप रिटर्न्स और एन्सेम्बल एग्रीगेशन ओवरएस्टिमेशन बायस को कम करने के लिए पूरक (complementary) तंत्र हैं। हालांकि, इसके परिणाम यह भी संकेत देते हैं कि एक "वन-साइज़-फिट्स-ऑल" एग्रीगेशन रणनीति उप-इष्टतम है; कंजर्वेटिज्म का सही स्तर विशिष्ट वातावरण की विशेषताओं पर निर्भर करता है।

लेखक EEDQN को एक लाइटवेट वैल्यू-आधारित दृष्टिकोण के रूप में प्रस्तुत करते हैं जो यह अध्ययन करता है कि एग्रीगेशन रूल्स को बैकअप होराइजन के अनुसार कैसे अनुकूलित किया जाना चाहिए। वे स्पष्ट रूप से कहते हैं कि योगदान केवल आइसोलेशन में एन्सेमबल्स या मल्टी-स्टेप रिटर्न्स का उपयोग करने में नहीं है, बल्कि एक होराइजन-डिपेंडेंट नियम के अध्ययन में है जो बैकअप होराइजन के आधार पर एग्रीगेशन ऑपरेटर को बदल देता है। पेपर निष्कर्ष निकालता है कि जबकि EEDQN मानक बेसलाइन्स में सुधार करता है, भविष्य के कार्यों में ऑनलाइन मीन-मिनिमम ट्रेड-ऑफ को एडजस्ट करने वाले एडेप्टिव एग्रीगेशन रूल्स की जांच करने और फुल अटरी लर्निंग एनवायरनमेंट जैसे बड़े बेंचमार्क पर विधि का मूल्यांकन करने की आवश्यकता है।