🤖 machine learning

Endpoint Replay: Compressing the Recency Buffer in Deep Reinforcement Learning

यह शोध पत्र "एंडपॉइंट रिप्ले" (Endpoint Replay) को प्रस्तुत करता है, जो एक ऐसी विधि है जो जुड़े हुए n-स्टेप अनुक्रमों के एंडपॉइंट्स से प्रतिनिधि ट्रांज़िशनों को संग्रहीत करके एक्सपीरियंस रिप्ले बफ़र को संकुचित करती है, जिससे भंडारण आवश्यकताओं को एक क्रम (order of magnitude) तक कम करते हुए पारंपरिक बड़े बफ़र्स के तुलनीय प्रदर्शन प्राप्त होता है।

मूल लेखक: Parham Mohammad Panahi, Armin Ashrafi, Haoyu Du, Andrew Patterson, Martha White, Adam White

प्रकाशित 2026-07-29

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Parham Mohammad Panahi, Armin Ashrafi, Haoyu Du, Andrew Patterson, Martha White, Adam White

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक रोबोट वीडियो गेम खेलना सीख रहा है। बेहतर बनने के लिए, उसे अभ्यास करने की आवश्यकता है, लेकिन वह केवल पिछले कुछ सेकंड में जो हुआ उस पर निर्भर नहीं रह सकता; उसे घंटों पहले सीखे गए सबक याद रखने होंगे। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस मेमोरी बैंक को "एक्सपीरियंस रिप्ले बफर" (experience replay buffer) कहा जाता है। इसे एक छात्र की नोटबुक की तरह समझें जहाँ वह अपनी हर चाल, अपना स्कोर और उसके बाद क्या हुआ, यह सब लिखता है। अधिकांश आधुनिक AI रोबोट एक विशाल नोटबुक का उपयोग करते हैं—अक्सर दस लाख प्रविष्टियों (entries) तक—यह सुनिश्चित करने के लिए कि वे महत्वपूर्ण चीजों को न भूलें। वे अपने अतीत की गलतियों और जीत से सीखने के लिए इस नोटबुक के पन्नों को बेतरतीब ढंग से पलटते हैं। लेकिन यहाँ एक पेंच है: दस लाख प्रविष्टियों को स्टोर करने के लिए बहुत अधिक कंप्यूटर मेमोरी और ऊर्जा की आवश्यकता होती है। वैज्ञानिक एक सरल प्रश्न पूछ रहे हैं: क्या हम इस नोटबुक को बिना रोबोट को खेलना भुलाए, एक बहुत छोटे आकार में सिकोड़ सकते हैं?

यह शोध पत्र (paper) ठीक इसी समस्या से निपटता है। यह इस मेमोरी को कंप्रेस करने का एक चतुर नया तरीका पेश करता है, और यह सिद्ध करता है कि एक AI मानक बुफर्स की तुलना में 10 से 50 गुना छोटी नोटबुक के साथ भी उतना ही अच्छा सीख सकता है। शोधकर्ताओं ने पाया कि यदि आप एक विशाल नोटबुक से केवल कुछ "महत्वपूर्ण" पन्ने चुनने की कोशिश करते हैं, तो रोबोट भ्रमित हो जाता है क्योंकि उन पन्नों का आपस में कोई संबंध नहीं होता। उनका समाधान? अलग-थलग पन्नों को रखने के बजाय, वे घटनाओं की "शृंखलाएं" (chains) रखते हैं जो आपस में जुड़ी होती हैं, जिससे यह सुनिश्चित होता है कि हर सबक तार्किक रूप से अगले सबक की ओर ले जाए। समय के अंतराल को संभालने के लिए एक विशेष गणितीय ट्रिक का उपयोग करके, वे एक विशाल मेमोरी को एक बहुत छोटे स्थान में समेटने में सफल रहे, जिससे रोबोट अपने कौशल को खोए बिना तेजी से और कम खर्च में सीख सका।

समस्या: बिखरे हुए पन्नों वाली एक नोटबुक

वर्षों से, AI एजेंटों (जैसे कि जो अटाari गेम्स खेल रहे हैं) को सिखाने का मानक तरीका एक विशाल "FIFO" (First-In, First-Out) बफर रखना रहा है। एक कन्वेयर बेल्ट की कल्पना करें जहाँ नए अनुभव सामने से अंदर आते हैं और पुराने पीछे से बाहर गिर जाते हैं। यह बेल्ट आमतौर पर दस लाख स्टेप्स लंबी होती है। AI इस बेल्ट से रैंडम पन्ने चुनकर सीखता है। यह काम करता है, लेकिन यह बहुत भारी (bulky) है।

शोधकर्ताओं ने पहले भी इस बेल्ट को सिकोड़ने की कोशिश की है। कुछ ने केवल "सबसे महत्वपूर्ण" पन्ने रखने की कोशिश की, जिसे कोरेसेट (coreset) तकनीक कहा जाता है। विचार यह था कि सबसे अच्छे, सबसे प्रतिनिधि अनुभवों को चुनें और बाकी को फेंक दें। हालाँकि, इस पेपर के लेखकों ने इस दृष्टिकोण में एक छिपे हुए दोष को पाया।

जब आप एक विशाल इतिहास से रैंडम, अलग-थलग पन्ने चुनते हैं, तो अक्सर आपके पास एक ऐसा पन्ना होता है जो कहता है, "मैंने यह क्रिया की, और फिर मैं इस स्थिति (state) में पहुँचा।" लेकिन यदि आप बीच के सभी पन्नों को हटा देते हैं, तो AI वास्तव में यह कभी नहीं सीख पाता कि उस लैंडिंग स्टेट के अंदर क्या हुआ। यह एक कॉमिक बुक पढ़ने जैसा है जहाँ आप केवल एक दृश्य के पहले और अंतिम पैनल को रखते हैं। आप नायक को कूदते हुए देखते हैं, और फिर आप उन्हें उतरते हुए देखते हैं, लेकिन आपको पता ही नहीं चलता कि वे वहाँ कैसे पहुँचे या उतरने का अनुभव कैसा था। AI की भाषा में, "बूटस्ट्रैप टारगेट" (वह मान जिसे AI अगले कदम के लिए अनुमान लगाने की कोशिश करता है) अनएंकर्ड (unanchored) यानी बिना किसी आधार के हो जाता है। AI उस स्थिति के मान का अनुमान लगा रहा होता है जिसे उसने अपनी वर्तमान, छोटी मेमोरी में कभी अपडेट या देखा ही नहीं है। इससे गलत अनुमान और खराब प्रदर्शन होता है।

समाधान: एंडपॉइंट रिप्ले (Endpoint Replay)

लेखक एंडपॉइंट रिप्ले नामक एक नया तरीका प्रस्तावित करते हैं। अलग-थलग पन्ने रखने के बजाय, वे शृंखलाएं (chains) रखते हैं।

कल्पना कीजिए कि आप एक लंबी फिल्म को एक 'हाइलाइट रील' में कंप्रेस कर रहे हैं। रैंडम फ्रेम चुनने के बजाय, आप एक शुरुआती फ्रेम चुनते हैं, 10 फ्रेम आगे बढ़ते हैं, और फिर उस बीच मिले सभी पुरस्कारों (rewards) के पूरे क्रम को एक एकल "सारांश" के रूप में रिकॉर्ड करते हैं। आप शुरुआती बिंदु और अंतिम बिंदु को रखते हैं, लेकिन उन्हें उस जंप के दौरान अर्जित कुल स्कोर के साथ जोड़ देते हैं।

यह उनके सिस्टम में इस प्रकार काम करता है:

दो बफर्स: AI तत्काल सीखने के लिए एक छोटा "रिसेंसी बफर" (पिछले 10,000 स्टेप्स) रखता है, बिल्कुल एक मानक नोटबुक की तरह।
लैग बफर (The Lag Buffer): जैसे ही पुराना डेटा रिसेंसी बफर से बाहर निकलता है, उसे केवल हटाया नहीं जाता। वह एक छोटे "लैग बफर" में जाता है जो लगभग 10 स्टेप्स को रखता है।
शृंखला (The Chain): एक बार जब लैग बफर भर जाता है (या एपिसोड समाप्त हो जाता है), तो AI उन 10 स्टेप्स के लिए कुल रिवॉर्ड की गणना करता है और एक एकल "n-स्टेप ट्रांजिशन" बनाता है। यह शुरुआती स्थिति, अंतिम स्थिति और बीच में अर्जित कुल रिवॉर्ड को स्टोर करता है।
कोरेसेट (The Coreset): ये "चेन किए गए" सारांश एक दूसरे, थोड़े बड़े बफर में रखे जाते हैं जिसे कोरेसेट कहा जाता है।

जादू यह है कि कोरेसेट में प्रत्येक अंतिम स्थिति (ending state) एक अन्य शृंखला के लिए शुरुआती स्थिति (starting state) भी होती है। इसका मतलब है कि AI को कभी भी ऐसी स्थिति के मान का अनुमान नहीं लगाना पड़ता जिसे उसने देखा ही नहीं है; हर "लैंडिंग" एक "टेकऑफ" द्वारा एंकर की जाती है जो स्वयं मेमोरी में मौजूद है। भले ही बीच के स्टेप्स गायब हों, लेकिन कनेक्शन सुरक्षित रहते हैं।

"पुरानी खबर" के पूर्वाग्रह (Bias) को ठीक करना

एक और बाधा थी। क्योंकि ये शृंखलाएं AI के एक पुराने संस्करण द्वारा एकत्र किए गए डेटा से बनाई गई हैं (चूंकि एजेंट लगातार बेहतर होता जा रहा है), इसलिए शृंखला में रिवॉर्ड्स वर्तमान, स्मार्ट AI द्वारा प्राप्त किए जाable स्तर की तुलना में "निराशावादी" या बहुत कम लग सकते हैं।

इसे ठीक करने के लिए, लेखकों ने एक्सपेक्टाइल सारसा (Expectile Sarsa) नामक एक गणितीय उपकरण का उपयोग किया।

मानक लर्निंग औसत रिवॉर्ड खोजने की कोशिश करती है।
एक्सपेक्टाइल (Expectile) लर्निंग एक "निराशावादी फिल्टर" की तरह है। यह उन रिवॉर्ड्स पर ध्यान केंद्रित करती है जो औसत से बेहतर हैं, जो प्रभावी रूप से AI को बताता है, "सिर्फ बीच के स्तर पर न रुकें; उच्च स्कोर का लक्ष्य रखें।"

इस विशिष्ट प्रकार के गणित का उपयोग करके, AI उन पुराने, 10-स्टेप की शृंखलाओं को देख सकता है और अभी भी सही मान सीख सकता है, बिना अपने अतीत के गलत निर्णयों से नीचे गिरे।

उन्होंने क्या पाया

शोधकर्ताओं ने इस विचार का परीक्षण दो बहुत अलग दुनियाओं में किया:

पिनबॉल (Pinball): एक भौतिकी-आधारित गेम जहाँ एक गेंद मेज के चारों ओर उछलती है।
अटाari 2600 (Atari 2600): 12 क्लासिक वीडियो गेम्स (जैसे Breakout, Space Invaders, और Pong) का एक संग्रह।

उन्होंने अपने एंडपॉइंट रिप्ले तरीके की तुलना निम्नलिखित से की:

एक मानक विशाल बफर (1 मिलियन स्टेप्स)।
एक छोटा बफर (100k स्टेप्स) बिना किसी चेन के।
रैंडम सैंपलिंग वाला छोटा बफर (पुराना तरीका)।
MeDQN जैसे अन्य कंप्रेशन तरीके।

परिणाम:

भारी कंप्रेशन: एंडपॉइंट रिप्ले ने 1-मिलियन-स्टेप के विशाल बफर के समान ही प्रदर्शन किया, भले ही इसमें 10 से 50 गुना कम स्टोरेज का उपयोग किया गया हो।
बुनियादी बातों को पछाड़ना: 10x और 50x छोटे सेटिंग्स में, एंडपॉइंट रिप्ले ने रैंडम सैंपलिंग या मानक 1-स्टेप अपडेट का उपयोग करने वाले छोटे बुफर्स की तुलना में काफी बेहतर प्रदर्शन किया।
"एंकरिंग" का प्रमाण: जब उन्होंने "चेनिंग" को हटा दिया (स्थितियों को फिर से अनएंकर्ड बना दिया), तो प्रदर्शन गिर गया। इसने साबित किया कि "अनएंकर्ड बूटस्ट्रैप" की समस्या वास्तविक थी और उनकी चेनिंग समाधान ही मुख्य कुंजी थी।
गणित मायने रखता है: जब उन्होंने विशेष "एक्सपेक्टाइल" गणित को हटा दिया और मानक औसत का उपयोग किया, तो प्रदर्शन थोड़ा कम हो गया, जिससे पता चला कि "पुरानी खबर" के पूर्वाग्रह को संभालना भी महत्वपूर्ण था।

निष्कर्ष

यह पेपर केवल यह सुझाव नहीं देता कि छोटे बफर्स शायद काम कर सकते हैं; यह दिखाता है कि सही संरचना के साथ, वे वास्तव में काम करते हैं। लेखकों ने गणितीय रूप से सिद्ध किया कि उनका तरीका सुदृढ़ है और सिमुलेशन के माध्यम से प्रदर्शित किया कि यह विशाल मेमोरी बैंकों के प्रदर्शन से मेल खाता है जबकि बहुत कम स्थान का उपयोग करता है।

उन्होंने केवल नोटबुक को छोटा नहीं किया; उन्होंने इस बात को फिर से लिखा कि पन्ने आपस में कैसे जुड़े होते हैं। लंबी शृंखलाओं के "एंडपॉइंट्स" को रखकर और उन्हें आपस में जोड़कर, उन्होंने उस समस्या को हल किया जिससे AI अपनी ही मेमोरी में खो जाता है। इसका अर्थ है कि भविष्य के AI एजेंट बहुत कम मेमोरी वाले उपकरणों पर जटिल कार्य सीख सकते हैं, जिससे शक्तिशाली आर्टिफिशियल इंटेलिजेंस अधिक सुलभ और कुशल बन सकती है।

तकनीकी सारांश: एंडपॉइंट रिप्ले: डीप रीइन्फोर्समेंट लर्निंग में रिसेंसी बफर का संपीड़न (Compression)

समस्या विवरण (Problem Statement)

डीप रीइन्फोर्समेंट लर्निंग (DRL) एल्गोरिदम, विशेष रूप से DQN, SAC और DreamerV3 जैसे ऑफ-पॉलिसी तरीके, बड़े एक्सपीरियंस रिप्ले बफर्स (आमतौर पर 1 मिलियन ट्रांज़िशन) पर बहुत अधिक निर्भर करते हैं ताकि सैंपल्स के बीच सह-संबंध (de-correlation) को कम किया जा सके, कठिन अन्वेषण (hard exploration) के लिए डेटा को बनाए रखा जा सके, और स्पार्स रिवॉर्ड्स (sparse rewards) को प्रसारित किया जा सके। हालांकि ये प्रभावी हैं, लेकिन इतने बड़े बफर्स महत्वपूर्ण स्टोरेज लागत और कम्प्यूटेशनल ओवरहेड भी बढ़ाते हैं।

बफर आकार को कम करने के पिछले प्रयासों ने निम्नलिखित पर ध्यान केंद्रित किया है:

कंटीन्यूअल आरएल (Continual RL): नॉन-स्टेशनरी कार्यों को ट्रैक करने के लिए बफर्स को कंप्रेस करना, जो अक्सर दीर्घकालिक प्रतिधारण (long-term retention) का त्याग करता है।
स्ट्रीमिंग/जेनरेटिव तरीके: बफर्स को पूरी तरह से समाप्त करना या जेनरेटिव मॉडल का उपयोग करना, जो सिमुलेशन बायस (simulation bias) या अस्थिरता पैदा कर सकते हैं।
कोर्सेट कंस्ट्रक्शन (Coreset Construction): एक बड़े बफर का सारांश प्रस्तुत करने के लिए प्रतिनिधि ट्रांज़िशन (जैसे कि रिज़र्वोयर सैंपलिंग के माध्यम से) का चयन करना।

यह शोध पत्र जिस केंद्रीय समस्या को संबोधित करता है वह यह है कि क्या एक बड़े रिसेंसी बफर को मूल बड़े बफर के प्रदर्शन लाभों को बनाए रखते हुए एक क्रम (order of magnitude) (10x से 50x) तक कंप्रेस किया जा सकता है। लेखक मौजूदा कोर्सेट दृष्टिकोणों में एक महत्वपूर्ण, पहले से अज्ञात विफलता मोड की पहचान करते हैं: अनएंकरड बूटस्ट्रैप टारगेट्स (unanchored bootstrap targets)। जब एक कोर्सेट अलग-थलग, गैर-सतत (non-contiguous) ट्रांज़िशन से बना होता है, तो बूटस्ट्रैप टारगेट्स (अगले स्टेट-एक्शन पेयर्स) अक्सर कोर्सेट के भीतर मौजूद ही नहीं होते हैं। इसके परिणामस्वरूप, इन टारगेट्स के वैल्यू अनुमान कभी भी बफर में मौजूद ट्रांज़िशन द्वारा अपडेट नहीं किए जाते हैं, जिससे अन-एंकर्ड टारगेट्स उत्पन्न होते हैं जो वैल्यू फंक्शन को खराब कर देते हैं।

कार्यप्रणाली (Methodology): एंडपॉइंट रिप्ले

लेखक एंडपॉइंट रिप्ले का प्रस्ताव करते हैं, जो अनुभव को कंप्रेस करने के लिए एक छोटे रिसेंसी बफर और "चेन्ड" (chained) $n$ -स्टेप ट्रांज़िशन से निर्मित एक बड़े कोर्सेट बफर को बनाए रखता है।

1. चेन्ड $n$ -स्टेप ट्रांज़िशन (एंकरिंग)

अलग-थलग ट्रांज़िशन $(s_t, a_t, r_{t+1}, s_{t+1}, a_{t+1})$ के बजाय, एंडपॉइंट रिप्ले "जंपी" (jumpy) ट्रांज़िशन का एक कोर्सेट बनाता है। जैसे ही डेटा एक छोटे रिसेंसी बफर ( $D_r$ ) से बाहर निकलता है, इसे $n$ -स्टेप सीक्वेंस में एकत्रित किया जाता है।

तंत्र (Mechanism): एक "लैग बफर" रिसेंसी बफर से $n$ ट्रांज़िशन को संचित करता है। पूर्ण होने पर (या समाप्ति पर), यह $n$ -स्टेप रिटर्न $G_{t,n} = \sum_{i=0}^{n-1} \gamma^i r_{t+i+1}$ की गणना करता है और एक एकल ट्रांज़िशन संग्रहीत करता है: $(s_t, a_t, G_{t,n}, \gamma^n, s_{t+n}, a_{t+n})$ ।
एंकरिंग (Anchoring): महत्वपूर्ण रूप से, एक ट्रांज़िशन का एंडपॉइंट $(s_{t+n}, a_{t+n})$ अगले ट्रांज़िशन के लिए शुरुआती बिंदु के रूप में कार्य करता है। यह सुनिश्चित करता है कि प्रत्येक बूटस्ट्रैप टारगेट "एंकर" है—अर्थात, वह कोर्सेट के भीतर एक अन्य ट्रांज़िशन में एक शुरुआती स्टेट के रूप में मौजूद है और इसलिए प्रशिक्षण के दौरान अपडेट किया जाता है। यह उन अन-एंकर्ड टारगेट्स की समस्या को समाप्त करता है जो साधारण कोर्सेट सैंपलिंग में पाई जाती है।

2. एक्सपेक्टाइल सारसा अपडेट (Expectile Sarsa Update)

$n$ -स्टेप टारगेट्स का उपयोग करने से एक नई चुनौती उत्पन्न होती है: पेसिमिस्टिक बायस (pessimistic bias)। ऑफ-पॉलिसी सेटिंग्स में, $n$ -स्टेप रिटर्न्स उन ट्राजेक्टरीज से कंप्यूट किए जाते हैं जो पुरानी, संभावित रूप से सब-ऑप्टिमल पॉलिसियों द्वारा जनरेट की गई होती हैं। मानक $n$ -स्टेप अपडेट जो अधिकतम एक्शन वैल्यू ( $\max_a Q$ ) का उपयोग करते हैं, अत्यधिक आशावादी (optimistic) या बायस्ड हो सकते हैं, जबकि मानक सारसा अपडेट (वास्तविक लिए गए एक्शन $a_{t+n}$ का उपयोग करके) पेसिमिस्टिक हो सकते हैं यदि पुरानी पॉलिसी सब-ऑप्टिमल थी।

इसे कम करने के लिए, लेखक $n$ -स्टेप एक्सपेक्टाइल सारसा पेश करते हैं:

लॉस फंक्शन: वे स्टैंडर्ड स्क्वेयर्ड-एरर लॉस के स्थान पर एक एक्सपेक्टाइल लॉस का उपयोग करते हैं जिसमें पैरामीटर $\tau \in (0, 1)$ होता है।
तंत्र: एक्सपेक्टाइल लॉस $u$ डाउनवर्ड डेविएशन (जो $1-\tau$ द्वारा भारित है) और अपवर्ड डेविएशन (जो $\tau$ द्वारा भारित है) के बीच संतुलन बनाता है। $\tau > 0.5$ (जैसे $\tau=0.7$ ) सेट करके, अपडेट उच्च रिटर्न्स पर ध्यान केंद्रित करता है, जो आउट-ऑफ-डिस्ट्रीब्यूशन एक्शन्स को क्वेरी किए बिना डेटासेट में लिए गए एक्शन सीक्वेंस के ऊपर प्रभावी ढंग से मैक्सिमाइज करता है।
सारसा बनाम Q-लर्निंग: अपडेट एंडपॉइंट पर वास्तव में लिए गए एक्शन ( $a_{t+n}$ ) का उपयोग करता है, न कि $\max_a Q(s_{t+n}, a)$ का, यह सुनिश्चित करता है कि एक्शन भी डेटासेट डिस्ट्रीब्यूशन के भीतर "एंकर" है।

3. एल्गोरिदम आर्किटेक्चर

सिस्टम एक दो-बफर आर्किटेक्चर का उपयोग करता है:

रिसेंसी बफर ( $D_r$ ): सबसे हालिया $j$ ट्रांज़िशन (जैसे 10k) को स्टोर करता है। इसे स्टैंडर्ड डबल DQN (DDQN) अपडेट के साथ अपडेट किया जाता है।
कोर्सेट बफर ( $D_c$ ): कंप्रेस्ड $n$ -स्टेप ट्रांज़िशन (जैसे 90k) को स्टोर करता है। इसे $n$ -स्टेप एक्सपेक्टाइल सारसा लॉस के साथ अपडेट किया जाता है।
सैंपलिंग: फ्रेश डेटा से सीखने को प्राथमिकता देने के लिए (जैसे $D_r$ और $D_c$ का 7:1 अनुपात) रिसेंसी बफर से उच्च अनुपात के साथ मिनी-बैचेस लिए जाते हैं, जबकि कोर्सेट का उपयोग रेगुलाइजेशन और वैल्यू प्रोपेगेशन के लिए किया जाता है।

मुख्य योगदान (Key Contributions)

एंडपॉइंट रिप्ले एल्गोरिदम: एक बफर कंप्रेशन विधि जो एक छोटे रिसेंसी बफर को चेन्ड $n$ -स्टेप ट्रांज़िशन के कोर्सेट के साथ जोड़ती है, जिसे एक्सपेक्टाइल सारसा के माध्यम से अपडेट किया जाता है। यह एक बड़े बफर के प्रदर्शन के बराबर प्रदर्शन प्राप्त करता है जबकि 10x से 50x कम स्टोरेज का उपयोग करता है।
अन-एंकर्ड टारगेट्स की पहचान: यह शोध पत्र औपचारिक रूप से पहचानता है और प्रदर्शित करता है कि अलग-थलग कोर्सेट ट्रांज़िशन अन-एंकर्ड बूटस्ट्रैप टारगेट्स की ओर ले जाते हैं, जिससे वैल्यू फंक्शन दूषित हो जाता है। यह सिद्ध करता है कि $n$ -स्टेप चेन्स के माध्यम से एंकरिंग करने से यह सुनिश्चित होता है कि सभी बूटस्ट्रैप स्टेट्स अपडेट हों।
$n$ -स्टेप एक्सपेक्टाइल सारसा का सैद्धांतिक विश्लेषण:
- $n$ -स्टेप एक्सपेक्टाइल एक्शन-वैल्यू को औपचारिक रूप करता है और सिद्ध करता है कि इससे जुड़ा बेलमैन ऑपरेटर एक कॉन्ट्रैक्शन (contraction) है, जो $n \ge 1$ के लिए अभिसरण (convergence) की गारंटी देता है।
- सिद्ध करता है कि पॉलिसी इटरेशन डिटर्मिनिस्टिक डायनेमिक्स के तहत एक ऑप्टिमल पॉलिसी की ओर अभिसरित होता है।
- $n$ -स्टेप एक्सपेक्टाइल वैल्यूज के बीच एक व्यवस्थित संबंध स्थापित करता है, जो दिखाता है कि लंबे होराइजन्स अधिक कंजर्वेटिव अनुमान प्रदान करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने पिनबॉल (Pinball) एनवायरनमेंट और 12 एटाटा 2600 गेम्स पर एंडपॉइंट रिप्ले का मूल्यांकन किया।

पिनबॉल: एंडपॉइंट रिप्ले, जो 50x छोटा बफर (कुल 10k बनाम मानक 500k) उपयोग करता है, ने एक बड़े रिसेंसी बफर (1M) के प्रदर्शन की बराबरी की और समान आकार के छोटे बफर्स, रिज़र्वोयर-सैंपलिंग कोर्सेट्स और MeDQN से काफी बेहतर प्रदर्शन किया।
एटाटा 2600:
- 10x कंप्रेशन (100k बफर): एंडपॉइंट रिप्ले ने समान आकार के छोटे बफर्स और रिज़र्वोयर कोर्सेट्स को पछाड़ दिया, और एक मानक 1M बफर बेसलाइन के प्रदर्शन के बराबर या उससे थोड़ा बेहतर प्रदर्शन किया।
- 50x कंप्रेशन (20k बफा): एंडपॉइंट रिप्ले ने सभी छोटे-बफर बेसलाइन्स (1-स्टेप और 10-स्टेप) को पछाड़ दिया और 12 में से 5 गेम्स में बड़े बफर के प्रदर्शन के बराबर रहा।
एब्लेशन स्टडीज (Ablation Studies):
- एंकरिंग: चेनिंग (अन-एंकर्ड स्टेट्स) को हटाने या एक्शन एंकरिंग (DDQN के बजाय Sarsa का उपयोग करने) से प्रदर्शन में काफी गिरावट आई।
- एक्सपेक्टाइल लॉस: स्टैंडर्ड स्क्वेर्ड एरर (बायस करेक्शन को हटाने) के साथ एक्सपेक्टाइल लॉस को बदलने से कम प्रदर्शन हुआ, जो $n$ -स्टेप टारगेट्स के लिए एक्सपेक्टाइल अपडेट की आवश्यकता की पुष्टि करता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि एंडपॉइंट रिप्ले ऑफ-पॉलिसी DRL में स्टोरेज एफिशिएंसी और लर्निंग परफॉरमेंस के बीच के ट्रेड-ऑफ को सफलतापूर्वक संबोधित करता है। "अन-एंकर्ड बूटस्ट्रैप टारगेट" समस्या की पहचान करके, लेखक प्रदर्शित करते हैं कि सरल कोर्सेट सिलेक्शन DRL के लिए पर्याप्त नहीं है। उनका समाधान— $n$ -स्टेप चेन्स के माध्यम से एंडपॉइंट्स को एंकर करना और एक्सपेक्टाइल लॉस के माध्यम से बायस को ठीक करना—एजेंट को बड़े बफर्स (लॉन्ग-होराइजन क्रेडिट असाइनमेंट और एक्सप्लोरेशन) के लाभों को कम मेमोरी फुटप्रिंट के साथ बनाए रखने की अनुमति देता है।

लेखक नोट करते हैं कि हालांकि यह विधि लो-स्टोकेस्टिसिटी (low stochasticity) के प्रति मजबूत है, लेकिन ऑप्टिमल पॉलिसी की ओर अभिसरण की सैद्धांतिक गारंटी सख्ती से डिटर्मिनिस्टिक डायनेमिक्स के तहत लागू होती है, क्योंकि एक्सपेक्टाइल लॉस अन्यथा एनवायरनमेंट की स्टोकेस्टिसिटी के पीछे भाग सकता है। यह कार्य बिना बड़े रिप्ले बफर्स द्वारा प्रदान की जाने वाली स्थिरता और सैंपल एफिशिएंसी से समझौता किए बिना, अधिक संसाधन-कुशल DRL की दिशा में एक मार्ग सुझाता है।