🤖 machine learning

StaQ: a Finite Memory Approach to Discrete Action Policy Mirror Descent

यह शोध पत्र "StaQ" का प्रस्ताव और सत्यापन करता है, जो डिस्क्रीट-एक्शन सुदृढीकरण शिक्षण (Reinforcement Learning) के लिए एक परिमित-मेमोरी (finite-memory) एल्गोरिदम है, जो केवल अंतिम $M$ Q-फंक्शन्स को बनाए रखकर पॉलिसी मिरर डिसेंट (Policy Mirror Descent) का सन्निकटन करता है, जिससे अनंत योग की अव्यवहारिकता के बिना त्रुटि औसत (error averaging) के सैद्धांतिक लाभ प्राप्त होते हैं और अनुभवजन्य रूप से यह प्रदर्शित होता है कि एक पर्याप्त बड़ा $M$ , सटीक PMD के तुलनीय प्रदर्शन प्रदान करता है।

मूल लेखक: Alex Davey, Alena Shilova, Brahim Driss, Riad Akrour

प्रकाशित 2026-08-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alex Davey, Alena Shilova, Brahim Driss, Riad Akrour

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे 'रीइन्फोर्समेंट लर्निंग' (Reinforcement Learning) कहा जाता है। रोबोट चीजों को आजमाकर सीखता है, अच्छे मूव्स के लिए अंक प्राप्त करता है, और बुरे मूव्स के लिए अंक खो देता है। लेकिन यहाँ एक पेचीदा हिस्सा है: रोबोट एक "मस्तिष्क" का उपयोग करता है जो एक न्यूरल नेटवर्क से बना है, जो एक धुंधले अंदाजे लगाने वाले (fuzzy guesser) की तरह है। कभी-कभी, यह मस्तिष्क यह समझने में गलती करता है कि कोई चाल वास्तव में कितनी अच्छी है। ये गलतियाँ जमा हो सकती हैं, जिससे रोबोट भ्रमित हो सकता है, जो उसने सीखा है उसे भूल सकता है, या बुरी आदतों के चक्र में फंस सकता है।

इसे ठीक करने के लिए, वैज्ञानिक "रेगुलराइजेशन" (regularization) नामक तकनीक का उपयोग करते हैं। इसे रोबोट के कंधे पर एक कोमल हाथ की तरह समझें, जो उसे याद दिलाता है कि वह एक रणनीति से दूसरी रणनीति की ओर बहुत अधिक उग्र रूप से न झूल जाए। यह रोबoret को अपने नए विचारों को अपने पुराने विचारों के समान रखने के लिए मजबूर करता है, जिससे सीखने की प्रक्रिया सुचारू हो जाती है। इस विशिष्ट पद्धति के परिवार को 'पॉलिसी मिरर डिसेंट' (Policy Mirror Descent) के रूप में जाना जाता है। सैद्धांतिक रूप से, यह सीखने का एक अत्यंत शक्तिशाली तरीका है क्योंकि यह उन सभी धुंधली गलतियों का औसत निकाल देता है, जिससे एक आदर्श रणनीति प्राप्त होती है। लेकिन इसमें एक पेंच है: इसे पूरी तरह से करने के लिए रोबोट को अपने द्वारा किए गए हर एक अंदाजे को याद रखने की आवश्यकता होती है, जो खेल के पहले सेकंड से लेकर अब तक का हो। लाखों स्टेप्स तक गेम खेलने वाले रोबोट के लिए, यह ब्रह्मांड के पूरे इतिहास को अपने बैकपैक में ले जाने जैसा है—इतनी सारी मेमोरी संभालना असंभव है।

तो, बड़ा सवाल यह बनता है: क्या हम पूरा इतिहास याद रखे बिना उसके लाभ प्राप्त कर सकते हैं? यह बिल्कुल वही सवाल है जिसे पेपर "StaQ: a Finite Memory Approach to Discrete Action Policy Mirror Descent" हल करने का प्रयास करता है।

लेखक, जो फ्रांस के शोधकर्ताओं की एक टीम है, एक चतुर नया एल्गोरिदम प्रस्तावित करते हैं जिसे वे StaQ कहते हैं। अनंत अतीत को याद रखने के बजाय, StaQ एक सरल नियम सुझाता है: "केवल पिछले $M$ यादों को रखें।" कल्पना कीजिए कि एक रोबोट केवल गेम के अपने पिछले 300 अंदाजों को याद रखता है। जब वह एक नया अंदाजा लगाता है, तो वह उसे सूची में जोड़ देता है और तुरंत सबसे पुरानी याद को भुला देता है। यह प्लेटों के ढेर जैसा है जहाँ आप केवल ऊपर की कुछ प्लेटें रखते हैं; यदि ढेर बहुत ऊँचा हो जाता है, तो आप नीचे वाली प्लेट को खिसका देते हैं।

यह पेपर गणितीय रूप से सिद्ध करता है कि यह "भूलने" की प्रक्रिया वास्तव में रोबोट के प्रदर्शन को नुकसान नहीं पहुँचाती है, जब तक कि $M$ (रखी गई यादों की संख्या) पर्याप्त बड़ी हो। वास्तव में, शोधकर्ता दिखाते हैं कि यह सीमित मेमोरी वाला दृष्टिकोण उस पूर्ण, सैद्धांतिक संस्करण के लगभग समान है जो सब कुछ याद रखता है। गलतियों का "औसत निकालना" अभी भी होता है, लेकिन अब रोबोट डेटा के असंभव बोझ से दबा हुआ नहीं है। यह कुछ ऐसा है जैसे यह महसूस करना कि स्मार्ट होने के लिए आपको लिखे गए हर किताब को पढ़ने की आवश्यकता नहीं है; पिछले कुछ सौ पढ़ना ही सार समझने के लिए पर्याप्त है।

इसका परीक्षण करने के लिए, टीम ने StaQ का एक सुपर-कुशल संस्करण बनाया जो शक्तिशाली कंप्यूटर चिप्स (GPUs) पर चलता है। उन्होंने इसे MinAtar नामक वीडियो गेम बेंचमार्क पर परखा, जो क्लासिक आर्केड गेम्स के मिनी-वर्जन की तरह हैं। उन्होंने रोबोट को 5 मिलियन टाइम-स्टेप्स (जो बहुत सारा गेम समय है) तक चलाया। परिणाम स्पष्ट थे: जैसे-जैसे उन्होंने मेमोरी का आकार $M$ बढ़ाया, रोबोट खेलों में बेहतर होता गया। एक बार जब वे एक निश्चित सीमा (लगभग $M=300$ ) पर पहुँच गए, तो रोबोट ने सैद्धांतिक "पूर्ण मेमोरी" वाले संस्करण के समान प्रदर्शन किया।

सबसे शानदार बात यह है कि यह विधि अविश्वसनीय रूप से तेज़ भी है। क्योंकि रोबोट को अपनी रणनीति को अपडेट करने के लिए जटिल गणित करने की आवश्यकता नहीं होती है (वह बस अपनी नई याद को पुरानी याद के ऊपर रख देता है), यह उन अन्य लोकप्रिय तरीकों की तुलना में तेजी से सीखता है जो पूर्ण समाधान का अनुमान लगाने की कोशिश करते हैं। पेपर दिखाता है कि StaQ न केवल एक सैद्धांतिक विचार है बल्कि डीप लर्निंग की वास्तविक दुनिया में काम करने वाला एक व्यावहारिक उपकरण भी है।

शोधकर्ताओं ने यह भी देखा कि क्या होता है यदि आप बहुत कम यादें रखते हैं। यदि $M$ बहुत छोटा है (जैसे कि 1), तो रोबोट ऐसा व्यवहार करता है जैसे उसके पास कोई स्मृति ही नहीं है और वह संघर्ष करता है। लेकिन एक बार जब आप उसे इतिहास का एक अच्छा हिस्सा दे देते हैं, तो उसका प्रदर्शन उछलकर ऊपर जाता है और ऊँचा बना रहता है। उन्होंने यह भी पाया कि कुछ खेलों के लिए, रोबोट के अन्वेषण (exploration) में थोड़ा सा रैंडम "शोर" (noise) जोड़ने से उसे सबसे अच्छे मूव्स खोजने में मदद मिली, लेकिन मुख्य जादू निश्चित रूप से सीमित मेमोरी के ढेर (stack) में ही था।

संक्षेप में, यह पेपर सुझाव देता है कि हमें महान बनने के लिए पूर्ण होने की आवश्यकता नहीं है। अपने पिछले अंदाजों के एक प्रबंधनीय, सीमित इतिहास को रखकर, हम कुशल AI एजेंट बना सकते हैं जो कुशलता से सीखते हैं, अपनी गलतियों से भ्रमित होने से बचते हैं, और खेलों को पहले से कहीं बेहतर खेलते हैं। यह सच है कि कभी-कभी, यह जानना कि कब भूलना है, यह जानने जितना ही महत्वपूर्ण होता है कि कब याद रखना है।

तकनीकी सारांश: StaQ: डिस्क्रीट एक्शन पॉलिसी मिरर डिसेंट के लिए एक परिमित मेमोरी दृष्टिकोण

समस्या विवरण

रीइन्फोर्समेंट लर्निंग (RL) में, पॉलिसी मिरर डिसेंट (PMD) एल्गोरिदम क्रमिक पॉलिसियों के बीच बड़े विचलन को दंडित करने के लिए कुलबैक-लीब्लर (KL) डाइवर्जेंस का उपयोग करके पॉलिसी अपडेट को नियमित करते हैं। PMD का एक प्रमुख सैद्धांतिक गुण फंक्शन एप्रोक्सिमेटर्स (जैसे न्यूरल नेटवर्क) का उपयोग करते समय होने वाली पॉलिसी इवैल्यूएशन त्रुटियों को औसत निकालने (average out) की इसकी क्षमता है। सटीक PMD का क्लोज्ड-फॉर्म समाधान सभी पिछले Q-फंक्शंस के एक अनंत भारित योग (infinite weighted sum) में शामिल होता है। हालाँकि, यह अनंत योग व्यवहार में सामान्यतः अव्यवहार्य (intractable) है, विशेष रूप से गैर-रेखीय फंक्शन एप्रोक्सिमेटर्स के साथ जो क्लोज्ड-फॉर्म पॉलिसी एक्सप्रेशन को रोकते हैं।

मौजूदा व्यावहारिक सन्निकटन (approximations), जैसे कि नेचुरल पॉलिसी ग्रेडिएंट या एक्टर-क्रिटिक (AC) दृष्टिकोण (जैसे TRPO, MDPO, ECPO), इस अपडेट को अनुमानित करने का प्रयास करते हैं। हालाँकि, ये विधियाँ पॉलिसी अपडेट त्रुटियां पेश करती हैं क्योंकि वे एक सरोगेट ऑब्जेक्टिव को अनुकूलित करने या ग्रेडिएंट स्टेप्स करने पर निर्भर करती हैं, जो शायद सटीक PMD अपडेट के साथ पूरी तरह से संरेखित न हों। यह PMD के सैद्धांतिक लाभों (त्रुटि औसत) और व्यावहारिक कार्यान्वयन के बीच एक अंतर पैदा करता है, जिससे संभावित रूप से उप-इष्टतम अभिसरण (suboptimal convergence) या उच्च एरर फ्लोर हो सकता है।

कार्यप्रणाली: StaQ

लेखक StaQ (स्टैक्ड Q-फंक्शंस) प्रस्तावित करते हैं, जो एक डिस्क्रीट एक्शन स्पेस के लिए डिज़ाइन किया गया एक PMD वेरिएंट है जो अनंत योग की अव्यवहार्यता को संबोधित करता है और पॉलिसी अपडेट त्रुटियों से बचता है।

मुख्य एल्गोरिदम

अनंत इतिहास बनाए रखने या ग्रेडिएंट डिसेंट के माध्यम से पॉलिसी को अनुमानित करने के बजाय, StaQ पिछले $M$ Q-फंक्शन अनुमानों की एक परिमित मेमोरी (finite memory) बनाए रखता है। $k$ इटरेशन पर पॉलिसी को इन $M$ Q-फंक्शंस के भारित औसत पर एक बोल्ट्ज़मैन वितरण (Boltzmann distribution) के रूप में परिभाषित किया जाता है:

$\pi_k \propto \exp\left( \frac{\alpha}{1 - \beta^M} \sum_{i=0}^{M-1} \beta^i q_{k-i} \right)$

जहाँ $q_{k-i}$ Q-फंक्शन अनुमान हैं, और $\alpha$ तथा $\beta$ तापमान (temperature) और वेटिंग पैरामीटर हैं जो KL रेगुलराइजेशन वेट $\eta$ और एंट्रॉपी वेट $\tau$ से प्राप्त होते हैं।

कार्यान्वयन विवरण

परिमित मेमोरी ट्रंकेशन (Finite Memory Truncation): एल्गोरिदम एक "फर्स्ट-इन-फर्स्ट-आउट" (FIFO) तंत्र लागू करता है। प्रत्येक पॉलिसी इवैल्यूशन के बाद, नए Q-फंक्शन के भार को Q-फंक्शंस के स्टैक पर धकेला जाता है। यदि स्टैक का आकार $M$ से अधिक हो जाता है, तो सबसे पुराने Q-फंक्शन को हटा दिया जाता है।
ऑप्टिमाइजेशन-फ्री अपडेट: उन एक्टर-क्रिटिक विधियों के विपरीत जिन्हें पॉलिसी नेटवर्क को अपडेट करने के लिए ग्रेडिएंट स्टेप्स की आवश्यकता होती है, StaQ का पॉलिसी अपडेट ऑप्टिमाइजेशन-फ्री है। इसमें केवल संग्रहीत Q-फंक्शंस के फ्रीज किए गए भारों को स्टैक करना शामिल है। पॉलिसी लॉजिट्स $\xi_k$ को संग्रहीत Q-फंक्शंस के भारित योग से सीधे कंप्यूट किया जाता है।
कुशल GPU पैरेललाइजेशन: लेखक कई Q-वैल्यू को समानांतर में कंप्यूट करने के लिए बैच ऑपरेशन्स का लाभ उठाते हैं। वे पॉलिसी इवैल्यूशन चरण के दौरान बड़े $M$ के कम्प्यूटेशनल ओवरहेड को कम करने के लिए रिप्ले बफर के लिए लॉजिट्स को प्री-कंप्यूट करते हैं।

सैद्धांतिक विश्लेषण

पेपर एंट्रॉपी-रेगुलराइज्ड पॉलिसी मिरर डिसेंट (EPMD) के ढांचे के तहत StaQ के अभिसरण (convergence) का विश्लेषण प्रदान करता है।

अभिसरण (Convergence): लेखक सिद्ध करते हैं कि पर्याप्त बड़े $M$ के लिए, मूल्यांकन त्रुटियों की अनुपस्थिति में StaQ इष्टतम पॉलिसी की ओर अभिसत होता है।
त्रुटि औसत (Error Averaging): विश्लेषण दिखाता है कि StaQ में एरर फ्लोर अंतिम $M$ मूल्यांकन त्रुटियों के भारित औसत पर निर्भर करता है। सटीक PMD एरर फ्लोर से विचलन उन अतिरिक्त पदों से मिलकर बना है जो $M$ के सापेक्ष एक्सपोनेंशियल रूप से तेजी से घटते हैं।
कोई पॉलिसी अपडेट त्रुटि नहीं: महत्वपूर्ण रूप से, क्योंकि पॉलिसी अपडेट क्लोज्ड-फॉर्म समाधान (जो $M$ तक सीमित है) से सीधे प्राप्त होता है, StaQ पॉलिसी अपडेट स्टेप से कोई अतिरिक्त त्रुटि पेश नहीं करता है, जैसा कि AC एप्रोक्सिमेशन में होता है।

मुख्य योगदान

PMD विश्लेषण का विस्तार: लेखक PMD के पिछले विश्लेषणों को पॉलिसी इटरेशन (PI) तक विस्तारित करते हैं और प्रदर्शित करते हैं कि पॉलिसी अपडेट में केवल एक $D_{KL}$ पेनलाइजेशन का उपयोग करके पॉलिसी इवैल्यूएशन स्टेप में $D_{KL}$ रेगुलराइजेशन की आवश्यकता के बिना पॉलिसी इवैल्यूएशन त्रुटियों का औसत प्रभाव प्राप्त किया जा सकता है।
StaQ एल्गोरिदम: वे StaQ का प्रस्ताव करते हैं और उसका विश्लेषण करते हैं, जो एक परिमित-मेमोरी PMD वेरिएंट है। वे सैद्धांतिक रूप से दिखाते हैं कि पर्याप्त बड़े $M$ के लिए, एल्गोरिदम बिना किसी पॉलिसी अपडेट त्रुटि के अभिसत होता है और एक्सपोनेंशियल रूप से घटने वाले एरर टर्म्स के साथ सटीक PMD के एरर-एवरेजिंग गुणों का अनुमान लगाता है।
अनुभवजन्य सत्यापन (Empirical Validation): वे एक कुशल GPU कार्यान्वयन प्रदान करते हैं जो प्रदर्शित करता है कि $M$ को बढ़ाने से प्रदर्शन एक थ्रेशोल्ड तक सुधरता है, जिसके बाद StaQ सटीक PMD के समान हो जाता है (जिसे वे 5 मिलियन टाइम-स्टेप्स तक मूल्यांकित करते हैं)।
रनटाइम दक्षता: अध्ययन दिखाता है कि मध्यम आकार के वातावरण (जैसे MinAtar) के लिए, $M$ को बढ़ाने का रनटाइम पर मामूली प्रभाव पड़ता है, जिससे StaQ अपने पॉलिसी ऑप्टिमाइजेशन स्टेप्स की कमी के कारण AC बेसलाइन्स की तुलना में तेज़ हो जाता है।

प्रयोगात्मक परिणाम

लेखकों ने MinAtar (5 वातावरण) और Classic Control कार्यों (4 वातावरण) पर StaQ का मूल्यांकन किया, इसकी तुलना निम्नलिखित से की गई:

बेसलाइन्स: नेचुरल पॉलिसी ग्रेडिएंट (TRPO), SAC (डिस्क्रीट संस्करण), ECPO (M-प्रोजेक्शन), MDPO (डायरेक्ट ऑप्टिमाइजेशन), DQN, और M-DQN।
सटीक PMD: $M=1000$ (प्रभावी रूप से 5M स्टेप विंडो के भीतर अनंत योग) के साथ मूल्यांकित।

निष्कर्ष:

मेमोरी साइज ( $M$ ) बनाम प्रदर्शन: प्रदर्शन $M$ के साथ लगभग मोनोटोनिक रूप से सुधरता है। लगभग हर कार्य पर, $M \ge 300$ सटीक PMD के समान प्रदर्शन देता है।
AC विधियों के साथ तुलना: StaQ आम तौर पर कार्यों में एक्टर-क्रिटिक बेसलाइन्स (TRPO, ECPO, MDPO) से बेहतर प्रदर्शन करता है। AC विधियाँ, जो पॉलिसी अपडेट त्रुटियाँ पेश करती हैं, मध्यम $M$ (जैसे, $M=50$ से $M=300$ ) के साथ StaQ से पीछे रह जाती हैं।
रनटाइम: StaQ, AC बेसलाइन्स की तुलना में तेज़ है। उदाहरण के लिए, MinAtar/SpaceInvaders पर, StaQ ( $M=100$ ) ने SAC की तुलना में ~10.4 घंटे लिए, जबकि SAC को 13.9 घंटे लगे, भले ही इसमें अतिरिक्त मेमोरी ओवरहेड था, क्योंकि यह पॉलिसी के ग्रेडिएंट स्टेप्स से बचता है।
एक्सप्लोरेशन (Exploration): लेखक नोट करते हैं कि जबकि एंट्रॉपी रेगुलराइजेशन मदद करता है, StaQ (अन्य एंट्रॉपी-रेगुलराइज्ड विधियों की तरह) बिना अतिरिक्त तंत्रों (जैसे "स्टीकी" एक्शन या $\epsilon$ -greedy एक्सप्लोरेशन) के MountainCar जैसे स्पार्स-रिवॉर्ड वातावरण में एक्सप्लोरेशन के साथ संघर्ष कर सकता है।

महत्व और दावे

पेपर का दावा है कि StaQ डिस्क्रीट एक्शन स्पेस के लिए PMD का एक व्यावहारिक और सैद्धांतिक रूप से आधारित कार्यान्वयन प्रदान करता है। इसका महत्व यहाँ है:

सिद्धांत और व्यवहार को जोड़ना: यह प्रदर्शित करता है कि सटीक PMD के वांछित गुणों (विशेष रूप से, पॉलिसी इवैल्यूएशन त्रुटियों का औसत निकालना) को अनंत योग या एक्टर-क्रिटिक विधियों की अनुमान त्रुटियों के बिना प्राप्त किया जा सकता है।
पॉलिसी अपडेट त्रुटि को समाप्त करना: Q-फंक्शंस के एक परिमित-मेमोरी स्टैक का उपयोग करके, StaQ मानक AC एल्गोरिदम में पेश होने वाले "एरर फ्लोर" से बचता है।
स्केलेबिलिटी: कुशल GPU कार्यान्वयन यह सुझाव देता है कि Q-फंक्शंस का एक परिमित इतिहास बनाए रखना कम्प्यूटेशनल रूप से व्यवहार्य और फायदेमंद है, जो इस धारणा को चुनौती देता है कि सटीक PMD विशुद्ध रूप से सैद्धांतिक है।

लेखक निष्कर्ष निकालते हैं कि StaQ अन्य RL घटकों (जैसे पॉलिसी इवैल्यूएशन तकनीकों) के परीक्षण के लिए एक आशाजनक सेटिंग प्रदान करता है क्योंकि यह पॉलिसी ऑप्टिमाइजेशन त्रुटियों द्वारा भ्रमित (confounded) हुए बिना पॉलिसी अपडेट तंत्र को अलग करता है। वे विनम्रतापूर्वक नोट करते हैं कि हालांकि बड़े पैमाने के कार्यों (जैसे पूर्ण Atari) के लिए मेमोरी का उपयोग महत्वपूर्ण हो सकता है, भविष्य के कार्य दक्षता बनाए रखने के लिए पुराने Q-फंक्शंस को कंप्रेस करने की खोज कर सकते हैं।