🤖 machine learning

Investigating Action Encodings in Recurrent Neural Networks in Reinforcement Learning

यह शोध पत्र इस बात की जांच करता है कि रिकरेंट न्यूरल नेटवर्क के स्टेट अपडेट फंक्शन में एक्शन सूचना को शामिल करने की विभिन्न विधियां सुदृढीकरण लर्निंग (रिनफोर्समेंट लर्निंग) प्रदर्शन को कैसे प्रभावित करती हैं, जो अनुभवजन्य मूल्यांकन प्रस्तुत करता है और भविष्य की डिजाइन चुनौतियों पर चर्चा करता है।

मूल लेखक: Matthew Schlegel, Volodymyr Tkachuk, Adam White, Martha White

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Matthew Schlegel, Volodymyr Tkachuk, Adam White, Martha White

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक अंधेरी, उलझन भरी भूलभुलैया (maze) में रास्ता खोजना सिखा रहे हैं। रोबोट पूरा नक्शा नहीं देख सकता; उसे केवल अपने ठीक सामने की दीवारों की बहुत छोटी, धुंधली झलकियाँ मिलती हैं। अच्छे निर्णय लेने के लिए, रोबोट को एक "याददाश्त" (memory) की आवश्यकता है जो यह याद रख सके कि वह कहाँ रहा है और उसने अभी क्या किया। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस मेमोरी सिस्टम को रिकरेंट न्यूरल नेटवर्क (RNN) कहा जाता है।

यह पेपर उस मेमोरी सिस्टम के लिए एक मैकेनिक के मैनुअल की तरह है। लेखकों ने एक सरल लेकिन महत्वपूर्ण प्रश्न पूछा: रोबोट की मेमोरी सिस्टम को रोबोट के अपने कार्यों को कैसे "सुनना" चाहिए?

जब रोबोट हिलता है (जैसे, "बाएँ मुड़ें"), तो वह क्रिया दुनिया को बदल देती है। मेमोरी सिस्टम को उस चाल के आधार पर खुद को अपडेट करने की आवश्यकता होती है। यह पेपर उस "बाएँ मुड़ें" वाली जानकारी को मेमोरी में डालने के विभिन्न तरीकों का परीक्षण करता है।

यहाँ तीन मुख्य तरीके दिए गए जिनका उन्होंने परीक्षण किया, जिन्हें उपमाओं (analogies) के माध्यम से समझाया गया है:

1. "एडिटिव" दृष्टिकोण (कागजों का ढेर)

कल्पना कीजिए कि आपकी मेमोरी कागजों का एक ढेर है। जब आप कोई क्रिया करते हैं, तो आप बस ढेर के ऊपर एक नया स्टिकी नोट जोड़ देते हैं जिस पर लिखा होता है "मैंने बाएँ मुड़ा।"

यह कैसे काम करता है: कंप्यूटर बस क्रिया की जानकारी को अवलोकन (observation) की जानकारी के बगल में चिपका देता है और उसे मेमोरी में डाल देता है।
परिणाम: यह ठीक-ठाक काम करता है, लेकिन यह थोड़ा अनाड़ी है। मेमोरी अव्यवस्थित हो जाती है, और यह कभी-कभी घटनाओं के सटीक क्रम को याद रखने में संघर्ष करती है, खासकर यदि भूलभुलैया लंबी हो।

2. "मल्टीप्लिकेटिव" दृष्टिकोण (एक विशेष फ़िल्टर)

अब, कल्पना कीजिए कि आपकी मेमोरी केवल कागजों का ढेर नहीं है, बल्कि एक स्मार्ट फ़िल्टर है। जब आप कोई क्रिया करते हैं, तो आपकी मेमोरी केवल एक नोट नहीं जोड़ती; यह उस क्रिया के आधार पर पूरी मेमोरी को नया आकार देती है।

यह कैसे काम करता है: यदि आप "बाएँ मुड़ते हैं," तो मेमोरी सिस्टम सक्रिय रूप से अतीत को प्रोसेस करने के तरीके को बदल देता है। यह ऐसा कहने जैसा है कि, "क्योंकि मैं बाएँ मुड़ा, इसलिए जिस गलियारे में मैं पहले था, वह सीधा जाने की तुलना में अलग दिखता होगा।" यह क्रिया को मेमोरी से गुणा करता है, जिससे अतीत की एक गतिशील, बदलती हुई समझ पैदा होती है।
परिणाम: यह लगभग हर परीक्षण में विजेता रहा। रोबोट ने तेजी से सीखा, कम गलतियाँ कीं, और "एडिटिव" संस्करण की तुलना में बहुत लंबी, कठिन भूलभुलैया में रास्ता खोजने में सक्षम रहा। यह ऐसा था जैसे रोबोट को अचानक यह छठी इंद्री मिल गई हो कि उसकी क्रियाओं ने दुनिया को कैसे बदला।

3. "कोई क्रिया नहीं" दृष्टिकोण (भूलने वाला/एम्नेसिएक)

यह कंट्रोल ग्रुप है। रोबोट भूलभुलैया को याद रखने की कोशिश करता है लेकिन अनदेखा कर देता है कि उसने अभी क्या किया।

परिणाम: जैसा कि आप अनुमान लगा सकते हैं, इसका प्रदर्शन सबसे खराब रहा। यह जानने के बिना कि उसने अभी क्या चाल चली, रोबक अक्सर भ्रमित हो जाता था और आसानी से रास्ता भटक जाता था।

"सीक्रेट सॉस": गुणा (Multiplication) क्यों जीतता है

लेखकों ने पाया कि "मल्टीप्लिकेटिव" तरीका बेहतर है क्योंकि यह रोबोट के कार्यों को केवल अतिरिक्त डेटा के बजाय सक्रिय सामग्री (active ingredients) के रूप में मानता है।

उपमा: केक बनाने के बारे में सोचें।
- एडिटिव: आप एक कटोरे में आटा, चीनी और अंडे डालते हैं और बस उन्हें एक साथ मिला देते हैं। वे एक-दूसरे के बगल में पड़े रहते हैं।
- मल्टीप्लिकेटिव: आप सामग्रियों को इस तरह मिलाते हैं कि वे रासायनिक रूप से प्रतिक्रिया करें। आटा अंडों के कारण बदल जाता है; चीनी गर्मी के कारण बदल जाती है। परिणाम एक नया पदार्थ (केक) है जो अपने हिस्सों के योग से मौलिक रूप से भिन्न है।
रोबोट के मस्तिष्क में, "मल्टीप्लिकेटिव" तरीका यह समझने की अनुमति देता है कि क्रिया A ने अवलोकन B के अर्थ को उस तरह से बदल दिया है जैसे क्रिया C नहीं बदलती।

प्रयोग (टेस्ट ड्राइव)

लेखकों ने कई "भूलभुलैया" में इन तरीकों का परीक्षण किया:

रिंग वर्ल्ड (Ring World): एक साधारण गोलाकार ट्रैक। मल्टीप्लिकेटिव रोबोट ने ट्रैक को पूरी तरह से सीखा और इसे सही करने के लिए उसे बहुत कम "प्रशिक्षण समय" (truncation) की आवश्यकता थी। एडिटिव रोबोट ट्रैक पर अपनी स्थिति बनाए रखने के लिए संघर्ष करता रहा।
टी-मेज़ (TMaze): एक लंबा गलियारा जिसके अंत में टी-जंक्शन है। रोबोट को अंत में मुड़ने के लिए हॉल की शुरुआत से मिले सुराग को याद रखना था। मल्टीप्लिकेटिव रोबोट ने इसे आसानी से हल कर लिया। एडिटिव रोबोट अक्सर सुराग भूल गया।
डायरेक्शनल टी-मेज़ (Directional TMaze): एक कठिन संस्करण जहाँ रोबोट का ओरिएंटेशन (दिशा) मायने रखता है। यहाँ, एडिटिव रोबोट पूरी तरह से विफल रहा, जबकि मल्टीप्लिकेटिव रोबोट सफल रहा।
लूनर लैंडर (Lunar Lander): एक जटिल वीडियो गेम जैसा वातावरण जहाँ एक रोबोट को चंद्रमा पर उतरना होता है। मल्टीप्लिकेटिव रोबोट अन्य की तुलना में बहुत तेजी से और अधिक विश्वसनीयता के साथ उतरना सीख गया।

मुख्य निष्कर्ष

पेपर यह निष्कर्ष निकालता है कि आपकी मेमोरी को कैसे डिज़ाइन किया जाता है, यह हमारी सोच से कहीं अधिक महत्वपूर्ण है।

कई एआई शोधकर्ता "एडिटिव" तरीके (सिर्फ डेटा को आपस में जोड़ना) का उपयोग कर रहे थे क्योंकि यह कंप्यूटर द्वारा डेटा को संभालने का मानक तरीका है। यह पेपर दिखाता है कि वास्तविक दुनिया में काम करने वाले रोबोट के लिए, "मल्टीप्लिकेटिव" तरीका (क्रिया के आधार पर मेमोरी को नया आकार देना) कहीं अधिक उपयुक्त है। यह एक साधारण नोटबुक से एक गतिशील, सोचने वाली नोटबुक में अपग्रेड करने जैसा है जो कारण और प्रभाव को समझती है।

संक्षेप में: यदि आप चाहते हैं कि एक रोबोट अपनी गलतियों और कार्यों से सीखे, तो उसे केवल यह न बताएं कि उसने क्या किया; बल्कि उसकी मेमोरी को यह सिखाएं कि उसने जो किया उस पर प्रतिक्रिया कैसे देनी है। "मल्टीप्लिकेटिव" दृष्टिकोण बिल्कुल यही करता है।

तकनीकी सारांश: सुदृढीकरण शिक्षण (Reinforcement Learning) में आवर्ती तंत्रिका नेटवर्क (RNNs) में एक्शन एनकोडिंग की जांच

समस्या विवरण

वास्तविक दुनिया के, आंशिक रूप से अवलोकन योग्य (partially observable) वातावरण में सुदृढीकरण शिक्षण (RL) एजेंटों को तैनात करने के लिए एक ऐसी अवस्था प्रतिनिधित्व (state representation) बनाने और बनाए रखने की क्षमता आवश्यक है जो अतीत का एक पर्याप्त सांख्यिकीय (sufficient statistic) रूप से कार्य कर सके। जबकि आवर्ती तंत्रिका नेटवर्क (RNNs) लौकिक निर्भरताओं (temporal dependencies) को मॉडल करने के लिए एक मानक उपकरण हैं, उनके RL में अनुप्रयोग में महत्वपूर्ण डिजाइन विकल्प शामिल होते हैं जिन्हें अक्सर साहित्य में अनदेखा कर दिया जाता है। विशेष रूप से, यह शोध पत्र इस रणनीति को संबोधित करता है जिसका उपयोग RNN के स्टेट अपडेट फंक्शन में एक्शन (action) की जानकारी को सम्मिलित करने के लिए किया जाता है। लेखक नोट करते हैं कि जबकि एक्शन धारणा (perception) और अवस्था निर्माण में एक मौलिक भूमिका निभाता है (Noë, 2004; Prinz, 1990; Clark, 2013 का हवाला देते हुए), कई मौजूदा RL कार्यान्वयन या तो एक्शन इनपुट को छोड़ देते हैं या बिना किसी कठोर विश्लेषण के सरल संयोजन (concatenation) के माध्यम से उन्हें शामिल करते हैं। मुख्य समस्या यह निर्धारित करना है कि एक्शन एनकोडिंग (action encoding) की विधि (योगात्मक बनाम गुणात्मक/multiplicative) एजेंट की वैल्यू फंक्शन की भविष्यवाणी करने और नियंत्रण नीतियों (control policies) को सीखने की क्षमता को कैसे प्रभावित करती है।

कार्यप्रणाली

लेखक एक एजेंट-वातावरण संपर्क को POMDP के रूप में औपचारिक रूपते हैं और विभिन्न RNN आर्किटेक्चर का मूल्यांकन करते हैं जो अवलोकन $o_t$ , पिछले एक्शन $a_{t-1}$ , और पिछले स्टेट $s_{t-1}$ के आधार पर हिडन स्टेट $s_t$ को अपडेट करने के लिए डिज़ाइन किए गए हैं। यह अध्ययन एक्शन समावेश के दो प्राथमिक श्रेणियों पर केंद्रित है:

योगात्मक एनकोडिंग (Additive Encodings):
- मानक योगात्मक (Standard Additive): एक्शन एम्बेडिंग को रिकरेंट सेल द्वारा प्रोसेस किए जाने से पहले ऑब्जर्वेशन वेक्टर के साथ संयोजित (concatenate) किया जाता है (जैसे, $s_t = \sigma(W_x x_t + W_a a_{t-1} + b)$ )।
- डीप योगात्मक (Deep Additive): ऑब्जर्वेशन के साथ संयोजन करने से पहले एक्शन को एक फीड-फॉरवर्ड न्यूरल नेटवर्क ( $f_a$ ) के माध्यम से पारित किया जाता है ताकि एक एम्बेडिंग बनाई जा सके।
गुणात्मक एनकोडिंग (Multiplicative Encodings):
- गुणात्मक (द्वितीय-क्रम/Second-Order): सेकंड-ऑर्डर RNN से प्रेरित होकर, यह दृष्टिकोण अवलोकन, स्टेट और एक्शन को एकीकृत करने के लिए एक टेंसर उत्पाद (tensor product) का उपयोग करता है। अपडेट नियम में एक वेट टेंसर $W$ और $n$ -मोड उत्पाद शामिल हैं: $s_t = \sigma(W \times_2 x_t \times_3 a_{t-1})$ ।
- फैक्टर्ड मल्टीप्लिकेटिव (Factored Multiplicative): फुल-रैंक मल्टीप्लिकेटिव अपडेट्स की उच्च पैरामीटर संख्या को कम करने के लिए, लेखक कैनोनिकल पॉलीडिक (CP) अपघटन का उपयोग करके एक लो-रैंक सन्निकटन (approximation) का उपयोग करते हैं। यह टेंसर को रैंक-1 घटकों के योग में विभाजित करता है, जिससे मल्टीप्लिकेटिव इंटरैक्शन के लाभों को बनाए रखते हुए पैरामीटर्स कम हो जाते हैं।

प्रयोग दोनों मानक RNN और GRU का उपयोग करते हैं। लेखक भविष्यवाणी (जनरल वैल्यू फंक्शन्स का उपयोग करके) के लिए ऑफ-पॉलिसी सेमी-ग्रेडिएंट TD(0) और नियंत्रण के लिए $\epsilon$ -greedy एक्सप्लोरेशन के साथ Q-लर्निंग का उपयोग करते हैं। सैंपल दक्षता में सुधार के लिए, वे एक्सपीरियंस रिप्ले (ER) को शामिल करते हैं, जो सैंपलिंग के दौरान अनुक्रमों (sequences) को इनिशियलाइज़ करने के लिए रिप्ले बफर के भीतर हिडन स्टेट्स को संग्रहीत करता है।

प्रयोगात्मक सेटअप

लेखक इन आर्किटेक्चर का मूल्यांकन विभिन्न अवलोकन प्रकारों और डायनेमिक्स वाले कई दृष्टांत डोमेन (illustrative domains) में करते हैं:

रिंग वर्ल्ड (Ring World): एक चक्रीय वातावरण जहाँ एजेंट को सक्रिय बिट से दूरी को ट्रैक करना होता है। इसका उपयोग भविष्यवाणी क्षमताओं और ट्रंकेशन लंबाई (truncation lengths) के प्रति संवेदनशीलता का परीक्षण करने के लिए किया जाता है।
टी-मेज़ (TMaze): एक क्लासिक कॉरिडोर वातावरण जिसमें टी-जंक्शन है। इसका उपयोग नियंत्रण क्षमताओं के परीक्षण के लिए किया जाता है जहाँ एक्शन की प्रासंगिकता कम है (केवल पूर्व/पश्चिम क्रियाएं स्थिति को महत्वपूर्ण रूप से प्रभावित करती हैं)।
डायरेक्शनल टी-मेज़ (Directional TMaze): एक संशोधित TMaze जहाँ एजेंट का ओरिएंटेशन स्टेट का हिस्सा है, जिससे एक्शन, अवलोकनों की व्याख्या करने के लिए महत्वपूर्ण हो जाता है।
इमेज डायरेक्शनल टी-मेज़ (Image Directional TMaze): डीप फीचर एक्सट्रैक्टर्स के साथ प्रदर्शन का परीक्षण करने के लिए पिक्सेल-आधारित अवलोकनों (MNIST अंक) का उपयोग करते हुए एक विस्तार।
लूनर लैंडर (Lunar Lander): निरंतर नियंत्रण सेटिंग में सेंसर शोर के साथ प्रदर्शन का परीक्षण करने के लिए OpenAI Gym वातावरण का एक आंशिक रूप से अवलोकन योग्य संस्करण।

प्रमुख परिणाम

अनुभवजन्य मूल्यांकन एक्शन एनकोडिंग की प्रभावकारिता के संबंध में कई विशिष्ट निष्कर्ष प्रदान करता है:

मल्टीप्लिकेटिव अपडेट की श्रेष्ठता: उन डोमेन में जहाँ एक्शन अंतर्निहित स्टेट डायनेमिक्स को महत्वपूर्ण रूप से प्रभावित करते हैं (जैसे, रिंग वर्ल्ड, डायरेक्शनल टी-मेज़, लूनर लैंडर), मल्टीप्लिकेटिव अपडेट लगातार एडिटिव और नो-एक्शन वेरिएंट से बेहतर प्रदर्शन करता है। मल्टीप्लिकेटिव आर्किटेक्चर भविष्यवाणी कार्यों में कम रूट मीन स्क्वेर्ड वैल्यू एरर (RMSVE) और नियंत्रण कार्यों में उच्च सफलता दर प्राप्त करता है, और अक्सर प्रभावी ढंग से सीखने के लिए छोटी ट्रंकेशन लंबाई ( $\tau$ ) की आवश्यकता होती है।
संदर्भ-निर्भर प्रदर्शन (Context-Dependent Performance): मानक TMaze में, जहाँ एक्शन की प्रासंगिकता विशिष्ट ट्रांजिशन तक सीमित है, मल्टीप्लिकेटिव वेरिएंट अन्य तरीकों से सख्ती से बेहतर प्रदर्शन नहीं करता है; कुछ मामलों में, बिना एक्शन इनपुट वाले मानक GRU ने तुलनीय या बेहतर प्रदर्शन किया। यह सुझाव देता है कि जटिल एक्शन एनकोडिंग का लाभ स्टेट ट्रांजिशन के बीच विशिष्ट निर्भरता से जुड़ा हुआ है।
पैरामीटर दक्षता: जबकि फुल-रैंक मल्टीप्लिकेटिव अपडेट्स में एडिटिव की तुलना में काफी अधिक पैरामीटर होते हैं, फैक्टर्ड (लो-रैंक) मल्टीप्लिकेटिव वेरिएंट अक्सर कम पैरामीटर्स के साथ तुलनीय प्रदर्शन प्राप्त करते हैं, हालांकि वे आम तौर पर फुल-रैंक मल्टीप्लिकेटिव संस्करण की तुलना में कम प्रदर्शन करते हैं।
स्टेट रिप्रेजेंटेशन विश्लेषण: सीखे गए हिडन स्टेट्स के T-SNE विज़ुअलाइज़ेशन से पता चलता है कि मल्टीप्लिकेटिव सेल्स, एडिटिव सेल्स की तुलना में अंतर्निहित वातावरण स्टेट के अनुसार हिडन स्टेट्स को अधिक प्रभावी ढंग से क्लस्टर करते हैं। एडिटिव सेल्स पिछले एक्शन के आधार पर स्टेट्स को अधिक अलग (over-segregate) करते हैं, जबकि मल्टीप्लिकेटिव सेल्स एक्शन विविधताओं के बावजूद वातावरण के स्टेट का अधिक सुसंगत प्रतिनिधित्व बनाए रखते हैं।
डीप एडिटिव की सीमाएं: "डीप एडिटिव" वेरिएंट, जो एक एक्शन एम्बेडिंग सीखता है, आम तौर पर मानक एडिटिव दृष्टिकोण के समान या उससे खराब प्रदर्शन करता है, जिससे पता चलता है कि एम्बेडिंग को शून्य से सीखना एडिटिव अपडेट की संरचनात्मक सीमाओं को दूर करने में विफल रहा।

महत्व और दावे

यह शोध पत्र दावा करता है कि स्टेट अपडेट फंक्शन में एक्शन को कैसे शामिल किया जाता है, यह एक महत्वपूर्ण, अक्सर अनदेखा किया जाने वाला डिजाइन निर्णय है जो RL एजेंट के प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करता है। लेखक तर्क देते हैं कि:

सुपरवाइज्ड लर्निंग के अनुमान स्थानांतरित नहीं हो सकते: आर्किटेक्चर और डिजाइन विकल्प जो सुपरवाइज्ड लर्निंग (जैसे सरल कॉनकैटिनेशन) में सफल रहे हैं, वे RL सेटिंग के लिए इष्टतम नहीं हो सकते हैं, जहाँ एजेंट को डेटा स्ट्रीम पर अपनी एजेंसी को मॉडल करना होता है।
मल्टीप्लिकेटिव इंटरैक्शन फायदेमंद हैं: उन कार्यों के लिए जिनमें एजेंट को यह ट्रैक करने की आवश्यकता होती है कि एक्शन स्टेट को कैसे बदलते हैं (जो आंशिक रूप से अवलोकन योग्य नियंत्रण में सामान्य है), मल्टीप्लिकेटिव अपडेट एक संरचनात्मक इंडक्टिव बायस (inductive bias) प्रदान करते हैं जो बेहतर स्टेट निर्माण और तेज़ सीखने की सुविधा प्रदान करते हैं।
विशेषीकृत RL आर्किटेक्चर की आवश्यकता: परिणाम वर्तमान RL अनुसंधान में एक अंतर को उजागर करते हैं, यह सुझाव देते हुए कि सुपरवाइज्ड डोमेन से "ऑफ-द-शेल्फ" RNNs अपर्याप्त हैं। यह पत्र ऐसे रिकरेंट सेल्स विकसित करने के लिए भविष्य के कार्य का आह्वान करता है जो विशेष रूप से RL में ऑनलाइन, सक्रिय डेटा संग्रह की अनूठी चुनौतियों (जैसे केवल ट्रंकेटेड बैकप्रोपैगेशन थ्रू टाइम (BPTT) पर निर्भर रहने के बजाय लंबे लौकिक निर्भरताओं को संभालना) के लिए डिज़ाइन किए गए हों।

लेखक निष्कर्ष निकालते हैं कि हालांकि मल्टीप्लिकेटिव अपडेट परीक्षण किए गए डोमेन में "स्पष्ट विजेता" प्रतीत होते हैं, फिर भी इष्टतम आर्किटेक्चर डोमेन-निर्भर है, और भविष्य के सिस्टमों को उन तंत्रों से लाभ हो सकता है जो उपयुक्त संरचनात्मक बायस को गतिशील रूप से सीख या चुन सकें।