📊 statistics

Informed Asymmetric Actor-Critic: Leveraging Privileged Signals Beyond Full-State Access

यह शोध पत्र इन्फॉर्म्ड एसिमेट्रिक एक्टर-क्रिटिक फ्रेमवर्क (Informed Asymmetric Actor-Critic framework) को प्रस्तुत करता है, जो एसिमेट्रिक सुदृढीकरण शिक्षण (asymmetric reinforcement learning) का विस्तार करते हुए क्रिटिक्स को प्रशिक्षण के दौरान मनमाने अवस्था-निर्भर विशेषाधिकार प्राप्त संकेतों (arbitrary state-dependent privileged signals) का उपयोग करने की अनुमति देता है, और उन नवीन मानदंडों का प्रस्ताव करता है जो सबसे सूचनात्मक संकेतों का चयन करते हैं जो नीतियों को पूर्ण-अवस्था बेसलाइन (full-state baselines) के बराबर या उससे बेहतर बनाने में सक्षम बनाते हैं, जबकि वे सख्ती से कम अवस्था जानकारी पर निर्भर रहते हैं।

मूल लेखक: Daniel Ebi, Damien Ernst, Klemens Böhm, Gaspard Lambrechts

प्रकाशित 2026-06-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniel Ebi, Damien Ernst, Klemens Böhm, Gaspard Lambrechts

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं। एक आदर्श दुनिया में, रोबोट के पास "गॉड्स आई व्यू" (ईश्वर की दृष्टि) होगी—वह पूरे मानचित्र को देख पाएगा, उसे पता होगा कि हर दुश्मन कहाँ है, और वह खेल के छिपे हुए नियमों को समझ पाएगा। इसे फुल स्टेट एक्सेस (पूर्ण अवस्था पहुंच) कहा जाता है।

हालाँकि, वास्तविक दुनिया में, रोबally (और AI एजेंट) अक्सर एक ऐसी खिलाड़ी की तरह होते हैं जिसने आँखों पर पट्टी बाँध रखी हो या जो एक संकीर्ण की-होल (चाबी के छेद) के माध्यम से देख रहा हो। वे केवल एक समय में दुनिया के एक छोटे से हिस्से को ही देख पाते हैं। इसे पार्शियल ऑब्जर्वेबिलिटी (आंशिक दृश्यता) कहा जाता है। बेहतर खेलने के लिए, उन्हें यह याद रखना होगा कि उन्होंने कुछ सेकंड पहले क्या देखा था ताकि वे अनुमान लगा सकें कि अभी क्या हो रहा है।

समस्या: "शिक्षक" बनाम "छात्र"

पारंपरिक रूप से, जब हम इन रोबोट्स को प्रशिक्षित करते हैं, तो हम उन्हें केवल उसी सीमित जानकारी का उपयोग करके सिखाने की कोशिश करते हैं जो उनके पास वास्तव में तैनात होने के दौरान होगी (वह "छात्र" है)। लेकिन यह कठिन है। रोबोट भ्रमित हो जाता है क्योंकि उसके पास सबसे अच्छा कदम उठाने के लिए पर्याप्त सुराग नहीं होते।

कुछ शोधकर्ताओं ने एसिमेट्रिक एक्टर-क्रिटिक (Asymmetric Actor-Critic) नामक एक चतुर तकनीक का उपयोग किया। कल्पना कीजिए कि एक प्रशिक्षण सत्र जहाँ:

छात्र (एक्टर): वह रोबोट जो वास्तव में गेम खेलेगा। वह केवल सीमित दृश्य (आँखों पर पट्टी) देखता है।
शिक्षक (क्रिटिक): एक कोच जो रोबट के बगल में खड़ा है और जो पूरे मानचित्र को देख सकता है। शिक्षक छात्र को सीखने में मदद करता है, यह कहकर कि, "वह एक अच्छा कदम था क्योंकि मैंने तुम्हारे पीछे दुश्मन को देखा था," भले ही छात्र ने दुश्मन को नहीं देखा हो।

पिछली विधियों के साथ समस्या यह थी कि उन्होंने माना कि शिक्षक को मदद करने के लिए दुनिया की पूरी अवस्था (हर पिक्सेल, हर छिपी हुई चर/वेरिएबल) देखने की आवश्यकता है। लेकिन वास्तव में, पूर्ण दृश्य प्राप्त करना अक्सर असंभव या बहुत महंगा होता है। हो सकता है कि आपके पास केवल एक सेंसर हो जो आपको तापमान बताता है, या एक कैमरा जो कमरे के एक कोने को देखता है। आपके पास "पूर्ण अवस्था" नहीं है, लेकिन आपके पास कुछ अतिरिक्त जानकारी है।

समाधान: "इन्फॉर्म्ड" (सूचित) शिक्षक

यह पेपर एक नया ढांचा पेश करता है जिसे इन्फॉर्मेड एसिमेट्रिक एक्टर-क्रिटिक (Informed Asymmetric Actor-Critic) कहा जाता है।

इसे इस प्रकार सोचें: आपको छात्र को सिखाने के लिए ऐसे शिक्षक की आवश्यकता नहीं है जो पूरे ब्रह्मांड को देख सके। आपको बस एक ऐसे शिक्षक की आवश्यकता है जिसके पास गेम के लिए प्रासंगिक कोई भी अतिरिक्त जानकारी हो, भले ही वह केवल एक छोटा सा सुराग ही क्यों न हो।

लेखक गणितीय रूप से सिद्ध करते हैं कि:

यह सुरक्षित है: आप शिक्षक को कोई भी अतिरिक्त संकेत (जैसे तापमान रीडिंग, एक आंशिक मानचित्र, या सिम्युलेटर से संकेत) दे सकते हैं, और यह छात्र को भ्रमित नहीं करेगा। सीखना निष्पक्ष और सटीक बना रहता है।
यह काम करता है: भले ही शिक्षक पूरी तस्वीर न देख पाए, केवल कुछ अतिरिक्त सुराग होने से छात्र को बिना किसी अतिरिक्त सुराग के तुलना में अधिक तेज़ी से और बेहतर सीखने में मदद मिलती है।

बड़ा सवाल: कौन से सुराग मायने रखते हैं?

यदि आप शिक्षक को कोई भी अतिरिक्त संकेत दे सकते हैं, तो आप कैसे जानेंगे कि कौन से वास्तव में उपयोगी हैं? शिक्षक को एक ऐसा संकेत देना जो रैंडम शोर (जैसे वीडियो गेम में आकाश का रंग) हो, मदद नहीं करेगा।

यह पेपर यह पता लगाने के लिए दो सरल "परीक्षण" प्रस्तावित करता है कि कौन से संकेत "गोल्डन टिकट" हैं:

"रेसिड्यूअल" परीक्षण (जासूस): प्रशिक्षण शुरू करने से पहले ही, आप डेटा को देखकर पूछ सकते हैं: "क्या यह अतिरिक्त संकेत मुझे भविष्य के स्कोर के बारे में कुछ ऐसा बताता है जो मैं खेल के इतिहास से पहले ही नहीं अनुमान लगा सकता था?" यदि उत्तर हाँ है, तो यह एक अच्छा संकेत है। यह एक जासूस की तरह है जो यह जाँच रहा है कि क्या एक नया गवाह उस जानकारी के बारे में जानता है जो पहले से ही पुलिस रिपोर्ट में मौजूद नहीं है।
"प्रेडिक्शन" परीक्षण (स्कोरकीपर): एक संकेत के साथ प्रशिक्षण का प्रयास करने के बाद, आप जाँच करते हैं: "क्या इस संकेत के कारण स्कोर के बारे में शिक्षक के अनुमान अधिक सटीक हुए?" यदि शिक्षक इस संकेत के साथ बिना संकेत के तुलना में स्कोर का बेहतर अनुमान लगाता है, तो यह एक उपयोगी संकेत है।

परिणाम

लेखकों ने विभिन्न "गेम्स" (भूलभुलैया में नेविगेट करने या पोल को संतुलित करने जैसे सिम्युलेटेड वातावरण) पर इसका परीक्षण किया। उन्होंने पाया कि:

एक सावधानीपूर्वक चुने गए आंशिक संकेत वाला शिक्षक (उदाहरण के लिए, केवल लक्ष्य से दूरी जानना) एक पूर्ण अवस्था (सब कुछ देखना) वाले शिक्षक के समान या उससे भी बेहतर प्रदर्शन कर सकता है।
कभी-कभी, शिक्षक को बहुत अधिक जानकारी देने से (अप्रासंगिक शोर सहित) चीजें वास्तव में खराब हो गईं। यह एक छात्र को एक ऐसी पाठ्यपुस्तक देने जैसा है जिसमें उत्तर कुंजी और 500 पृष्ठों का असंबंधित इतिहास भी शामिल है; छात्र विचलित हो जाता है।
सही संकेतों को चुनने के लिए अपने दो परीक्षणों का उपयोग करके, वे रोबोट को बिना पूर्ण-अवस्था सेंसर की आवश्यकता के स्मार्ट बनाने में सक्षम रहे।

मुख्य बात (Takeaway)

AI को स्मार्ट बनाने के लिए आपको भविष्य बताने वाले क्रिस्टल बॉल की आवश्यकता नहीं है। आपको बस सही सुराग खोजने की आवश्यकता है। यह पेपर हमें उन सुरागों को खोजने और उन रोबोट्स को प्रशिक्षित करने का एक तरीका देता है जो प्रभावी ढंग से सीख सकते हैं, भले ही वे दुनिया के एक अंश को ही देख रहे हों।

तकनीकी सारांश: इन्फॉर्म्ड एसिमेट्रिक एक्टर-क्रिटिक (Informed Asymmetric Actor-Critic)

समस्या विवरण

आंशिक रूप से दृश्यमान वातावरण (partially observable environments) में सुदृढीकरण शिक्षण (Reinforcement Learning - RL) को आमतौर पर आंशिक रूप से दृश्यमान मार्कोव निर्णय प्रक्रियाओं (Partially Observable Markov Decision Processes - POMDPs) के रूप में औपचारिक रूप दिया जाता है, जहाँ एजेंटों को अपूर्ण और शोरयुक्त अवलोकन इतिहास (observation histories) के आधार पर निर्णय लेने होते हैं। जबकि मानक RL विधियाँ इतिहास-निर्भर नीतियों (अक्सर रिकरेंट न्यूरल नेटवर्क का उपयोग करके) को सीखने के माध्यम से इसे अनुकूलित करती हैं, वे यह मानती हैं कि प्रशिक्षण और निष्पादन दोनों के दौरान अवलोकन का स्तर समान रहता है। यह धारणा अक्सर अनावश्यक रूप से प्रतिबंधात्मक होती है, क्योंकि कई प्रशिक्षण वातावरण (जैसे, सिमुलेटर) अतिरिक्त "विशेषाधिकार प्राप्त" जानकारी (privileged information) प्रदान करते हैं—जैसे कि पूर्ण अवस्था (full state) तक पहुँच, विशेषज्ञ नीतियाँ, या मल्टी-व्यू सेंसरी इनपुट—जो परिनियोजन (deployment) के दौरान उपलब्ध नहीं होती हैं।

मौजूदा एसिमेट्रिक एक्टर-क्रिटिक विधियाँ इस विशेषाधिकार प्राप्त जानकारी का लाभ उठाने का प्रयास करती हैं, जिसमें क्रिटिक को पूर्ण अवस्था पर आधारित किया जाता है जबकि एक्टर केवल अवलोकनों पर निर्भर रहता है। हालाँकि, ये दृष्टिकोण सामान्यतः प्रशिक्षण के दौरान पूर्ण अवस्था (full state) तक पहुँच की आवश्यकता मानते हैं। यह आवश्यकता व्यवहार में अक्सर अवास्तविक होती है, जहाँ केवल आंशिक या मनमाने अवस्था-निर्भर संकेत ही उपलब्ध हो सकते हैं। इसके अलावा, एसिमेट्रिक सेटिंग्स में मनमाने विशेषाधिकार प्राप्त संकेतों (पूर्ण अवस्था के अलावा) के उपयोग के लिए सैद्धांतिक औचित्य को कम खोजा गया है, जिससे यह समझने में एक अंतराल पैदा होता है कि नीति ग्रेडिएंट (policy gradient) में पूर्वाग्रह (bias) पेश किए बिना इन संकेतों को प्रभावी ढंग से कैसे चुना और उपयोग किया जाए।

कार्यप्रणाली

इन्फॉर्म्ड एसिमेट्रिक एक्टर-क्रिटिक (IAAC) ढांचा

लेखक इन्फॉर्म्ड एसिमेट्रिक एक्टर-क्रिटिक (IAAC) ढांचे को पेश करते हैं, जो एसिमेट्रिक एक्टर-क्रिटिक विधियों को सामान्य बनाता है ताकि क्रिटिक प्रशिक्षण के दौरान मनमाने अवस्था-निर्भर विशेषाधिकार प्राप्त संकेतों ( $i_t$ ) पर आधारित हो सके, न कि केवल पूर्ण अवस्था ( $s_t$ ) तक पहुँच की आवश्यकता हो।

इन्फॉर्म्ड POMDP औपचारिकता: "इन्फॉर्म्ड POMDP" अवधारणा पर निर्माण करते हुए, लेखक एक ऐसा ढांचा परिभाषित करते हैं जहाँ प्रशिक्षण के दौरान एक सूचना चर (information variable) $i_t$ उपलब्ध होता है। अवलोकन $o_t$ , $i_t$ के दिए जाने पर वास्तविक अवस्था $s_t$ से सशर्त स्वतंत्र है। यह क्रिटिक को $i_t$ तक पहुँचने की अनुमति देता है जबकि एक्टर अवलोकनों और क्रियाओं के इतिहास ( $h_t$ ) तक ही सीमित रहता है।
इन्फॉर्म्ड हिस्ट्री-बेस्ड वैल्यू फंक्शन्स: लेखक एक इन्फॉर्म्ड हिस्ट्री-बेस्ड Q-फंक्शन, $Q^\pi(h_t, i_t, a_t)$ , और एक संगत वैल्यू फंक्शन, $V^\pi(h_t, i_t)$ को परिभाषित करते हैं। ये फलन $i_t$ पर आधारित हैं लेकिन सिद्ध किया गया है कि ये मानक हिस्ट्री-बेस्ड समकक्षों ( $Q^\pi(h_t, a_t)$ और $V^\pi(h_t)$ ) के अनबायस्ड एस्टिमेटर (unbiased estimators) हैं।
अनबायस्ड पॉलिसी ग्रेडिएंट: एक केंद्रीय सैद्धांतिक योगदान थ्योरम 3.1 है, जो यह सिद्ध करता है कि इन्फॉर्म्ड क्रिटिक (जो $i_t$ पर आधारित है) द्वारा गणना किया गया पॉलिसी ग्रेडिएंट, मानक पॉलिसी ग्रेडिएंट के समान है। विशेष रूप से, किसी भी अवस्था-सशर्त संकेत $i_t$ के चयन के लिए, इन्फॉर्म्ड एसिमेट्रिक पॉलिसी ग्रेडिएंट मानक ग्रेडिएंट के अनुरूप होता है:
$\nabla^{IAAC}_\theta J(\pi_\theta) = \nabla_\theta J(\pi_\theta)$
यह परिणाम बिना किसी अतिरिक्त धारणा (जैसे स्टेट-डिकोडेबिलिटी) के लागू होता है। इसका तात्पर्य यह है कि विशेषाधिकार प्राप्त संकेतों का उपयोग करने से वैल्यू अनुमानों का विचरण (variance) कम हो जाता है (स्थितियों को स्पष्ट करके) बिना अनुकूलन दिशा (optimization direction) में पूर्वाग्रह लाए।

सिग्नल चयन के लिए इन्फॉर्मेटिवनेस मानदंड

चूंकि कोई भी अवस्था-सशर्त संकेत अनबायस्ड ग्रेडिएंट प्रदान करता है, चुनौती मूल्य अनुमान (value estimation) के संबंध में सबसे अधिक सूचनात्मक संकेतों को चुनने की ओर स्थानांतरित हो जाती है। पेपर एक विशेषाधिकार प्राप्त संकेत $i_t$ की उपयोगिता का आकलन करने के लिए दो नवीन मानदंडों का प्रस्ताव करता है:

$\alpha$ -रेसिडुअल इन्फॉर्मेटिवनेस (प्री-ट्रेनिंग): यह मानदंड यह परीक्षण करता है कि क्या $i_t$ , वर्तमान अवलोकन-क्रिया युग्म $(h_t, a_t)$ में पहले से एनकोडेड जानकारी के परे भविष्य के रिटर्न ( $G_t$ ) के बारे में जानकारी प्रदान करता है। इसमें शामिल है:
- रिग्रेशन मॉडल (जैसे, रैंडम फॉरेस्ट या RNN) का उपयोग करके सशर्त माध्य $E[G_t|h_t, a_t]$ और $E[i_t|h_t, a_t]$ का अनुमान लगाना।
- रेसिड्यूल्स (residuals) $e_{G_t}$ और $e_{i_t}$ की गणना करना।
- HSIC जैसे माप का उपयोग करके इन रेसिड्यूल्स के बीच सांख्यिकीय निर्भरता के लिए परीक्षण करना।
- यदि स्वतंत्रता (independence) की शून्य परिकल्पना (null hypothesis) को खारिज कर दिया जाता है, तो संकेत को सूचनात्मक माना जाता है। यह परीक्षण एक्टर के प्रशिक्षण से पहले किसी भी एक्सप्लोरेटरी पॉलिसी (जैसे, रैंडम) द्वारा एकत्र किए गए डेटा पर किया जा सकता है।
$(\epsilon, \delta)$ -प्रेडिक्शन इन्फॉर्मेटिवनेस (पोस्ट-हॉक): यह मानदंड मूल्यांकन करता है कि क्या $i_t$ को शामिल करने से वैल्यू फंक्शन की भविष्य कहने की सटीकता (predictive accuracy) में सुधार होता है। यह एक सिमेट्रिक क्रिटिक (जो केवल $h_t$ का उपयोग करता है) बनाम एक इन्फॉर्म्ड क्रिटिक (जो $h_t$ और $i_t$ दोनों का उपयोग करता है) के वर्ग त्रुटि (squared error) की तुलना करता है। यदि $i_t$ को शामिल करने से प्रेडिक्शन एरर में सांख्यिकीय रूप से महत्वपूर्ण कमी आती है (पॉजिटिव गेन), तो संकेत को सूचनात्मक माना जाता है।

मुख्य परिणाम

बेंचमार्क प्रदर्शन

लेखकों ने 12 आंशिक रूप से दृश्यमान बेंचमार्क (Baisero & Amato, 2022 से 6 नेविगेशन कार्य, और POPGym सूट से 6 कार्य) पर IAAC का मूल्यांकन किया।

प्रदर्शन: इन्फॉर्म्ड एसिमेट्रिक एक्टर-क्रिटिक ने लगातार सिमेट्रिक बेसलाइन्स (A2C) की बराबरी की या उनसे बेहतर प्रदर्शन किया और अक्सर पूर्ण-अवस्था तक पहुँच वाले एसिमेट्रिक बेसलाइन्स (asym-A2C-hs) से भी आगे निकल गया।
दक्षता (Efficiency): कई वातावरणों में (जैसे, Car-Flag, Shopping-5), विधि ने पूर्ण-स्टेट एसिमेट्रिक वेरिएंट्स की तुलना में तेजी से अभिसरण (convergence) किया और उच्च एसिम्प्टोटिक रिटर्न प्राप्त किया, बावजूद इसके कि वह सख्त रूप से कम स्टेट जानकारी पर निर्भर थी।
स्थिरता (Stability): विधि ने सिमेट्रिक दृष्टिकोणों की तुलना में अधिक प्रशिक्षण स्थिरता प्रदर्शित की, जो उच्च-आयामी या आंशिक रूप से दृश्यमान सेटिंग्स में कभी-कभी प्रदर्शन में गिरावट या अभिसरण समस्याओं से जूझते थे।

इन्फॉर्मेटिवनेस मानदंडों का सत्यापन

ज्ञात रिवॉर्ड स्ट्रक्चर वाले सिंथेटिक इन्फॉर्म्ड POMDPs का उपयोग करके, लेखकों ने अपने चयन मानदंडों को सत्यापित किया:

प्रदर्शन के साथ सहसंबंध: वे संकेत जिनमें सीधे रिवॉर्ड से संबंधित विशेषताएं थीं (जैसे, रिवॉर्ड निर्धारित करने वाले विशिष्ट स्टेट डायमेंशन), उन्हें दोनों मानदंडों द्वारा लगातार सूचनात्मक के रूप में पहचाना गया।
रिडंडेंसी डिटेक्शन: केवल रेडंडेंट या अप्रासंगिक विशेषताओं वाले संकेतों को सही ढंग से अनइन्फॉर्मेटिव के रूप में पहचाना गया।
फुल स्टेट बनाम इन्फॉर्मेटिव सबसेट्स: प्रयोगों ने दिखाया कि यदि स्टेट में शोरयुक्त या अप्रासंगिक विशेषताएं हैं, तो पूर्ण-स्टेट एक्सेस हमेशा सर्वश्रेष्ठ प्रदर्शन नहीं देता है। सावधानीपूर्वक चुने गए विशेषाधिकार प्राप्त संकेतों के उपसमुच्चय (subsets) पूर्ण-स्टेट बेसलाइन्स से बेहतर प्रदर्शन कर सकते हैं।
मजबूती (Robustness): मानदंड शोरयुक्त अवलोकन स्थितियों के तहत भी प्रभावी रहे, और रिटर्न वेरिएंस को समझाने की उनकी क्षमता के आधार पर संकेतों को सही ढंग से रैंक किया।

महत्व और दावे

पेपर का दावा है कि यह एसिमेट्रिक सुदृढीकरण शिक्षण के प्रतिमान को पूर्ण अवस्था जानकारी तक पहुँच से बदलकर सूचनात्मक प्रशिक्षण-समय संकेतों के चयन की ओर ले जाता है।

सैद्धांतिक सामान्यीकरण: यह कार्य एसिमेट्रिक एक्टर-क्रिटिक विधियों में मनमाने अवस्था-सशर्त विशेषाधिकार प्राप्त संकेतों के उपयोग के लिए पहला सैद्धांतिक औचित्य प्रदान करता है, यह सिद्ध करते हुए कि ऐसा उपयोग अनबायस्ड पॉलिसी ग्रेडिएंट को सुरक्षित रखता है। यह पिछले कार्य (जैसे, Baisero & Amato, 2022) का सामान्यीकरण करता है जो पूर्ण-स्टेट क्रिटिक्स तक सीमित था।
व्यावहारिक उपयोगिता: यह प्रदर्शित करके कि सावधानीपूर्वक चुने गए आंशिक संकेत पूर्ण-स्टेट प्रदर्शन के बराबर या उससे बेहतर हो सकते हैं, यह पेपर इस धारणा को चुनौती देता है कि प्रभावी एसिमेट्रिक लर्निंग के लिए पूर्ण-स्टेट एक्सेस आवश्यक है।
व्यवस्थित चयन: सिग्नल चयन के लिए डेटा-संचालित मानदंड पेश करना विशेषाधिकार प्राप्त जानकारी के "डायमेंशनलिटी के अभिशाप" (curse of dimensionality) को संभालने के लिए एक व्यवस्थित दृष्टिकोण प्रदान करता है, जिससे अभ्यासकर्ता मैन्युअल फीचर इंजीनियरिंग के बिना उपयोगी सहायक संकेतों की पहचान कर सकते हैं।

लेखक निष्कर्ष निकालते हैं कि उनका ढांचा यह अध्ययन करने के नए मार्ग खोलता है कि कैसे विशेषाधिकार प्राप्त जानकारी को आंशिक रूप से दृश्यमान सेटिंग्स में सीखने को सुगम बनाने के लिए चुना, मूल्यांकित और एकीकृत किया जा सकता है, यह नोट करते हुए कि भविष्य के कार्य एंड-टू-एंड सिग्नल चयन और लर्निंग लूप में सिग्नल कॉम्प्लेक्सिटी के एकीकरण की खोज कर सकते हैं।