🤖 machine learning

Learning Suffers More Than the Policy Class Under Partial Observability: A Closed-Form Analysis

यह शोध पत्र यह प्रदर्शित करता है कि आंशिक रूप से प्रेक्षित रैखिक-वर्ग सुदृढीकरण शिक्षण (linear-quadratic reinforcement learning) में, अनुकूलतमता (optimality) के मार्ग में प्राथमिक बाधा नीति की अभिव्यक्त क्षमता (expressiveness) नहीं है, बल्कि अनस्पष्ट अवस्था भिन्नता (unexplained state variation) के कारण क्रिटिक के मूल्य अनुमान (value estimation) में होने वाला पूर्वाग्रह है, जिसे एजेंट के लुकअहेड होराइजन (lookahead horizon) को समायोजित करके सटीक रूप से अभिलक्षित और सुधारा जा सकता है।

मूल लेखक: Idil Gözel

प्रकाशित 2026-08-10

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Idil Gözel

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक रोबोट चलना सीखने की कोशिश कर रहा है। उसके पास एक मस्तिष्क (एक एल्गोरिदम) है जो यह तय करता है कि कौन सी मांसपेशियों को कैसे सिकोड़ना है, लेकिन उसके पास केवल एक छोटा सा कैमरा है जो अपने पैरों को देखता है, न कि उनके नीचे की जमीन को या हवा के झोंकों को। यह रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) की दुनिया है, जहाँ मशीनें सबसे अच्छा स्कोर पाने के लिए प्रयास और त्रुटि (trial and error) से सीखती हैं। आमतौर पर, जब ये रोबोट विफल होते हैं, तो हम मान लेते हैं कि वे इस तरह से "अंधे" हैं जो कार्य को असंभव बना देता है: हमें लगता है कि वे सही कदम उठाने के लिए पर्याप्त देख नहीं पा रहे हैं। हम इसे "पॉलिसी गैप" (policy gap) कहते हैं: यह विचार कि रोबोट का मस्तिष्क बहुत सरल है कि वह पूर्ण समाधान को धारण नहीं कर सकता।

लेकिन यहाँ एक दूसरा, अधिक चालाक कारण भी है। भले ही रोबोट सही कदम उठाने में सक्षम हो, लेकिन जिस तरह से वह सीखता है, वह उसे धोखा दे सकता है। रोबोट को यह अनुमान लगाना होता है कि वह जो देख रहा है उसके आधार पर स्थिति कितनी अच्छी है। यदि वह पूरी तस्वीर नहीं देख पाता, तो उसके अनुमान पक्षपाती हो जाते हैं। वह किसी स्थिति को खतरनाक समझ सकता है जो वास्तव में सुरक्षित है, या इसके विपरीत। यह "लर्निंग गैप" (learning gap) है। यह इसलिए नहीं है कि रोबोट बुद्धिमान नहीं हो सकता; बल्कि इसलिए है क्योंकि शिक्षक (लर्निंग एल्गोरिदम) उसे गलत होमवर्क दे रहा है। यह शोध पत्र एक सरल प्रश्न पूछता है: एक ऐसी दुनिया में जहाँ रोबोट आंशिक रूप से अंधा है, क्या समस्या यह है कि वह दुनिया को समझने के लिए बहुत कम बुद्धिमान है, या समस्या यह है कि उसकी सीखने की विधि दोषपूर्ण है?

अंधा चालक और गलत मानचित्र

एक चालक की कल्पना करें जो ऊबड़-खाबड़ सड़क पर कार चलाने की कोशिश कर रहा है। चालक कार के ठीक सामने की सड़क (जिसे "अवलोकित अवस्था" या observed state कहा जाता है) देख सकता है, लेकिन वह कुछ सेकंड बाद आने वाले गड्ढों (जिसे "अअवलोकित अवस्था" या unobserved state कहा जाता है) को नहीं देख सकता। कार का सस्पेंशन इन छिपे हुए गड्ढों के प्रति प्रतिक्रिया कर रहा है, जिससे कार उछल रही है।

इस कहानी में, चालक एक्टर (Actor) है (वह हिस्सा जो पहिया घुमाने का निर्णय लेता है), और क्रिटिक (Critic) वह यात्री है जो स्कोरकार्ड रखता है, और ड्राइवर को बताता है कि सवारी कितनी अच्छी या बुरी रही। यात्री केवल उछलती हुई कार को देखता है, छिपे हुए गड्ढों को नहीं।

यह शोध पत्र इस समस्या का एक बहुत ही विशिष्ट, हल करने योग्य संस्करण प्रस्तुत करता है। कार एक ऐसे ट्रैक पर है जहाँ छिपे हुए गड्ढे कार को एक अनुमानित, गणितीय तरीके से धकेलते हैं। ड्राइवर को एक सरल नियम का उपयोग करने की अनुमति है: "यदि कार ऊपर उछलती है, तो पहिए को नीचे की ओर दबाएं।" यह नियम इतना सरल है कि, यदि ड्राइवर को पूरा सच पता होता, तो वह सटीक स्टीयरिंग कोण की गणना कर सकता था। वास्तव में, सटीक स्टीerिंग कोण उस पूर्णतः सर्वश्रेष्ठ ड्राइवर से केवल लगभग 10.4% ही खराब है जो सब कुछ देख सकता था। इसलिए, "पॉलिसी गैप" (ड्राइवर की प्रतिनिधित्व करने की सीमा) बहुत कम है। ड्राइवर लगभग पूर्ण हो सकता था।

लेकिन यहाँ एक मोड़ है: जब ड्राइवर वास्तव में मानक "एक्टर-क्रिटिक" (Actor-Critic) पद्धति का उपयोग करके सीखने की कोशिश करता है, तो वह उस अच्छे समाधान तक नहीं पहुँच पाता। इसके बजाय, वह एक भयानक समाधान से टकरा जाता है जो उस सर्वश्रेष्ठ स्थिति से 35% अधिक खराब है जो वह कर सकता था।

यात्री क्यों झूठ बोलता है?

सीखना क्यों विफल होता है? शोध पत्र दिखाता है कि ऐसा इसलिए नहीं है कि ड्राइवर मूर्ख है। ऐसा इसलिए है क्योंकि यात्री (क्रिटिक) उसे झूठ बोल रहा है, लेकिन जानबूझकर नहीं।

यात्री कार को उछलते हुए देखता है। वह जानता है कि कार उछल रही है क्योंकि छिपे हुए गड्ढे हैं, लेकिन वह गड्ढों को देख नहीं सकता। वह केवल कार को देखता है। उसके लिए, उछलना एक अनियंत्रित तूफान जैसा दिखता है। चूंकि यात्री को केवल कार की स्थिति के आधार पर स्कोरकार्ड लिखना है, इसलिए उसे यह समझाना होगा कि कार इतनी क्यों उछल रही है।

चूंकि वह यह नहीं कह सकता कि "ओह, यह गड्ढों के कारण है," इसलिए वह कार की स्थिति को ही दोष देता है। वह निर्णय लेता है, "वाह, यह कार वास्तव में एक अस्थिर जगह पर है! यदि हम थोड़ा भी हिलते हैं, तो यहाँ की वैल्यू (मूल्य) बहुत तेजी से गिर जाएगी।" वह एक ऐसा मानचित्र बनाता है जहाँ सुरक्षा का "घाटी" (valley) अविश्वसनीय रूप से गहरी और संकीरी है।

ड्राइवर, इस मानचित्र पर भरोसा करते हुए, सोचता है, "ओह नहीं! मुझे इस छोटे से सुरक्षित स्थान में रहने के लिए बहुत जोर से और तेजी से स्टीयरिंग घुमानी होगी!" इसलिए, ड्राइवर स्टीयरिंग व्हील को अधिकतम तक घुमा देता है। अंततः वह एक ऐसे "गेन" (gain - स्टीयरिंग संवेदनशीलता) के साथ गाड़ी चलाता है जो वास्तव में आवश्यक है उससे 15 गुना बड़ा है। वह उस तूफान के लिए अत्यधिक प्रतिक्रिया (over-correcting) कर रहा है जो मानचित्र के अनुसार उतना डरावना नहीं है।

शोध पत्र इसकी सटीक गणना करता है। उस बिंदु पर जहाँ ड्राइवर को सीखना बंद कर देना चाहिए था, यात्री का मानचित्र कहता है कि "वक्रता" (curvature - घाटी कितनी खड़ी है) 16.7 है। लेकिन वास्तविक वक्रता, यदि वे पूरी दुनिया देख पाते, तो केवल 1.11 होती। मानचित्र पंद्रह गुना अधिक खड़ा (steep) है! ड्राइवर इस त्रुटि के कारण अंततः दुर्घटनाग्रस्त हो जाता है।

आगे देखने का जादू

तो, एक ऐसे ड्राइवर को कैसे ठीक किया जाए जिसे एक खराब मानचित्र वाले यात्री द्वारा ठगा जा रहा है? शोध पत्र एक बहुत ही विशिष्ट "नॉब" (knob) खोजने में मदद करता है।

कई लर्निंग एल्गोरिदम में, यात्री केवल अगले कदम को नहीं देखता; वह यह देखने के लिए थोड़ा आगे देखता है कि स्कोर कैसे बदलता है। इसे बूटस्ट्रैप हॉरिजोन (bootstrap horizon) (या $\lambda$ पैरामीटर) कहा जाता है।

यदि यात्री केवल एक कदम आगे देखता है (छोटा हॉरिजोन), तो उसे गलत, खड़ी ढलान वाला मानचित्र मिलता है, और ड्राइवर दुर्घटनाग्रस्त हो जाता है।
यदि यात्री पर्याप्त दूर तक देखता है—विशेष रूप से, इतना दूर कि वह छिपे हुए गड्ढों के अपना काम करने के समय को कवर कर सके—तो मानचित्र खुद को ठीक कर लेता है।

शोध पत्र दिखाता है कि यदि आप इस "लुक-अहेड" (आगे देखने के) समय को छिपे हुए गड्ढों की "मेमोरी" (स्मृति) के अनुरूप सेट करते हैं, तो ड्राइवर सही स्थान पर रुक जाता है। यह यात्री को यह बताने जैसा है कि, "केवल यह अनुमान मत लगाओ कि कार अभी क्यों उछल रही है; प्रतीक्षा करो और देखो कि क्या उछाल जारी रहता है। यदि यह जारी रहता है, तो यह सड़क है। यदि यह रुक जाता है, तो यह केवल एक झटका था।"

डीप लर्निंग का आश्चर्य

लेखक ने केवल कागज पर गणित नहीं किया; उन्होंने इसे आधुनिक डीप रीइन्फोर्समेंट लर्निंग (वही AI जो वीडियो गेम खेलता है) के साथ परीक्षण किया। उन्होंने AI को एक "मेमोरी" दी (वीडियो के पिछले 32 फ्रेम दिखाकर), इस उम्मीद में कि इससे उसे छिपे हुए गड्ढों को देखने में मदद मिलेगी।

यहाँ आश्चर्यजनक परिणाम मिला: AI को मेमोरी देने से कोई मदद नहीं मिली।
मेमोरी के साथ भी, यदि "लुक-अहेड" नॉब गलत सेट था, तो AI फिर से दुर्घटनाग्रस्त हो गया। इससे कोई फर्क नहीं पड़ता कि AI के पास कितना शानदार मस्तिष्क या मेमोरी बैंक था; यदि लर्निंग नियम (यात्री का मानचित्र) पक्षपाती था, तो AI ने उसी पक्षपात का अनुसरण किया। हालाँकि, जब उन्होंने "लुक-अहेड" नॉब को सही सेटिंग पर सेट किया, तो AI ने बिना मेमोरी के भी सही समाधान पा लिया।

शोध पत्र ने कुछ अन्य विचारों को भी खारिज कर दिया। उन्होंने जांचा कि क्या शायद AI को अधिक "एक्सप्लोर" (अनजान चालें आज़माना) करने की आवश्यकता थी ताकि समस्या को ठीक किया जा सके। उन्होंने रैंडम शोर (noise) की मात्रा को स्थिर रखा और पाया कि इससे कोई फर्क नहीं पड़ा; समस्या अभी भी लुक-अहेड सेटिंग की थी। उन्होंने यह भी जांचा कि क्या AI को बस पहले सीखना बंद कर देना चाहिए था, लेकिन गणित ने दिखाया कि समस्या संरचनात्मक थी, समय की नहीं।

मुख्य निष्कर्ष

मुख्य निष्कर्ष सामान्य रूप से AI के बारे में हमारी सोच को थोड़ा चौंका देता है। हम अक्सर आंशिक दृश्यता (partial observability/अंधापन) के लिए AI के मस्तिष्क की जटिलता की कमी को जिम्मेदार ठहराते हैं। यह शोध पत्र कहता है: नहीं, मस्तिष्क ठीक है। समस्या यह है कि लर्निंग एल्गोरिदम जो शोर (noise) वह देखता है, उसे संकेत (signal) समझ लेता है, जिससे खतरे का एक झूठा अहसास पैदा होता है जो AI को अत्यधिक प्रतिक्रिया करने के लिए प्रेरित करता है।

समाधान अनिवार्य रूप रूप से AI को बड़ा मस्तिष्क या बेहतर मेमोरी देने में नहीं है। समाधान यह है कि लुक-अहेड हॉरिजोन (look-ahead horizon) को ट्यून करना है ताकि AI यह अंतर करने के लिए पर्याप्त समय तक प्रतीक्षा करे कि क्या यह एक वास्तविक समस्या है या एक अस्थायी गड़बड़ी। यदि आप उस एक नॉब को सही ढंग से ट्यून करते हैं, तो AI सही तरीके से सीख सकता है, भले ही वह अंधा हो। यदि आप ऐसा नहीं करते हैं, तो सबसे स्मार्ट AI भी खुद को खाई में गिरा देगा, यह विश्वास करते हुए कि वह दुनिया को बचा रहा है।

तकनीकी सारांश: आंशिक अवलोकन (Partial Observability) के तहत लर्निंग, पॉलिसी क्लास की तुलना में अधिक प्रभावित होती है

समस्या विवरण (Problem Statement)
आंशिक रूप से अवलोकन योग्य सुदृढीकरण शिक्षण (Partially Observable Reinforcement Learning - RL) में, एजेंट अक्सर इष्टतम नीतियों (optimal policies) को खोजने में विफल रहते हैं। पारंपरिक धारणा इस पॉलिसी-क्लास गैप (policy-class gap) को इसका कारण मानती है: एजेंट की प्रतिनिधित्व क्षमता (जैसे कि मेमोरीलेस पॉलिसियाँ) की अक्षमता, क्योंकि वह पूर्ण अवस्था (full state) को देख नहीं पाता। यह शोध पत्र इस दृष्टिकोण को चुनौती देता है और यह प्रदर्शित करता है कि एक बड़ा और अलग विफलता मोड मौजूद है: लर्निंग गैप (learning gap)। यह उस अंतर को दर्शाता है जो एजेंट द्वारा दर्शाई जा सकने वाली सर्वश्रेष्ठ नीति और उस नीति के बीच है जिसे लर्निंग एल्गोरिदम वास्तव में प्राप्त (converge) करता है। लेखक का तर्क है कि भले ही एजेंट के प्रतिनिधित्व वर्ग के भीतर एक अच्छी नीति मौजूद हो और वैल्यू फंक्शन एप्रोक्सिमेटर (value function approximator) सैद्धांतिक रूप से वास्तविक वैल्यू फंक्शन को सटीक रूप से व्यक्त करने में सक्षम हो, फिर भी लर्निंग डायनेमिक्स स्वयं एक ऐसा बायस (bias) उत्पन्न करते हैं जो एजेंट को एक उप-इष्टतम संतुलन (suboptimal equilibrium) की ओर ले जाता है।

कार्यप्रणाली (Methodology)
लेखक एक समाधान योग्य, आंशिक रूप से अवलोकन योग्य लीनियर-क्वाड्रेटिक गौसियन (LQG) कंट्रोल समस्या का विश्लेषण करते हैं।

पर्यावरण (Environment): एक द्वि-आयामी प्रणाली जहाँ एजेंट समन्वय $v$ को देखता और नियंत्रित करता है, जबकि एक अनअवलोकन योग्य समन्वय $z$ , $v$ को संचालित करता है। अनअवलोकन योग्य अवस्था एक 'मेमोरी कर्नेल' (memory kernel) के रूप में कार्य करती है।
लर्निंग एल्गोरिदम: एक मानक एक्टर-क्रिटिक (actor-critic) युग्म।
- क्रिटिक (Critic): क्वाड्रेटिक फीचर्स $(1, v, v^2)$ के साथ टेम्पोरल डिफरेंस (TD(0)) या लीस्ट स्क्वायर्स टीडी (LSTD) का उपयोग करता है। महत्वपूर्ण बात यह है कि इस समस्या के वास्तविक वैल्यू फंक्शन्स क्वाड्रेटिक होते हैं, जिसका अर्थ है कि यदि पूर्ण अवस्था देखी जा सकती, तो फीचर क्लास वास्तविक वैल्यू फंक्शन को सटीक रूप से दर्शाने के लिए पर्याप्त सक्षम होती। सीमा केवल यह है कि फीचर्स केवल अधूरे अवलोकन $v$ से गणना किए जाते हैं।
- एक्टर (Actor): क्रिटिक के वैल्यू अनुमानों को बेसलाइन के रूप में उपयोग करते हुए पॉलिसी ग्रेडिएंट का अनुसरण करता है।
विश्लेषण दृष्टिकोण: लेखक क्रिटिक के फिक्स्ड पॉइंट और एक्टर के अपेक्षित अपडेट दिशा के लिए क्लोज्ड-फॉर्म एक्सप्रेशन (closed-form expressions) व्युत्पन्न करते हैं। वे केवल स्टोकेस्टिक कन्वर्जेंस प्रमाणों पर निर्भर रहने के बजाय, अपेक्षित अपडेट (अवेटेड डायनेमिक्स) के संतुलन का विश्लेषण करते हैं, और इन भविष्यवाणियों को संख्यात्मक रूप से और डीप आरएल प्रयोगों के माध्यम से सत्यापित करते हैं।

मुख्य योगदान और परिणाम (Key Contributions and Results)

विफलता का सटीक तंत्र (द एलियस्ड क्रिटिक - The Aliased Critic):
मुख्य निष्कर्ष यह है कि लर्निंग गैप, पॉलिसी-क्लास गैप पर हावी हो जाता है। डिफ़ॉल्ट सेटिंग में, सर्वश्रेष्ठ मेमोरीलेस पॉलिसी की लागत आदर्श फुल-स्टेट कंट्रोलर की तुलना में केवल 10.4% अधिक है। हालांकि, एक्टर-क्रिटिक लर्नर एक ऐसी नीति पर अभिसरण (converge) करता है जो इस सर्वश्रेष्ठ मेमोरीलेस पॉलिसी की तुलना में 35% खराब है।
- तंत्र (Mechanism): स्थिर शासन (stationary regime) में, अनअवलोकन योग्य अवस्था $z$ औसत रूप से कंट्रोल इनपुट को संतुलित करती है, जिससे अवलोकित समन्वय $v$ एक रैंडम वॉक की तरह उतार-चढ़ाव करता हुआ प्रतीत होता है। क्रिटिक, जो केवल $v$ के कार्यों तक सीमित है, इस निरंतरता (persistence) को छिपी हुई अवस्था (hidden state) के कारण होने वाली घटना के रूप में श्रेय देने में असमर्थ है। फलस्वरूप, वह इस अनस्पष्टीकृत निरंतरता को वैल्यू फंक्शन के कर्वेचर (curvature) के रूप में गलत तरीके से प्रस्तुत करता है।
- परिणाम: क्रिटिक एक ऐसा वैल्यू कर्वेचर (coefficient of $v^2$ ) रिपोर्ट करता है जो वास्तविक कंडीशनल कर्वेचर से लगभग 15 गुना बड़ा है। एक्टर, इस बढ़े हुए कर्वेचर को बेसलाइन के रूप में उपयोग करते हुए, कंट्रोल गेन को अनिश्चित काल तक बढ़ाने के लिए प्रेरित होता है जब तक कि बढ़ा हुआ कर्वेचर कंट्रोल कॉस्ट द्वारा संतुलित न हो जाए, जिससे एक बहुत उच्च गेन पर स्थिरता आती है।
लर्निंग इक्विलिब्रियम के लिए क्लोज्ड-फॉर्म लॉ (Closed-Form Law for the Learning Equilibrium):
लेखक एक सटीक सूत्र व्युत्पन्न करते हैं जिसके लिए अपेक्षित अपडेट शून्य हो जाता है।
- इक्विलिब्रियम गेन $h$ (सैंपलिंग पीरियड) के व्युत्क्रमानुपाती (inversely proportional) है और यह एक्सप्लोरेशन नॉइज़ और मेमोरी कर्नेल की ज़ीरो-लैग तीव्रता ( $\sigma = s_e / \Theta K(0)$ ) के अनुपात पर निर्भर करता है।
- जैसे-जैसे एक्सप्लोरेशन शून्य होता जाता है, इक्विलिब्रियम गेन सैंपल्ड कंट्रोल सिस्टम की स्थिरता सीमा (stability boundary) के करीब पहुँच जाता है।
- यह स्थान डिस्टर्बेंस के वितरण (distribution) (विशेष रूप से स्क्वेर्ड डिस्टर्बेंस की सेकंड-ऑर्डर संरचना) पर निर्भर करता है, न कि केवल इसके ऑटोकोवेरिएंस पर।
डिप्लॉयड कॉस्ट के लिए क्लोज्ड-फॉर्म लॉ (Closed-Form Law for the Deployed Cost):
इक्विलिब्रियम के गलत स्थान के बावजूद, इस फिक्स्ड पॉइंट पर होने वाली लागत (cost) उल्लेखनीय रूप से मजबूत (robust) है।
- लर्निंग इक्विलिब्रियम पर डिप्लॉयड कॉस्ट $r C(0)$ के बराबर होती है (जहाँ $r$ कंट्रोल कॉस्ट वेट है और $C(0)$ डिस्टर्बेंस का ज़ीरो-लैग ऑटोकोवेरिएंस है)।
- यह कॉस्ट लॉ डिस्ट्रीब्यूशन-फ्री (distribution-free) है: यह किसी भी स्टेशनरी, इरगोडिक, मीन-स्क्वायर-कंटीन्यूअस डिस्टर्बेंस के लिए मान्य है, चाहे वह गौसियन हो, हेवी-टेल्ड (heavy-tailed) हो, या डिस्क्रीट (जैसे टेलीग्राफ नॉइज़) हो।
- लेखक प्रदर्शित करते हैं कि जबकि विभिन्न डिस्टर्बेंस वितरण इक्विलिब्रियम के स्थान (गेन) को 3.4 के कारक से बदल देते हैं, परिणामी लागत लगभग समान रहती है।
द बूटस्ट्रैप होराइजन एज द सॉल्यूशन (The Bootstrap Horizon as the Solution):
शोध पत्र एक एकल डिज़ाइन विकल्प की पहचान करता है जो इस पैथोलॉजी को समाप्त करता है: बूटस्ट्रैप होराइजन (bootstrap horizon) (जिसे $\lambda$ -रिटर्न्स में $\lambda$ पैरामीटर द्वारा नियंत्रित किया जाता है)।
- मानक TD(0) ( $\lambda=0$ ) केवल एक कदम आगे देखता है, जिससे एलियस्ड इक्विलिब्रियम उत्पन्न होता है।
- जैसे-जैसे $\lambda$ बढ़ता है, होराइजन विस्तृत होता जाता है। लेखक दिखाते हैं कि जैसे ही होराइजन पर्यावरण की मेमोरी से मेल खाता है, इक्विलिब्रियम निरंतर रूप से पॉलिसी-क्लास ऑप्टिमम की ओर वापस लौट आता है।
- यह संक्रमण (transition) तीव्र है: $\lambda$ को 0.98 से बढ़ाकर 0.99 करने से अतिरिक्त लागत ~30% से घटकर ~1.5% रह जाती है।
डीप रिइन्फोर्समेंट लर्निंग वैलिडेशन (Deep Reinforcement Learning Validation):
मल्टी-लेयर पर्सेप्ट्रॉन्स (MLP) के साथ प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) का उपयोग करके किए गए प्रयोग लेखक के सैद्धांतिक भविष्यवाणियों की पुष्टि करते हैं।
- आर्किटेक्चर इंडिपेंडेंस (Architecture Independence): फ्रेम स्टैकिंग (पिछले 32 फ्रेम्स को देखना) के माध्यम से मेमोरी जोड़ना भी मदद नहीं करता है। स्टैक्ड एजेंट भी कम $\lambda$ पर मेमोरीलेस एजेंटों के समान ही एलियस्ड व्यवहार प्रदर्शित करते हैं और उच्च $\lambda$ पर समान रिकवरी दिखाते हैं। यह सुझाव देता है कि इनपुट में हिस्ट्री होना पर्याप्त नहीं है; लर्निंग एल्गोरिदम को बूटस्ट्रैप होराइजन के माध्यम से उस हिस्ट्री का प्रभावी ढंग से उपयोग करना चाहिए।
- प्री-रजिस्टर्ड टेस्ट: लेखक ने अन्य वैकल्पिक स्पष्टीकरणों, जैसे कि सीखे गए एक्सप्लोरेशन नॉइज़ के पतन या एक्सप्लोरेशन मैग्नीट्यूड के थ्रेशोल्ड प्रभाव, को खारिज करने के लिए प्रयोगों को प्री-रजिस्टर्ड किया था। ये परिकल्पनाएं गलत साबित हुईं; विफलता स्थिर एक्सप्लोरेशन नॉइज़ के साथ भी बनी रहती है, और कोई भी एक्सप्लोरेशन थ्रेशोल्ड विस्थापन (displacement) को नहीं रोकता है।

महत्व और दावे (Significance and Claims)
यह शोध पत्र दावा करता है कि यह आंशिक अवलोकनशीलता (partial observability) द्वारा एक्टर-क्रिटिक लर्निंग को कैसे पक्षपाती (bias) बनाती है, इसका पहला सटीक, क्लोज्ड-फॉर्म लक्षण वर्णन प्रदान करता है, जो प्रतिनिधित्व की सीमाओं को लर्निंग नियम की सीमाओं से अलग करता है।

सीमित दायरा: लेखक स्पष्ट रूप से कहते हैं कि वे केवल यह सिद्ध नहीं करते कि स्टोकेस्टिक इटरेट (stochastic iterates) फिक्स्ड पॉइंट पर अभिसरित होते हैं, बल्कि केवल यह कि अपेक्षित अपडेट वहां शून्य हो जाता है और स्टोकेस्टिक रन औसत प्रक्षेपवक्र (averaged trajectory) का अनुसरण करते हैं (एक लैग के साथ)।
विशिष्ट सीमाएँ: स्थान का सटीक नियम गौसियन डिस्टर्बेंस के लिए सिद्ध है; कॉस्ट लॉ डिस्ट्रीब्यूशन-फ्री है। शोध पत्र यह अनुमान लगाता है कि गैर-गौसियन मामलों के लिए स्थान का नियम स्क्वेर्ड डिस्टर्बेंस की सेकंड-ऑर्डर संरचना पर निर्भर करता है, लेकिन यह दावा नहीं करता है कि इसे सामान्य रूप से सिद्ध किया गया है।
व्यावहारिक निहितार्थ: मुख्य निष्कर्ष यह है कि आंशिक रूप से अवलोकन योग्य सेटिंग्स में, केवल मॉडल क्षमता बढ़ाना या इनपुट मेमोरी (जैसे फ्रेम स्टैकिंग) जोड़ना लर्निंग विफलताओं को ठीक करने के लिए पर्याप्त नहीं है। इसके बजाय, चिकित्सकों को बूटस्ट्रैप होराइजन ( $\lambda$ ) को पर्यावरण की अनअवलोकन योग्य डायनेमिक्स की मेमोरी से अधिक ट्यून करना चाहिए।

शोध पत्र निष्कर्ष निकालता है कि "लर्निंग गैप", प्रतिनिधित्व की सीमाओं (पॉलिसी-क्लास गैप) की तुलना में अक्सर एक बड़ा स्रोत होता है, जो क्रिटिक की अनअवलोकन योग्य अवस्था की निरंतरता (persistence) को वैल्यू फंक्शन कर्वेचर के रूप में गलत समझने की अक्षमता से प्रेरित होता है।

अंधा चालक और गलत मानचित्र

यात्री क्यों झूठ बोलता है?

आगे देखने का जादू

डीप लर्निंग का आश्चर्य

मुख्य निष्कर्ष

इसी तरह के और पेपर