Toward Learning POMDPs Beyond Full-Rank Actions and State Observability
यह शोध पत्र हल्के रैंक धारणाओं के तहत स्पेक्ट्रल दृष्टिकोणों और टेंसर अपघटन का लाभ उठाकर अनुक्रमिक डेटा से आंशिक रूप से अवलोकन योग्य मार्कोव निर्णय प्रक्रिया (POMDP) के स्पष्ट संक्रमण और अवलोकन मैट्रिसेस को सीखने की एक विधि प्रस्तुत करता है, जो एजेंटों को विविध लक्ष्यों के लिए योजना बनाने में सक्षम बनाता है और यह सिद्ध करता है कि एक विशिष्ट अवस्था विभाजन से परे सीखना सैद्धांतिक रूप से असंभव है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक डरावनी, घने अंधेरे वाले हवेली में नेविगेट करना सिखा रहे हैं। आप कमरों को देख नहीं सकते, लेकिन आप चरमराहट की आवाज़ें सुन सकते हैं, हवा के झोंकों को महसूस कर सकते हैं और फर्नीचर से टकरा सकते हैं। हर बार जब रोबोट एक कदम लेता है, तो उसे एक छोटा सा सुराग मिलता है कि वह कहाँ हो सकता है। यह "पार्शियली ऑब्जर्वेबल" (आंशिक रूप से दृश्य) सिस्टम की दुनिया है: एजेंट (रोबोट) जानता है कि वह कौन से कार्य कर सकता है और वह क्या महसूस कर सकता है, लेकिन वह घर का वास्तविक नक्शा या इस क्षण वह वास्तव में कहाँ खड़ा है, यह नहीं जानता। स्मार्ट तरीके से कार्य करने के लिए, रोबोट को इस छिपी हुई दुनिया का एक मानसिक मॉडल बनाने की आवश्यकता है। दशकों से, वैज्ञानिकों ने इस मॉडल का अनुमान लगाने के तरीके विकसित किए हैं, लेकिन वे अक्सर एक दीवार से टकरा जाते हैं: उनके द्वारा बनाए गए मॉडल "ब्लैक बॉक्स" की तरह थे। वे भविष्यवाणी कर सकते थे कि आगे क्या होगा, लेकिन वे यह नहीं समझा सकते थे कि ऐसा क्यों हुआ या यदि लक्ष्य बदल जाए (जैसे "बिल्ली खोजो" से बदलकर "खजाना खोजो" करना) तो आसानी से अपनी योजनाएं कैसे बदलें।
यह शोध पत्र उस ब्लैक बॉक्स की समस्या का समाधान करता है। एमआईटी (MIT) और आर्मी रिसर्च लैबोरेटरी के शोधकर्ताओं ने एजेंटों को खेल के वास्तविक "नियमों" को सीखने के लिए प्रशिक्षित करना चाहा—जैसे कि एक छिपे हुए कमरे से दूसरे में जाने की विशिष्ट संभावनाएँ और प्रत्येक कमरे से मिलने वाले विशिष्ट संकेत। वे एक विशेष प्रकार की गणितीय पहेली पर ध्यान केंद्रित करते हैं जिसे POMDP (पार्शियली ऑब्जर्वेबल मार्कोव डिसीजन प्रोसेस) कहा जाता है। एक POMDP को एक बोर्ड गेम के रूप में सोचें जहाँ आप बोर्ड को देख नहीं सकते, केवल पासे के उछाल और उन टुकड़ों को देख सकते हैं जहाँ आप पहुँचते हैं। लक्ष्य खेल को बार-बार खेलकर बोर्ड के लेआउट का पता लगाना है। बड़ा सवाल यह है: क्या हम बोर्ड के सटीक लेआउट को सीख सकते हैं, भले ही कुछ कमरे बाहर से बिल्कुल एक जैसे दिखते हों?
टीम की मुख्य खोज इन छिपे हुए मानचित्रों को सीखने का एक चतुर नया तरीका है, लेकिन इसमें एक बहुत ही महत्वपूर्ण शर्त है। उन्होंने पाया कि यदि रोबोट के कार्य "फुल-रैंक" (एक फैंसी शब्द जिसका अर्थ है कि कार्य इतने विविध हैं कि वे सिस्टम को लूप में फंसने के बजाय हिला सकें) हैं, तो रोबोट कमरों के समूहों के बीच जाने की वास्तविक संभावनाओं को सीख सकता है। हालांकि, उन्होंने यह सिद्ध किया कि यदि दो अलग-अलग कमरे हर संभव क्रिया के लिए बिल्कुल एक जैसे संकेत देते हैं, तो रोबोट केवल घूम-फिरकर उनके बीच अंतर नहीं कर पाएगा। यह दो जुड़वा बच्चों के बीच अंतर करने की कोशिश करने जैसा है जो एक ही कपड़े पहनते हैं और एक ही आवाज में बोलते हैं; आप उनसे कितने भी सवाल पूछ लें, आप कभी सुनिश्चित नहीं हो पाएंगे कि कौन कौन है।
तो, उन्होंने वास्तव में क्या किया? उन्होंने दो मौजूदा गणितीय तरकीबों को मिलाया। पहली तरकीब, जिसे प्रेडिक्टिव स्टेट रिप्रेजेंटेशन्स (PSR) कहा जाता है, भविष्य का अनुमान लगाने में बहुत अच्छी है लेकिन अतीत को समझाने में खराब है। दूसरी तरकीब, जिसमें "टेन्सर डिकंपोजिशन" (tensor decomposition) शामिल है, एक हाई-टेक जासूस की तरह है जो मिश्रित संकेतों को अलग करके मूल स्रोतों को खोज सकती है। लेखकों ने महसूस किया कि यदि वे दुनिया का एक मोटा खाका तैयार करने के लिए पहले PSR विधि का उपयोग करते हैं, तो वे फिर उस खाके को "रोटेट" (घुमाने) के लिए टेन्सर विधि का उपयोग कर सकते हैं जब तक कि वह दुनिया के वास्तविक लेआउट से मेल न खा जाए।
जादुई हिस्सा यह है: कई वास्तविक दुनिया के परिदृश्यों में, जैसे कि एक रोबोटिक हाथ जो कप उठाने की कोशिश कर रहा है, रोबोट कभी-कभी विफल हो सकता है (फिसलना) या अन्य बार सफल हो सकता है। ये "अव्यवस्थित" क्रियाएं वास्तव में सहायक होती हैं क्योंकि वे डेटा में पर्याप्त विविधता पैदा करती हैं जिससे गणित काम कर सके। लेखकों ने दिखाया कि इन फुल-रैंक क्रियाओं का उपयोग करके, उनका तरीका संक्रमण और अवलोकन मैट्रिसेस (खेल के नियम) को एक "पार्टीशन" (विभाजन) तक सीख सकता है। इसका मतलब है कि रोबोट सीखता है कि "कमरा A और कमरा B एक ही समूह में हैं क्योंकि वे एक जैसे दिखते हैं," और वह इन समूहों के बीच जाने के नियमों को सीखता है। यदि प्रत्येक कमरे की एक विशिष्ट पहचान (फिंगरप्रिंट) है, तो रोबोट पूरे मानचित्र को पूरी तरह से सीख लेता है। यदि कुछ कमरे जुड़वां हैं, तो वह समूहों के मानचित्र को सीखता है।
इस शोध पत्र ने स्पष्ट रूप से इस विचार को खारिज कर दिया है कि हम केवल चलने के एक एकल डेटा सेट का उपयोग करके उन "जुड़वां" कमरों के बीच सटीक अंतर कभी नहीं सीख सकते। उन्होंने एक गणितीय प्रमाण बनाया जिससे पता चलता है कि दो पूरी तरह से अलग घर के लेआउट एक ही क्रम में चरमराहट और टक्कर उत्पन्न कर सकते हैं। यदि रोबroट संकेतों में अंतर नहीं कर सकता, तो वह मानचित्र में भी अंतर नहीं कर सकता। यह उनके एल्गोरिदम की विफलता नहीं है; यह ब्रह्मांड की एक मौलिक सीमा है।
अपने प्रयोगों में, उन्होंने इसे "टाइगर" गेम (जहाँ दो दरवाजों के पीछे एक बाघ है) और एक "सेंस-फ्लोट-रिसेट" डोमेन (एक रोबोट जो एक रेखा पर चल रहा है) सहित कई डिजिटल दुनियाओं पर परखा। उन्होंने पाया कि उनकी विधि समूहों के बीच जाने की सही संभावनाओं को सफलतापूर्वक सीख लेती है। इससे भी महत्वपूर्ण बात यह है कि क्योंकि उन्होंने केवल एक ब्लैक-बॉक्स प्रेडिक्टर के बजाय खेल के वास्तविक नियमों को सीखा, इसलिए वे सीखने के बाद रोबोट का लक्ष्य बदल सकते थे। उदाहरण के लिए, वे रोबोट को कह सकते हैं, "अब, शोर वाले बीच वाले कमरे में जाओ," और रोबोट पहले से बनाए गए मानचित्र का उपयोग करके वहां जाने का तरीका खोज लेगा। पिछले तरीकों को नया लक्ष्य सीखने के लिए फिर से शुरुआत करनी पड़ती।
लेखक सुझाव देते हैं कि यह दृष्टिकोण उन रोबोटों के लिए एक महत्वपूर्ण कदम है जिन्हें लचीला होने की आवश्यकता है। यह उन्हें दुनिया का एक ऐसा मॉडल सीखने की अनुमति देता है जो व्याख्या योग्य (interpretable) और पुन: प्रयोज्य (reusable) है। हालांकि, वे सावधान करते हैं कि यह तब सबसे अच्छा काम करता है जब रोबोट के पास परीक्षण करने के लिए विविध क्रियाओं का सेट हो। यदि रोबोट बहुत अनाड़ी है या वातावरण बहुत स्थिर है, तो गणित छिपे हुए अवस्थाओं (states) को अलग करने में सक्षम नहीं हो सकता है। वे यह भी बताते हैं कि उनकी वर्तमान विधि छोटे संख्या में छिपी हुई अवस्थाओं वाले सिस्टम के लिए सबसे अच्छा काम करती है, क्योंकि विशाल, जटिल दुनिया के लिए गणित बहुत भारी हो जाता है। लेकिन फिलहाल, उन्होंने दिखाया है कि हम छिपी हुई अवस्थाओं के पर्दे के पीछे झांक सकते हैं, बशर्ते हम यह स्वीकार करें कि कुछ जुड़वां हमेशा अविभाज्य रहेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।