Grounding LTL Tasks in Sub-Symbolic RL Environments for Zero-Shot Generalization
यह शोध पत्र एक ऐसी विधि प्रस्तावित करता है जो न्यूरल रिवॉर्ड मशीनों का उपयोग करके एक मल्टी-टास्क रीइन्फोर्समेंट लर्निंग पॉलिसी और एक सिंबल ग्राउंडर को संयुक्त रूप से प्रशिक्षित करता है ताकि एजेंट बिना पूर्व प्रतीक-से-अवलोकन मैपिंग के ज्ञान के सब-सिम्बोलिक वातावरण में लीनियर टेम्पोरल लॉजिक निर्देशों का पालन कर सकें, जिससे मौजूदा दृष्टिकोणों से बेहतर ज़ीरो-शॉट सामान्यीकरण प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक रोबोट एक ऐसे कमरे में प्रवेश करता है जिसे उसने पहले कभी नहीं देखा है। वह एक कॉफी मशीन, एक डेस्क और एक मेल स्लॉट (पत्र डालने का छेद) देखता है, लेकिन रोबोट के लिए ये केवल एक स्क्रीन पर दिखने वाले आकार और रंग हैं। उसे यह नहीं पता कि वह मशीन कॉफी के लिए है या वह स्लॉट मेल के लिए है। अब, कल्पना कीजिए कि एक इंसान रोबोट को एक जटिल निर्देश देता है: "मेल स्लॉट के पास जाओ, फिर कॉफी मशीन के पास, और अंत में डेस्क के पास, लेकिन रास्ते में लाल फर्श की टाइलों पर कदम न रखें।" एक इंसान के लिए, यह आसान है क्योंकि हम शब्दों और वस्तुओं का अर्थ समझते हैं। रोबोट के लिए, यह एक बहुत बड़ी पहेली है। उसे पहले यह समझना होगा कि कौन सी वस्तु क्या है, फिर उसे घटनाओं के क्रम को याद रखना होगा और लाल टाइलों से बचना होगा, और साथ ही यह भी सीखना होगा कि कैसे चलना है। यह कृत्रिम बुद्धिमत्ता (AI) को वास्तविक दुनिया में निर्देशों का पालन करने के लिए सिखाने की चुनौती है, जहाँ उसे यह बताने के लिए कोई बना-बनाया शब्दकोश नहीं दिया जा सकता कि चीजों को क्या कहा जाता है।
द दशकों से, शोधकर्ताओं ने रोबोट को उनके संसार का एक सटीक मानचित्र देकर इसे हल करने की कोशिश की है, उन्हें ठीक-ठीक बताया है कि कौन सा पिक्सेल "कॉफी" या "मेल" के अनुरूप है। यह नियंत्रित प्रयोगशालाओं में काम करता है लेकिन अव्यवस्थित, अप्रत्याशित वास्तविक दुनिया में विफल हो जाता है। एक नया दृष्टिकोण, जो हालिया शोध में विस्तृत है, रोबोट को यह सिखाने का प्रयास करता है कि वह चलते समय अपने आप इन अर्थों को सीख सके। वैज्ञानिकों ने एक विशिष्ट प्रकार के निर्देश पर ध्यान केंद्रित किया जिसमें समय और अनुक्रम शामिल है, जिसे 'टेम्पोरल लॉजिक' (temporal logic) कहा जाता है। इसे इस तरह समझें जैसे नियम लिखना कि "A करो, फिर B करो, लेकिन कभी C मत करो," बजाय इसके कि केवल "बिंदु X पर जाओ।" लक्ष्य यह देखना था कि क्या एक रोबमाट जटिल, समय-आधारित नियमों का पालन करना सीख सकता है, एक ऐसी दुनिया में जहाँ वह बिना किसी जानकारी के शुरू करता है कि वस्तुएं क्या हैं, और केवल अपने कैमरा फीड और सफलता या विफलता के एक सरल संकेत का उपयोग करता है।
शोधकर्ताओं ने एक ऐसा सिस्टम बनाया जहाँ रोबोट दो चीजें एक साथ सीखता है। पहला, वह एक 'पॉलिसी' (policy) सीखता है, जो केवल अगला कदम उठाने के निर्णय लेने की रणनीति है। दूसरा, और अधिक महत्वपूर्ण रूप से, वह एक "ग्राउंडर" (grounder) सीखता है। यह एक घटक है जो एक अनुवादक की तरह कार्य करता है, यह समझने की कोशिश करता है कि कैमरे से प्राप्त कच्ची छवियों का निर्देश के संदर्भ में क्या अर्थ है। यदि रोबोट एक लाल वर्ग देखता है और निर्देश कहता है "लाल से बचें," तो ग्राउंडर को अंततः उस लाल वर्ग को "लावा" या "खतरा" के रूप में लेबल करना सीखना होगा। कठिनाई यह है कि रोबोट को सुधारने के लिए कोई शिक्षक नहीं मिलता। उसे केवल एक 'स्पार्स रिवॉर्ड' (sparse reward) मिलता है: कार्य पूरा होने पर एक छोटा सा सकारात्मक संकेत, विफल होने पर एक नकारात्मक संकेत, और बीच में कुछ भी नहीं। यह एक नई भाषा सीखने जैसा है जहाँ आपको बातचीत के अंत में केवल "हाँ" या "नहीं" बताया जाता है, बीच में बोले गए व्यक्तिगत शब्दों पर कोई प्रतिक्रिया नहीं दी जाती।
इसे हल करने के लिए, टीम ने निर्देशों की संरचना से जुड़े एक चतुर तरीके का उपयोग किया। उन्होंने निर्देश को एक ऐसी मशीन के रूप में माना जो रोबोट के हिलने-डुलने के साथ अपनी स्थिति (state) बदलती है। यदि रोबोट मेल उठा लेता है, तो मशीन एक नई स्थिति में चली जाती है जो कहती है "मेल हो गया, अब कॉफी खोजो।" शोधकर्ताओं ने रोबोट के अनुवादक को उन पुरस्कारों (rewards) की भविष्यवाणी करने के लिए प्रशिक्षित किया जो यह मशीन देगी। रोबोट की गतिविधियों को देखकर और यह देखकर कि मशीन कब "सफलता" या "विफलता" कहती है, अनुवादक धीरे-धीरे यह सीख जाता है कि देखी गई छवियों को निर्देश के सही शब्दों के साथ कैसे जोड़ा जाए। यह प्रयास और त्रुटि की एक प्रक्रिया है, जहाँ रोबोट कार्य के तर्क का उपयोग करके स्वयं को सिखाता है कि प्रतीकों का अर्थ क्या है। शोधकर्ताओं ने दो बहुत अलग दुनियाओं में इसका परीक्षण किया। एक ग्रिड-आधारित वातावरण था जो एक सरल वीडियो गेम जैसा दिखता था, जहाँ रोबोट को वस्तुओं के भूलभुलैया में नेविगेट करना था। दूसरा एक निरंतर (continuous) स्थान था जहाँ रोबोट एक सपाट तल पर कार की तरह चलता था, और विशिष्ट क्रम में रंगीन क्षेत्रों में जाने का प्रयास करता था।
परिणामों ने दिखाया कि यह तरीका बहुत अच्छी तरह से काम करता है। ग्रिड वर्ल्ड में, रोबोट निर्देशों का पालन लगभग उतना ही सटीक रूप से सीख गया जितना कि उसे शुरुआत से सही शब्दकोश दिया गया होता। उसने वस्तुओं को पहचानना और घटनाओं के क्रम का पालन करना सीख लिया, भले ही निर्देश लंबे और अधिक जटिल होते गए। निरंतर दुनिया में भी, रोबोट ने उच्च सटीकता के साथ क्षेत्रों की पहचान करना सीखा, हालांकि वह सबसे जटिल बचाव कार्यों (avoidance tasks) में थोड़ा संघर्ष करता दिखा। महत्वपूर्ण रूप से, रोबोट ने यह अर्थ सीखते समय ही चलना भी सीख लिया, बिना किसी अलग प्रशिक्षण चरण के। सिस्टम ने सिद्ध किया कि एक एजेंट (agent) कच्चे डेटा से अमूर्त अवधारणाओं (abstract concepts) को जोड़ने के लिए प्रतीकों को 'ग्राउंड' कर सकता है—केवल कार्य को हल करने की कोशिश करके और सीखने के लिए नियमों की संरचना का उपयोग करके।
अध्ययन ने इसी समस्या को हल करने के एक पिछले प्रयास के विरुद्ध भी तुलना की। पुराना तरीका, जो निर्देशों के व्याकरण के आधार पर रोबोट के मस्तिष्क को टुकड़ों में बनाने की कोशिश करता था, जब निर्देश लंबे होते थे तो विफल हो गया। वह नए कार्यों की जटिलता को नहीं संभाल सका। हालाँकि, नया दृष्टिकोण प्रभावी ढंग से स्केल हुआ, यह दिखाते हुए कि वस्तुओं के अर्थ और चलने की रणनीति सीखना गहराई से जुड़े हुए हैं और उन्हें एक साथ सीखा जाना चाहिए। शोधकर्ताओं ने पाया कि वस्तुओं को पहचानने की रोबोट की क्षमता तेजी से बढ़ी, जो अक्सर प्रशिक्षण के कुछ मिलियन स्टेप्स के भीतर उच्च स्तर की सटीकता तक पहुँच गई। यह सुझाव देता है कि कार्य की संरचना से मिलने वाला अप्रत्यक्ष फीडबैक रोबोट को यह सिखाने के लिए पर्याप्त है कि चीजें क्या हैं, यहाँ तक कि बिना किसी इंसान द्वारा उन्हें इंगित किए भी।
हालातः यह प्रणाली पूर्ण नहीं है, विशेष रूप रूप से सबसे कठिन निरंतर वातावरण में जहाँ कार्य की पूरी अवधि के दौरान खतरे से बचना कठिन साबित हुआ, लेकिन मुख्य निष्कर्ष स्पष्ट है। एक कृत्रिम एजेंट को एक ऐसी दुनिया में जटिल, समय-आधारित निर्देशों को समझने के लिए प्रशिक्षित करना संभव है जिसे वह नहीं जानता, उसे काम पूरा करने की कोशिश करते समय दुनिया की विशेषताओं का अर्थ सीखने देने से। यह हमें ऐसी मशीनें बनाने के करीब ले जाता है जो एक नए वातावरण में प्रवेश कर सकती हैं, नियमों के एक सेट को सुन सकती हैं, और बिना किसी पूर्व-प्रोग्रामित मानचित्र के यह समझ सकती हैं कि क्या करना है। यह कार्य प्रदर्शित करता है कि कार्य के तर्क को पर्यावरण के सीखने के साथ जोड़कर, रोबोट कच्चे डेटा और सार्थक क्रिया के बीच के अंतर को पाटना शुरू कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।