Reward-Free Continual Adaptation for Resilient Space Robots
यह शोध पत्र एक रिवॉर्ड-फ्री (reward-free) निरंतर शिक्षण ढांचे को प्रस्तुत करता है जो अंतरिक्ष रोबोटों को गंभीर हार्डवेयर गिरावट के अनुकूल होने में सक्षम बनाता है, जिसमें अनसुपरवाइज्ड रोलआउट्स के माध्यम से ट्रांज़िशन डायनेमिक्स को अपडेट करने और कल्पित प्रक्षेप पथों (imagined trajectories) पर पॉलिसियों को प्रशिक्षित करने के लिए एक प्री-ट्रेंड लेटेंट-स्टेट वर्ल्ड मॉडल का लाभ उठाया जाता है, जिससे तैनाती के दौरान अव्यवहार्य रिवॉर्ड सिग्नल्स की आवश्यकता समाप्त हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अंतरिक्ष एक ऐसी जगह है जहाँ मशीनों को मानवीय हाथों की सहायता के बिना अकेले काम करना पड़ता है। दशकों से, इंजीनियरों ने रोबोटों को सख्त निर्देश देकर या उन्हें प्रयास और त्रुटि (ट्रायल एंड एरर) के माध्यम से सीखने देकर, जिसे सुदृढीकरण लर्निंग (रिनफोर्समेंट लर्निंग) कहा जाता है, चलना सिखाया है। इस सीखने की प्रक्रिया में, एक रोबोट एक क्रिया करता है, और यदि वह सफल होता है, तो उसे एक डिजिटल "पुरस्कार" या रिवॉर्ड सिग्नल मिलता है जो उसे वह क्रिया फिर से करने के लिए प्रेरित करता है। यह प्रणाली नियंत्रित वातावरण में अच्छी तरह काम करती है जहाँ कंप्यूटर तुरंत गणना कर सकता है कि एक रोबोट कितना अच्छा प्रदर्शन कर रहा है। हालाँकि, अंतरिक्ष के विशाल, अनछुए खालीपन में, कोई कैमरा या सेंसर नहीं होता जो रोबोट को यह बता सके कि वह सही ढंग से चल रहा है या नहीं। सफलता को मापने के तरीके के बिना, रोबोट को उन रिवॉर्ड सिग्नल्स की आवश्यकता होती है जो उसे सीखने या अनुकूलन करने के लिए चाहिए, और वह उन्हें प्राप्त नहीं कर पाता। यह एक खतरनाक समस्या पैदा करता है: यदि अंतरिक्ष में कोई रोबोट टूट जाता है या घिस जाता है, तो वह अपने व्यवहार को ठीक नहीं कर सकता क्योंकि उसे यह जानने का कोई तरीका नहीं है कि वह विफल हो रहा है।
लक्ज़मबर्ग विश्वविद्यालय के शोधकर्ताओं की एक टीम ने इस समस्या को हल करने का एक नया तरीका प्रस्तावित किया है, जिससे रोबट बिना यह जाने कि वे जीत रहे हैं या हार रहे हैं, गंभीर क्षति के अनुकूल हो सकते हैं। उनका दृष्टिकोण एक "वर्ल्ड मॉडल" की अवधारणा पर आधारित है, जो अनिवार्य रूप से उनके कंप्यूटर के भीतर बना एक मानसिक मानचित्र है। पृथ्वी छोड़ने से पहले ही, वैज्ञानिक इसे हजारों अलग-अलग कंप्यूटर सिमुलेशन में प्रशिक्षित करते हैं, जिससे यह हर तरह के इलाके, गुरुत्वाकर्षण और यांत्रिक विफलता का अनुभव कर सके जिसका इसे सामना करना पड़ सकता है। इस प्रशिक्षण के दौरान, रोबोट न केवल चलना सीखता है, बल्कि यह भी सीखता है कि आगे क्या होगा और एक "अच्छा" परिणाम कैसा दिखता है, भले ही वह अंतिम परिणाम देख न सके। शोधकर्ताओं ने पाया कि इस मानसिक मानचित्र में सफलता की एक छिपी हुई समझ होती है, एक प्रकार का आंतरिक दिशा-सूचक यंत्र जो रोबोट को सही दिशा में ले जाता है, भले ही वह फिनिश लाइन देख न सके।
उनकी खोज का मूल आधार इस मानसिक मानचित्र को अपडेट करने की एक विधि है जब अंतरिक्ष में कुछ गलत हो जाता है। कल्पना कीजिए कि मंगल ग्रह पर एक रोवर चल रहा है और अचानक उसके सामने के दाहिने पहिये को मोड़ने की क्षमता खो देता है। एक पारंपरिक प्रणाली में, रोबोट फंस जाएगा, क्योंकि वह टूटे हुए पहिये के साथ गाड़ी चलाना नहीं सीख पाएगा क्योंकि वह अपने नए आंदोलनों को निर्देशित करने के लिए रिवॉर्ड सिग्नल की गणना नहीं कर सकता। शोधकर्ताओं की नई प्रणाली, हालांकि, रोबोट के मस्तिष्क के उस हिस्से को फ्रीज (स्थिर) कर देती है जो यह समझता है कि पुरस्कार कैसा दिखता है। इसके बाद, यह केवल उस मस्तिष्क के हिस्से को अपडेट करने के लिए रोबोट की अपनी गतिविधियों का उपयोग करता है जो यह भविष्यवाणी करता है कि दुनिया कैसे बदलती है। टूटे हुए पहिये से रोबोट वास्तव में कैसे चलता है, इसे देखकर, सिस्टम क्षति की नई वास्तविकता को सीख लेता है। फिर यह "अच्छे" परिणामों की अपनी पूर्व-प्रशिक्षित समझ का उपयोग करके खुद को फिर से चलना सिखाता है, जो पूरी तरह से स्वतंत्र है।
इस विचार का परीक्षण करने के लिए, शोधकर्ताओं ने तीन बहुत अलग अंतरिक्ष कार्यों से जुड़े कठोर सिमुलेशन चलाए। सबसे पहले, उन्होंने बारह मोटरों वाले एक रोवर का सिमुलेशन किया जो ऊबड़-खाबड़, पथरीली जमीन को पार करने की कोशिश कर रहा था। इसके बाद, उन्होंने कक्षा (ऑर्बिट) में नेविगेट करने के लिए बारह थ्रस्टर्स वाले एक अंतरिक्ष यान का सिमुलेशन किया। अंत में, उन्होंने अत्यधिक सटीकता के साथ नट में बोल्ट कसने के लिए सात जोड़ों वाले एक रोबोटिक आर्म का सिमुलेशन किया। इन प्रत्येक मामले में, उन्होंने एक अचानक और गंभीर विफलता उत्पन्न की: रोवर का एक पहिया लॉक करना, अंतरिक्ष यान के तीन थ्रस्टर्स को अक्षम करना, और स्क्रूड्राइवर टूल के सिरे को मोड़ देना। ये विफलताएं इतनी गंभीर बनाई गई थीं कि केवल एक चालू मशीन पर प्रशिक्षित रोबोट पूरी तरह से विफल हो जाएगा, और अपना कार्य करने में असमर्थ होगा।
परिणामों ने दिखाया कि एक रोबोट जो इस नई पद्धति का उपयोग करता है, वह इन आपदाओं से उबर सकता है, हालांकि इसकी कुछ सीमाएँ हैं। जब शोधकर्ताओं ने अनुकूलित (adaptive) रोबोट की तुलना उस रोबोट से की जिसके पास अपनी गलतियों से सीखने का कोई तरीका नहीं था, तो अनुकूलित रोबोट ने प्रारंभिक रिकवरी में आशाजनक प्रदर्शन किया जहाँ दूसरा विफल रहा। यह अपने लक्ष्यों तक पहुँचने के लिए अपने टूटे हुए हिस्सों को कैसे चलाना है, यह समझने में सक्षम था। हालाँकि, अध्ययन से पता चला कि रिवॉर्ड-फ्री एजेंट वास्तविक रिवॉर्ड सिग्नल्स देखने वाले संस्करण की तुलना में लगातार कम प्रदर्शन करता रहा, जो कि एक वास्तविक अंतरिक्ष रोबोट के लिए असंभव है। इसके अलावा, लर्निंग प्रोफाइल ने दिखाया कि प्रारंभिक प्रदर्शन वृद्धि के बाद, एजेंट ने विशेष रूप से कक्षीय (ऑर्बिटल) और असेंबली कार्यों में महत्वपूर्ण अस्थिरता और गिरावट प्रदर्शित की। यह सुझाव देता है कि जबकि रोबोट का आंतरिक मानचित्र प्रारंभिक झटके से निपटने के लिए पर्याप्त शक्तिशाली है, वास्तविक दुनिया के फीडबैक के निरंतर सुधार के बिना लंबे समय तक पूर्ण सटीकता बनाए रखने में इसे संघर्ष करना पड़ता है।
यह कार्य अंतरिक्ष रोबोटों को वास्तव में लचीला बनाने की दिशा में एक महत्वपूर्ण कदम है। यह सिद्ध करता है कि एक मशीन को यह जानने की आवश्यकता नहीं है कि वह अच्छा कर रही है, ताकि वह अपनी टूटी हुई गतिविधियों को ठीक करना सीख सके, बशर्ते उसने पहले से ही यह गहराई से समझ लिया हो कि दुनिया कैसे काम करती है। शोधकर्ताओं ने प्रदर्शित किया है कि "क्या अच्छा है" के ज्ञान को "चीजें कैसे चलती हैं" के ज्ञान से अलग करके, एक रोबोट अप्रत्याशित वास्तविकताओं के अनुकूल हो सकता है। हालांकि वर्तमान परीक्षण पूरी तरह से कंप्यूटर सिमुलेशन में किए गए थे, लेकिन निष्कर्ष उन मिशनों के लिए एक आशाजनक मार्ग प्रदान करते हैं जहाँ मानवीय हस्तक्षेप असंभव है, और जहाँ एक रोबोट को तब भी जीवित रहने और काम करने में सक्षम होना चाहिए जब उसका शरीर क्षतिग्रस्त हो। बिना रिवॉर्ड सिग्नल के सीखने की क्षमता एक संभावित मिशन-समाप्त करने वाली विफलता को एक सुलभ चुनौती में बदल देती है, जो हमें एक ऐसे भविष्य के करीब लाती है जहाँ हमारे रोबोटिक खोजकर्ता वास्तव में ब्रह्मांड की कठोरता को झेल सकेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।