SLAC: Safe and Efficient Real-Robot Reinforcement Learning via Unsupervised Simulation Pre-Training
SLAC एक नवीन ढांचा है जो अनसुपरवाइज्ड सिमुलेशन के माध्यम से एक टास्क-अग्नोस्टिक लेटेंट एक्शन स्पेस को प्री-ट्रेन करके, जटिल हाई-डिग्री-ऑफ-फ्रीडम रोबोट्स के लिए सुरक्षित और सैंपल-एफिशिएंट रियल-वर्ल्ड रिइन्फोर्समेंट लर्निंग को सक्षम बनाता है, जिससे यह बिना किसी प्रदर्शन (डेमोंस्ट्रेशन) के एक घंटे से कम समय में कॉन्टैक्ट-रिच बाईमैनुअल मोबाइल मैनिपुलेशन कार्यों में महारत हासिल कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कमरा साफ करना या व्हाइटबोर्ड पोंछना सिखाने की कोशिश कर रहे हैं। आपके पास दो मुख्य विकल्प हैं, और दोनों ही कठिन हैं। पहला विकल्प है वास्तविक दुनिया का एक आदर्श, अति-यथार्थवादी वीडियो गेम संस्करण बनाना, वहां रोबोट को प्रशिक्षित करना, और फिर यह उम्मीद करना कि वह असलियत में काम करेगा। समस्या क्या है? एक आदर्श सिमुलेशन बनाना जेली से बने ब्रश से एक उत्कृष्ट कृति पेंट करने जैसा है; भौतिकी (जैसे पानी का बहना या स्पंज का दबना) को सही करना अविश्वसनीय रूप से कठिन है, और यदि गेम की दुनिया वास्तविकता से थोड़ी भी अलग है, तो रोबोट भ्रमित हो जाता है और विफल हो जाता है। दूसरा विकल्प यह है कि रोबोट को वास्तविक दुनिया में करके सीखने दें। लेकिन यह खतरनाक और धीमा है। यदि एक रोबोट वास्तविक दुनिया में अपने हाथ बेतरतीब ढंग से हिलाकर सीखने की कोशिश करता है, तो वह खुद को तोड़ सकता है, और उसे यह समझने में वर्षों लग जाएंगे कि क्या काम करता है।
यहीं पर रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) नामक एक नया विचार आता है। इसे एक कुत्ते को प्रशिक्षित करने की तरह समझें: आप कुत्ते को चीजें करने देते हैं, और जब वह कुछ अच्छा करता है, तो आप उसे एक ट्रीट (इनाम) देते हैं। यदि वह कुछ बुरा करता है, तो आप नहीं देते। लक्ष्य यह है कि रोबोट को एक आदर्श वीडियो गेम की आवश्यकता के बिना या टूटे हुए रोबोट के जोखिम के बिना, जल्दी और सुरक्षित रूप से सीखने के लिए प्रेरित किया जाए। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या हम एक खराब, सरल वीडियो गेम का उपयोग करके रोबोट को बुनियादी बातें सिखा सकते हैं, और फिर उसे वास्तविक दुनिया में काम पूरा करने दे सकते हैं?
यहाँ SLAC आता है, जो एक नया तरीका है जो एक साधारण वीडियो गेम और अव्यवस्थित वास्तविक दुनिया के बीच एक चतुर पुल की तरह काम करता है। SLAC के पीछे के शोधकर्ताओं ने महसूस किया कि रोबोट को यह सिखाने के लिए कि उसे कैसे हिलना है, आपको एक आदर्श सिमुलेशन की आवश्यकता नहीं है; आपको बस एक सरल सिमुलेशन की आवश्यकता है यह सिखाने के लिए कि वह क्या कर सकता है। कल्पना कीजिए कि एक बच्चा मिट्टी (clay) के साथ खेलना सीख रहा है। उन्हें यह सीखने के लिए कुम्हार के चाक के सटीक प्रतिरूप की आवश्यकता नहीं है कि मिट्टी को दबाया, रोल किया या चपटा किया जा सकता है। उन्हें बस कुछ मिट्टी और अपने हाथों की आवश्यकता है। SLAC एक "लो-फिडेलिटी" (सरल और सस्ता) सिमुलेशन का उपयोग रोबोट को "लेटेंट एक्शन्स" (latent actions) सिखाने के लिए करता है। इन्हें विशिष्ट मांसपेशी आंदोलनों के रूप में नहीं, बल्कि उच्च-स्तरीय "सुपर-स्किल" या "जादुगत मंत्रों" (magic spells) के रूप में सोचें। रोबोट को "अपना बायां हाथ 2 इंच ऊपर उठाएं" कहने के बजाय, SLAC उसे "सतह को पोंछना" या "वस्तु को धकेलना" नामक एक मंत्र सिखाता है।
यह प्रक्रिया दो मजेदार चरणों में होती है। पहले, रोबोट एक सरल, निम्न-गुणवत्ता वाले सिमुलेशन (जैसे एक ब्लॉक जैसा, कार्टून जैसा संसार) में जाता है। यहाँ, उसे "मेज साफ करने" जैसे विशिष्ट कार्यों के बारे में पता नहीं होता। इसके बजाय, वह "मैं क्या कर सकता हूँ?" का खेल खेलता है। वह खोज निकालता है कि वह अपना आधार (base) हिला सकता है, मेज को छू सकता है, या बोर्ड को पोंछ सकता है। महत्वपूर्ण बात यह है कि वह इन कौशलों को इस तरह सीखता है कि वे अलग और सुरक्षित रहते हैं, ताकि वह गलती से खुद को तोड़ न ले। यह एक रोबोट के उपन्यास लिखने की कोशिश करने से पहले वर्णमाला सीखने जैसा है। वह सुरक्षित, सस्ते वातावरण में गति के "अक्षरों" को सीखता है।
एक बार जब रोबोट के पास इन "जादुगत मंत्रों" (latent action space) का पुस्तकालय आ जाता है, तो वह दूसरे चरण के लिए वास्तविक दुनिया में जाता है। अब, शून्य से सीखने के बजाय, रोबोट को बस यह सीखना है कि किस समय कौन सा मंत्र उपयोग करना है। क्योंकि मंत्र पहले से ही सुरक्षित और संरचित हैं, रोबोट एक जटिल कार्य—जैसे किसी बाधा से बचते हुए व्हाइटबोर्ड पोंछना—वास्तविक दुनिया के एक घंटे से भी कम अभ्यास में सीख सकता है। 'टियागो' (Tiago) नामक एक वास्तविक रोबट के साथ प्रयोगों में, SLAC कठिन, संपर्क-प्रधान कार्यों (जैसे कचरे को बैग में झाड़ना या बोर्ड पोंछना) को वास्तविक दुनिया के 60 मिनट से भी कम समय में सीखने में सक्षम रहा। उसने यह बिना किसी मानवीय निर्देश या किसी पूर्ण सिमुलेशन के किया।
यह शोध पत्र दिखाता है कि यह दृष्टिकोण पिछले तरीकों की तुलना में बहुत तेज़ और सुरक्षित है। जबकि अन्य रोबोट संघर्ष करते या अधिक समय लेते, SLAC के रोबोट ने तेजी से सीखा और कुछ भी नहीं तोड़ा। शोधकर्ताओं ने पाया कि इस सरल सिमुलेशन में "प्री-ट्रेनिंग" का उपयोग करके, वे महंगे, पूर्ण वीडियो गेम की आवश्यकता को छोड़ सकते हैं और फिर भी एक ऐसा रोबोट प्राप्त कर सकते हैं जो वास्तविक दुनिया में काम करता है। यह गाड़ी चलाना सीखने जैसा है: वास्तविक राजमार्ग पर सीखने के बजाय (जो खतरनाक है) या एक अति-यथार्थवादी सिम्युलेटर (जो महंगा और कठिन है) के बजाय, आप पहले एक सरल, सुरक्षित पार्किंग स्थल में बुनियादी बातें सीखते हैं, और फिर आत्मविश्वास के साथ सड़क पर उतरते हैं। SLAC सुझाव देता है कि रोबोटों को वास्तव में सहायक बनाने के लिए, हमें दुनिया के सटीक डिजिटल जुड़वां की आवश्यकता नहीं है; हमें बस उन्हें गति की बुनियादी बातें सिखाने का एक स्मार्ट तरीका चाहिए ताकि वे बाकी चीजें खुद समझ सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।