Reinforcement Learning on Cost-Constrained Quadrupedal Hardware
यह शोध पत्र यह प्रदर्शित करता है कि औसत विलंब (delay) के फॉरवर्ड मॉडल को एक समय-जागरूक (time-aware) न्यूरल नेटवर्क के साथ जोड़कर, जो स्वायत्त रूप से एक सुदृढ़, जैविक रूप से प्रेरित सेंट्रल पैटर्न जनरेटर सीखता है, कम लागत वाले चतुष्पदीय (quadrupedal) हार्डवेयर पर सुदृढीकरण शिक्षण (reinforcement learning) को तैनात करके एक्चुएटर विलंब के कारण उत्पन्न होने वाले महत्वपूर्ण सिम-टू-रियल अंतराल को दूर किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक पिल्ले को एक बहुत दूर के कमरे से निर्देश चिल्लाकर चलना सिखाने की कोशिश कर रहे हैं, जो एक बहुत लंबी, उलझी हुई टेलीफोन तार से जुड़ा हुआ है। जब तक आपकी आवाज़ पिल्ले के कानों तक पहुँचती है, वह अपने ही पंजों में उलझकर गिर चुका होता है। जब तक वह आपके नए चिल्लाने पर अपने कदम को सुधारने की कोशिश करता है, तब तक वह फिर से गिर चुका होता है। यह "सिम-टू-रियल" (Sim-to-Real) रोबोटिक्स का दैनिक संघर्ष है, एक ऐसा क्षेत्र जहाँ वैज्ञानिक रोबोटों को एक आदर्श, तात्कालिक वीडियो गेम की दुनिया में प्रशिक्षित करके उन्हें चलना सिखाने की कोशिश करते हैं, और फिर उन्हें वास्तविक, अव्यवस्थित, धीमी और शोर भरी दुनिया में भेज देते हैं।
मुख्य समस्या "लैटेंसी" (latency), या कमांड और क्रिया के बीच के विलंब की है। महंगे, उच्च-तकनीकी रोबोटों में, यह विलंब बहुत कम होता है—इतना छोटा कि यह लगभग अदृश्य है। लेकिन सस्ते, किफायती रोबकों में, यह विलंब बहुत बड़ा हो सकता है, जैसे वीडियो लोड होने के लिए धीमे इंटरनेट कनेक्शन का इंतज़ार करना। जब यह विलंब बहुत अधिक हो जाता है, तो रोबोट केवल उस पर प्रतिक्रिया नहीं दे सकता जो वह अभी देख रहा है; उसे अनुमान लगाना पड़ता है कि आगे क्या होने वाला है। यह रोबोट के मस्तिष्क को एक पहेली बना देता है: उसे यह पता लगाए बिना कैसे चलना है कि उसके पैर अभी कहाँ हैं, केवल यह जानकर कि वे एक क्षण पहले कहाँ थे। बड़ा सवाल यह है: क्या हमें इसे हल करने के लिए महंगे, सुपर-फास्ट रोबोट बनाने की आवश्यकता है, या क्या हम एक सस्ते रोबोट को इतने स्मार्ट बनाने के लिए प्रशिक्षित कर सकते हैं कि वह इस लैग (lag) को संभाल सके?
यह शोध पत्र एक ऐसी टीम की कहानी बताता है जिसने दूसरे विकल्प को आज़माने का फैसला किया। उन्होंने मिनी पपर 2 (Mini ) नामक एक बहुत सस्ता, $300 का चार पैरों वाला रोबोट लिया, जिसमें इसके मोटरों में 76 मिलीसेकंड का भारी विलंब होता है। हार्डवेयर को ठीक करने या रोबोट की स्थिति का अनुमान लगाने के लिए गणित के एक जटिल पुल के निर्माण के बजाय, उन्होंने प्रकृति से प्रेरणा ली। उन्होंने पूछा: जब जानवरों की नसें धीमी होती हैं, तो वे कैसे चलते हैं? उत्तर रीढ़ की हड्डी (spinal cord) में निहित है, जो मस्तिष्क के धीमा होने पर भी पैरों को चलते रहने के लिए एक विशेष रिदम जनरेटर (rhythm generator) का उपयोग करती है।
शोधकर्ताओं ने इस सस्ते रोबोट को नियंत्रित करने के लिए विभिन्न प्रकार के "मस्तिष्क" नेटवर्क (न्यूरल नेटवर्क) को प्रशिक्षित किया। उन्होंने पाया कि एक सरल, मानक मस्तिष्क (जिसे MLP कहा जाता है) बुरी तरह विफल रहा, जब तक कि उन्होंने इसे नियमों के एक जटिल सेट के साथ घंटों मैन्युअल रूप से ट्यून नहीं किया। हालाँकि, एक अधिक उन्नत "समय-जागरूक" मस्तिष्क (जिसे LSTM कहा जाता है) ने अपने आप कुछ जादुई किया। इसने रोबोट के सेंसरों से मिलने वाले शोर भरे, विलंबित संकेतों को अनदेखा करना सीख लिया और इसके बजाय अपना स्वयं का आंतरिक लय (internal rhythm) उत्पन्न किया, बिल्कुल कशेरुकी जीवों (vertebrates) की रीढ़ की हड्डी में पाए जाने वाले सेंट्रल पैटर्न जनरेटर्स (CPGs) की तरह।
परिणाम चौंकाने वाले थे। यह स्व-शिक्षित लय इतनी मजबूत थी कि रोबोट मौजूदा लैग के ऊपर शोधकर्ताओं द्वारा कृत्रिम रूप से 320 मिलीसेकंड का अतिरिक्त विलंब जोड़ने के बाद भी चलता रहा। जबकि साधारण रोबोट का मस्तिष्क बिखर गया और चलना बंद कर दिया, समय-जागरूक मस्तिष्क ने अपनी स्थिर चाल बनाए रखी। शोध पत्र सुझाव देता है कि यह केवल एक भाग्यशाली दुर्घटना नहीं है; यह एक सामान्य रणनीति है। जब आप एक रोबोट को धीमे, शोर वाले हार्डवेयर से निपटने के लिए मजबूर करते हैं, तो सबसे स्मार्ट समाधान जो वह खोज सकता है, वह यह है कि वर्तमान पर प्रतिक्रिया देना बंद करे और अपना भविष्य स्वयं उत्पन्न करना शुरू करे।
टीम ने यह भी खोजा कि रोबोट के वास्तविक, शोर वाले सेंसर डेटा (जैसे गति और प्रयास) का उपयोग करने से चीजें वास्तव में बदतर हो गईं। क्योंकि सस्ते सेंसर बहुत अविश्वसनीय थे, रोबोट तब बेहतर चलता था जब टीम ने उसे यह मानने के लिए कहा कि वे सेंसर मौजूद ही नहीं हैं और पूरी तरह से अपनी आंतरिक लय पर भरोसा करें। उन्होंने एक दो-स्तरीय प्रणाली बनाई: एक "रिदम कीपर" (LSTM) जो दीर्घकालिक समय को संभालता है, और एक सरल "प्रेडिक्टर" (एक छोटा न्यूरल नेटवर्क) जो यह अनुमान लगाता है कि पैर कहाँ होने चाहिए, जिससे टूटे हुए वास्तविक दुनिया के सेंसरों की जगह ली जा सके।
अंत में, यह शोध पत्र सिद्ध करता है कि अच्छी तरह से चलने के लिए आपको $10,000 के रोबोट की आवश्यकता नहीं है। आपको बस एक सस्ता रोबोट चाहिए जिसका मस्तिष्क जानता हो कि प्रतीक्षा कैसे करनी है। एक आंतरिक लय उत्पन्न करने की जैविक तकनीक की नकल करके, शोधकर्ताओं ने सिम-टू-रियल के अंतर को पाट दिया, यह दिखाते हुए कि कभी-कभी, एक धीमी, शोर भरी दुनिया को संभालने का सबसे अच्छा तरीका यह है कि उसे सुनना बंद कर दिया जाए और अपनी खुद की धुन पर नाचना शुरू कर दिया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।