Neuromorphic Reinforcement Learning for Quadruped Locomotion Control on Uneven Terrain
यह शोध पत्र एक इक्विलिब्रियम-प्रोपैगेशन-आधारित प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन फ्रेमवर्क प्रस्तावित करता है जो असमान धरातल पर ऊर्जा-कुशल, अनुकूलनीय क्वाड्रुपेड लोकोमोशन को सक्षम करने के लिए पारंपरिक बैकप्रोपैगेशन को स्थानीय शिक्षण (लोकल लर्निंग) से प्रतिस्थापित करता है, जबकि मानक विधियों के तुलनीय प्रदर्शन और काफी बेहतर मेमोरी दक्षता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक चार पैरों वाला रोबोट कुत्ता है। उसे समतल जमीन पर चलना सिखाना आसान है, लेकिन पथरीले और ऊबड़-खाबड़ रास्तों पर बिना गिरे दौड़ना सिखाना एक बहुत बड़ी चुनौती है। आमतौर पर, हम इन रोबोटों को "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) नामक एक विधि से सिखाते हैं, जो एक छात्र द्वारा सुपर-फास्ट कंप्यूटर सिमुलेशन में हजारों अभ्यास समस्याओं को हल करने जैसा है। कंप्यूटर पूरे दृश्य को देखकर और पूरे मस्तिष्क के माध्यम से वापस एक सुधार संकेत भेजकर (एक प्रक्रिया जिसे बैकप्रोपैगेशन/backpropagation कहा जाता है) "सही" उत्तर की गणना करता है।
हालाँकि, इस विधि की दो बड़ी समस्याएँ हैं:
- यह ऊर्जा-खपत करने वाली है: इसके लिए शक्तिशाली, भारी कंप्यूटरों की आवश्यकता होती है जो रोबोट की बैटरी को जल्दी खत्म कर देते हैं।
- यह कठोर है: एक बार जब रोबोट को सिमुलेशन में प्रशिक्षित कर दिया जाता है, तो वास्तविक दुनिया में नए करतब सीखना या घिसे हुए पैर या भारी बैकपैक के साथ खुद को ढालना कठिन होता है।
यह पेपर रोबोट को सिखाने का एक नया तरीका प्रस्तावित करता है, जो इस बात से प्रेरित है कि जानवर वास्तव में कैसे सीखते और चलते हैं।
पशु प्रेरणा: लय और सुधार
एक इंसान या कुत्ते के चलने के तरीके के बारे में सोचें। आप सचेत रूप से अपनी हर एक मांसपेशी को यह नहीं बताते कि कब सिकुड़ना है। इसके बजाय, आपकी रीढ़ में एक अंतर्निर्मित "मेट्रोनोम" (जिसे सेंट्रल पैटर्न जनरेटर या CPG कहा जाता है) होता है जो चलने की बुनियादी लय बनाता है। आपका मस्तिष्क केवल संतुलन बनाए रखने के लिए छोटे समायोजन करता है यदि आप किसी पत्थर पर कदम रखते हैं।
शोधकर्ताओं ने अपने रोबोट कंट्रोलर को इसी दो-भाग वाले विचार का उपयोग करके बनाया है:
- मेट्रोनोम (CPG): एक पूर्व-निर्धारित लय जो बुनियादी कदम उठाने की गति को संभालती है।
- एडजस्टर (रेसिडुअल पॉलिसी): एक सीखने वाला मस्तिष्क जो रास्ता कठिन होने पर पैरों में सूक्ष्म सुधार करता है।
नई सीखने की विधि: "इक्विलिब्रियम प्रोपेगेशन" (Equilibrium Propagation)
मुख्य नवाचार यह है कि वे "एडजस्टर" मस्तिष्क को कैसे सिखाते हैं।
पुराना तरीका (बैकप्रोपैगेशन): कल्पना कीजिए कि आप एक टूटी हुई घड़ी को ठीक करने की कोशिश कर रहे हैं जिसमें आपको उसे खोलना पड़ता है, हर एक गियर को देखना पड़ता है, यह गणना करनी पड़ती है कि प्रत्येक गियर ने त्रुटि में कैसे योगदान दिया, और फिर उस पूरे मशीन के माध्यम से वापस एक सुधार संकेत भेजना पड़ता है। यह सटीक है, लेकिन इसके लिए उन सभी गणनाओं को रखने के लिए भारी मात्रा में ऊर्जा और मेमोरी की आवश्यकता होती है।
नया तरीका (इक्विलिब्रियम प्रोपेगेशन): कल्पना कीजिए कि घड़ी एक स्प्रिंग-लोडेड सिस्टम है। पूरे सिस्टम को खोलने के बजाय, आप धीरे से सुइयों को आगे और पीछे धकेलते हैं। आप देखते हैं कि पूरा सिस्टम कैसे एक नई, स्थिर स्थिति (एक "इक्विलिब्रियम") में बसता है। इस कोमल धक्के के "पहले" और "बाद" की अवस्थाओं की तुलना करके, सिस्टम सीखता है कि क्या बदलना है।
- ग्लोबल मैप की आवश्यकता नहीं: इसे एक साथ पूरी मशीन देखने की आवश्यकता नहीं है। यह केवल स्थानीय कनेक्शनों को देखता है।
- ऊर्जा कुशल: यह तरीका जैविक मस्तिष्क के काम करने के तरीके के बहुत करीब है और इसे भविष्य में कम-शक्ति वाले, विशेष हार्डवेयर (न्यूरोमॉर्फिक चिप्स) पर चलाने के लिए डिज़ाइन किया गया है।
उन्होंने क्या किया और क्या हुआ
शोधकर्ताओं ने एक मानक रोबोट कुत्ते (Unitree A1) को इस नई "धक्का और स्थिर होना" (nudge and settle) वाली विधि का उपयोग करके ऊबड़-खाबड़, पथरीली जमीन पर चलने के लिए प्रशिक्षित किया। उन्होंने इसकी तुलना मानक, ऊर्जा-खपत करने वाली विधि से की।
यहाँ परिणाम दिए गए हैं, जिन्हें सरल हिंदी में अनुवादित किया गया है:
- समान प्रदर्शन: रोबोट ने पुराने, भारी तरीके से प्रशिक्षित रोबोट के समान ही अच्छी तरह से चलना सीखा। वह बार-बार गिरा नहीं, उसने उसी गति से चला, और वह उतना ही स्थिर रहा।
- भारी मेमोरी बचत: नए तरीके ने प्रशिक्षण के दौरान कंप्यूटर चिप पर 4.3 गुना कम मेमोरी का उपयोग किया। यह अपने प्रशिक्षण डेटा को स्टोर करने के लिए एक गोदाम की आवश्यकता से बदलकर केवल एक छोटी फाइलिंग कैबिनेट की आवश्यकता होने जैसा है।
- स्थिरता: सीखने की प्रक्रिया के दौरान रोबोट "टूटा" या भ्रमित नहीं हुआ, जो नए सीखने के तरीकों को आज़माने के दौरान एक आम समस्या है।
यह क्यों महत्वपूर्ण है
यह पेपर तर्क देता है कि यह उन रोबोटों की ओर एक महत्वपूर्ण कदम है जो बिना किसी विशाल सर्वर फार्म या बड़े बैटरी पैक की आवश्यकता के, मैदान में रहते हुए सीख सकते हैं। जैविक संतुलन (धकेलने और स्थिर होने) की नकल करने वाले लर्निंग रूल का उपयोग करके, उन्होंने दिखाया कि पारंपरिक तरीकों की भारी कम्प्यूटेशनल लागत के बिना जटिल, उच्च-प्रदर्शन वाला रोबोट चलना संभव है।
संक्षेप में: उन्होंने एक रोबोट कुत्ते को "भारी गणना" शैली के बजाय "कोमल धक्के" वाली सीखने की शैली का उपयोग करके चट्टानों पर चलना सिखाया। रोबोट ने उतना ही अच्छा चला, लेकिन कंप्यूटर को इसे सिखाने के लिए बहुत कम मेमोरी की आवश्यकता थी, जिससे भविष्य के बैटरी-अनुकूल, स्मार्ट रोबोटों के लिए मार्ग प्रशस्त हुआ।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।