Efficiently Learning Robust Torque-based Locomotion Through Reinforcement with Model-Based Supervision
यह शोध पत्र एक सुदृढ़ द्विपाद चालन (bipedal locomotion) ढांचे का प्रस्ताव करता है जो एक मॉडल-आधारित नियंत्रक को सुदृढीकरण लर्निंग-आधारित अवशिष्ट नीति (reinforcement learning-based residual policy) के साथ जोड़ता है, जिसे वास्तविक दुनिया की अनिश्चितताओं की भरपाई करने और सिम-टू-रियल ट्रांसफर में सुधार करने के लिए एक विशेषाधिकार प्राप्त मॉडल-आधारित ओरेकल (privileged model-based oracle) से सुपरवाइज्ड लर्निंग के माध्यम से कुशलतापूर्वक प्रशिक्षित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को चलना सिखा रहे हैं। यह एक छोटे बच्चे को ऊबड़-खाबड़, असमान फर्श पर भारी, सख्त जूते पहनकर चलने के लिए सिखाने जैसा है। आपके पास दो मुख्य समस्याएं हैं:
- "परफेक्ट वर्ल्ड" की समस्या: यदि आप रोबोट को एक आदर्श कंप्यूटर सिमुलेशन का उपयोग करके सिखाते हैं, तो वास्तविक दुनिया में कदम रखते ही वह गिर जाएगा क्योंकि वास्तविक दुनिया अव्यवस्थित, शोर भरी और अप्रत्याशित होती है।
- "ट्रायल एंड एरर" (प्रयास और त्रुटि) की समस्या: यदि आप केवल रोबोट को हजारों बार गिरने देकर और इस उम्मीद में कि वह सीख जाएगा (जिसे सुदृढीकरण लर्निंग या Reinforcement Learning कहा जाता है), तो इसमें बहुत समय लगेगा, ऊर्जा बर्बाद होगी और यह खतरनाक भी है।
यह शोध पत्र एक चतुर "हाइब्रिड" समाधान प्रस्तावित करता है जो दोनों दुनियाओं की सर्वश्रेष्ठ विशेषताओं को जोड़ता है। इसे एक तीन-सदस्यीय टीम के रूप में सोचें जो मिलकर रोबोट को चलना सिखा रही है।
कहानी के तीन पात्र
अनुभवी कोच (द बेस पॉलिसी):
यह एक पारंपरिक, गणित-आधारित कंट्रोलर है। यह भौतिकी के नियमों को जानता है और इसके पास एक ठोस योजना है कि रोबोट को कैसे चलना चाहिए। यह एक सख्त कोच की तरह है जो सही कदम की चाल जानता है। हालांकि, यह कोच रोबोट के एक पुराने, थोड़े गलत नक्शे के साथ काम कर रहा है। यदि रोबोट के जोड़ जंग खाए हुए हैं या फर्श फिसलन भरा है, तो कोच की योजना विफल होने लगती है और रोबोट लड़खड़ा जाता है।सर्वज्ञ ओरेकल (द ओरैकल पॉलिसी):
यह एक "सुपर-कोच" है जो केवल कंप्यूटर सिमुलेशन के भीतर मौजूद है। इसके पास विशेषाधिकार प्राप्त जानकारी (privileged information) है: यह रोबोट का सटीक वजन, फर्श का सटीक घर्षण (friction), और मोटरों की सटीक गति जानता है। यह किसी भी स्थिति में सही, आदर्श कदम उठाने की गणना कर सकता है।
- महत्वपूर्ण बात: वास्तविक रोबोट इस सुपर-कोच को नहीं देख सकता। सुपर-कोच केवल अभ्यास के दौरान छात्र को सीखने में मदद करने के लिए वहां है।
- छात्र (द रेसिडुअल आरएल पॉलिसी):
यह वह "मस्तिष्क" है जिसे वास्तव में प्रशिक्षित किया जा रहा है। यह एक स्मार्ट AI है जो करके सीखता है। इसका काम अनुभवी कोच की बात सुनना और साथ ही सर्वज्ञ ओरेकल को देखना है।
प्रशिक्षण कैसे काम करता है: "शैडोइंग" विधि
आमतौर पर, जब आप एक AI को सिखाते हैं, तो आप बस कहते हैं, "अगर तुम नहीं गिरे तो अच्छा काम, अगर गिरे तो बुरा काम।" यह कार चलाने सीखने जैसा है जहाँ आपको केवल घटना के बाद बताया जाता है कि "क्रैश हुआ" या "क्रैश नहीं हुआ"। यह धीमा और निराशाजनक है।
यह शोध पत्र एक नया तरीका पेश करता है: सुपरवाइज्ड सुदृढीकरण लर्निंग (Supervised Reinforcement Learning)।
यहाँ उपमा (analogy) है:
कल्पना कीजिए कि छात्र रस्सी पर चलने (tightrope walking) की कोशिश कर रहा है।
- अनुभवी कोच एक बुनियादी निर्देश देता है: "एक कदम आगे बढ़ो।"
- सर्वज्ञ ओरेकल हवा का एक अचानक झोंका देखता है (एक वास्तविक दुनिया की अनिश्चितता) और जानता है कि संतुलन बनाए रखने के लिए छात्र को थोड़ा बाईं ओर झुकने की आवश्यकता है।
- छात्र कोच का अनुसरण करने की कोशिश करता है।
- जादुई कदम: केवल यह देखने के बजाय कि क्या छात्र गिर जाता है, ओरेकल वह सटीक सुधार फुसफुसाता है जो छात्र को करना चाहिए था ("5 डिग्री बाईं ओर झुकें")।
- छात्र को फिर दंडित किया जाता है (एक गणितीय सूत्र के माध्यम से) यदि वह उस फुसफुसाहट की नकल करने की कोशिश नहीं करता है।
छात्र को लगातार ओरेकल के सटीक सुधारों की नकल करने के लिए मजबूर करके, छात्र बहुत तेज़ी से सीखता है, बजाय इसके कि उसे केवल गिरने के आधार पर अनुमान लगाना पड़े।
"रैंडमाइजेशन" जिम
यह सुनिश्चित करने के लिए कि रोबोट वास्तविक दुनिया के लिए तैयार है, प्रशिक्षण एक "केओस जिम" (chaos gym) में होता है।
- कंप्यूटर बेतरतीब ढंग से रोबोट का वजन बदलता है, फर्श को फिसलन भरा बनाता है, सेंसर में शोर (जैसे रेडियो पर स्टेटिक) जोड़ता है, और यहाँ तक कि रोबोट के मस्तिष्क संकेतों में देरी भी करता है।
- अनुभवी कोच को इस अराजकता में अनुमान लगाना पड़ता है।
- ओरेकल जानता है कि अराजकता क्या है और सटीक जवाबी कार्रवाई देता है।
- छात्र कोच के अनुमान और ओरेकल के सटीक कदम के बीच के अंतर को पाटने के लिए सीखता है।
उन्होंने क्या पाया (परिणाम)
शोधकर्ताओं ने इसका परीक्षण तीन अलग-अलग रोबोटों (एक छोटा, एक मध्यम और एक बड़ा) पर किया। यहाँ क्या हुआ:
- केवल अनुभवी कोच: जब वातावरण अव्यवस्थित हुआ, तो रोबोट तुरंत गिर गया। यह बहुत कठोर था।
- केवल छात्र (मानक AI): इसने शून्य से सीखने की कोशिश की लेकिन संघर्ष किया। इसमें बहुत समय लगा और यह अक्सर विफल रहा क्योंकि अच्छी तरह चलने का "पुरस्कार" बहुत अस्पष्ट था।
- छात्र + ओरेकल (इस शोध पत्र की विधि): यह टीम एक शक्तिशाली बल थी।
- रोबोटों ने बहुत तेज़ी से चलना सीखा (दिनों में नहीं, बल्कि घंटों में)।
- वे अविश्वसनीय रूप से मजबूत बन गए। यहाँ तक कि जब शोधकर्ताओं ने सिमुलेशन को अत्यंत अराजक बना दिया (रोबोट का वजन या फर्श का घर्षण बदलकर), तब भी रोबोट चलते रहे।
- उन्होंने "सर्वज्ञ ओरेकल" के लगभग समान प्रदर्शन किया, भले ही वास्तविक रोबोट के पास उस पूर्ण जानकारी तक कभी पहुंच नहीं थी।
निष्कर्ष
यह शोध पत्र दिखाता है कि आपको "कठोर गणित" और "धीमी ट्रायल-एंड-एरर" के बीच चयन करने की आवश्यकता नहीं है। एक "सुपर-एक्सपर्ट" (ओरेकल) का उपयोग करके एक सीखने वाले AI (छात्र) को मार्गदर्शन देने के लिए, जबकि AI एक बुनियादी प्लानर (कोच) को भी सुनता है, आप रोबोट को कुशलतापूर्वक और मजबूती से चलना सिखा सकते हैं, भले ही वास्तविक दुनिया अव्यवस्थित और अप्रत्याशित हो।
यह एक छात्र को एक पाठ्यपुस्तक (कोच) और एक निजी ट्यूटर (ओरलकल) देने जैसा है जो हर परीक्षा के प्रश्नों के उत्तर जानता है, जिससे यह सुनिश्चित होता है कि छात्र हर बार असफल होने के बजाय तुरंत सही आदतें सीख ले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।