Differentiable Reinforcement Learning for Path Tracking by an Agile Fish-Like Robot
यह शोध पत्र एक गणनात्मक रूप से कुशल सिमुलेशन प्लेटफॉर्म और एक विभेदक (डिफरेंशिएबल) सुदृढीकरण शिक्षण दृष्टिकोण पेश करके फुर्तीले मछली जैसे रोबोटों को नियंत्रित करने की चुनौतियों का समाधान करता है जो बैकप्रोपैगेशन और पाठ्यक्रम प्रशिक्षण के माध्यम से PID गेन्स को अनुकूलित करता है, और सटीक पथ ट्रैकिंग के लिए सीखे गए नीति को सिमुलेशन से एक भौतिक रोबोट में सफलतापूर्वक स्थानांतरित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ रोबोट केवल पहियों पर नहीं चलते या प्रोपेलर पर नहीं मंडराते, बल्कि एक असली मछली की तरह तरल सहजता के साथ तैरते हैं। दशकों से, इंजीनियर इन "बायो-इंस्पायर्ड" (जैव-प्रेरित) मशीनों को बनाने की कोशिश कर रहे हैं क्योंकि मछलियाँ अविश्वसनीय रूप से तेज़, कुशल और गुप्त होती हैं। वे अपने शरीर को हिलाकर और पानी के साथ जटिल तरीकों से अंतःक्रिया करके चलती हैं, जिससे अदृश्य भंवर बनते हैं जिन्हें 'वोर्टिसेस' (vortices) कहा जाता है, जो वास्तव में उन्हें आगे धकेलने में मदद करते हैं। हालाँकि, एक रोबोट को यह सिखाना एक दुस्वप्न जैसा है। पानी अव्यवस्थित होता है, और एक रोबोट का शरीर तरल के विरुद्ध कैसे दबाव डालता है, इसकी भौतिकी इतनी जटिल है कि इसके लिए एक सटीक गणितीय सूत्र लिखना लगभग असंभव है। यदि आप एक रोबोट को कठोर नियमों के साथ प्रोग्राम करने की कोशिश करते हैं, तो वह अक्सर पानी से बाहर निकली मछली की तरह छटपटाने लगता है।
यहीं पर "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) नामक एक चतुर तकनीक काम आती है। इसे एक कुत्ते को प्रशिक्षित करने जैसा समझें, लेकिन यहाँ इनाम के रूप में 'ट्रीट्स' के बजाय, रोबोट को अच्छा प्रदर्शन करने के लिए एक स्कोर मिलता है। रोबोट चीज़ें आज़माता है, गलतियाँ करता है, और फीडबैक से सीखकर बेहतर बनता है। लेकिन एक पेंच है: प्रभावी ढंग से सीखने के लिए, रोबोट को लाखों बार अभ्यास करने की आवश्यकता होती है। एक वास्तविक स्विमिंग पूल में ऐसा करना बहुत समय लेगा और रोबोट को तोड़ भी सकता है। इसलिए, वैज्ञानिक आमतौर पर एक "सिम्युलेटर" बनाते हैं—पानी का एक वीडियो गेम संस्करण। समस्या यह है कि अधिकांश सिम्युलेटर या तो जल्दी सीखने के लिए बहुत धीमे होते हैं या सटीकता के मामले में बहुत सरल होते। यह शोध पत्र ठीक इसी बाधा को हल करता है: एक ऐसा सिम्युलेटर कैसे बनाया जाए जो सीखने के लिए पर्याप्त तेज़ हो और वास्तविक दुनिया में काम करने के लिए पर्याप्त सटीक भी हो, और साथ ही एक रोबोट को एक सीधी रेखा में तैरने और एक घुमावदार पथ का अनुसरण करने के लिए एक साथ सिखा सके।
फुर्तीला तैराक और जादुई सिम्युलेटर
"फुर्तीले मछली जैसे रोबोट" से मिलिए। यह पीछे प्रोपेलर वाला रोबोट नहीं है; यह एक आंतरिक गुप्त हथियार वाले मैकेनिकल ईल (eel) जैसा है। इसके सीलबंद, हाइड्रोफॉइल के आकार के सिर (लगभग 250 मिमी लंबा, जो एक छोटे टैबलेट के आकार का है) के अंदर, एक घूमता हुआ रोटर होता है। इस आंतरिक भार को आगे-पीछे घुमाकर, रोबोट पानी के विरुद्ध एक धक्का पैदा करता है, जिससे वह बिना किसी बाहरी प्रोपेलर के खुद को आगे बढ़ाता है। इसमें एक लचीली पूंछ और दिशा बदलने के लिए एक छोटा रडर (rudder) होता है। लक्ष्य क्या है? इस रोबोट को एक विशिष्ट पथ पर तैराना, जैसे कि अक्षर "S" या एक घेरा, जबकि वह एक निश्चित गति बनाए रखे, जैसे हाईवे पर कार।
चुनौती यह है कि रोबोट की गति एक नाजुक नृत्य है। यदि यह बहुत अधिक मुड़ता है, तो इसकी गति धीमी हो जाती है। यदि यह बहुत तेज़ होता है, तो यह अपना संतुलन खो सकता है। पारंपरिक रूप से, इंजीनियर इस प्रबंधन के लिए "PID कंट्रोलर्स" का उपयोग करते हैं। आप एक PID कंट्रोलर को एक बहुत ही सख्त कोच के रूप में सोच सकते हैं जो तीन प्रकार के निर्देश देता है: "आप लक्ष्य से कितने दूर हैं?" (प्रपोर्शनल/अनुपातिक), "आप कब से लक्ष्य से भटक रहे हैं?" (इंटीग्रल/समाकल), और "आप कितनी तेज़ी से भटक रहे हैं?" (डेरिवेटिव/अवकल)। कोच इन नंबरों के आधार पर रोबमान के स्टीयरिंग और गति को समायोजित करता है। पेचीदा बात यह है कि "गेंस" (कोच की आवाज़ की शक्ति) को यह बदलना पड़ता है कि रास्ता कितना घुमावदार है। एक सीधी रेखा के लिए एक सौम्य कोच की आवश्यकता होती है; एक तीखे मोड़ के लिए एक ज़ोरदार, तत्काल निर्देश देने वाले कोच की।
"डिफरेंशिएबल" (विभेदन योग्य) सफलता
इस शोध पत्र के लेखकों ने महसूस किया कि हर संभव वक्र और गति के लिए इन कोचों को मैन्युअल रूप से ट्यून करना असंभव है। इसके बजाय, उन्होंने तय किया कि वे रोबोट को स्वयं अपनी "कोचिंग शैली" सीखने देंगे, जिसे डिफरेंशिएबल रीइन्फोर्समेंट लर्निंग कहा जाता है।
यहाँ एक जादुई उपमा है: कल्पना करें कि आप एक पहाड़ी से साइकिल चलाना सीख रहे हैं। आमतौर पर, आप बस कोशिश करते हैं, गिरते हैं और फिर से उठते हैं। लेकिन क्या होगा यदि आप समय को पीछे ले जा सकें, देख सकें कि आपके पैर रखने के तरीके ने गिरने का कारण कैसे बनाया, और इसे ठीक करने के लिए तुरंत अपनी मांसपेशियों को समायोजित कर सकें? यहाँ "डिफरेंशिएबल" का अर्थ यही है। लेखकों ने रोबोट और पानी का एक विशेष कंप्यूटर सिमुलेशन बनाया जो "डिफरेंशिएबल" है। इसका मतलब है कि कंप्यूटर गणितीय रूप से यह पता लगा सकता है कि रोबोट के स्टीयरिंग या गति में एक सूक्ष्म परिवर्तन उसके अंतिम स्थान को कैसे प्रभावित करता है, और यह गणना बिल्कुल पहले निर्देश तक वापस जा सकती है।
केवल अनुमान लगाने के बजाय, कंप्यूटर पूरी सिमुलेशन के माध्यम से "बैकप्रोपैगेशन" (गलती से पीछे की ओर काम करने का एक तकनीकी शब्द) चलाता है। यह गणना करता है कि रोबोट को बेहतर तरीके से तैराने के लिए PID गेन्स (gains) में सूक्ष्म बदलाव कैसे किए जाएं। उन्होंने रोबोट को केवल रैंडम पूल में नहीं फेंका; उन्होंने एक "करिकुलम" (पाठ्यक्रम) का उपयोग किया। ठीक वैसे ही जैसे एक मानव छात्र दौड़ने से पहले चलना सीखता है, रोबोट ने धीमी गति से सीधी रेखाओं में तैरना शुरू किया। एक बार जब वह इसमें कुशल हो गया, तो सिमुलेशन ने रास्तों को अधिक घुमावदार और गति को अधिक तेज़ बना दिया। इस चरण-दर-चरण प्रशिक्षण ने रोबोट को जटिल युद्धाभ्यास में महारत हासिल करने में मदद की बिना अभिभूत हुए।
कोड से पानी तक: वास्तविक दुनिया का परीक्षण
इस शोध पत्र का सबसे रोमांचक हिस्सा यह है कि वे केवल कंप्यूटर स्क्रीन तक ही सीमित नहीं रहे। उन्होंने सिमुलेशन में प्रशिक्षित "मस्तिष्क" को सीधे भौतिक रोबोट पर लगा दिया।
प्रयोगशाला में, उन्होंने रोबोट को तैरते हुए देखने के लिए एक कैमरा सिस्टम के साथ एक पूल तैयार किया। उन्होंने रोबोट को 0.10 मीटर प्रति सेकंड (एक धीमी गति) से 0.25 मीटर प्रति सेकंड (एक तेज़ तैराकी) की विभिन्न गतियों पर अक्षर "I", "R", "O", और "S" को ट्रेस करने के लिए कहा।
परिणाम प्रभावशाली थे। एआई-सीखी गई गेन्स (gains) द्वारा निर्देशित रोबोट ने सफलतापूर्वक पथों का अनुसरण किया।
- "I" पथ: एक सीधी रेखा। रोबोट सीधा और सटीक तैरा।
- "R" और "S" पथ: इनमें तीखे मोड़ थे। रोबोट ने अपने स्टीयरिंग और गति को स्वचालित रूप से समायोजित किया। जब पथ तीखा हुआ, तो एआई ने सीखा कि मुड़ने पर ध्यान केंद्रित करने के लिए गति नियंत्रण को थोड़ा ढीला छोड़ना चाहिए, जिससे रोबोट के अनियंत्रित होने की संभावना कम हो गई।
- गति: रोबोट लक्षित गति के करीब रहने में सफल रहा, हालांकि उच्च गति पर यह थोड़ा अधिक सटीक था। बहुत धीमी गति पर, यह थोड़ा डगमगाया, जिसे लेखक इसलिए बताते हैं क्योंकि स्टीयरिंग सुधार स्वाभाविक रूप से रोबोट को धीमा कर देते हैं, जिससे रेखा पर बने रहने और गति बनाए रखने के बीच एक समझौता (trade-off) पैदा होता है।
डेटा ने दिखाया कि रोबोट का "क्रॉस-ट्रैक एरर" (वह दूरी जिससे वह रेखा से भटक गया) बहुत कम था, अक्सर 10 सेंटीमीटर से भी कम, यहाँ तक कि कठिन "S" आकार पर भी। रोबोट के आंतरिक गेन्स (कोच की सेटिंग्स) पथ के बदलने के साथ सुचारू रूप से बदले, जिससे यह सिद्ध हुआ कि रोबोट केवल एक ट्रिक को याद नहीं कर रहा था, बल्कि वास्तव में एक लचीली रणनीति सीख रहा था।
इसका क्या अर्थ है
यह शोध पत्र सुझाव देता है कि हमें महान तैरने वाले रोबोट बनाने के लिए पानी के हर कण की भौतिकी को पूरी तरह से समझने की आवश्यकता नहीं है। इसके बजाय, एक स्मार्ट, तेज़ सिम्युलेटर बनाकर जो गणितीय रूप से "अपनी गलतियों से सीख" सके, हम रोबोट को पानी की जटिल वास्तविकता को संभालने के लिए प्रशिक्षित कर सकते हैं। लेखकों ने प्रदर्शित किया कि कंप्यूटर सिमुलेशन में सीखी गई नीति को सीधे भौतिक रोबोट पर स्थानांतरित किया जा सकता है, जिससे वह फुर्तीले ढंग से तैर सकता है और उच्च सटीकता के साथ पथों का अनुसरण कर सकता है।
हालाँकि वर्तमान रोबोट केवल एक समतल तल (2D) पर तैरता है, इस पद्धति की सफलता यह संकेत देती है कि इसी दृष्टिकोण का उपयोग अंततः रोबोट को 3D स्पेस में गोता लगाने, रोल करने और तैरने के लिए सिखाने हेतु किया जा सकता है। यह एक ऐसे भविष्य की ओर एक कदम है जहाँ रोबंबोट जटिल वातावरण में नेविगेट कर सकते हैं, पाइपलाइनों का निरीक्षण कर सकते हैं, या समुद्र की खोज उसी प्राकृतिक सहजता के साथ कर सकते हैं जैसा कि उन मछलियों ने प्रेरित किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।