Deep Reinforcement Learning for Quadruped Locomotion Controlled by Natural Language
यह शोध पत्र एक एंड-टू-एंड फ्रेमवर्क प्रस्तुत करता है जो एक हल्के एनएलयू (NLU) मॉड्यूल को लक्ष्य-सशर्त पीपीओ (PPO) पॉलिसी और शिक्षक-छात्र डिस्टिलेशन के साथ जोड़कर चतुष्पाद रोबोटों (quadruped robots) को मुक्त-रूप प्राकृतिक भाषा कमांड निष्पादित करने में सक्षम बनाता है, जिससे सिमुलेशन और वास्तविक दुनिया के प्रयोगों दोनों में मजबूत, अनुकूल और ऊर्जा-कुशल लोकोमोशन प्राप्त होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ एक रोबोटिक कुत्ते को यह जानने के लिए रिमोट कंट्रोल, जॉयस्टिक या पहले से निर्धारित स्क्रिप्ट की आवश्यकता नहीं होती कि उसे क्या करना है। इसके बजाय, वह एक इंसान की आवाज़ सुनता है। यह रोबोटिक्स नामक क्षेत्र की एक नई सीमा है, जहाँ इंजीनियर मशीनों को जटिल, ऊबड़-खाबड़ दुनिया में चलना सिखाते हैं। वर्षों से, चार पैरों वाले रोबोट को चलने के योग्य बनाने का सबसे विश्वसनीय तरीका उसे अपने शरीर और अपने नीचे की जमीन का एक कठोर गणितीय मॉडल देना रहा है। हालाँकि यह समतल फर्श पर अच्छी तरह काम करता है, लेकिन जब ज़मीन ऊबड़-खाबड़ हो जाती है या स्थिति अप्रत्याशित रूप से बदल जाती है, तो यह अक्सर विफल हो जाता है। एक नया दृष्टिकोण, जिसे 'डीप रीइन्फोर्समेंट लर्निंग' (deep reinforcement learning) के रूप में जाना जाता है, इसने खेल बदल दिया है। एक निश्चित नियमों के सेट पर निर्भर रहने के बजाय, ये रोबट परीक्षण और त्रुटि (trial and error) के माध्यम से चलना सीखते हैं, ठीक वैसे ही जैसे एक पिल्ला खड़ा होना सीखता है, और अंततः चलने के ऐसे स्थिर तरीके खोज लेते हैं जिन्हें कोई मानव इंजीनियर अपने हाथों से डिज़ाइन नहीं कर सकता था। जो चुनौती अभी भी शेष है वह यह है कि इन सीखी गई प्रणालियों से बात कैसे की जाए। रोबोट को "आगे बढ़ो" जैसा सरल आदेश देना आसान है, लेकिन उससे "एक उभार से बचते हुए बाईं ओर धीरे-धीरे चलो" कहना मानव भाषा और रोबोट के लो-लेवल मोटर कंट्रोल के बीच एक सेतु की मांग करता है।
हारबिन इंस्टीट्यूट ऑफ टेक्नोलॉजी के शोधकर्ताओं ने एक ऐसी प्रणाली बनाई है जो यह सेतु बनाती है, जिससे एक चतुष्पाद (quadruped) रोबोट मुक्त-रूप प्राकृतिक भाषा के आदेशों का पालन कर सकता है। उनका कार्य, जो हाल ही में एक अध्ययन में विस्तृत किया गया है, एक ऐसी विधि प्रस्तुत करता है जहाँ एक रोबोट एक वाक्य सुनता है, यह समझता है कि व्यक्ति क्या चाहता है, और तुरंत उस इरादे से मेल खाने के लिए अपनी चलने की शैली को समायोजित करता है। यह प्रणाली विशिष्ट गतिविधियों की एक पूर्व-लिखित लाइब्रेरी पर निर्भर नहीं करती है, जैसे कि "ट्रॉट" (trot) या "गैलप" (gallop), जिसे रोबोट को चुनना हो। इसके बजाय, यह शब्दों को सीधे गति और दिशा के निरंतर समायोजन में अनुवादित करता है। जब कोई उपयोगकर्ता कहता है "धीरे-धीरे आगे बढ़ो", तो रोबोट का मस्तिष्क समझ जाता है कि उसे अपना संतुलन बनाए रखते हुए अपनी आगे की गति को कम करने की आवश्यकता है, और वह वास्तविक समय में इस परिवर्तन को निष्पादित करता है। यह दो अलग-अलग तकनीकों को जोड़कर प्राप्त किया जाता है: एक भाषा प्रोसेसर जो मानव भाषण को समझता है, और एक लर्निंग एल्गोरिदम जो रोबोट की मांसपेशियों को नियंत्रित करता है।
प्रणाली का भाषा वाला हिस्सा एक अनुवादक के रूप में कार्य करता है। यह "बाईं ओर तेजी से मुड़ें" जैसे वाक्य को लेता है और इसे सूचना के दो टुकड़ों में तोड़ देता है: सामान्य लक्ष्य, जो कि मुड़ना है, और इसे करने के लिए आवश्यक विशिष्ट संख्याएँ, जैसे कि उसे कितनी तेज़ी से घूमना चाहिए। शोधकर्ताओं ने इस कार्य को करने के लिए एक आधुनिक भाषा मॉडल के हल्के संस्करण का उपयोग किया। इस मॉडल को हजारों उदाहरणों पर प्रशिक्षित किया गया था जहाँ कमांड को सही रोबोटिक क्रियाओं के साथ जोड़ा गया था। इसे इतना तेज़ बनाने के लिए डिज़ाइन किया गया है कि यह रोबोट पर बिना किसी देरी के चल सके। एक बार जब सिस्टम कमांड को समझ लेता है, तो यह यह जानकारी रोबोट के नियंत्रण मस्तिष्क (control brain) को पास कर देता है। यह नियंत्रण मस्तिष्क एक न्यूरल नेटवर्क है जिसे 'प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन' (proximal policy optimization) नामक विधि का उपयोग करके चलने के लिए प्रशिक्षित किया गया है। इस प्रशिक्षण प्रक्रिया में रोबोट एक उच्च-सटीकता वाले कंप्यूटर सिमुलेशन में चलने का प्रयास करता है, सीधा खड़ा रहने और कुशलता से चलने के लिए पुरस्कार प्राप्त करता है, और लाखों प्रयासों के माध्यम से धीरे-धीरे अपनी रणनीति में सुधार करता है।
जो इस नई प्रणाली को अद्वितीय बनाता है वह यह है कि यह भाषा अनुवादक को वॉकिंग कंट्रोलर से कैसे जोड़ती है। रोबोट को पूर्व-निर्धारित व्यवहारों के एक सीमित मेनू में से चुनने के लिए मजबूर करने के बजाय, प्रणाली भाषा इनपुट का उपयोग रोबोट के लक्ष्यों और उसके रिवॉर्ड सिस्टम को धीरे से प्रेरित करने के लिए करती है। यदि कमांड धीरे चलने का है, तो सिस्टम रोबोट की लक्षित गति को समायोजित करता है और इस बात को बदल देता है कि वह अपनी सफलता का मूल्यांकन कैसे करता है, जिससे धीमी, सावधानीपूर्ण चालें तेज़, जोखिम भरी चालों की तुलना में अधिक पुरस्कृत महसूस होती हैं। यह रोबोट को निरंतर अपनी चाल (gait) को अनुकूलित करने की अनुमति देता है। वह आगे बढ़ सकता है, फिर धीमा हो सकता है, फिर बाईं ओर मुड़ सकता है, यह सब बोले गए निर्देशों के एक एकल प्रवाह के आधार पर। यह सुनिश्चित करने के लिए कि यह प्रणाली न केवल कंप्यूटर में बल्कि एक वास्तविक मशीन पर काम करे, शोधकर्ताओं ने एक शिक्षण रणनीति का उपयोग किया। उन्होंने पहले सिमुलेशन में एक अत्यधिक सक्षम "शिक्षक" रोबोट को प्रशिक्षित किया, जिसके पास दुनिया के बारे में सटीक जानकारी थी, जैसे कि ज़मीन का सटीक घर्षण। फिर, उन्होंने एक "छात्र" रोबोट को शिक्षक के कार्यों की नकल करने के लिए प्रशिक्षित किया, जिसमें केवल शोर वाले, अपूर्ण सेंसर डेटा का उपयोग किया गया था, जैसा कि एक वास्तविक रोबोट के पास होता है। इस प्रक्रिया ने छात्र को भौतिक दुनिया की अव्यवस्थित वास्तविकताओं के प्रति मजबूत होने में मदद की।
टीम ने सिमुलेशन में और एक वास्तविक यूनिट्री ए1 (Unitree A1) रोबोट, जो एक छोटा, फुर्तीला चार पैरों वाला यंत्र है, पर अपने सिस्टम का व्यापक परीक्षण किया। कंप्यूटर सिमुलेशन में, रोबole ने "बाईं ओर धीरे-धीरे चलो" या "बाधा के चारों ओर तेज़ी से जाओ" जैसे जटिल निर्देशों सहित विभिन्न प्रकार के कमांड का सफलतापूर्वक पालन किया। सिस्टम ने उच्च सफलता दर दिखाई, जिसमें रोबोट ने सिमुलेशन में आगे बढ़ने या बाईं ओर मुड़ने जैसे बुनियादी कार्यों को 96% से अधिक बार पूरा किया। जब शोधकर्ताओं ने इस प्रणाली को वास्तविक रोबोट पर स्थानांतरित किया, तो परिणाम मजबूत रहे। रोबोट आदेश पर आगे बढ़ने, मुड़ने और रुकने में अधिकांश क्रियाओं के लिए 93% से अधिक की सफलता दर के साथ सक्षम था। सिस्टम ऊर्जा-कुशल भी साबित हुआ, जो पारंपरिक नियंत्रण विधियों या इस विशिष्ट भाषा कंडीशनिंग का उपयोग न करने वाले अन्य लर्निंग-आधारित दृष्टिकोणों की तुलना में प्रति कदम कम शक्ति का उपयोग करता है। शोधकर्ताओं ने नोट किया कि रोबोट नया कमांड प्राप्त करने के बाद एक सेकंड से भी कम समय में अपने आंदोलनों को अनुकूलित कर सकता है, जो एक सहज प्रतिक्रियाशीलता प्रदर्शित करता है जिसे पुराने नियंत्रण तरीकों के साथ प्राप्त करना कठिन है।
हालाँकि, अध्ययन वर्तमान में जो संभव है उसकी सीमाओं को भी रेखांकित करता है। यह प्रणाली गति और चाल से संबंधित स्पष्ट, प्रत्यक्ष कमांड के साथ सबसे अच्छा काम करती है। यह अभी लंबी, जटिल बातचीत या "कुछ शानदार करो" जैसे अत्यधिक अस्पष्ट निर्देशों को संभालने के लिए डिज़ाइन नहीं की गई है। यदि कोई उपयोगकर्ता रोबोट को ऐसा कमांड देता है जिसे वह शारीरिक रूप से नहीं कर सकता, जैसे कि "चंद्रमा पर उड़ने जाओ", तो सिस्टम अभी इतना स्मार्ट नहीं है कि स्पष्टीकरण मांग सके या यह समझा सके कि अनुरोध क्यों असंभव है। शोधकर्ताओं ने पाया कि जबकि रोबोट विशिष्ट गति निर्देशों का पालन करने में बहुत अच्छा है, पूरी तरह से नए प्रकार की भाषा या वातावरण के प्रति इसकी सामान्यीकरण (generalize) करने की क्षमता अभी भी उस डेटा द्वारा सीमित है जिस पर इसे प्रशिक्षित किया गया था। वास्तविक दुनिया के परीक्षण भी अपेक्षाकृत छोटे थे और नियंत्रित स्थितियों में हुए थे, जिसका अर्थ है कि अनिश्चित बाहरी वातावरण में इसकी दीर्घकालिक विश्वसनीयता अभी तक पूरी तरह से सिद्ध नहीं हुई है।
इन सीमाओं के बावजूद, यह कार्य अधिक स्वाभाविक मानव-रोबोट संपर्क की दिशा में एक महत्वपूर्ण कदम है। यह दिखाकर कि एक रोबोट सीख सकता है कि कैसे चलना है और फिर पूर्व-निर्धारित ट्रिक्स की लाइब्रेरी के बिना सरल भाषण द्वारा निर्देशित किया जा सकता है, शोधकर्ताओं ने मशीनों के लिए एक ऐसा मार्ग प्रदर्शित किया है जो अधिक सहज (intuitive) हो सकती हैं। इस प्रणाली के लिए उपयोगकर्ता को एक नया कोड या विशिष्ट कमांड का सेट सीखने की आवश्यकता नहीं है; यह बस सुनती है और प्रतिक्रिया देती है। सिमुलेशन से वास्तविक दुनिया में कौशल स्थानांतरित करने के लिए शिक्षक-छात्र शिक्षण पद्धति की सफलता यह सुझाव देती है कि इस दृष्टिकोण को भविष्य में अधिक जटिल रोबोटों के लिए बढ़ाया जा सकता है। जैसे-जैसे तकनीक परिपक्व होगी, मानव इरादे और मशीन क्रिया के बीच का अंतर कम होता जाएगा, जिससे रोबोट गतिशील और चुनौतीपूर्ण वातावरण में सच्चे साथी बन सकेंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।