Trajectory-Tracking Control of Multi-DOF Manipulators Subject to Payload Variations using Deep Reinforcement Learning

एक ऐसी दुनिया की कल्पना करें जहाँ रोबोट परम सहायक हों, जो कार के पुर्जों को वेल्ड करने, मलबे से लोगों को बचाने या गोदाम में बक्से रखने में सक्षम हों। लेकिन एक रोबोट के वास्तव में सहायक होने के लिए, उसे यह जानना आवश्यक है कि अपने हाथों को ठीक से कैसे चलाना है। यह एक "कंट्रोलर" का काम है, जो वह मस्तिष्क है जो रोबोट के जोड़ों को बताता है कि उन्हें कहाँ जाना है। आमतौर पर, ये रोबोट कुछ चीजें ढोते हैं—औज़ार, भारी बक्से, या यहाँ तक कि अग्निशमन यंत्र भी जो स्प्रे करते समय हल्के होते जाते हैं। समस्या यह है कि जब रोबोट के हाथ में वजन बदलता है, तो उसके हाथ के हिलने का तरीका भी बदल जाता है। यह बिल्कुल वैसा ही है जैसे साइकिल चलाने की कोशिश करना जिसमें अचानक आपकी पीठ पर एक भारी बैग बांध दिया गया हो; आपको रास्ते पर बने रहने के लिए अधिक जोर से पैडल मारना पड़ता है और स्टीयरिंग को अलग तरह से संभालना पड़ता है।

वर्षों से, वैज्ञानिक इन वजन परिवर्तनों को संभालने के लिए रोबोट को सिखाने की कोशिश कर रहे हैं, लेकिन पुराने जमाने के गणितीय तरीकों का उपयोग करके। ये तरीके एक रोबोट को कठोर नियमों का एक सेट देने की तरह हैं: "यदि यह भारी हो जाए, तो अधिक जोर लगाओ।" लेकिन ये नियम अक्सर तब विफल हो जाते हैं जब वजन अचानक या बहुत अधिक बदल जाता है, जिससे रोबोट डगमगा जाता है, अपने लक्ष्य से आगे निकल जाता है, या खुद को झटकों से तोड़ देता है। यहाँ एक नया, अधिक आकर्षक विचार आता है: डीप रिइन्फोर्समेंट लर्निंग (DRL)। इसे इस तरह समझें कि आप रोबोट को कोई नियम पुस्तिका देकर नहीं, बल्कि उसे बार-बार एक वीडियो गेम खेलने देकर सिखा रहे हैं। रोबोट हिलने की कोशिश करता है, अच्छा करने के लिए उसे एक "स्कोर" मिलता है, और वह अपनी गलतियों से सीखता रहता है जब तक कि वह एक मास्टर खिलाड़ी न बन जाए। यह शोध पत्र इस बात की जांच करता है कि क्या यह "गेम-प्लेइंग" दृष्टिकोण एक रोबोट को एक चलते हुए लक्ष्य का सटीक रूप से पीछा करने के लिए सिखा सकता है, भले ही उसके हाथ का वजन लगातार बदल रहा हो, घट रहा हो या उछल रहा हो।

इस विचार का परीक्षण करने के लिए शोधकर्ताओं ने एक लोकप्रिय छह-हाथ वाले रोबोट, UR5e पर निर्णय लिया। वे यह देखना चाहते थे कि क्या वे इस रोबोट को सॉफ्ट एक्टर-क्रिटिक (SAC) नामक एक विशिष्ट प्रकार के गेम-प्लेइंग एल्गोरिदम का उपयोग करके प्रशिक्षित कर सकते हैं। बड़ी चुनौती यह थी कि रोबोट को एक भारी भार (0 किग्रा से 5 किग्रा तक) ले जाते हुए एक तेज़, टेढ़े-मेढ़े पथ का अनुसरण करना था, और कभी-कभी गति के बीच में ही वजन बदल जाता था।

रोबोट को किसी भी वजन को संभालने के लिए पर्याप्त स्मार्ट बनाने के लिए, टीम ने केवल एक विशिष्ट भार के साथ इसे प्रशिक्षित नहीं किया। इसके बजाय, उन्होंने "डोमेन रैंडमाइजेशन" नामक एक तकनीक का उपयोग किया। एक वीडियो गेम की कल्पना करें जहाँ लेवल डिज़ाइनर हर बार नया गेम शुरू होने पर गुरुत्वाकर्षण, घर्षण या चरित्र के वजन को बेतरतीब ढंग से बदल देता है। इस अराजक, निरंतर बदलते वातावरण में रोबोट को प्रशिक्षित करके, रोबोट ने एक लचीली रणनीति सीखी जो किसी भी वजन के लिए काम करती है, न कि किसी एक विशिष्ट भार के लिए एक एकल समाधान को याद किया। उन्होंने रोबोट को एक विशेष "स्मृति" भी दी, जिसमें उसे न केवल यह बताया गया कि वह अभी कहाँ है, बल्कि वह एक क्षण पहले कहाँ था और उसे आगे कहाँ जाना है। इसने रोबोट को अपने हाथ के भौतिक विज्ञान (फिजिक्स) में होने वाले बदलावों का पूर्वानुमान लगाने में मदद की, ठीक वैसे ही जैसे एक सर्फर अगली लहर को देखने के लिए केवल अपने पैरों के नीचे के पानी को देखने के बजाय आगे देखता है।

उनके सिमुलेशन के परिणाम काफी प्रभावशाली थे। जब उन्होंने अपने नए "गेम-ट्रेन्ड" रोबोट का परीक्षण एक पारंपरिक कंट्रोलर (एक मानक PID कंट्रोलर, जो पुराने ज़माने के नियम पुस्तिका वाले दृष्टिकोण जैसा है) के विरुद्ध किया, तो अंतर स्पष्ट था। पारंपरिक कंट्रोलर वजन बदलने पर बुरी तरह संघर्ष करता था। यदि रोबोट एक भारी भार ले जा रहा था और वजन अचानक कम हो गया, या यदि उसने बिना वजन के शुरुआत की और अचानक भारी हो गया, तो पुराना कंट्रोलर भ्रमित हो जाता था। वह लक्ष्य से आगे निकल जाता था, हिंसक रूप से हिलता था, और बड़े ट्रैकिंग एरर पैदा करता था। सबसे कठिन परीक्षण में, जहाँ पेलोड जटिल तरीकों से बदला गया (स्थिर रहा, फिर धीरे-धीरे बदला, फिर अचानक उछला), पुराने कंट्रोलर की औसत त्रुटि (एरर) 19.41 डिग्री का एक अस्त-व्यस्त आंकड़ा थी, और इसने बहुत अधिक झटकेदार, अक्षम ऊर्जा का उपयोग किया।

इसके विपरीत, नया DRL कंट्रोलर एक सुचारू संचालक था। इसने रोबोट को केवल 1.41 डिग्री के औसत एरर के साथ पथ पर बनाए रखा। यह लगभग 92.72% का भारी सुधार है। न केवल यह अधिक सटीक था, बल्कि यह बहुत अधिक सुचारू भी था। पुराने कंट्रोलर का टॉर्क (जो जोड़ों पर बल लगाता है) बहुत अधिक बदलता था, जो औसतन 5.26 Nm तक उछलता था, जबकि नए कंट्रोलर ने उन उछालों को केवल 1.72 Nm तक सीमित रखा। इसका अर्थ है कि रोबोट ने सहजता से काम किया, कम ऊर्जा का उपयोग किया और इसके मोटर्स पर कम तनाव डाला।

अध्ययन ने यह भी दिखाया कि यह "रैंडमाइज्ड ट्रेनिंग" ही असली सफलता का रहस्य था। जब उन्होंने केवल एक निश्चित वजन के साथ रोबोट को प्रशिक्षित करने की कोशिश की और फिर दूसरे वजन पर उसका परीक्षण किया, तो वह बुरी तरह विफल रहा, और त्रुटियां आसमान छूने लगीं। लेकिन क्योंकि उन्होंने इसे विभिन्न वजनों के मिश्रण पर प्रशिक्षित किया था, इसलिए इसने एक सामान्य कौशल सीखा जो हर जगह काम करता है। शोधकर्ताओं ने पाया कि रोबोट के "स्कोरकार्ड" (रिवॉर्ड फंक्शन) को डिजाइन करने का तरीका भी महत्वपूर्ण था। उन्हें लक्ष्य को हिट करने के लिए अंक देने, सुचारू रूप से चलने के लिए अंक देने और ऊर्जा बर्बाद न करने के लिए अंक देने के बीच संतुलन बनाना था। यदि वे केवल लक्ष्य को हिट करने की परवाह करते, तो रोबमा खुद को झटकों से तोड़ देता; यदि वे केवल सुचारूता की परवाह करते, तो यह पथ को ठीक करने के लिए कम प्रतिक्रियाशील होता। इन पुरस्कारों के सही मिश्रण ने रोबोट को सटीक और कोमल दोनों होना सिखाया।

बेशक, यह सब अभी एक कंप्यूटर सिमुलेशन में हो रहा है। लेखक सावधानी से नोट करते हैं कि जबकि रोबोट ने आभासी दुनिया में एक चैंपियन बनना सीख लिया है, वास्तविक दुनिया में चैंपियन बनने से पहले अभी भी कई बाधाएं हैं। एक तो, प्रशिक्षण के दौरान रोबोट के "बुरे दिन" होते थे जब उसने अचानक, अजीब गलती की, और उन्हें संदेह है कि बेहतर मेमोरी (जैसे लॉन्ग-टर्म मेमोरी नेटवर्क) देने से मदद मिल सकती है। वे यह भी चेतावनी देते हैं कि वास्तविक दुनिया में रोबोट को बेतरतीब ढंग से प्रयोग करने देना खतरनाक हो सकता है, इसलिए उन्हें इन आभासी कौशलों को एक भौतिक मशीन में सुरक्षित रूप से स्थानांतरित करने का तरीका खोजना होगा।

संक्षेप में, यह शोध पत्र सुझाव देता है कि रोबोट को ऐसे खेल खेलने के लिए सिखाकर, जहाँ नियम (वजन) लगातार बदलते रहते हैं, हम ऐसे कंट्रोलर बना सकते हैं जो पुराने तरीकों की तुलना में कहीं अधिक अनुकूल और सटीक हैं। यह उन रोबोटों की ओर एक आशाजनक कदम है जो बिना किसी मानव द्वारा लगातार सेटिंग्स बदलने की आवश्यकता के, वास्तविक दुनिया की अव्यवस्थित और अप्रत्याशित वास्तविकता को संभाल सकते हैं।