Robust Optimal Tracking Control for Center-of-Mass-Offset Mecanum Mobile Robots Using Off-Policy Integral Reinforcement Learning

रोबोटिक्स की दुनिया में, गति अक्सर समझौयों का मामला होती है। एक मानक पहिये वाला रोबोट आगे बढ़ता है और मुड़ता है, लेकिन बगल की ओर जाने के लिए, उसे पहले अपने पूरे शरीर को घुमाना पड़ता है। यह सीमा इसे भीड़भाड़ वाले गोदामों या संकीर्ण कारखानों के गलियारों जैसे तंग स्थानों में नेविगेट करने के मामले में धीमा और अनाड़ी बना देती है। इस समस्या को हल करने के लिए, इंजीनियरों ने मेकेनम व्हील (Mecanus wheel) विकसित किया। ये मानक पहिये हैं जिनमें छोटे, तिरछे रोलर्स का एक घेरा लगा होता है। यह सरल जुड़ाव रोबोट को किसी भी दिशा में—आगे, पीछे, बगल में, या यहाँ तक कि तिरछा भी—फिसलने की अनुमति देता है, बिना कभी अपना अगला हिस्सा बदले। यह स्वचालन (automation) के लिए एक शक्तिशाली उपकरण है, जो मशीनों को एक व्यस्त भीड़ में चलते हुए व्यक्ति की चपलता के साथ बाधाओं के बीच से निकलने में सक्षम बनाता है।

हालाँकि, इन रोबोटों को सटीक रूप से चलाना जितना दिखता है उससे कहीं अधिक कठिन है। मेकेनम रोबोट का भौतिक विज्ञान दो मुख्य कारकों द्वारा जटिल हो जाता है। पहला, पहिये स्वयं फिसलने के प्रति संवेदनशील होते हैं; रोलर्स जमीन को पूरी तरह से नहीं पकड़ पाते, जिससे गति में छोटी, अप्रत्याशित त्रुटियां होती हैं। दूसरा, और शायद अधिक महत्वपूर्ण, संतुलन का मुद्दा है। जब एक रोबोट कोई भार ढोता है, जैसे कि एक बॉक्स या रोबोटिक आर्म, तो उसके वजन का केंद्र अक्सर उसके ज्यामितीय मध्य से हट जाता है। यह बदलाव रोबोट के मुड़ने के प्रतिरोध और चारों पहियों पर वजन के वितरण को बदल देता है। यदि एक नियंत्रण प्रणाली इस बदलते वजन और अनिवार्य पहिया फिसलन को ध्यान में नहीं रखती है, तो रोबोट अपने पथ से भटक जाएगा, डगमगाएगा, या अपने इच्छित पथ का पालन करने में विफल रहेगा।

हनोई, वियतनाम में इलेक्ट्रिक पावर यूनिवर्सिटी के शोधकर्ताओं ने इन रोबोटों को ट्रैक पर रहने के लिए सिखाने का एक नया तरीका विकसित करके इस समस्या का समाधान किया है। उनका काम एक विशिष्ट प्रकार के बुद्धिमान नियंत्रण पर केंद्रित है जो रोबोट के भौतिकी के पूर्ण, पूर्व-निर्धारित मानचित्र पर निर्भर रहने के बजाय अनुभव से सीखता है। अपने अध्ययन में, उन्होंने एक ऐसी प्रणाली बनाई जो एक चार-पहिये वाले मेकेनम रोबोट को उच्च सटीकता के साथ वांछित पथ का अनुसरण करने की अनुमति देती है, भले ही रोबोट का वजन वितरण लगातार बदल रहा हो और पहिये फिसल रहे हों। उन्होंने इसे 'ऑफ-पॉलिसी इंटीग्रल रीइन्फोर्समेंट लर्निंग' नामक एक विधि का उपयोग करके हासिल किया, जो एक ऐसी तकनीक है जो रोबोट को अपनी कार्यप्रणाली के हर विवरण को पहले से जाने बिना, संचालन के दौरान एकत्र किए गए डेटा से देखकर सबसे अच्छा तरीके से चलना सिखाती है।

मुख्य चुनौती जिसे शोधकर्ताओं ने संबोधित किया वह यह है कि वास्तविक दुनिया के रोबोट अव्यवस्थित होते हैं। सैद्धांतिक मॉडल आदर्श स्थितियों को मानते हैं, लेकिन वास्तव में, एक रोबोट भारी भार ले सकता है जो चलते समय शिफ्ट होता है, या उसके पहिये चिकने फर्श पर पकड़ खो सकते हैं। पारंपरिक नियंत्रण विधियाँ अक्सर इन अनिश्चितताओं के साथ संघर्ष करती हैं, जिसके लिए इंजीनियरों को सिस्टम को बहुत सावधानी से ट्यून करने की आवश्यकता होती है या हर समय रोबोट के वजन और घर्षण का सटीक ज्ञान होना चाहिए। यह प्रस्तावित नया दृष्टिकोण नियंत्रण समस्या को दो विरोधी बलों के बीच एक खेल के रूप में देखता है। एक तरफ रोबोट का कंट्रोलर है, जो पथ पर बने रहने के लिए आवश्यक प्रयास को कम करना चाहता है। दूसरी तरफ "सबसे खराब स्थिति" वाला व्यवधान (disturbance) है, जो फिसलने या वजन बदलने के कारण होने वाली अधिकतम त्रुटि का प्रतिनिधित्व करता है। लक्ष्य एक ऐसी रणनीति खोजना है जो सबसे अच्छा काम करे, भले ही वातावरण रोबोट को यथासंभव जोर से पथ से हटाने की कोशिश कर रहा हो।

इसे हल करने के लिए, शोधकर्ताओं ने हैमिल्टन-जॉयकी-आइसैक समीकरण (Hamilton–Jacobi–Isaacs equation) के रूप में ज्ञात एक गणितीय ढांचे का उपयोग किया। जबकि यह समीकरण एक वास्तविक रोबोट के लिए सरल सूत्र के साथ हल करना बहुत जटिल है, टीम ने आर्टिफिशियल इंटेलिजेंस का उपयोग करते हुए एक चतुर वर्कअराउंड का उपयोग किया। उन्होंने तीन न्यूरल नेटवर्क का उपयोग किया, जो मानव मस्तिष्क के मॉडल पर आधारित कंप्यूटर सिस्टम हैं, जो समाधान को सीखने के लिए। एक नेटवर्क एक 'क्रिटिक' के रूप में कार्य करता है, जो यह मूल्यांकन करता है कि रोबोट कितना अच्छा प्रदर्शन कर रहा है। दूसरा नेटवर्क, 'कंट्रोल एक्टर', यह तय करता है कि पहियों को क्या मोटर कमांड भेजे जाएं। तीसरा नेटवर्क, 'डिस्टर्बेंस एक्टर', वातावरण द्वारा उत्पन्न की जा सकने वाली सबसे खराब त्रुटियों की भविष्यवाणी करना सीखता है। इन नेटवर्कों को रोबोट की गतिविधियों से एकत्र किए गए डेटा का उपयोग करके एक साथ प्रशिक्षित करके, सिस्टम एक मजबूत रणनीति सीखता है जो सुचारू गति और व्यवधानों का विरोध करने की क्षमता के बीच संतुलन बनाती है।

शोधकर्ताओं ने कंप्यूटर सिमुलेशन का उपयोग करके दो अलग-अलग परिदृश्यों में अपने नए कंट्रोलर का परीक्षण किया। पहले परिदृश्य में, उन्होंने एक स्थिर, अपरिवर्तित वजन ऑफसेट वाले रोबट का अनुकरण किया, जो एक ऐसे रोबोट के समान है जो एक भारी बॉक्स ले जा रहा है जो कभी हिलता नहीं है। इस स्थिर वातावरण में, नया कंट्रोलर एक मानक लर्निंग विधि के समान ही प्रदर्शन करता है, जो रोबोट को उसके गोलाकार पथ पर उच्च सटीकता के साथ रखता है। रोबोट के मोटर्स ने सुचारू, स्थिर टॉर्क उत्पन्न किया, और सिस्टम बिना अस्थिर हुए तेजी से सीख गया। इसने पुष्टि की कि नया तरीका काम करता है, भले ही रोबोट के भौतिक गुण आदर्श डिजाइन से भिन्न हों।

दूसरा परिदृश्य बहुत अधिक चुनौतीपूर्ण था। यहाँ, शोधकर्ताओं ने एक ऐसे रोबोट का अनुकरण किया जहाँ द्रव्यमान का केंद्र (center of mass) लगातार बदल रहा था, जैसे कि रोबोट एक रोबोटिक आर्म को ले जा रहा हो जो अपना वजन इधर-उधर घुमा रहा है। उन्होंने समय-परिवर्तनीय पहिया फिसलन और रोबोट के कुल वजन में बदलाव भी पेश किया, जो एक मशीन द्वारा भारी भार उठाने और छोड़ने की नकल करता है। इस अराजक वातावरण में, मानक लर्निंग विधि संघर्ष करने लगी, जिससे रोबोट के हेडिंग (heading) में बड़ी त्रुटियां और कम सुचारू नियंत्रण दिखाई दिया। इसके विपरीत, नए ऑफ-पॉलिसी कंट्रोलर ने वांछित पथ पर अपनी पकड़ बनाए रखी। इसने बदलते वजन और फिसलते पहियों की सफलतापूर्वक भरपाई की, जिससे ट्रैकिंग त्रुटियां कम और मोटर कमांड सुचारू रहे। सिमुलेशन ने दिखाया कि नए कंट्रोलर ने मानक विधि की तुलना में रोबोट के हेडिंग एंगल की त्रुटि को अधिक प्रभावी ढंग से कम किया, जो जटिल, परिवर्तनशील अनिश्चितताओं को संभालने की इसकी बेहतर क्षमता को सिद्ध करता है।

अध्ययन यह निष्कर्ष निकालता है कि यह नया दृष्टिकोण अप्रत्याशित वातावरण में काम करने वाले मोबाइल रोबोटों के लिए एक महत्वपूर्ण सुधार प्रदान करता है। सबसे खराब स्थिति के व्यवधानों को स्पष्ट रूप से ध्यान में रखकर और पूर्ण मॉडलों पर निर्भर रहने के बजाय डेटा से सीखकर, सिस्टम उस मजबूती (robustness) के स्तर को प्राप्त करता है जिसकी पारंपरिक विधियों में कमी होती है। शोधकर्ताओं ने सत्यापित किया कि सिस्टम स्थिर रहता है और सीखने की प्रक्रिया उग्र व्यवहार की ओर नहीं ले जाती है, यहाँ तक कि गंभीर अनिश्चितता के तहत भी। हालाँकि अब तक के परिणाम कंप्यूटर सिमुलेशन पर आधारित हैं, वे भविष्य के कार्य के लिए एक मजबूत आधार प्रदान करते हैं। अगला कदम इस कंट्रोलर को एक भौतिक रोबोट पर परीक्षण करना होगा, जो डिजिटल सिमुलेशन की सुरक्षा से निकलकर कारखाने के फर्श की अव्यवस्थित, अप्रत्याशित वास्तविकता की ओर बढ़ेगा। यदि सफल रहे, तो यह तकनीक मेकेनम रोबोटों को गतिशील सेटिंग्स में, जैसे स्वचालित गोदामों से लेकर उन सेवा वातावरणों में जहाँ स्थितियाँ लगातार बदलती रहती हैं, अधिक स्वायत्त और विश्वसनीय रूप से संचालित करने में सक्षम बना सकती है।