ORPA: Online Residual Policy Adaptation for Robot Manipulation Control with Human Feedback
यह शोध पत्र ORPA को प्रस्तुत करता है, जो एक हल्का, फीडबैक-कंडीशन्ड मॉड्यूल जोड़कर प्री-ट्रेन की गई रोबोटिक मैनिपुलेशन पॉलिसियों को बढ़ाता है, जो वास्तविक समय में जॉइंट-स्पेस रेसिडुअल एडजस्टमेंट का पूर्वानुमान लगाने में सक्षम है, जिससे पूर्ण पॉलिसी रिट्रेनिंग की आवश्यकता के बिना तत्काल त्रुटि सुधार और डिस्ट्रीब्यूशन शिफ्ट के प्रति अनुकूलन संभव हो पाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट जो एक कप उठा सकते हैं, दरवाजा खोल सकते हैं, या वस्तुओं के ढेर को छाँट सकते हैं, वे लंबे समय से इंजीनियरों का सपना रहे हैं। वर्षों से, मशीन को ये कौशल सिखाने का सबसे आशाजनक तरीका इमिटेशन लर्निंग (अनुकरण सीखना) रहा है। इस दृष्टिकोण में, एक इंसान किसी कार्य का प्रदर्शन करता है, शायद अपने हाथों से रोबोट की भुजाओं को हिलाकर, और एक कंप्यूटर प्रोग्राम बारीकी से देखकर उस पैटर्न को सीखता है। फिर रोबोट उस पैटर्न की नकल करने की कोशिश करता है। हाल ही में, शक्तिशाली नए कंप्यूटर मॉडलों ने इन रोबोटों को जटिल कार्यों में आश्चर्यजनक रूप से कुशल बना दिया है, जिससे वे प्रभावशाली सहजता के साथ लंबी गतिविधियों के अनुक्रमों को जोड़ पाते हैं। हालांकि, इन डिजिटल शिक्षार्थियों में एक बड़ी कमजोरी है: वे भंगुर (brittle) हैं। यदि वस्तु को वहां से कुछ इंच भी खिसका दिया जाए जहां रोबोट उसकी अपेक्षा करता है, या यदि कार्य के दौरान रोबोट की भुजा थोड़ी फिसल जाए, तो पूरी योजना विफल हो सकती है। रोबोट, जिसने एक विशिष्ट पथ को याद कर लिया है, अक्सर यह नहीं जानता कि कैसे सुधार किया जाए। इसे ठीक करने के लिए आमतौर पर हजारों नए उदाहरण एकत्र करने और पूरे सिस्टम को फिर से प्रशिक्षित करने की आवश्यकता होती है, जो एक धीमी, महंगी और रोबोट के काम करते समय असंभव प्रक्रिया है।
जापान के नेशनल इंस्टीट्यूट ऑफ एडवांस्ड इंडस्ट्रियल साइंस एंड टेक्नोलॉजी के शोधकर्ताओं की एक टीम ने इन गलतियों को संभालने का एक अलग तरीका प्रस्तावित किया है। उन्होंने एक प्रणाली विकसित की जिसे ऑनलाइन रेसिडुअल पॉलिसी अडैप्टेशन (ORPA) कहा जाता है, जो रोबोट को पूरे कार्य को फिर से सीखने की आवश्यकता के बिना, सरल मानवीय फीडबैक के आधार पर वास्तविक समय में अपने कार्यों को सुधारने की अनुमति देता है। रोबोट को शुरू से नया तरीका सिखाने के बजाय, ORPA एक सूक्ष्म मार्गदर्शक की तरह कार्य करता है जो चीजें थोड़ी गलत होने पर रोबोट की मौजूदा योजना को हल्का सा दिशा देता है। शोधकर्ताओं ने इसका परीक्षण ALOHA नामक एक द्वि-हस्त (dual-armed) रोबोट प्लेटफॉर्म पर किया, जिसे मानव द्विपक्षीय हेरफेर (bimanual manipulation) की नकल करने के लिए डिज़ाइन किया गया है। उन्होंने पाया कि जब रोबोट को छोटी त्रुटियों का सामना करना पड़ा, जैसे कि कोई वस्तु थोड़ी अपनी जगह से हट गई हो, तो सिस्टम ने सफलता पाने के लिए तुरंत अपनी गतिविधियों को समायोजित कर लिया, जबकि मानक रोबलेट विफल हो गया।
इस कार्य के पीछे का मूल विचार रोबोट के सामान्य ज्ञान को उसके तत्काल सुधारों से अलग करना है। रोबोट एक पूर्व-प्रशिक्षित मस्तिष्क के साथ शुरू होता है जो आदर्श स्थितियों में कार्य करने का तरीका जानता है। इस मस्तिष्क को अछूता छोड़ दिया जाता है। जब रोबोट हिलना शुरू करता है, तो एक अलग, हल्का मॉड्यूल स्थिति की निगरानी करता है। यदि एक मानव ऑपरेटर संकेत देता है कि कुछ गलत है—शायद यह कहकर कि वस्तु "बहुत बाईं ओर" या "बहुत ऊपर" है—तो यह मॉड्यूल एक छोटा समायोजन गणना करता है। यह रोबोट को फिर से शुरू करने के लिए नहीं कहता; इसके बजाय, यह रोबोट की वर्तमान गति में एक छोटा सा सुधार जोड़ देता है। यह सुधार उस डेटा से सीखा जाता है जहाँ शोधकर्ताओं ने जानबूझकर सफल प्रदर्शनों में छोटी त्रुटियां डाली थीं और सिस्टम को उन्हें ठीक करना सिखाया था। परिणाम एक ऐसा रोबोट है जो अपने मूल, सहज व्यवहार को बनाए रखता है लेकिन उसे मौके पर अनुकूलित करने की क्षमता प्राप्त करता है, बिल्कुल एक इंसान की तरह जो कप पकड़ने का तरीका पूरी तरह से दोबारा सीखे बिना, अपनी पकड़ को समायोजित कर सकता है यदि कप फिसलन भरा महसूस हो।
इस अवधारणा को सिद्ध करने के लिए, शोधकर्ताओं ने कंप्यूटर सिमुलेशन और वास्तविक दुनिया दोनों में व्यापक परीक्षण किए। उन्होंने उच्च सटीकता की मांग करने वाले चुनौतीपूर्ण कार्य स्थापित किए, जैसे एक हाथ से दूसरे हाथ में क्यूब को स्थानांतरित करना, एक तंग छेद में पेग डालना, बोतल का ढक्कन खोलना और विभिन्न वस्तुओं को छाँटना। सिमुलेशन में, उन्होंने वास्तविक दुनिया की अव्यवस्था की नकल करने के लिए लक्ष्य वस्तुओं को उनके अपेक्षित स्थानों से थोड़ा दूर कर दिया। मानक रोबोट, जो केवल अपने मूल प्रशिक्षण पर निर्भर था, इन कठिन परीक्षणों में केवल 60 प्रतिशत बार सफल हुआ। जब शोधकर्ताओं ने नया सुधार सिस्टम जोड़ा, तो सफलता दर सरल स्थानांतरणों के लिए 90 प्रतिशत से अधिक और अधिक जटिल सम्मिलन (insertion) कार्यों के लिए 80 प्रतिशत से अधिक हो गई। यह सिस्टम उन पुराने तरीकों से भी बेहतर था जो त्रुटियों को ठीक करने के लिए निश्चित ज्यामितीय नियमों का उपयोग करते थे। उन पुराने तरीकों ने माना कि "बहुत बाईं ओर" का संकेत हमेशा एक ही मात्रा में गति का अर्थ होता है, चाहे संदर्भ कुछ भी हो। नया सिस्टम, हालांकि, यह सीख गया कि सुधार का आकार कार्य के विशिष्ट क्षण और रोबोट की भुजाओं की स्थिति पर निर्भर करता है।
शोधकर्ताओं ने अन्य हालिया दृष्टिकोणों के साथ भी तुलना की जो मानवीय फीडबैक की व्याख्या करने के लिए लार्ज लैंग्वेज मॉडल्स का उपयोग करते हैं। जबकि उन प्रणालियों ने आशा दिखाई, वे धीमी थीं और भाषा तथा भौतिक गति के बीच जटिल रूपांतरण की आवश्यकता थी। नया सिस्टम सीधे रोबोट के जोड़ों की गतिविधियों पर कार्य करता है, जिससे यह तेज़ और अधिक कुशल हो जाता है। भौतिक रोबोट के साथ वास्तविक दुनिया के परीक्षणों में, सुधार स्पष्ट लेकिन सूक्ष्म था। स्नैक बॉक्स को हिलाने या वस्तुओं को छाँटने जैसे कार्यों के लिए, रोबोट पहले से ही काफी अच्छा था, जो अपने आप में लगभग 80 प्रतिशत बार सफल होता था। नए सिस्टम के साथ, यह संख्या थोड़ी बढ़ गई, लेकिन इससे भी महत्वपूर्ण बात यह है कि रोबोट विशिष्ट विफलताओं से उबरने में बहुत बेहतर हो गया। उदाहरण के लिए, बोतल का ढक्कन खोलने जैसे कठिन कार्य में, जिसमें सटीक संपर्क और समय की आवश्यकता होती है, सिस्टम ने रोबोट को अपनी गतिविधियों को स्थिर करने और कार्य को अधिक विश्वसनीयता से पूरा करने में मदद की। शोधकर्ताओं ने देखा कि सिस्टम को हर बार हस्तक्षेप करने की आवश्यकता नहीं थी; यह केवल तभी हस्तक्षेप करता था जब त्रुटि इतनी बड़ी होती थी कि विफलता का कारण बन सके, जिससे रोबोट की मूल गतिविधियों का स्वाभाविक प्रवाह बना रहता था।
यह कार्य अनस्ट्रक्चर्ड वातावरण में रोबोटों को अधिक मजबूत बनाने के लिए एक व्यावहारिक मार्ग का सुझाव देता है। हर बार नई त्रुटि होने पर पूरे सिस्टम को फिर से प्रशिक्षित करने की आवश्यकता से बचकर, शोधकर्ताओं ने एक ऐसी विधि बनाई है जो गणनात्मक रूप से हल्की और वास्तविक समय के उपयोग के लिए तैयार है। यह सिस्टम रोबोट के सीखे हुए कौशल को प्रतिस्थापित नहीं करता है, बल्कि उन्हें सुधार की एक लचीली परत के साथ संवर्धित करता है। प्रयोगों में, रोबोट ने प्राप्त फीडबैक के आधार पर अपनी क्रियाओं को समायोजित करके, समय के बेमेल होने और अपूर्ण संपर्क सहित विभिन्न विफलता मोड को संभालना सीखा। निष्कर्ष बताते हैं कि यह दृष्टिकोण रोबोटों को उन सेटिंग्स में अधिक विश्वसनीय बना सकता है जहाँ स्थितियाँ कभी भी पूरी तरह से अनुमानित नहीं होती हैं, जिससे उन्हें निरंतर पर्यवेक्षण या पुन: प्रोग्रामिंग के बिना मनुष्यों के साथ अधिक प्रभावी ढंग से काम करने की अनुमति मिलती है। सिमुलेशन और भौतिक हार्डवेयर दोनों में सिस्टम की सफलता यह दर्शाती है कि छोटे, सीखे गए समायोजन जटिल रोबोटिक कार्यों की विश्वसनीयता में महत्वपूर्ण अंतर ला सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।