Robo-Dopamine 2.0: History-Conditioned and OOD-Aware Process Reward Modeling for Robotic Manipulation
यह शोध पत्र Robo-Dopamine 2.0 का परिचय देता है, जो एक इतिहास-सशर्त (history-conditioned) और OOD-जागरूक प्रोसेस रिवॉर्ड मॉडल है जो पेयरवाइज प्रेडिक्शन (pairwise prediction), साइन्ड प्रोग्रेस स्पेस (signed progress spaces) और एक साइन्ड-हॉप करिकुलम (Signed-Hop curriculum) का लाभ उठाता है ताकि स्पार्स रिवार्ड्स (sparse rewards) और स्टेटिक विजुअल इवैल्यूएशन की सीमाओं को दूर किया जा सके, जिससे रोबोटिक मैनिपुलेशन कार्यों में विजन-लैंग्वेज-एक्शन मॉडल्स की मजबूती और सफलता दर में उल्लेखनीय सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट मानवीय गतिविधियों की नकल करने में असाधारण रूप से कुशल हो गए हैं। वीडियो प्रदर्शनों के हजारों घंटों को देखकर, आधुनिक आर्टिफिशियल इंटेलिजेंस सिस्टम वस्तुओं को उठाने, तरल पदार्थ डालने या पुर्जों को जोड़ने जैसे कार्यों को आश्चर्यजनक निपुणता के साथ करना सीख सकते हैं। ये सिस्टम, जिन्हें विजन-लैंग्वेज-एक्शन मॉडल कहा जाता है, एक ऐसे छात्र की तरह कार्य करते हैं जिसने एक पाठ्यपुस्तक को पूरी तरह से याद कर लिया है। वे जानते हैं कि कोई कार्य सही होने पर कैसा दिखता है। हालांकि, वास्तविक दुनिया का काम शायद ही कभी एक सीधी रेखा में होता है। एक रोबोट फिसल सकता है, गलत वस्तु पकड़ सकता है, या अचानक रोशनी या पृष्ठभूमि में बदलाव का सामना कर सकता है। जब ऐसा होता है, तो रोबोट अक्सर अटक जाता है, यह बताने में असमर्थ होता है कि वह केवल रुका हुआ है या उसने ऐसी गलती की है जिसके लिए पूरी तरह से अलग दृष्टिकोण की आवश्यकता है। मुख्य चुनौती केवल दुनिया को देखना नहीं है, बल्कि इस बात को समझना है कि अभी क्या कहानी चल रही है। एक गलती को सुधारने के लिए, एक रोबोट को यह जानने का तरीका चाहिए कि वह कितनी दूर आ गया है, वह कहाँ गलत हुआ है, और कैसे वापस पटरी पर आ सकता है, यहाँ तक कि उन स्थितियों में भी जिन्हें उसने पहले कभी नहीं देखा है।
वर्षों से, शोधकर्ताओं ने रोबोट को एक सरल स्कोर देकर इसे हल करने का प्रयास किया है: एक इनाम तभी जब काम पूरा हो जाए। यह एक छात्र को यह बताने जैसा है कि उसे पूरे एग्जाम के खत्म होने के बाद ही गोल्ड स्टार मिलेगा, बिना किसी व्यक्तिगत प्रश्न पर फीडबैक दिए। यह सीखने की प्रक्रिया को धीमा और अक्षम बनाता है। अन्य दृष्टिकोण निरंतर फीडबैक देने की कोशिश करते हैं, लेकिन वे अक्सर नाजुक होते हैं, जो वातावरण में थोड़ा सा भी बदलाव होने पर टूट जाते हैं। एक नया अध्ययन रोबोट को मार्गदर्शन देने का एक स्मार्ट तरीका पेश करता है, जो एक अभ्यास सत्र को देखते हुए एक जानकार कोच की तरह कार्य करता है। पिंग्क यूनिवर्सिटी और अन्य संस्थानों की एक टीम के नेतृत्व में शोधकर्ताओं ने 'रोबो-डोपामाइन 2.0' नामक एक प्रणाली विकसित की है। केवल कार्य की शुरुआत और अंत को देखने के बजाय, यह सिस्टम घटनाओं के पूरे क्रम को देखता है, और उससे पहले क्या हुआ था उसके संदर्भ (context) को समझता है। यह एक ऐसे रोबोट के बीच अंतर करना सीखता है जो अव्यवस्थपूर्ण पृष्ठभूमि के बावजूद प्रगति कर रहा है और एक ऐसा जो वास्तव में विफल हो गया है।
इस नए सिस्टम का केंद्र इसकी समय और इतिहास को समझने की क्षमता है। कल्पना कीजिए कि एक रोबोट ब्लॉक को एक के ऊपर एक रखने की कोशिश कर रहा है। यदि रोबोट एक ब्लॉक को गिरा देता है, तो एक साधारण सिस्टम केवल ब्लॉकों के ढेर को देखेगा और सोचेगा कि कार्य पूरा हो गया या विफल हो गया। लेकिन नया सिस्टम गतिविधियों के इतिहास को देखता है। वह जानता है कि ब्लॉकों का ढेर एक विशिष्ट क्रिया अनुक्रम के बाद दिखाई दिया, जिससे वह यह समझ पाता है कि रोबोट रिकवरी की स्थिति में है, न कि केवल यादृच्छिक विफलता की स्थिति में। शोधकर्ताओं ने इस सिस्टम को सफल रोबोटिक गतिविधियों के एक विशाल पुस्तकालय का उपयोग करके प्रशिक्षित किया, लेकिन उन्होंने जानबूझकर "क्या-होता-अगर" वाली स्थितियाँ भी बनाईं। उन्होंने सफल वीडियो लिए और उनमें सूक्ष्म बदलाव किए ताकि यह दिखाया जा सके कि रोबोट ने गलत वस्तु पकड़ी, एक टुकड़ा गिरा दिया, या किसी बाधा द्वारा रोका गया। इन परिवर्तित संस्करणों को मूल सफल संस्करणों के साथ दिखाकर, रोबोट ने एक हानिरहित परिवर्तन (जैसे पृष्ठभूमि का रंग बदलना) और एक महत्वपूर्ण त्रुटि (जैसे पकड़ विफल होना) के बीच अंतर करना सीखा।
इस प्रशिक्षण ने सिस्टम को प्रगति का एक मानसिक मानचित्र बनाने में मदद की जिसमें सफलता और विफलता दोनों शामिल हैं। इसने सीखा कि कुछ अवस्थाएँ सकारात्मक हैं, जिसका अर्थ है कि रोबोट लक्ष्य की ओर बढ़ रहा है। कुछ अवस्थाएँ नकारात्मक हैं, जिसका अर्थ है कि रोबोट ने एक ऐसी गलती की है जिसे सुधारने की आवश्यकता है। महत्वपूर्ण रूप से, इसने उन अवस्थाओं को भी पहचानने में महारत हासिल की जो दिखने में अलग हैं लेकिन वास्तव में समान प्रगति हैं, जैसे कि एक अव्यवस्थित कमरे बनाम एक साफ कमरे में काम करता रोबोट। "आउट-ऑफ-डिस्ट्रीब्यूशन" स्थितियों (ऐसी स्थितियाँ जिन्हें रोबोट को स्पष्ट रूप से प्रशिक्षित नहीं किया गया था) को संभालने की यह क्षमता ही इस सिस्टम को मजबूत बनाती है। शोधकर्ताओं ने एक सिम्युलेटेड वातावरण में और बाद में वास्तविक भौतिक रोबोटों पर इस सिस्टम का परीक्षण करके इसकी जांच की। सिमुलेशन में, सिस्टम ने रोबोट को नए कार्यों को सीखने में पिछले तरीकों की तुलना में काफी तेजी से मदद की। जब इसे वास्तविक दुनिया के प्रयोगों में ले जाया गया, जिसमें दोहरे रोबोटिक हाथों के माध्यम से एक वर्गाकार ब्लॉक को पेग्स के सेट में डालने का कार्य शामिल था, तो सिस्टम ने अपनी उपयोगिता सिद्ध की। बिना नए मार्गदर्शन के, रोबट चार बार सम्मिलन (insertion) के अनुक्रम को पूरा करने में संघर्ष कर रहे थे। नए सिस्टम के साथ, रोबोटों ने 20 में से 15 प्रयासों में सफलतापूर्वक पूर्ण अनुक्रम पूरा किया, जो बेसलाइन की तुलना में एक महत्वपूर्ण सुधार है।
इस दृष्टिकोण की सफलता इस बात में निहित है कि यह सीखने की प्रक्रिया को कैसे व्यवस्थित करता है। शोधकर्ताओं ने केवल सारा डेटा एक साथ रोबोट पर नहीं डाला। उन्होंने एक पाठ्यक्रम (curriculum) डिजाइन किया जो पहले रोबोट को सफलता और विफलता के बीच बड़े, स्पष्ट अंतरों को पहचानना सिखाता है। एक बार जब रोबोट ने व्यापक रूप से समझ लिया, तो सिस्टम ने सूक्ष्म विवरण पेश किए, जिससे उसे प्रगति के सूक्ष्म अंतरों को पहचानने में मदद मिली। यह चरण-दर-चरण सीखना, क्रियाओं के तत्काल इतिहास को देखने की क्षमता के साथ मिलकर, रोबोट को चीजें गलत होने पर भी दिशा का स्पष्ट बोध बनाए रखने में सक्षम बनाता है। यह सिस्टम जादू या जटिल, अस्पष्ट नियमों पर निर्भर नहीं है। यह केवल फीडबैक का एक निरंतर, सूक्ष्म प्रवाह प्रदान करता है जो रोबोट को बताता है कि वह अपने लक्ष्य के कितने करीब है और क्या वह सही दिशा में आगे बढ़ रहा है। रोबोट को उसकी अपनी प्रगति का बेहतर बोध कराकर, यह कार्य हमें ऐसी मशीनों के करीब ले जाता है जो मानव कार्यकर्ता की तरह अनुकूलन क्षमता के साथ वास्तविक दुनिया की अव्यवस्थित और अप्रत्याशित प्रकृति को संभाल सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।