Rethinking Demonstration Unlearning in Imitation Learning for Robotics
यह शोध पत्र रोबोटिक्स इमिटेशन लर्निंग में प्रदर्शन अनलर्निंग (demonstration unlearning) के लिए एक रिट्रेन-कैलिब्रेटेड ऑडिट फ्रेमवर्क प्रस्तुत करता है जो संपादित नीतियों (edited policies) का मूल्यांकन दो अक्षों पर करता है—पूर्ण रिट्रेन के साथ व्यवहार संबंधी समानता और हटाए गए डेटा की उपस्थिति के साक्ष्य—ताकि महंगे रिट्रेनिंग के एक सांख्यिकीय रूप से कठोर, लागत प्रभावी विकल्प के रूप में कार्य किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
रोबोट जो मनुष्यों को देखकर सीखते हैं, अब आम होते जा रहे हैं, चाहे वे पुर्जों को जोड़ने वाले फैक्ट्री आर्म्स हों या घरेलू कामों में मदद करने वाले उपकरण। ये मशीनें हर संभव गतिविधि के लिए पहले से प्रोग्राम नहीं की जाती हैं; इसके बजाय, उन्हें लोगों द्वारा रिकॉर्ड किए गए वीडियो प्रदर्शनों के संग्रह पर प्रशिक्षित किया जाता है। रोबोट इन वीडियो का अध्ययन करता है और जो क्रियाएं वह देखता है, उनकी नकल करना सीखता है। हालाँकि, एक मौलिक समस्या तब उत्पन्न होती है जब प्रदर्शन प्रदान करने वाला व्यक्ति अपना विचार बदल देता है। जिस तरह एक व्यक्ति अपने डेटा के उपयोग के लिए अपनी सहमति वापस ले सकता है, उसी तरह एक मनुष्य अपने विशिष्ट प्रदर्शन को रोबोट की स्मृति से हटाने के लिए कह सकता है। यदि किसी रोबोट ने एक त्रुटिपूर्ण प्रदर्शन से कोई बुरी आदत सीखी है, या यदि कोई उपयोगकर्ता केवल पहुंच वापस लेना चाहता है, तो रोबोट को बाकी सब कुछ भूले बिना उस विशिष्ट जानकारी को "अनलर्न" (unlearn) करने की आवश्यकता होती है।
इस अनुरोध को संभालने का मानक तरीका यह है कि अवांछित वीडियो को फेंक दिया जाए और रोबिमट को केवल शेष अच्छे उदाहरणों का उपयोग करके शुरू से फिर से प्रशिक्षित किया जाए। हालांकि यह काम करता है, लेकिन यह अविश्वसनीय रूप से महंगा और धीमा है, विशेष रूप से जटिल रोबोटों के लिए जिन्हें भारी मात्रा में कंप्यूटिंग शक्ति की आवश्यकता होती है। शोधकर्ता सस्ते शॉर्टकट खोज रहे हैं: ऐसे तरीके जो प्रशिक्षित रोबोट के मस्तिष्क को सीधे संपादित कर सकें, यानी भारी लागत के बिना बुरी स्मृति को हटा सकें। लेकिन एक महत्वपूर्ण प्रश्न अनुत्तरित रह गया था: जब हम इन शॉर्टकटों का उपयोग करते हैं, तो हमें कैसे पता चलता है कि रोबोट ने वास्तव में उस बुरे निर्देश को भुला दिया है? क्या वह वास्तव में वैसा ही व्यवहार करता है जैसे उसने कभी वह वीडियो देखा ही न हो, या वह केवल दिखावा कर रहा है?
शोधकर्ताओं की एक टीम ने वास्तविक रोबोटों और सिमुलेशन पर इन संपादन विधियों का परीक्षण करके इसका उत्तर देने का प्रयास किया। उन्होंने एक विशिष्ट परिदृश्य पर ध्यान केंद्रित किया जहाँ एक रोबोट को एक कार्य के 130 प्रदर्शनों पर प्रशिक्षित किया गया था: एक कप को एक विशिष्ट स्थान पर ले जाना। उन 130 प्रदर्शनों में से तीस जानबूझकर त्रुटिपूर्ण थे, जो रोबोट को गलत स्थान पर कप छोड़ने के लिए सिखा रहे थे, जिससे कप पलट जाता था। शोधकर्ताओं ने उन तीस बुरे वीडियो के प्रभाव को हटाने के लिए विभिन्न संपादन तकनीकों को लागू किया। यह देखने के लिए कि क्या संपादन सफल रहा, उन्होंने केवल रोबोट के अंतिम स्कोर को नहीं देखा या यह नहीं पूछा कि क्या वह कार्य करने में सक्षम है। इसके बजाय, उन्होंने एक कठोर दो-स्तरीय परीक्षण बनाया।
परीक्षण का पहला भाग व्यवहार को मापता था। शोधकर्ताओं ने संपादित रोबोट की तुलना एक "गोल्ड स्टैंडर्ड" रोबोट से की, जिसे बुरे वीडियो के बिना शुरू से पूरी तरह से पुन: प्रशिक्षित किया गया था। उन्होंने कार्य के दौरान विशिष्ट क्षणों पर रोबोट की गतिविधियों को देखा। यदि संपादित रोबोट का व्यवहार पूरी तरह से पुन: प्रशिक्षित रोबोट के समान था, तो वह व्यवहार परीक्षण में सफल रहा। परीक्षण का दूसरा भाग साक्ष्य को मापता था। इसमें यह जांचना शामिल था कि क्या एक कंप्यूटर प्रोग्राम अभी भी यह बता सकता है कि रोबोट ने मूल रूप से बुरे वीडियो देखे थे। भले ही रोबोट सही ढंग से कार्य कर रहा हो, यदि एक डिटेक्टर (detector) अभी भी उसके आंतरिक तर्क में बुरे डेटा के निशान पा सकता है, तो अनलर्निंग अधूरी थी।
परिणामों ने एक आश्चर्यजनक और चिंताजनक विसंगति को उजागर किया। एक उल्लेखनीय मामले में, एक विशिष्ट शॉर्टकट विधि से संपादित रोबोट ने वास्तविक हार्डवेयर पर लगभग उत्तम प्रदर्शन किया। उसने 20 में से 18 परीक्षणों में कप को सही स्थान पर सफलतापूर्वक पहुँचाया, जो महंगे, पूरी तरह से पुन: प्रशिक्षित रोबोट के प्रदर्शन से मेल खाता था। इस आधार पर कि रोबोट ने कैसा व्यवहार किया, बुरा निर्देश समाप्त हो गया प्रतीत होता था। हालाँकि, जब शोधकर्ताओं ने साक्ष्य परीक्षण चलाया, तो परिणाम ने पुष्टि की कि संपादन अधूरा था: डिटेक्टर अभी भी पूरी निश्चितता के साथ बुरे वीडियो की पहचान कर सकता था, ठीक वैसे ही जैसे वह बिना सुधारे गए रोबोट के साथ कर सकता था जिसने कभी वे वीडियो देखे ही नहीं थे। ऑडिट ने सफलतापूर्वक पता लगा लिया कि रोबोट ने कार्य के दौरान अपनी गलती को छिपाना सीख लिया था, लेकिन बुरे निर्देश की स्मृति उसके सिस्टम में गहराई से जमी हुई थी।
इसके विपरीत, अन्य संपादन विधियों ने विपरीत समस्या दिखाई। कुछ तकनीकों ने साक्ष्य को सफलतापूर्वक मिटा दिया, जिससे डिटेक्टर के लिए बुरे वीडियो को खोजना असंभव हो गया। फिर भी, उन्हीं रोबोटों ने खराब व्यवहार किया, कार्य करने में विफल रहे या ऐसे तरीके से चले जो पूरी तरह से पुन: प्रशिक्षित गोल्ड स्टैंडर्ड से स्पष्ट रूप से भिन्न थे। उन्होंने बुरे डेटा को भुला दिया था, लेकिन ऐसा करते समय, उन्होंने सही ढंग से काम करने की अपनी क्षमता भी खो दी थी। शोधकर्ताओं ने पाया कि ये दो लक्ष्य—सही कार्य करना और साक्ष्य को छिपाना—अक्सर विपरीत दिशाओं में चलते हैं। एक विधि जो रोबोट के व्यवहार को ठीक करती है, वह बुरे डेटा के साक्ष्य को छोड़ देती है, जबकि एक विधि जो साक्ष्य को मिटा देती है, वह रोबोट के प्रदर्शन को बिगाड़ देती है।
अध्ययन ने तीन अलग-अलग प्रकार के रोबोट पॉलिसियों और दो अलग-अलग सिमुलेशन वातावरणों में इन विचारों का परीक्षण किया, जिसमें कुल पांच विशिष्ट स्थितियाँ शामिल थीं। हर मामले में, शोधकर्ताओं ने पाया कि कोई भी एकल संपादन विधि एक साथ दोनों लक्ष्यों को प्राप्त नहीं कर सकी। भले ही एक रोबोट ने बुरे निर्देश को सफलतापूर्वक अनलर्न किया हुआ प्रतीत हो, सूक्ष्म जांच से पता चला कि या तो वह अभी भी स्मृति को छिपा रहा था या उसने अपना कार्य करने की क्षमता खो दी थी। शोधकर्ताओं ने निष्कर्ष निकाला कि केवल यह जांचना कि एक रोबोट कार्य को अच्छी तरह से करता है, यह सिद्ध करने के लिए पर्याप्त नहीं है कि उसने वास्तव में भूल जाना सीख लिया है। वास्तविक अनलर्निंग के लिए दो अलग-अलग शर्तों को एक साथ पूरा करना आवश्यक है: रोबोट को ऐसा व्यवहार करना चाहिए जैसे उसने कभी बुरे डेटा को नहीं देखा, और उसे कोई भी पता लगाने योग्य निशान नहीं छोड़ना चाहिए कि उसने उसे कभी देखा था।
यह निष्कर्ष वर्तमान धारणा को चुनौती देता है कि किसी कार्य में रोबोट की सफलता इस बात का प्रमाण है कि उसे ठीक से साफ किया गया है। शोधकर्ताओं ने प्रदर्शित किया कि एक रोबोट को सही ढंग से काम करने के लिए "मरम्मत" किया जा सकता है जबकि वह उस डेटा का गुप्त प्रभाव ढोता रहता है जिसे हम उससे भुलाना चाहते थे। उन्होंने यह भी दिखाया कि एक रोबोट को उसके अतीत को छिपाने के लिए "साफ" किया जा सकता है, जिससे वह अपने काम के लिए बेकार हो जाता है। क्योंकि ये दो पहलू अलग हो सकते हैं, टीम का तर्क है कि हम रोबोट को सुरक्षित या अनुपालन योग्य घोषित करने के लिए एक एकल परीक्षण पर भरोसा नहीं कर सकते। इसके बजाय, हमें एक दोहरी पद्धति की आवश्यकता है जो रोबोट के कार्यों और उसके आंतरिक इतिहास दोनों की जांच करे। जब तक हमारे पास ऐसी विधियाँ नहीं होंगी जो एक साथ दोनों शर्तों को संतुष्ट कर सकें, तब तक रोबोट के मस्तिष्क से डेटा को आसानी से हटाने का वादा अधूरा रहेगा, और छिपे हुए, अन-रिमूव किए गए निर्देशों का जोखिम बना रहेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।