Beyond Patch Removal: Persistent Adversarial Effects in Vision-Language-Action Policies
यह शोध पत्र प्रकट करता है कि विजन-लैंग्वेज-एक्शन पॉलिसियों पर एडवरसैरियल पैच (adversarial patches) निरंतर स्टेट प्रभाव उत्पन्न करते हैं जो पैच हटाने के बाद भी रिकवरी में बाधा डालते हैं, जो यह दर्शाता है कि पॉलिसी प्रदर्शन को बहाल करने के लिए समय पर हस्तक्षेप करना महत्वपूर्ण है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
देखने, भाषा समझने और चलने-फिरने में सक्षम रोबोट अब केवल विज्ञान कथा (साइंस फिक्शन) नहीं रह गए हैं। ये प्रणालियाँ, जिन्हें विजन-लैंग्वेज-एक्शन पॉलिसीज़ (vision-language-action policies) कहा जाता है, आधुनिक मशीनों के मस्तिष्क के रूप में कार्य करती हैं, जो कैमरा द्वारा देखी गई चीज़ों और मनुष्य द्वारा कही गई बातों को लेकर यह तय करती हैं कि किसी कार्य को पूरा करने के लिए रोबिक आर्म (robotic arm) को ठीक से कैसे हिलाना है। एक साधारण कंप्यूटर प्रोग्राम के विपरीत जो एक स्थिर छवि को प्रोसेस करता है, ये रोबोट एक निरंतर लूप में काम करते हैं: वे देखते हैं, वे कार्य करते हैं, और उनके कार्य के कारण दुनिया बदल जाती है। यह एक अनूठी भेद्यता (vulnerability) पैदा करता है। यदि किसी रोबोट को एक गलत कदम उठाने के लिए छल लिया जाए, तो वह किसी वस्तु को गिरा सकता है या खुद को किसी कोने में धकेल सकता है। भले ही वह छल एक सेकंड बाद हटा दिया जाए, लेकिन रोबोट अब उस भौतिक स्थान पर नहीं होगा जहाँ वह सही ढंग से कार्य करने पर होता। शोधकर्ता अब केवल यह सवाल नहीं पूछ रहे हैं कि क्या एक रोबोट को उस क्षण में धोखा दिया जा सकता है, बल्कि यह कि क्या वह नुकसान छल हटने के बाद भी बना रहता है।
शोधकर्ताओं की एक टीम ने एक मानक रोबोटिक सिमुलेशन वातावरण का उपयोग करके इस स्थायी प्रभाव की जांच करने के लिए हाथ आजमाया। उन्होंने एक विशिष्ट प्रकार के डिजिटल हमले पर ध्यान केंद्रित किया जहाँ रोबोट द्वारा देखी जाने वाली छवि पर एक छोटा, पैटर्न वाला स्टिकर लगाया गया था। यह स्टिकर रोबोट के मस्तिष्क को भ्रमित करने के लिए डिज़ाइन किया गया है, जिससे वह गलत जगह की ओर हाथ बढ़ाता है या गलत दिशा में मुड़ जाता है। पिछले अध्ययनों में, वैज्ञानिकों ने मुख्य रूप से यह मापा कि जब स्टिकर दिखाई दे रहा हो, तब रोबोट कितना अच्छा प्रदर्शन करता है। इस नए अध्ययन ने एक अलग सवाल पूछा: यदि आप स्टिकर को हटा दें और रोबोट को स्पष्ट दृश्य देखने दें, तो क्या वह काम पूरा कर पाएगा? इसे पता लगाने के लिए, उन्होंने एक सटीक परीक्षण पद्धति बनाई। उन्होंने रोबोट को स्टिकर के साथ एक कार्य करने दिया, रोबोट ने कुछ चालें चलने के बाद इंतजार किया, और फिर तुरंत स्टिकर हटा दिया। महत्वपूर्ण बात यह थी कि उन्होंने रोबोट को उसकी शुरुआती स्थिति में रीसेट नहीं किया। इसके बजाय, उन्होंने उसे ठीक उसी स्थान से जारी रखने दिया जहाँ वह भ्रमित अवस्था में पहुँचा था, जिससे उसे कार्य पूरा करने के लिए उतना ही समय मिला जितना कि बिना किसी हमले के उसे मिलता।
परिणामों ने 'धोखा दिए जाने' और 'फँस जाने' के बीच एक स्पष्ट अंतर दिखाया। जब शोधकर्ताओं ने स्टिकर हटाया, तो रोबमान साधारण रूप से सामान्य स्थिति में वापस नहीं आया। कई मामलों में, रोबोट एक ऐसी स्थिति में फँसा रहा जिससे वह उबर नहीं सका। दस हेरफेर कार्यों (manipulation tasks) के एक जटिल सेट पर, जब स्टिकर को कुछ सेकंड के भ्रम के बाद हटाया गया, तो रोबोट केवल लगभग 36 प्रतिशत बार ही कार्य पूरा कर पाया। यह एक कंट्रोल ग्रुप की तुलना में एक नाटकीय गिरावट थी जहाँ रोबोट को उसी आकार का एक यादृच्छिक (random), गैर-दुर्भावनापूर्ण स्टिकर दिया गया था। उस यादृच्छिक स्टिकर ने, जिसने दुर्भावनापूर्ण स्टिकर की तरह ही दृश्य को बाधित किया था, रोबोट को उबरने और लगभग 90 प्रतिशत मामलों में सफल होने की अनुमति दी। शोधकर्ताओं ने अन्य परिदृश्यों का भी परीक्षण किया ताकि यह सुनिश्चित किया जा सके कि विफलता केवल इसलिए नहीं हुई क्योंकि रोबोट बहुत दूर चला गया था या स्टिकर बहुत बड़ा था। उन्होंने एक नियंत्रण (control) बनाया जहाँ उन्होंने मैन्युअल रूप से रोबोट को दुर्भावनापूर्ण पैटर्न के बिना, ठीक वही गलत चालें लेने के लिए मजबूर किया जैसा कि हमले वाले रोबोट ने किया था। इस मामले में भी, रोबोट ने हमले वाले स्टिकर की तुलना में बहुत बेहतर तरीके से रिकवरी की। इससे सिद्ध हुआ कि दुर्भावनापूर्ण पैटर्न कुछ अतिरिक्त कर रहा था: वह रोबोट को एक विशिष्ट प्रकार की मुसीबत की ओर ले जा रहा था जिसे एक साधारण गलती या बाधित दृश्य द्वारा समझाया नहीं जा सकता था।
अध्ययन ने यह भी देखा कि यदि कोई हस्तक्षेप करे तो रोबोट को कितनी जल्दी बचाया जा सकता है। शोधकर्ताओं ने एक छोटा एड-ऑन मॉड्यूल प्रशिक्षित किया जिसे यह पहचानने के लिए डिज़ाइन किया गया था कि रोबोट कब भ्रमित अवस्था में है और उसे वापस पटरी पर लाने में मदद करनी है। जब इस सहायक (helper) को पहले कुछ गलत कदमों के तुरंत बाद सक्रिय किया गया, तो इसने रोबोट की सफलता दर को 7 प्रतिशत के निराशाजनक स्तर से बढ़ाकर लगभग 47 प्रतिशत कर दिया। हालाँकि, समय ही सब कुछ था। यदि शोधकर्ताओं ने सहायक को सक्रिय करने में थोड़ा भी अधिक समय लगा दिया, तो सफलता दर फिर से गिर गई। पाँच सेकंड बीत जाने तक, सहायक मुश्किल से प्रभावी रह गया। यह सुझाव देता है कि धोखे में फंसे रोबोट को ठीक करने की खिड़की (window) अविश्वसनीय रूप से संकीर्ण है। रोबोट जितनी देर तक गलत अवस्था में रहता है, उसे वापस खींचना उतना ही कठिन होता जाता है, भले ही सहायता उपलब्ध हो।
ये निष्कर्ष बुद्धिमान मशीनों के लिए हमें सुरक्षा के बारे में कैसे सोचना चाहिए, इसे बदल देते हैं। केवल एक दृश्य छल को पहचानना और हटा देना पर्याप्त नहीं है; जब तक छल खत्म होता है, तब तक नुकसान हो चुका हो सकता है। रोबोट एक ऐसी भौतिक स्थिति में हो सकता है जिससे निकलना लगभग असंभव हो, चाहे बाद में उसका दृश्य कितना भी स्पष्ट क्यों न हो जाए। शोधकर्ताओं ने पाया कि यह समस्या विभिन्न प्रकार के रोबोटिक ब्रेन्स और गति को डिकोड करने के विभिन्न तरीकों में मौजूद है, जो यह सुझाव देती है कि यह इस तकनीक के लिए एक मौलिक मुद्दा है। हालांकि यह अध्ययन एक सिम्युलेटेड दुनिया में किया गया था, लेकिन तर्क यही रहता है: एक बंद लूप (closed loop) में जहाँ क्रियाएं वातावरण को बदल देती हैं, एक क्षणिक त्रुटि एक स्थायी अंत (dead end) की ओर ले जा सकती है। यह कार्य इस बात पर प्रकाश डालता है कि इन प्रणालियों के वास्तव में सुरक्षित होने के लिए, हमें ऐसे बचाव की आवश्यकता है जो तेजी से कार्य करें, इससे पहले कि रोबोट उस पथ से बहुत दूर निकल जाए जिस पर उसे चलना था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।