AdvNav: Behavior-Guided Black-Box Adversarial Attacks on Vision-Language Navigation
यह शोधपत्र AdvNav को प्रस्तुत करता है, जो एक व्यवहार-निर्देशित ब्लैक-बॉक्स प्रतिकूल हमला (adversarial attack) ढांचा है जो मॉडल ग्रेडिएंट्स की आवश्यकता के बिना विघटनकारी दृश्य व्यवधान (visual perturbations) उत्पन्न करने के लिए हाइब्रिड अनुकूलन रणनीति को निर्देशित करने हेतु दोहरी-स्तर की व्यवहारिक प्रतिक्रिया (dual-granularity behavioral feedback) का उपयोग करके विजन-लैंग्वेज नेविगेशन एजेंटों को प्रभावी ढंग से बाधित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दोस्त है जिसे नए घरों की खोज करना बहुत पसंद है। आप उसे एक वॉयस कमांड देते हैं जैसे, "सोफे के पास से गुजरें, डाइनिंग रूम से होकर जाएं, और बाहर प्रतीक्षा करें।" यह रोबोट अपने कदमों को कहाँ रखना है, यह समझने के लिए अपनी आँखों (कैमरों) और अपने दिमाग (AI) का उपयोग करता है। इसे विज़न-एंड-लैंग्वेज नेविगेशन (VLN) कहा जाता है।
लेकिन यहाँ एक ट्विस्ट है: क्या होगा अगर कोई बिना रोबोट को पता चले भी चले बिना, रोबोट की आँखों को धोखा दे सके? यह बिल्कुल वही है जो AdvNav के पीछे के शोधकर्ताओं ने खोजा। उन्होंने एक "जादुई लेंस" बनाया जो रोबोट को भ्रमित कर सकता है, जिससे वह अपने रास्ते से भटक जाता है, और वह भी रोबोट के दिमाग में झाँके बिना।
"ब्लैक बॉक्स" का रहस्य
आमतौर पर, रोबोट को चकमा देने के लिए, हैकर्स को "व्हाइट-बॉक्स" विशेषज्ञों की आवश्यकता होती है। इसका मतलब है कि उन्हें रोबोट के गुप्त ब्लूप्रिंट (इसके आंतरिक कोड और गणित) की आवश्यकता होती है ताकि वे सटीक रूप से गणना कर सकें कि इसकी दृष्टि के साथ कैसे छेड़छाड़ की जाए। लेकिन वास्तविक दुनिया में, आप किसी कंपनी के रोबोट के अंदर नहीं देख सकते। यह एक ब्लैक बॉक्स है। आप केवल उससे बात कर सकते हैं और उसके कार्यों को देख सकते हैं।
शोध पत्र का तर्क है कि पुराने तरीके यहाँ काम नहीं करते हैं। रोबोट के हर कदम का अनुमान लगाने की कोशिश करना एक भूलभुलैया को एक बार में एक मोड़ का अनुमान लगाकर हल करने जैसा है; इसमें बहुत समय लगता है और अक्सर विफल हो जाता है क्योंकि रोबोट अपनी गलतियों को सुधार सकता है। शोधकर्ता कहते हैं कि हमें एक नए तरीके की आवश्यकता है जिसे ब्लूप्रिंट की आवश्यकता न हो और जो केवल एक कदम पर न अटके।
"धुंधला लेंस" वाला तरीका
तो, उन्होंने यह कैसे किया? रोबोट के कोड को हैक करने के बजाय, उन्होंने रोबोट के साथ एक ऐसे व्यक्ति की तरह व्यवहार किया जो एक धुंधले कमरे में चल रहा है।
उन्होंने एक विशेष प्रकार का शोर (noise) बनाया जो कैमरे के लेंस पर एक नरम, धुंधली धूल या कोहरे जैसा दिखता है। उन्होंने केवल रोबोट पर रैंडम स्टैटिक (जैसे टीवी का शोर) नहीं डाला। इसके बजाय, उन्होंने एक स्मार्ट, विकसित होने वाली रणनीति का उपयोग किया ताकि उस परफेक्ट प्रकार के कोहरे को खोजा जा सके जो रोबोट का दिशा ज्ञान खो दे।
इसे इस तरह सोचें: यदि आप रोबोट की आँख पर एक छोटा सा स्टिकर लगाते हैं, तो वह शायद उसे अनदेखा कर दे। लेकिन यदि आप पूरे लेंस पर "कोहरे" का एक विशिष्ट पैटर्न रखते हैं, तो रोबोट को लग सकता है कि दीवार एक दरवाजा है, या एक गलियारा एक डेड एंड (बंद रास्ता) है। शोधकर्ता इस तकनीक को AdvNav कहते हैं।
"बिहेवियरल जीपीएस" (व्यवहार संबंधी GPS)
चूंकि वे रोबोट के आंतरिक विचारों को नहीं देख सकते थे, इसलिए उन्हें यह अनुमान लगाने के लिए कि उनका "कोहरा" काम कर रहा है या नहीं, रोबोट के व्यवहार को देखना पड़ा। उन्होंने एक डुअल-ग्रैनुलैरिटी फीडबैक (दोहरी सूक्ष्मता वाला फीडबैक) सिस्टम बनाया। एक कोच की कल्पना करें जो धावक को देख रहा है:
- बड़ी तस्वीर (ट्रैजेक्टरी स्तर): क्या धावक ने दौड़ पूरी की? यदि रोबोट रास्ता भटक जाता है या जल्दी रुक जाता है, तो कोच एक "खराब स्कोर" देता है।
- छोटे कदम (एक्शन स्तर): भले ही धावक दौड़ पूरी कर ले, क्या वह डगमगा रहा था? क्या वह लगभग लड़खड़ा गया था? कोच रोबोट द्वारा लिए गए हर कदम को देखता है। यदि रोबोट हिचकिचाया या लगभग गलत दरवाजा चुनने ही वाला था, तो कोच उसे एक "जोखिम" के रूप में नोट करता है।
इन दोनों चीजों को देखकर, शोधकर्ता बता सके कि उनके "कोहरे" को कैसे मजबूत बनाया जाए। उन्होंने जेनेटिक इवोल्यूशन (आनुवंशिक विकास) नामक एक विधि का उपयोग किया, जो कंप्यूटर शोर के लिए प्राकृतिक चयन की तरह है। उन्होंने एक समय में 10 अलग-अलग प्रकार के कोहरे का परीक्षण किया। वे कोहरे, जिन्होंने रोबोट को सबसे अधिक लड़खड़ाया, जीवित रहे और अगले दौर के लिए और भी बेहतर कोहरा बनाने के लिए आपस में मिल गए।
परिणाम: यह कितना बुरा हुआ?
टीम ने दो अलग-अलग प्रकार के रोबोट दिमागों पर इसका परीक्षण किया:
- HAMT: एक मानक, शक्तिशाली रोबोट दिमाग।
- MapGPT: एक सुपर-स्मार्ट दिमाग जो एक विशाल लैंग्वेज मॉडल (जैसे वे जो निबंध लिखते हैं या आपसे चैट करते हैं) द्वारा संचालित है।
उन्होंने इन रोबोटों का 11 अलग-अलग इनडोर दृश्यों में हजारों निर्देशों के साथ परीक्षण किया। यहाँ क्या हुआ:
- HAMT रोबोट पर: हमला 49.70% बार सफल रहा। इसका मतलब है कि रोब manera के लगभग आधे प्रयासों में रोबोट अपने लक्ष्य तक पहुँचने में विफल रहा। इसकी पथ दक्षता (चलने की क्षमता) गिरकर 29.35% हो गई, और यह अपने निर्धारित स्थान से 6.05 मीटर दूर निकल गया।
- Qwen3-VL दिमाग वाले MapGPT रोबोट पर: हमला 65.96% बार सफल रहा।
- GPT-4V दिमाग वाले MapGPT रोबोट पर: यह हमला और भी प्रभावी था, जो 87.30% बार सफल रहा!
शोधकर्ताओं ने पाया कि हालांकि कुछ रोबोट साधारण ट्रिक्स (जैसे कैमरे के एक हिस्से को काले पैच से ढकना) के खिलाफ सख्त थे, लेकिन वे इस "धुंधले लेंस" वाले शोर के प्रति आश्चर्यजनक रूप से संवेदनशील थे। यहाँ तक कि सुपर-स्मार्ट GPT-4V रोबोट, जो आमतौर पर तर्क करने में बहुत अच्छा होता है, भ्रमित हो गया और भटक गया।
इसका क्या अर्थ है (और क्या नहीं)
यह शोध पत्र दिखाता है कि उन्नत नेविगेशन रोबोट भी कितने नाजुक हैं जब उनकी आँखें थोड़ी सी विकृत हो जाती हैं। शोधकर्ता सुझाव देते हैं कि यह केवल एक मजेदार ट्रिक नहीं है; यह एक चेतावनी है। यदि किसी कारखाने या अस्पताल में रोबोट का उपयोग किया जाता है, तो उसके कैमरे पर थोड़ा सा "कोहरा" उसे क्रैश कर सकता है या काम करने से रोक सकता है।
हालाँकि, शोध पत्र सावधानी बरतते हुए कहता है कि यह एक सिमुलेशन है। उन्होंने इसका परीक्षण "Matterport3D" नामक एक कंप्यूटर दुनिया में किया है, न कि एक वास्तविक घर में चलते हुए वास्तविक भौतिक रोबोट पर। उन्होंने एक नया रोबोट भी नहीं बनाया जो इसे ठीक कर सके; उन्होंने केवल यह दिखाया कि वर्तमान वाले असुरक्षित हैं।
मुख्य बात क्या है? हम यह मानकर सुरक्षित नहीं रह सकते कि रोबोट स्मार्ट हैं इसलिए वे सुरक्षित हैं। जब तक वे कैमरों पर निर्भर हैं, थोड़ा सा अदृश्य "कोहरा" उन्हें रास्ता भटका सकता है, और हमें ऐसे रोबोट बनाने की आवश्यकता है जो इस कोहरे के पार देख सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।