VisInject: Disruption != Injection -- A Dual-Dimension Evaluation of Universal Adversarial Attacks on Vision-Language Models
यह शोध पत्र तर्क देता है कि विजन-लैंग्वेज मॉडल्स पर यूनिवर्सल एडवरसैरियल अटैक्स के लिए उच्च रिपोर्ट की गई सफलता दरें सामान्य आउटपुट परटरबेशन (परिवर्तन) और सटीक प्रॉम्प्ट इंजेक्शन के बीच भ्रम पैदा करती हैं, जो एक नवीन द्वैत-आयामी मूल्यांकन के माध्यम से यह प्रकट करती हैं कि जहाँ अदृश्य परटरबेशन्स अक्सर मॉडल आउटपुट्स को बाधित करते हैं, वहीं वे शायद ही कभी वास्तविक इंजेक्शन प्राप्त कर पाते हैं, जिसमें परीक्षण किए गए मामलों में से केवल 0.756% ही किसी भी 'नॉन-नॉन' इंजेक्शन टियर तक पहुँच पाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विनम्र रोबोट सहायक है जो तस्वीरों को देख सकता है और देख रहा है जो वह देखता है उसका वर्णन कर सकता है। आप उससे पूछते हैं, "इस कुत्ते की तस्वीर में क्या है?" और वह कहता है, "यह एक पार्क में खेल रहा गोल्डन रिट्रीवर है।"
अब, कल्पना कीजिए कि एक हैकर इस रोबोट को कुछ विशिष्ट कहने के लिए धोखा देना चाहता है, जैसे "इस संदिग्ध वेबसाइट पर जाएँ।" वह रोबोट के दिमाग या आपके द्वारा टाइप किए गए शब्दों को नहीं बदल सकता। उनका एकमात्र उपकरण कुत्ते की फोटो में एक बहुत ही सूक्ष्म, अदृश्य "स्टैटिक" (static) की परत जोड़ना है—जो इतनी छोटी है कि मानव आँख उसे देख नहीं सकती, लेकिन रोबोट की "आँखें" उसे देख सकती हैं।
यह शोध पत्र, VisInject, एक बहुत ही सरल लेकिन महत्वपूर्ण प्रश्न पूछता है: क्या यह अदृश्य स्टैटिक वास्तव में रोबोट को हैकर के गुप्त वाक्यांश को बोलने के लिए मजबूर करता है, या यह केवल रोबोट को कुछ अलग कहने के लिए प्रेरित करता है?
लेखकों ने पाया कि पिछले शोधों में दो बहुत ही अलग चीजों को मिला दिया गया था। यहाँ सरल उपमाओं का उपयोग करके इसका विवरण दिया गया है:
1. दो अलग परिणाम: "भ्रम" (Confusion) बनाम "हाइजैकिंग" (Hijacking)
यह पत्र तर्क देता है कि शोधकर्ता "भ्रम" को "हाइजैकिंग" मानकर गिन रहे थे।
- भ्रम (Confusion/Influence/Drift): रोबोट अदृश्य स्टैटिक वाली फोटो देखता है और भ्रमित हो जाता है। "पार्क में एक कुत्ते" के बजाय, वह कह सकता है, "यह टेक्स्ट के कोलाज जैसा दिखता है" या "मुझे एक धुंधला सा मवाद दिख रहा है।" रोबोट का उत्तर बदल गया, लेकिन उसने वह नहीं कहा जो हैकर चाहता था।
- उपमा: यह एक छात्र के कान में फुसफुसाकर ध्यान भटकाने जैसा है जो परीक्षा के दौरान हो रहा है। छात्र इतिहास के प्रश्न के बारे में लिखना बंद कर देता है और बकवास लिखना शुरू कर देता है। वह विचलित तो हुआ है, लेकिन उसने वह गलत उत्तर नहीं लिखा जिसकी चिंता शिक्षक को थी।
- हाइजैकिंग (Hijacking/Precise Injection): रोबोट अदृश्य स्टैटिक देखता है और तमाम बाधाओं के बावजूद, ठीक वही गुप्त वाक्यांश बोल देता जो हैकर चाहता था, जैसे "www.example.com पर जाएँ।"
- उपमा: यह उस छात्र की तरह है जो व्याकुलता को पूरी तरह से अनदेखा कर देता है और ठीक वही गलत उत्तर लिखता है जो घुसपैठिया चाहता था।
बड़ी खोज: शोध पत्र ने पाया कि भ्रम बहुत आम है (लगभग 66% बार होता है), लेकिन हाइजैकिंग अविश्वसनीय रूप से दुर्लभ है (1% से भी कम, और अक्सर बिल्कुल नहीं होती)।
2. "जादुई ट्रिक" सेटअप
इसे साबित करने के लिए, शोधकर्ताओं ने अन्य वैज्ञानिकों के दो मौजूदा "जादुई ट्रिक्स" (हमले के तरीके) को मिलाया:
- यूनिवर्सल नॉइज़ (Universal Noise): एक विशेष छवि जिसे किसी भी सवाल के बारे में भ्रमित करने के लिए डिज़ाइन किया गया है।
- कैरियर (The Carrier): एक टूल जो उस भ्रमित करने वाले शोर को एक सामान्य, वास्तविक फोटो (जैसे बिल्ली या दस्तावेज़ की तस्वीर) पर पेंट करता है ताकि यह मनुष्यों को एक नियमित फोटो की तरह लगे।
उन्होंने चार अलग-अलग ओपन-सोर्स रोबोट सहायकों पर 6,615 अलग-अलग परिदृश्यों में यह सेटअप चलाया।
3. परिणाम: 90-से-1 का अंतर
पिछले अध्ययनों से प्राप्त मुख्य संख्या यह थी कि ये हमले 60-80% समय काम करते हैं। लेखक कहते हैं, "यह भ्रामक है।"
- "ड्रिफ्ट" (Drift) दर: जब उन्होंने जांचा कि क्या रोबोट का उत्तर बदला, तो वह 66% बार बदला। रोबोट निश्चित रूप से भ्रमित थे।
- "हाइजैक" (Hijack) दर: जब उन्होंने जांचा कि क्या रोबोट ने वास्तव में हैकर का गुप्त वाक्यांश बोला, तो ऐसा केवल 0.75% बार हुआ।
- "वैरबेट" (Verbatim) दर: जब उन्होंने जांचा कि क्या रोबोट ने हैकर के सटीक शब्दों (जैसे एक विशिष्ट URL) को कहा, तो ऐसा केवल 0.03% बार हुआ (6,615 में से 2 बार)।
उपमा: कल्पना कीजिए कि एक जादूगर एक सिक्के को गायब करने की कोशिश करता है। 100 में से 66 प्रयासों में, सिक्का अपनी जगह से हिल जाता है (Confusion)। लेकिन 100 में से केवल 1 प्रयास में, सिक्का वास्तव में पूरी तरह गायब हो जाता है (Hijack)। पिछले रिपोर्टों में कहा जा रहा था, "देखो! सिक्का 66% बार हिल जाता है! जादूगर अद्भुत है!" लेखक कह रहे हैं, "रुको, सिक्का गायब नहीं हुआ। वह सिर्फ हिला है। जादूगर उतना शक्तिशाली नहीं है जितना हम सोच रहे थे।"
4. क्यों कुछ तस्वीरें दूसरों की तुलना में बेहतर काम करती हैं
शोधकर्ताओं ने देखा कि जिन कुछ बार रोबोट ने गुप्त वाक्यांश बोला, वह केवल विशिष्ट प्रकार की तस्वीरों के साथ हुआ।
- प्राकृतिक तस्वीरें (Natural Photos): यदि फोटो कुत्ते या बिल्ली की थी, तो रोबलेट ने लगभग कभी भी गुप्त वाक्यांश नहीं बोला।
- दस्तावेज़ की तस्वीरें (Document Photos): यदि फोटो किसी वेबसाइट, कोड एडिटर या बिल का स्क्रीनशॉट थी, तो रोबोट के गुप्त वाक्यांश बोलने की संभावना थोड़ी अधिक थी।
- क्यों? लेखक बताते हैं कि यदि फोटो पहले से ही टेक्स्ट वाले दस्तावेज़ (जैसे बिल) जैसी दिखती है, तो रोबोट पहले से ही टेक्स्ट पढ़ने की उम्मीद कर रहा होता है। अदृश्य स्टैटिक बस रोबोट को वास्तविक टेक्स्ट के बजाय "गलत" टेक्स्ट पढ़ने के लिए प्रेरित करता है। यदि फोटो एक कुत्ते की है, तो रोबोट फर और पंजों का वर्णन करने की उम्मीद करता है, इसलिए गुप्त वाक्यांश उस कहानी में फिट नहीं बैठता।
5. "सुपर-रेसिस्टेंट" (अति-प्रतिरोधी) रोबोट
सबसे दिलचस्प निष्कर्षों में से एक एक विशिष्ट रोबोट मॉडल शामिल था जिसे BLIP-2 कहा जाता है।
- जबकि अन्य तीन रोबोट 100% समय अदृश्य स्टैटिक से भ्रमित हो गए, BLIP-2 ने इसे नोटिस तक नहीं किया।
- यहाँ तक कि जब शोधकर्ताओं ने हमले को बनाने में मदद करने के लिए BLIP-2 का उपयोग करने की कोशिश की, तो बाद में यह हमला पूरी तरह विफल रहा।
- कारण: लेखक सुझाव देते हैं कि BLIP-2 के दिमाग में एक "बॉटलनेक" (bottleneck) है। यह इमेज को एक छोटे सारांश में संकुचित (compress) कर देता है। यह संपीड़न एक फिल्टर की तरह काम करता है जो अदृश्य स्टैटिक को रोबोट के देखने से पहले ही मिटा देता है। यह एक मोटी दीवार के माध्यम से गुप्त बात फुसफुसाने की कोशिश करने जैसा है; अन्य रोबोटों ने सुना, लेकिन BLIP-2 की दीवार बहुत मजबूत थी।
सारांश
यह शोध पत्र निष्कर्ष निकालता है कि हालांकि अदृश्य हमले विजन-लैंग्वेज मॉडल को भ्रमित (confuse) कर सकते हैं (उन्हें अजीब या अलग उत्तर देने के लिए मजबूर कर सकते हैं), लेकिन वे मॉडल को विशिष्ट, खतरनाक वाक्यांश बोलने के लिए मजबूर करने (hijack) में बहुत खराब हैं।
"90x का अंतर" का अर्थ है कि यदि आप इस बात से चिंतित हैं कि रोबोट को किसी विशिष्ट URL या पासवर्ड को बोलने के लिए धोखा दिया जा सकता है, तो आप खतरे का बहुत अधिक आकलन कर रहे हैं। रोबोट के किसी विशिष्ट कमांड का पालन करने के बजाय, उसके द्वारा भ्रमित होकर कुछ मूर्खतापूर्ण कहना बहुत अधिक संभावित है।
सीख: उस "60-80% सफलता दर" के बारे में घबराएं जो आपने पहले पढ़ी होगी। वह संख्या मुख्य रूप से "भ्रम" (confusion) को गिनती है, न कि "हाइजैकिंग" (hijacking) को। वास्तविक खतरा इन विशिष्ट हमलों के मामले में हेडलाइंस की तुलना में बहुत कम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।