Breaking the weakest link to evade vision language models
यह शोध पत्र एक गणनात्मक रूप से कुशल, ग्रेडिएंट-आधारित हमले के तरीके का प्रस्ताव करता है जो विजन-लैंग्वेज मॉडल्स (VLMs) के केवल विजन एनकोडर को लक्षित करता है ताकि अदृश्य प्रतिकूल विक्षोभ (adversarial perturbations) उत्पन्न किए जा सकें जो मॉडल्स के टेक्स्टुअल इंटरप्रिटेशन को बाधित या हाईजैक करने में सक्षम हों, जिससे वर्तमान मल्टीमॉडल एआई सिस्टमों में महत्वपूर्ण कमजोरियों का पता चलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के तेजी से विकसित होते परिदृश्य में, प्रणालियों की एक नई पीढ़ी उभरी है जो एक ही समय में देख और बोल सकती है। ये मशीनें, जिन्हें विजन-लैंग्वेज मॉडल (vision-language models) के रूप में जाना जाता है, एक छवि को देखने और उसमें जो वे देखते हैं उसका वर्णन करने, या किसी तस्वीर के बारे में प्रश्नों के उत्तर देने के लिए डिज़ाइन की गई हैं। वे एक चित्र लेकर, उसके दृश्य विवरणों को एक गणितीय प्रतिनिधित्व में बदलकर, और फिर उस जानकारी को एक भाषा इंजन (language engine) को भेजकर काम करते हैं जो वाक्यों का निर्माण करता है। यह तकनीक स्वचालित इमेज कैप्शन से लेकर सेल्फ-ड्राइविंग कारों में सुरक्षा प्रणालियों तक सब कुछ संचालित करती है, जो दृश्य दुनिया और मानवीय संचार के बीच एक सेतु बनाती है। हालाँकि, जिस तरह किसी भी जटिल प्रणाली की कमजोरियाँ होती हैं, ये मॉडल भी हेरफेर से अछूते नहीं हैं। शोधकर्ता लंबे समय से जानते हैं कि डिजिटल छवियों को मानवीय आंखों के लिए अदृश्य तरीकों से बदला जा सकता है, फिर भी वे कंप्यूटर की धारणा को भ्रमित करने में सक्षम हैं। अब प्रश्न यह है कि क्या ये परिष्कृत नई प्रणालियाँ, जो दृष्टि और वाणी को जोड़ती हैं, उन पुराने, सरल मॉडलों की तुलना में अधिक सुरक्षित हैं जिनका उन्होंने स्थान लिया है।
थलेस (Thales) और ईएसआईएलवी (ESILV) के शोधकर्ताओं की एक टीम ने इन विजन-लैंग्वेज मॉडलों की ऐसी छिपी हुई हेरफेर के विरुद्ध टिकाऊपन का परीक्षण करने का लक्ष्य रखा। उनका लक्ष्य यह देखना था कि क्या वे मॉडलों को ऐसी चीजें देखने के लिए मजबूर कर सकते हैं जो वहां नहीं थीं, या स्पष्ट रूप से दिखाई देने वाली चीज़ों को अनदेखा करने के लिए। उन्होंने दो विशिष्ट प्रकार के धोखों पर ध्यान केंद्रित किया। पहला एक व्यापक व्यवधान (broad disruption) था, जहाँ हमलावर का उद्देश्य केवल मॉडल को भ्रमित करना था ताकि वह छवि का सही वर्णन न कर सके। दूसरा एक सटीक धोखा (precise deception) था, जहाँ हमलावर चाहता था कि मॉडल किसी ऐसे विशिष्ट ऑब्जेक्ट का वर्णन करे जो फोटो में मौजूद वस्तु से पूरी तरह से अलग हो। उदाहरण के लिए, वे यह देखना चाहते थे कि क्या वे एक मॉडल को सैन्य टैंक की तस्वीर को आत्मविश्वास से एम्बुलेंस के रूप में वर्णित करने के लिए मजबूर कर सकते हैं। ऐसा करने के लिए, उन्होंने पूरे सिस्टम को एक साथ तोड़ने की कोशिश नहीं की। इसके बजाय, उन्होंने भेद्यता के सबसे कुशल मार्ग की पहचान की: सिस्टम का वह हिस्सा जो सबसे पहले छवि को प्रोसेस करता है।
शोधकर्ताओं ने पाया कि वे मॉडल के संपूर्ण भाषा-प्रसंस्करण तंत्र (language-processing machinery) के बजाय केवल इसके दृश्य घटक (visual component) पर ध्यान केंद्रित करके इन भ्रामक छवियों को उत्पन्न कर सकते थे। यह दृष्टिकोण दक्षता का एक उत्कृष्ट उदाहरण साबित हुआ। जबकि पिछले तरीकों के लिए कंप्यूटर को मॉडल के विशाल, जटिल भाषा मस्तिष्क के माध्यम से परिवर्तनों की गणना करने की आवश्यकता होती थी—एक ऐसी प्रक्रिया जो धीमी थी और जिसमें अत्यधिक कंप्यूटिंग शक्ति की आवश्यकता थी—इस नए तरीके में केवल प्रारंभिक छवि प्रसंस्करण चरण (image processing stage) को समायोजित करने की आवश्यकता थी। ऐसा करके, शोधकर्ताओं ने हमले के लिए आवश्यक मेमोरी को काफी हदता तक कम कर दिया और एक एकल भ्रामक छवि बनाने में लगने वाले समय को बीस मिनट से घटाकर लगभग एक सौ साठ सेकंड कर दिया। इस दक्षता का अर्थ था कि वे क्यूवेन (Qwen), ग्रेनाइट (Granite), फास्टवीएलएम (FastVLM) और फी (Phi) जैसे आधुनिक, ओपन-सोर्स मॉडलों की एक विस्तृत श्रृंखला पर अपने विचारों का परीक्षण कर सकते थे।
इन प्रयोगों के परिणाम चौंकाने वाले थे और इन्होंने इस बात का खुलासा किया कि ये मॉडल दुनिया को समझने में कितने नाजुक हैं। जब शोधकर्ताओं ने मॉडलों को केवल भ्रमित करने का प्रयास किया, जिससे वे छवि का सही वर्णन करने में विफल हो जाएं, तो हमले लगभग सार्वभौमिक रूप से सफल रहे। पिक्सेल में सूक्ष्म, अदृश्य परिवर्तनों के बावजूद, मॉडल नब्बे प्रतिशत से अधिक समय में छवि की सामग्री को पहचानने में विफल रहे। कुछ मामलों में, लगभग हर प्रयास सफल रहा, जो यह दर्शाता है कि ये मॉडल जिस दृश्य प्रतिनिधित्व पर भरोसा करते हैं, वे अविश्वसनीय रूप से अस्थिर हैं। जब शोधकर्ताओं ने अधिक कठिन कार्य का प्रयास किया—मॉडल को एक विशिष्ट गलत वस्तु देखने के लिए मजबूर करना—तो परिणाम मॉडल के अनुसार भिन्न थे लेकिन चिंताजनक बने रहे। एक मॉडल, ग्रेनाइट-विज़न (Granite-Vision), एक टैंक को एम्बुलेंस के रूप में वर्णित करने के धोखे में लगभग आधे प्रयासों में फंस गया, भले ही दोनों वस्तुएं पूरी तरह से असंबंधित थीं। एक अन्य मॉडल, फी-3.5-विज़न (Phi-3.5-Vision), बहुत अधिक प्रतिरोधी साबित हुआ, जो शायद ही कभी इस धोखे का शिकार हुआ, लेकिन परीक्षण किए गए अधिकांश सिस्टमों ने महत्वपूर्ण कमजोरी दिखाई।
ये निष्कर्ष बताते हैं कि विजन-लैंग्वेज मॉडलों की वर्तमान पीढ़ी हेरफेर के प्रति अत्यधिक संवेदनशील है, विशेष रूप से जब लक्ष्य किसी छवि की उनकी समझ को बाधित करना हो। तथ्य यह है कि इतनी शक्तिशाली प्रणालियों को उन परिवर्तनों द्वारा गुमराह किया जा सकता है जो मानवीय दृष्टि के लिए बहुत छोटे हैं, यह उनकी विश्वसनीयता पर गंभीर प्रश्न खड़े करता है। यदि कोई सेल्फ-ड्राइविंग कार या मेडिकल इमेजिंग सिस्टम ऐसे मॉडल पर निर्भर है जिसे आसानी से वाहन या स्थिति को गलत पहचानने के लिए ठगा जा सकता है, तो इसके परिणाम गंभीर हो सकते हैं। अध्ययन यह दावा नहीं करता है कि उसने इन प्रणालियों की सुरक्षा की समस्या को हल कर दिया है, लेकिन इसने खतरे के क्षेत्र का स्पष्ट मानचित्रण किया है। यह दिखाकर कि सबसे कमजोर कड़ी अक्सर प्रारंभिक दृश्य प्रसंस्करण चरण (initial visual processing stage) है, शोधकर्ताओं ने भविष्य के बचाव के लिए एक स्पष्ट लक्ष्य प्रदान किया है। यह कार्य इस बात को रेखांकित करता है कि जैसे-जैसे ये मॉडल महत्वपूर्ण बुनियादी ढांचे में अधिक एकीकृत होते जा रहे हैं, यह सुनिश्चित करना कि वे ऐसे सूक्ष्म, अदृश्य हमलों का सामना कर सकें, केवल एक तकनीकी चुनौती नहीं है, बल्कि सुरक्षा के लिए एक मौलिक आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।