One Perturbation, Two Failure Modes: Probing VLM Safety via Embedding-Guided Typographic Perturbations
यह शोध पत्र प्रकट करता है कि मल्टीमॉडल एम्बेडिंग दूरी (multimodal embedding distance) विजन लैंग्वेज मॉडल्स पर टाइपोग्राफिक प्रॉम्प्ट इंजेक्शन हमलों की सफलता की प्रबल भविष्यवाणी करती है क्योंकि यह टेक्स्ट की पठनीयता और सुरक्षा संरेखण (safety alignment) दोनों को एक साथ प्रभावित करती है, और इस अंतर्दृष्टि का लाभ उठाते हुए एक मॉडल-अज्ञेय रेड टीमिंग टूल विकसित करता है जो सुरक्षा फिल्टरों को बायपास करने के लिए गड़बड़ी (perturbations) को अनुकूलित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट सहायक (एक विजन-लैंग्वेज मॉडल, या VLM) है जो चित्रों को देख सकता है और उनके अंदर लिखे टेक्स्ट को पढ़ सकता है। आप उसे कागज पर निर्देश लिखकर दे सकते हैं और उसकी फोटो खींच सकते हैं। यह एक सुरक्षित दुनिया में इस तरह काम करता है।
लेकिन क्या होगा अगर कोई रोबोट को धोखा देने की कोशिश करे? वे कागज पर एक हानिकारक कमांड लिखते हैं, लेकिन वे टेक्स्ट को अजीब बना देते—शायद बहुत छोटा, धुंधला, या टेढ़ा-मेढ़ा। इसे टाइपोग्राफिक प्रॉम्प्ट इंजेक्शन (Typographic Prompt Injection) कहा जाता है। इसका लक्ष्य एक अव्यवस्थित छवि के भीतर साधारण दिखने वाले टेक्स्ट में छिपे हुए निर्देश के जरिए रोबोट के सुरक्षा फिल्टर को चकमा देना है।
यह शोध पत्र एक सरल प्रश्न पूछता है: क्यों कुछ अव्यवस्थित तस्वीरें रोबोट को बेवकूफ बनाती हैं, जबकि अन्य नहीं? और क्या हम उस ज्ञान का उपयोग यह परीक्षण करने के लिए कर सकते हैं कि रोबोट वास्तव में कितना सुरक्षित है?
यहाँ उनके निष्कर्षों का विवरण दिया गया, जिसमें रोजमर्रा के उदाहरणों का उपयोग किया गया है:
1. "दूरी" का मीटर
शोधकर्ताओं ने एक छिपा हुआ रूलर (पैमाना) खोज निकाला है जो भविष्यवाणी करता है कि क्या कोई चाल काम करेगी। वे इसे एम्बेडिंग डिस्टेंस (Embedding Distance) कहते हैं।
सोचिए कि रोबोट के मस्तिष्क में दो अलग-अलग "भाषाएं" हैं: चित्रों को देखने के लिए और शब्दों को पढ़ने के लिए।
- जब छवि में टेक्स्ट स्पष्ट होता है, तो रोबोट की "चित्र भाषा" और "शब्द भाषा" बिल्कुल एक-दूसरे के पास खड़ी होती हैं, जैसे हाथ पकड़े हुए हों। वे एक-दूसरे को पूरी तरह समझते हैं।
- जब टेक्स्ट धुंधला, छोटा या घुमा हुआ होता है, तो रोबोट भ्रमित हो जाता है। उसकी "चित्र भाषा" और "शब्द भाषा" एक मानसिक स्थान में एक-दूसरे से दूर चली जाती हैं।
शोधकर्ताओं को एक मजबूत नियम मिला: इन दोनों भाषाओं के बीच जितनी अधिक दूरी होगी, रोबोट द्वारा कमांड का पालन करने की संभावना उतनी ही कम होगी।
- उच्च दूरी (दूर-दूर): रोबोट सोचता है, "मैं इसे पढ़ नहीं सकता," या "इसका कोई अर्थ नहीं है," और वह निर्देश को अनदेखा कर देता है।
- कम दूरी (पास-पास): रोबोट सोचता, "आह, मैं देख सकता हूँ कि यह क्या कहता है," और वह निर्देश का पालन करता है—भले ही वह निर्देश खतरनाक हो।
2. रोबोट को तोड़ने के दो तरीके
शोधकर्ताओं ने पाया कि जब उन्होंने रोबोट की "दो भाषाओं" को फिर से एक-दूसरे के करीब लाने के लिए "अव्यवस्थित छवियों" को "ठीक" करने की कोशिश की, तो दो अलग-अलग चीजें हुईं। यह एक खराब रेडियो को ठीक करने जैसा है; कभी-कभी आपको बस वॉल्यूम बढ़ाना होता है, और कभी-कभी आपको रेडियो को अपनी "प्ले न करें" सूची को अनदेखा करने के लिए मनाना पड़ता है।
मोड A: "क्या आप मुझे सुन सकते हैं?" वाला सुधार (पठनीयता/Readability)
कभी-कभी टेक्स्ट इतना धुंधला या छोटा होता है कि रोबोट वास्तव में उसे पढ़ नहीं पाता। यह वैसा ही है जैसे घने कोहरे के माध्यम से किसी साइन बोर्ड को पढ़ने की कोशिश करना।
- सुधार: शोधकर्ताओं ने एक विशेष गणितीय ट्रिक का उपयोग किया ताकि पिक्सेल को थोड़ा सा बदला जा सके जिससे रोबोट की "आंखें" अंततः अक्षरों को पहचान सकें।
- परिणाम: रोबोट अचानक महसूस करता है, "ओह, अब मैं इसे पढ़ सकता हूँ!" और वह कमांड का पालन करता है। यह अक्सर भारी धुंधलेपन (heavy blur) और छोटे फोंट के मामले में हुआ।
मोड B: "ना मत कहो" वाला सुधार (सुरक्षा बाईपास/Safety Bypass)
कभी-कभी रोबंतु टेक्स्ट को बिल्कुल ठीक से पढ़ सकता है, लेकिन वह इसे करने से मना कर देता है क्योंकि उसके सुरक्षा नियम कहते हैं, "नहीं, यह एक बुरा अनुरोध है।"
- सुधार: शोधकर्ताओं ने छवि को थोड़ा बदला। इससे टेक्स्ट अधिक स्पष्ट नहीं हुआ (वह पहले से ही स्पष्ट था), लेकिन इसने रोबोट के मन में छवि के "वाइब" या "आकार" को इतना बदल दिया कि उसका सुरक्षा गार्ड भ्रमित हो गया।
- परिणाम: रोबोट अभी भी उस बुरे अनुरोध को देखता है, लेकिन उसका सुरक्षा फिल्टर भ्रमित हो जाता है और कहता है, "ठीक है, मैं यह कर सकता हूँ।" यह अक्सर घुमाए गए टेक्स्ट (rotated text) के मामले में हुआ।
3. "रेड टीमिंग" टूल
लेखकों ने एक उपकरण बनाया है (एक "रेड टीम" टूल, जो एक पेशेवर हैकर की तरह है जिसे सुरक्षा परीक्षण करने के लिए काम पर रखा जाता है) जो इस "दूरी मीटर" का उपयोग करता है।
अव्यवस्थित छवियों को कैसे ट्रिक किया जाए, इसका अनुमान लगाने के बजाय, यह टूल स्वचालित रूप से छवियों को बदलता है ताकि रोबोट की "चित्र भाषा" और "शब्द भाषा" एक-दूसरे के करीब आ सकें। यह बिना रोबोट के आंतरिक कोड या सुरक्षा नियमों को देखे ऐसा करता है। यह बस इसे कोशिश करता है कि छवि "टेक्स्ट की तरह अधिक दिखे" (stand-in के रूप में कार्य करने वाले अन्य AI मॉडलों के सेट के लिए)।
उन्होंने क्या पाया:
- जब उन्होंने इस टूल को विभिन्न रोबोटों (जैसे GPT-4o, Claude, Mistral, और Qwen) पर चलाया, तो इसने सफलतापूर्वक उन कमांडों को पूरा करवाया जिन्हें वे पहले अस्वीकार कर रहे थे।
- सावधानी: कुछ रोबोटों के लिए, यह टूल टेक्स्ट को पठनीय बनाकर काम करता था। अन्य के लिए, यह सुरक्षा फिल्टर को भ्रमित करके काम करता था। यह इस बात पर निर्भर करता है कि रोबोट का सुरक्षा गार्ड कितना मजबूत है और मूल छवि कितनी अव्यवस्थित थी।
निचोड़ (The Bottom Line)
शोध पत्र निष्कर्ष निकालता है कि सुरक्षा केवल इस बारे में नहीं है कि छवि एक इंसान को कैसी दिखती है। यह इस बारे में है कि छवि को रोबोट के दिमाग के अंदर कैसे दर्शाया जाता है।
यदि आप एक अव्यवस्थित छवि को रोबोट के आंतरिक गणित में टेक्स्ट के "करीब" दिखा सकते हैं, तो आप अक्सर उसे अपने सुरक्षा नियमों को अनदेखा करने के लिए मजबूर कर सकते हैं। इसका मतलब है कि भविष्य की सुरक्षा प्रणालियों को न केवल धुंधली तस्वीरों के खिलाफ, बल्कि इन सूक्ष्म आंतरिक "दूरियों" के खिलाफ भी मजबूत होना चाहिए जो रोबोट की समझ को भ्रमित करती हैं।
सीमाएं: शोधकर्ताओं ने केवल विशिष्ट प्रकार के टेक्स्ट (सफेद पर काला) और विशिष्ट प्रकार के बुरे निर्देशों पर परीक्षण किया है। उन्होंने यह भी नोट किया कि उनके टूल को चलाने में लंबा समय लगता है और इसके लिए शक्तिशाली कंप्यूटरों की आवश्यकता होती है। उन्होंने यह परीक्षण नहीं किया कि क्या यह तरीका हैकर्स को पकड़ने के लिए बनाए गए सुरक्षा उपायों के खिलाफ काम करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।