Reading Between the Pixels: Linking Text-Image Embedding Alignment to Typographic Attack Success on Vision-Language Models
यह शोध पत्र विजन-लैंग्वेज मॉडल्स पर टाइपोग्राफिक प्रॉम्प्ट इंजेक्शन हमलों की जांच करता है, जो यह प्रकट करता है कि हमले की सफलता फॉन्ट आकार और दृश्य क्षरण (विजुअल डिग्रेडेशन) के प्रति अत्यधिक संवेदनशील है, विभिन्न मॉडलों और मोडैलिटीज में महत्वपूर्ण रूप से भिन्न होती है, और टेक्स्ट-इमेज एम्बेडिंग दूरी के साथ दृढ़ता से नकारात्मक रूप से सहसंबंधित है, जिससे यह सिद्ध होता है कि प्रभावी रक्षा उपायों को सार्वभौमिक समाधानों पर भरोसा करने के बजाय विशिष्ट मॉडल आर्किटेक्चर के अनुरूप तैयार किया जाना चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट सहायक (एक विज़न-लैंग्वेज मॉडल, या VLM) है जो टेक्स्ट को पढ़ भी सकता है और चित्रों को देख भी सकता है। आप इस रोबोट को बुरे तत्वों से बचाना चाहते हैं जो इसे हानिकारक चीजें करने के लिए बहलाने की कोशिश करते हैं, जैसे पासवर्ड चुराना या साइबर हमला करना।
आमतौर पर, आप दरवाजे पर एक "बाउंसर" (चौकीदार) रखते हैं जो रोबोट के टेक्स्ट संदेशों की जांच करता है। यदि संदेश कहता है "मैं बैंक कैसे हैक करूँ?", तो बाउंसर उसे रोक देता है।
लेकिन क्या होगा अगर कोई बुरा तत्व वह हानिकारक संदेश एक कागज पर लिख दे, उसकी एक फोटो ले ले, और फिर वह फोटो रोबोट को दिखा दे? रोबोट एक तस्वीर देखता है, टेक्स्ट नहीं, इसलिए टेक्स्ट-बाउंसर इसे मिस कर सकता है। इसे टाइपोग्राफिक प्रॉम्प्ट इंजेक्शन (Typographic Prompt Injection) कहा जाता है।
यह शोध पत्र एक जासूसी रिपोर्ट की तरह है जो यह पता लगाता है कि ये फोटो-ट्रिक्स ठीक कब और क्यों काम करती हैं, और उन्हें होने से पहले कैसे पहचाना जाए।
यहाँ सरल शब्दों में इसका विवरण दिया गया है:
1. "फॉन्ट साइज" का सही तालमेल (The "Font Size" Sweet Spot)
शोधकर्ताओं ने अलग-अलग आकार के टेक्स्ट लिखकर परीक्षण किया, जो नन्हे कणों से लेकर विशाल अक्षरों तक थे।
- सादृश्य (Analogy): कल्पना कीजिए कि आप एक अंधेरे रेस्टोरेंट में मेनू पढ़ने की कोशिश कर रहे हैं।
- बहुत छोटा (6px): यदि टेक्स्ट सूक्ष्म है, तो रोबक की आँखें इसे समझ ही नहीं पाएंगी। यह सड़क के दूसरी ओर से मेनू पढ़ने की कोशिश करने जैसा है। हमला लगभग 100% विफल हो जाता है।
- बिल्कुल सही (10–12px): यह "गोल्डिलॉक्स" ज़ोन है। टेक्स्ट स्पष्ट रूप से पढ़ने के लिए पर्याप्त बड़ा है लेकिन इतना छोटा है कि चित्र के एक सामान्य हिस्से जैसा दिखे। इसी समय हमले सबसे अधिक सफल होते हैं।
- बहुत बड़ा: एक बार जब टेक्स्ट बहुत बड़ा हो जाता है, तो हमला और अधिक सफल नहीं होता; यह बस एक स्तर पर आकर रुक जाता है।
सबक: यदि आप रोबोट को एक निश्चित आकार से छोटी किसी भी चीज़ को अनदेखा करने के लिए मजबूर करते हैं, तो आप इन हमलों के एक बड़े हिस्से को रोक सकते हैं।
2. सभी रोबोट समान रूप से भोले नहीं होते (Not All Robots Are Equally Gullible)
शोधकर्ताओं ने चार अलग-अलग रोबोट मॉडल (GPT-4o, Claude, Mistral, और Qwen) का परीक्षण किया। उन्होंने पाया कि कुछ रोबोट दूसरों की तुलना में बहुत कठिन होते हैं।
- सादृश्य: इन रोबोटों को विभिन्न प्रकार के सुरक्षा गार्डों के रूप में सोचें।
- गार्ड A (GPT-4o) और गार्ड B (Claude): ये गार्ड बहुत संदिग्ध होते हैं। यदि आप उन्हें नोट की एक फोटो दिखाते हैं, तो भी वे संदिग्ध रहते हैं। वास्तव में, वे एक सीधे टेक्स्ट संदेश को सुनने की तुलना में फोटो वाले नोट को सुनने की संभावना कम रखते हैं। उनके लिए, टेक्स्ट को तस्वीर में बदलना वास्तव में हमले को कमजोर कर देता है।
- गार्ड C (Mistral) और गार्ड D (Qwen): ये गार्ड कम सख्त होते हैं। उन्हें इस बात से फर्क नहीं पड़ता कि संदेश टेक्स्ट के रूप में आया है या फोटो के रूप में; वे ट्रिक के शिकार होने के लिए समान रूप से इच्छुक हैं।
सबक: आप हर रोबोट के लिए एक ही सुरक्षा नियम का उपयोग नहीं कर सकते। यदि आप अपने सिस्टम के लिए "भोले" (Gullible) रोबोट चुनते हैं, तो आपको बहुत मजबूत सुरक्षा की आवश्यकता है।
3. "ब्लर" और "स्पिन" टेस्ट (The "Blur" and "Spin" Test)
शोधकर्ताओं ने यह देखने के लिए कि क्या इससे हमला रुक जाएगा, तस्वीरों के साथ छेड़छाड़ करने की कोशिश की। उन्होंने छवियों को घुमाया (rotate), धुंधला (blur) किया, या स्टैटिक नॉइज़ (जैसे पुराने टीवी में होता है) जोड़ा।
- सादृश्य: कल्पना कीजिए कि आप गोल घूमते हुए या धुंधले चश्मे से देखते हुए एक साइन बोर्ड पढ़ने की कोशिश कर रहे हैं।
- भारी ब्लर/नॉइज़: यदि छवि बहुत धुंधली या शोर भरी है, तो रोबोट भ्रमित हो जाता है और टेक्स्ट नहीं पढ़ पाता। हमला विफल हो जाता है।
- रोटेशन (घुमाना): यह एक आश्चर्य था! इमेज को 30 डिग्री घुमाने से "भोले" रोबोटों (Mistral/Qwen) को ज्यादा फर्क नहीं पड़ा, लेकिन इसने "संदिग्ध" रोबोटों (Mistral/GPT-4o) को पूरी तरह से भ्रमित कर दिया (Mistral की सफलता दर 50% गिर गई, जबकि GPT-4o में कोई बदलाव नहीं हुआ)।
सबक: कभी-कभी, इमेज को थोड़ा झुकाना या थोड़ा स्टैटिक जोड़ना हमले को तोड़ सकता है, लेकिन यह पूरी तरह से इस पर निर्भर करता है कि आप कौन सा रोबोट उपयोग कर रहे हैं।
4. जादुई क्रिस्टल बॉल (एम्बेडिंग डिस्टेंस - Embedding Distance)
यह सबसे महत्वपूर्ण खोज है। शोधकर्ताओं ने पाया कि वे रोबोट के देखने से पहले ही अनुमान लगा सकते हैं कि क्या हमला काम करेगा। उन्होंने एक विशेष "गणितीय पैमाने" (जिसे एम्बेडिंग मॉडल कहा जाता है) का उपयोग करके मूल टेक्स्ट और टेक्स्ट की फोटो के बीच की दूरी को मापा।
- सादृश्य: कल्पना कीजिए कि आपके पास एक फिंगरप्रिंट स्कैनर है।
- यदि टेक्स्ट की फोटो मूल टेक्स्ट के बहुत समान दिखती है (दूरी कम है), तो रोबोट के उसे पढ़ने और जाल में फंसने की संभावना बहुत अधिक है।
- यदि फोटो दिखने में बहुत अलग है (दूरी अधिक है)—शायद धुंधली, छोटी या घूमी हुई है—तो रोबोट उसे पढ़ने की संभावना कम है, और हमला विफल हो जाता है।
जादू: उन्होंने एक सटीक नकारात्मक सहसंबंध (negative correlation) पाया। फोटो गणितीय रूप से टेक्स्ट के जितने करीब दिखती है, सफल हमले की संभावना उतनी ही अधिक होती है।
इसका मतलब है कि सुरक्षा टीमें इस "गणितीय पैमाने" को एक सस्ते, तेज़ अलार्म सिस्टम के रूप में उपयोग कर सकती हैं। यदि दूरी बहुत कम है, तो वे इमेज को रोबोट तक पहुँचने से पहले ही ब्लॉक कर सकते हैं।
वास्तविक दुनिया के लिए सारांश
यदि आप वेब ब्राउज़ करने या कैमरों को नियंत्रित करने के लिए AI रोबोट का उपयोग करने वाला सिस्टम बना रहे हैं:
- एक ही तरह के बचाव पर भरोसा न करें। जो एक रोबोट को रोकता है, वह दूसरे को नहीं रोक सकता।
- फॉन्ट साइज पर नज़र रखें। छोटा टेक्स्ट सुरक्षित है; मध्यम आकार का टेक्स्ट खतरनाक है।
- "गणितीय पैमाने" का उपयोग करें। आप यह अनुमान लगा सकते हैं कि क्या कोई इमेज आपके रोबोट को धोखा देने की कोशिश कर रही है, यह मापकर कि वह गणितीय रूप से कितनी "टेक्स्ट जैसी" दिखती है। यदि वह बहुत अधिक टेक्स्ट जैसी दिखती है, तो उसे संदेह की दृष्टि से देखें।
यह पेपर हमें सुरक्षित AI सिस्टम बनाने के उपकरण देता है जो कागज के टुकड़े पर लिखे बुरे संदेश से नहीं डरते।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।