🤖 AI

Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models

यह शोध पत्र यह प्रदर्शित करके क्लाउड-एज लार्ज विजन-लैंग्वेज मॉडल (LVLM) इन्फरेंस में एक गंभीर भेद्यता को उजागर करता है कि एक ब्लैक-बॉक्स एडवर्सरी केवल 10% प्रसारित विजन टोकन को मैनिपुलेट करके विभिन्न अत्याधुनिक मॉडलों में सटीकता को 88.31% तक कम कर सकती है।

मूल लेखक: Zikai Zhang, Rui Hu, Olivera Kotevska, Jiahao Xu

प्रकाशित 2026-07-07

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Zikai Zhang, Rui Hu, Olivera Kotevska, Jiahao Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट असिस्टेंट (एक लार्ज विजन-लैंग्वेज मॉडल) है, जो "क्लाउड" में स्थित एक विशाल, शक्तिशाली डेटा सेंटर में रहता है। हालाँकि, आप एक छोटे, बैटरी से चलने वाले डिवाइस जैसे कि स्मार्टफोन या स्मार्ट कैमरा पर "एज" (Edge) पर हैं।

रोबोट को आपकी ली गई तस्वीर के बारे में सवालों के जवाब देने के लिए, आप पूरी भारी तस्वीर क्लाउड पर नहीं भेजते हैं। इसके बजाय, आपका फोन एक त्वरित, हल्का स्कैन करता है और तस्वीर को डिजिटल "नोट्स" के एक सेट में बदल देता है जिसे विजन टोकन्स (Vision Tokens) कहा जाता है। फिर यह इन नोट्स को इंटरनेट के माध्यम से क्लाउड पर भेज देता है, जहाँ बड़ा दिमाग काम पूरा करता है और जवाब वापस भेज देता है।

नया कमजोर बिंदु: संदेशवाहक (The Messenger)

यह शोध पत्र तर्क देता है कि आपके फोन और क्लाउड के बीच यह "हैंड-ऑफ" (काम का हस्तांतरण) एक नया, खतरनाक कमजोर बिंदु बनाता है। इंटरनेट कनेक्शन को आपके और रोबोट के बीच दौड़ने वाले एक संदेशवाहक के रूप में सोचें।

शोधकर्ताओं ने पाया कि इस रास्ते के बीच में खड़ा एक हैकर (एक एडवर्सरी) उन डिजिटल नोट्स को बीच में ही रोक सकता है। उन्हें रोबोट के दिमाग को तोड़ने या आपके फोन को हैक करने की आवश्यकता नहीं है; उन्हें बस उन नोट्स को ले जाते समय उनमें थोड़ा सा बदलाव (tweak) करने की आवश्यकता है।

हमला: "विजन टोकन मैनिपुलेशन" (Vision Token Manipulation)

शोधकर्ता इस हमले को VTM-अटैक (विजन टोकन मैनिपुलेशन अटैक) कहते हैं। उन्होंने यह परीक्षण करने के लिए चार अलग-अलग तरीके आजमाए कि एक हैकर इन नोट्स के साथ कैसे छेड़छाड़ कर सकता है, भले ही वे उनमें से बहुत कम हिस्से (सिर्फ 10%) को ही क्यों न बदल दे:

द शफल (परम्यूटेशन - The Shuffle): कल्पना करें कि नोट्स एक ताश की गड्डी हैं जो एक तस्वीर का वर्णन करती है। हैकर कुछ कार्डों का क्रम बदल देता है। रोबोट अभी भी उन्हीं कार्डों को देखता है, लेकिन जो कहानी वे बताते हैं वह अब उलझी हुई और भ्रमित करने वाली हो जाती है।
द इरेज़र (मास्किंग - The Eraser): हैकर कुछ नोट्स को लेता है और उन्हें खाली कागज (शून्य) में बदल देता है। यह एक ऐसी फोटो को देखने जैसा है जहाँ पहेली के कुछ महत्वपूर्ण टुकड़े अचानक गायब हो गए हों।
द स्टैटिक (गौसियन परटर्बेशन - The Static): हैकर नोट्स में थोड़ा सा "स्टैटिक" या शोर (noise) जोड़ देता है, जिससे वे थोड़े धुंधले या विकृत हो जाते हैं, जैसे रेडियो सिग्नल में हस्तक्षेप होता है।
द फ्लिप (साइन फ्लिप - The Flip): यह सबसे विनाशकारी था। कल्पना करें कि एक नोट कहता है "लाल"। हैकर इसे "लाल नहीं" या रोबोट के दिमाग में बिल्कुल विपरीत दिशा में बदल देता है। यह एक नक्शा लेकर उत्तर के तीर को दक्षिण की ओर घुमाने जैसा है। रोबोट पूरी तरह से दिशा भटक जाता है।

परिणाम: ताश का घर (A House of Cards)

टीम ने आज उपलब्ध छह सबसे स्मार्ट विजन रोबोट्स (छोटे से लेकर विशाल मॉडल्स तक) पर इसका परीक्षण किया। परिणाम चौंकाने वाले थे:

मामूली बदलाव, बड़ा संकट: नोट्स में केवल 10% बदलाव करके, वे रोबोट की बुद्धिमत्ता को क्रैश कर सकते थे।
"फ्लिप" घातक था: कुछ मामलों में, "साइन फ्लिप" हमले ने रोबोट की सटीकता को लगभग 88% से घटाकर लगभग 0% कर दिया। यह ऐसा है जैसे किसी बुद्धिमान व्यक्ति ने कान में एक सूक्ष्म फुसफुसाहट सुनने के बाद अचानक पढ़ना या देखना भूल गया हो।
सभी रोबोट समान नहीं हैं: कुछ रोबोट मॉडल (जैसे Qwen परिवार) इन हमलों के तहत तुरंत ढह गए। अन्य (जैसे InternVL परिवार) थोड़े सख्त थे, लेकिन फिर भी असुरक्षित थे।

"स्मार्ट" हैक

शोधकर्ताओं ने यह तरीका भी खोजा जिससे हमला और भी बुरा हो सके। नोट्स के साथ रैंडम तरीके से छेड़छाड़ करने के बजाय, उन्होंने एक गणितीय पद्धति का उपयोग करके सबसे महत्वपूर्ण नोट्स (जिन पर रोबोट सबसे अधिक निर्भर करता है) को खोजने और विशेष रूप से उन्हें निशाना बनाने का तरीका अपनाया। इसने रोबोट को और भी तेज़ी से विफल कर दिया।

निष्कर्ष

यह शोध पत्र निष्कर्ष निकालता है कि जबकि आपके फोन और क्लाउड के बीच काम को विभाजित करना कुशल है, यह डेटा के साथ छेड़छाड़ करके सिस्टम को नुकसान पहुँचाने के लिए एक दरवाजा खोलता है। एज से क्लाउड तक भेजे जाने वाले "नोट्स" के साथ की गई थोड़ी सी, लक्षित छेड़छाड़ भी सबसे उन्नत AI विजन सिस्टम को पूरी तरह से विफल करने के लिए पर्याप्त है।

तकनीकी सारांश: लार्ज विजन-लैंग्वेज मॉडल्स के क्लाउड-एज इन्फरेंस पर विजन टोकन मैनिपुलेशन अटैक

समस्या विवरण
यह शोध पत्र क्लाउड-एज लार्ज विजन-लैंग्वेज मॉडल (LVLM) इन्फरेंस सिस्टम में एक महत्वपूर्ण सुरक्षा भेद्यता (vulnerability) को संबोधित करता है। इस आर्किटेक्चर में, संसाधन-सीमित एज डिवाइस हल्के विजुअल एनकोडिंग का कार्य करते हैं और क्लाउड सर्वर को मध्यवर्ती विजन टोकन्स (vision tokens) प्रसारित करते हैं, जहाँ कंप्यूटेशनल रूप से गहन टेक्स्ट एनकोडर और लार्ज लैंग्वेज मॉडल (LLM) बैकबोन स्थित होते हैं। लेखक एज और क्लाउड के बीच के संचार लिंक को एक नए, अनछुए हमले के सतह (attack surface) के रूप में पहचानते हैं। पारंपरिक हमलों (जैसे कि एडवर्सरियल परटर्बेशन्स जो कच्चे विजुअल इनपुट को लक्षित करते हैं) या टेक्स्ट प्रॉम्प्ट्स के विपरीत, यह कार्य विजन टोकन मैनिपुलेशन (VTM) अटैक्स पर केंद्रित है। मुख्य समस्या यह है कि एक ब्लैक-बॉक्स मैन-इन-द-मिडल (MitM) सेटिंग में काम करने वाला हमलावर, इन प्रसारित विजन टोकन्स के एक हिस्से को बाधित और हेरफेर (manipulate) कर सकता है। चूंकि विजन टोकन्स सघन, उच्च-आयामी प्रतिनिधित्व (high-dimensional representations) हैं जो सिमेंटिक सामग्री को एनकोड करते हैं, इसलिए विजन टोकन्स का हेरफेर स्थानिक संबंधों (spatial relationships) और सिमेंटिक संकेतों की समझ को बाधित कर सकता है, जिससे मॉडल के वेट्स या कच्चे इमेज डेटा तक पहुँच प्राप्त किए बिना भी महत्वपूर्ण इन्फरेंस विफलताएँ हो सकती हैं।

कार्यप्रणाली (Methodology)
लेखक एक प्रतिबंधित ब्लैक-बॉक्स सेटिंग के तहत VTM-अटैक के एक परिवार का प्रस्ताव करते हैं, जहाँ हमलावर के पास एज या क्लाउड दोनों पर मॉडल पैरामीटर्स तक कोई पहुँच नहीं होती है। यह हमला दो प्राथमिक बाधाओं के अधीन है:

विमीय निरंतरता (Dimensional Consistency): हेरफेर किए गए टोकन्स को तत्काल पहचान या पाइपलाइन विफलता से बचने के लिए मूल आकार ( $L_v \times d$ ) बनाए रखना चाहिए।
मैनिपुलेशन बजट (Manipulation Budget): स्टील्थ (stealth) बनाए रखने के लिए हमलावर केवल चुनिले टोकन्स ( $I$ ) को संशोधित कर सकता है, जिसे टोकन मैनिपुलेशन रेशियो ( $\rho$ ) द्वारा परिभाषित किया गया है।

कार्यप्रणाली को दो घटकों में विभाजित किया गया है:

नाइव अटैक रणनीतियाँ (Naïve Attack Strategies): लेखक यादृच्छिक रूप से चुने गए टोकन्स पर लागू होने वाली चार बेसलाइन मैनिपुलेशन रणनीतियों को डिजाइन करते हैं:
- परम्यूटेशन (संरचना-आधारित): चुने गए टोकन्स के पोजीशनल अरेंजमेंट को उनके मूल्यों को सुरक्षित रखते हुए शफल करता है, जिससे संरचनात्मक निरंतरता बाधित होती है।
- मास्किंग (वैल्यू-आधारित): चुने गए टोकन्स को शून्य (zero) कर देता है, जिससे सूचनात्मक सामग्री हट जाती है।
- गौसियन परटर्बेशन (वैल्यू-आधारित): चुने गए टोकन्स में उनके परिमाण (magnitude) और दिशा को स्टोकेस्टिक रूप से बदलने के लिए नॉर्म-स्केल्ड नॉइज़ इंजेक्ट करता है।
- साइन फ्लिप (वैल्यू-आधारित): एम्बेडिंग स्पेस में चुने गए टोकन्स की दिशा को उलट देता ( $\hat{v}_i = -v_i$ ) जबकि उनके नॉर्म को सुरक्षित रखता है। यह प्रतिनिधित्व स्थान (representation space) में एक बड़ा विस्थापन पैदा करता है।
ऑप्टिमाइजेशन-आधारित टोकन चयन: यह पहचानते हुए कि रैंडम चयन उप-इष्टतम (suboptimal) है, लेखक सबसे प्रभावशाली विजन टोकन्स की पहचान करने के लिए एक ऑप्टिमाइजेशन रणनीति प्रस्तावित करते हैं। चूंकि ब्लैक-बॉक्स सेटिंग में आउटपुट डिस्ट्रीब्यूशन प्रभाव का सीधा मापन कठिन है, वे सेल्फ-अटेंशन डिसरप्शन (Self-Attention Disruption) को एक प्रॉक्सी के रूप में उपयोग करते हैं। वे मूल और हेरफेर किए गए टोकन्स के सेल्फ-अटेंशन आउटपुट्स के बीच विसंगति को अधिकतम करने के लिए एक ऑब्जेक्टिव को फॉर्म्युलेट करते हैं ( $L_{SA}$ )। हाई-नॉर्म टोकन्स की ओर चयन पूर्वाग्रह (selection bias) को रोकने के लिए, जो डाउनस्ट्रीम लेयर्स द्वारा नॉर्मलाइज़ किए जा सकते हैं, वे एक नॉर्म-अवेयर रेगुलराइजेशन टर्म ( $L_{norm}$ ) पेश करते हैं। अंतिम ऑब्जेक्टिव $L_{SA} - \lambda L_{norm}$ को मैक्सिमाइज करने के लिए प्रोजेक्टेड ग्रेडिएंट एसेंट का उपयोग करता है ताकि उन अनुकूलतम टोकन्स के सेट को निर्धारित किया जा सके जिन्हें मैनिपुलेट किया जाना है, जिन्हें फिर साइन फ्लिप रणनीति के साथ हमला किया जाता है।

मुख्य योगदान

एक नई हमले की सतह की पहचान: पेपर क्लाउड-एज विजन टोकन ट्रांसमिशन इंटरफेस को LVLMs के लिए एक व्यावहारिक और असुरक्षित हमले की सतह के रूप में औपचारिक रूप से परिभाषित करता है।
VTM-अटैक फ्रेमवर्क: यह संरचना-आधारित (परम्यूटेशन) और वैल्यू-आधारित (मास्किंग, गौसियन, साइन फ्लिप) मैनिपुलेशन रणनीतियों सहित टोकन-स्तरीय हमलों के एक व्यापक परिवार को पेश करता है।
ऑप्टिमाइजेशन रणनीति: यह सेल्फ-अटेंशन डिसरप्शन और नॉर्म-अवेयर रेगुलराइजेशन का लाभ उठाकर सीमित बजट के तहत हमले की प्रभावशीलता को महत्वपूर्ण रूप से बढ़ाने के लिए एक नवीन ऑप्टिमाइजेशन-आधारित टोकन चयन विधि का प्रस्ताव करता है।
अनुभवजन्य मूल्यांकन (Empirical Evaluation): अध्ययन छह अत्याधुनिक LVLMs (3B से 72B पैरामीटर्स तक) और चार विविध बेंचमार्क (OCRBench, MMBench, HallusionBench, MathVista) पर व्यापक मूल्यांकन प्रदान करता है।

प्रायोगिक परिणाम
प्रयोगों से पता चलता है कि क्लाउड-एज LVLM इन्फरेंस VTM-अटैक के प्रति अत्यधिक संवेदनशील है, यहाँ तक कि कम मैनिपुलेशन बजट ( $\rho = 0.1$ , या 10% टोकन्स) के साथ भी:

प्रभाव की गंभीरता: केवल 10% टोकन्स को मैनिपुलेट करने से सटीकता में 88.31% तक की कमी आ सकती है। उदाहरण के लिए, MMBench बेंचमार्क पर, साइन फ्लिप अटैक ने Qwen2.5-VL-72B-Instruct की सटीकता को 88.39% से घटाकर 0.23% कर दिया।
साइन फ्लिप की प्रभावशीलता: नाइव रणनीतियों में, साइन फ्लिप ने लगातार सबसे विनाशकारी गिरावट (catastrophic degradation) दिखाई, जिसने अक्सर MMBench और HallusionBench पर मॉडल के प्रदर्शन को शून्य के करीब पहुँचा दिया। यह सुझाव देता है कि टोकन्स के सिमेंटिक ओरिएंटेशन को उलटना, उन्हें शफल करने या मास्क करने की तुलना में अधिक विनाशकारी है।
मॉडल रोबस्टनेस भिन्नता: मॉडल परिवारों के बीच रोबस्टनेस में एक महत्वपूर्ण अंतर देखा गया। Qwen2.5-VL मॉडल्स ने विभिन्न हमलों के तहत विनाशकारी गिरावट प्रदर्शित की, जबकि InternVL3.5 मॉडल्स ने काफी अधिक रोबस्टनेस दिखाई। इसके अलावा, स्केलिंग लॉ (scaling laws) असंगत थे; बड़े InternVL मॉडल्स आम तौर पर अधिक रोबस्ट थे, लेकिन यह रुझान Qwen मॉडल्स के लिए लगातार लागू नहीं हुआ।
ऑप्टिमाइजेशन गेन: ऑप्टिमाइजेशन-आधारित टोकन चयन रणनीति ने रैंडम चयन की तुलना में हमले की प्रभावशीलता को और अधिक बढ़ा दिया। उदाहरण के लिए, HallusionBench पर, ऑप्टिमाइजेशन रणनीति ने रैंडम चयन की तुलना में InternVL3.5-4B और InternVL3.5-38B पर क्रमशः 5.79% और 21.09% की सफलता दर में सुधार किया।

महत्व
पेपर का दावा है कि ये परिणाम क्लाउड-एज वातावरण में LVLMs के परिनियोजन (deployment) में एक महत्वपूर्ण भेद्यता को प्रकट करते हैं। निष्कर्ष संकेत देते हैं कि मध्यवर्ती प्रतिनिधित्व (intermediate representations) को प्रसारित करने वाला संचार लिंक एक उच्च-जोखिम वाला वेक्टर है जिसे मौजूदा सुरक्षा साहित्य में काफी हद तक अनदेखा किया गया है, जो मुख्य रूप से इनपुट-स्पेस हमलों या केवल टेक्स्ट मोडैलिटीज पर ध्यान केंद्रित करता है। यह अध्ययन रेखांकित करता है कि विजन टोकन्स के सीमित और गुप्त मैनिपुलेशन भी विजन-लैंग्वेज इंटरेक्शन को मौलिक रूप से बाधित कर सकते हैं, जिससे पूर्ण इन्फरेंस विफलता हो सकती है। यह वितरित LVLM सिस्टम में इंटरमीडिएट रिप्रेजेंटेशन लेयर के लिए विशेष रूप से डिज़ाइन किए गए सुरक्षित ट्रांसमिशन प्रोटोकॉल और मजबूत रक्षा तंत्र की तत्काल आवश्यकता को उजागर करता है।

नया कमजोर बिंदु: संदेशवाहक (The Messenger)

हमला: "विजन टोकन मैनिपुलेशन" (Vision Token Manipulation)

परिणाम: ताश का घर (A House of Cards)

"स्मार्ट" हैक

निष्कर्ष

इसी तरह के और पेपर