🤖 machine learning

Structure-Guided Visual Perturbation Neutralization for LVLMs

यह शोध पत्र SIGN का प्रस्ताव करता है, जो एक हल्का और कुशल प्लग-एंड-प्ले रक्षा ढांचा है जो पूर्व संरचनात्मक निष्कर्षण (prior structural extraction) और गतिशील निर्देशित न्यूट्रलाइजेशन (dynamic guided neutralization) का लाभ उठाकर लार्ज विजन लैंग्वेज मॉडल्स में एडवरसैरियल परटर्बेशन्स को निष्प्रभावी करता है, जिससे मॉडल के प्रदर्शन को बनाए रखते हुए न्यूनतम छवि संशोधन और कम्प्यूटेशनल ओवरहेड के साथ उच्च रक्षा सफलता दर प्राप्त होती है।

मूल लेखक: Yuanhe Zhang, Xueting Wang, YanBin Ren, Haoran Gao, Xinhan Zheng, Zhenhong Zhou, Fanyu Meng, Li Sun, Sen Su

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuanhe Zhang, Xueting Wang, YanBin Ren, Haoran Gao, Xinhan Zheng, Zhenhong Zhou, Fanyu Meng, Li Sun, Sen Su

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि लार्ज विजन लैंग्वेज मॉडल्स (LVLMs) अविश्वसनीय रूप से स्मार्ट और बहुमुखी सहायक हैं। वे किसी तस्वीर को देख सकते हैं, उसका वर्णन कर सकते हैं, उस पर आधारित प्रश्न पूछ सकते हैं, या जो वे देखते हैं उसके आधार पर आपको निर्णय लेने में मदद कर सकते हैं। हालाँकि, ठीक वैसे ही जैसे एक इंसान को एक चतुर ऑप्टिकल इल्यूजन (दृष्टि भ्रम) से धोखा दिया जा सकता है, इन AI सहायकों को भी एक तस्वीर में सूक्ष्म, लगभग अदृश्य बदलावों से चकमा दिया जा सकता है।

यह पेपर एक नया रक्षा तरीका पेश करता है जिसे SIGN (स्ट्रक्चर-इंड्यूस्ड गाइडेड न्यूट्रलाइजेशन) कहा जाता है ताकि इन चालों को रोका जा सके। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

समस्या: "अदृश्य स्याही" वाला हमला (The "Invisible Ink" Attack)

कल्पना कीजिए कि एक हमलावर एक कुत्ते की एक साधारण फोटो लेता है और उसमें पिक्सेल के कुछ बहुत छोटे, अदृश्य कण (noise) जोड़ देता है। आपकी आँखों के लिए, कुत्ता बिल्कुल वैसा ही दिखता है जैसा पहले था। लेकिन AI के लिए, वे कण एक गुप्त कमांड की तरह काम करते हैं। अचानक, वह AI:

जेलब्रेक (Jailbreak): सुरक्षा नियमों को अनदेखा कर सकता है और आपको बम बनाने का तरीका बता सकता है।
क्रैश (LLM-DoS): एक ही शब्द को बार-बार दोहराना शुरू कर सकता है जब तक कि उसकी मेमोरी खत्म न हो जाए।
गुमराह (Mislead): एक बिल्ली को देखकर आत्मविश्वास से कह सकता है, "यह एक टोस्टर है।"

मौजूदा रक्षा प्रणालियाँ एक गंदी खिड़की को भारी ब्रश से रगड़कर साफ करने की कोशिश करने जैसी हैं। वे गंदगी (हमले) को तो हटा सकती हैं, लेकिन वे तस्वीर को भी धुंधला (smudge) कर देती हैं या उन्हें करने में बहुत अधिक समय लगता है।

समाधान: SIGN (एक "स्मार्ट स्पॉट-चेक")

लेखक SIGN का प्रस्ताव करते हैं, जो एक भारी स्क्रब के बजाय एक हल्के, सर्जिकल स्पॉट-चेक की तरह है। यह दो मुख्य चरणों में काम करता है:

चरण 1: "घर का ब्लूप्रिंट" सीखना (प्रायर स्ट्रक्चरल एक्सट्रैक्शन)

किसी विशिष्ट चित्र को देखने से पहले, सिस्टम कई रैंडम, हानिरहित तस्वीरों का उपयोग करके AI के "दिमाग" (विज़न एनकोडर) का अध्ययन करता है।

उपमा (Analogy): कल्पना कीजिए कि AI का दिमाग एक घर के लेआउट की तरह है। भले ही आप इसके अंदर अलग-अलग फर्नीचर (अलग-अलग चित्र) रखें, दीवारें और बीम (संरचना) वही रहती हैं।
SIGN क्या करता है: यह मैप करता है कि AI का दिमाग स्वाभाविक रूप से कहाँ सबसे अधिक संवेदनशील है। यह सीखता है, "हे, AI हमेशा चित्र के ऊपरी-बाएँ कोने पर अतिरिक्त ध्यान देता है, चाहे चित्र में वास्तव में क्या हो।" इस मैप को स्ट्रक्चरल प्रायर (Structural Prior) कहा जाता है। यह इस बात को नहीं देख रहा है कि चित्र में क्या है; यह इस बात को देख रहा है कि AI चित्र को कैसे प्रोसेस करता है।

चरण 2: "स्पॉट-चेक" (डायनेमिक गाइडेड न्यूट्रलाइजेशन)

अब, जब कोई संभावित रूप से हमला किया गया चित्र आता है, तो SIGN उस "ब्लूप्रिंट" का उपयोग करके समस्या वाले स्थानों को ढूंढता है।

उपमा: कल्पना कीजिए कि एक सुरक्षा गार्ड जानता है कि गलियारे के कौन से फर्श के बोर्ड सबसे अधिक चरमराते हैं (स्ट्रक्चरल प्रायर)। जब कोई अंदर आता है, तो गार्ड हर एक फर्श के बोर्ड की जाँच नहीं करता। इसके बजाय, वे उन विशिष्ट, संवेदनशील क्षेत्रों में चरमराहट सुनते हैं।
यह कैसे काम करता है:
1. SIGN चित्र को देखता है और पूछता है: "क्या यह पिक्सेल अपने पड़ोसियों की तुलना में अजीब लग रहा है?" (लोकल एनोमली)।
2. यह इसकी तुलना "ब्लूप्रिंट" से करता है: "क्या यह अजीब पिक्सेल उस स्थान पर है जहाँ AI स्वाभाविक रूप से संवेदनशील है?" (स्ट्रक्चरल प्रायर)।
3. यदि उत्तर दोनों के लिए "हाँ" है, तो SIGN उस छोटे से पिक्सेल को संदिग्ध मान लेता है।
4. सुधार (The Fix): पूरे चित्र को मिटाने के बजाय, SIGN केवल उस छोटे संदिग्ध पिक्सेल को बदल देता है। यह उसे आसपास के पिक्सेल के औसत रंग से बदल देता है, जिससे वह स्थान प्रभावी रूप से "ठीक" (heal) हो जाता है।

SIGN क्यों विशेष है?

पेपर का दावा है कि SIGN तीन कारणों से गेम-चेंजर है:

यह आँखों के लिए अदृश्य है: यह एक चित्र के केवल 0.5% पिक्सेल को बदलता है। यह समुद्र तट पर रेत के एक अकेले कण को बदलने जैसा है। चित्र मनुष्यों के लिए बिल्कुल वैसा ही दिखता है, लेकिन "अदृश्य स्याही" वाला हमला खत्म हो जाता है।
यह सुपर फास्ट है: चित्र को प्रोसेस करने में इसे दसवें सेकंड से भी कम समय लगता है। इसे AI को फिर से प्रशिक्षित करने या भारी गणना करने की आवश्यकता नहीं है। यह एक "प्लग-एंड-प्ले" टूल है।
यह AI को खराब नहीं करता: क्योंकि यह बहुत कम बदलाव करता है, AI अभी भी अपने सामान्य काम (जैसे फोटो का वर्णन करना) पूरी तरह से कर सकता है। अन्य विधियाँ अक्सर चित्र को इतना खराब कर देती हैं कि AI भ्रमित हो जाता है या काम करना बंद कर देता है।

परिणाम

शोधकर्ताओं ने SIGN का परीक्षण कई अलग-अलग AI मॉडल्स और चार अलग-अलग प्रकार के हमलों पर किया।

सफलता दर (Success Rate): इसने हमलों को 87% से अधिक बार रोका।
सुरक्षा: इसने AI को हानिकारक उत्तर देने, क्रैश होने या वस्तुओं को गलत पहचानने से रोकने में सफलतापूर्वक मदद की।
दक्षता (Efficiency): इसने यह सब करते हुए चित्र को मूल के लगभग 100% समान रखा।

संक्षेप में

SIGN को AI के लिए एक स्मार्ट बाउंसर के रूप में समझें। क्लब से सबको बाहर निकालने (पूरे चित्र को ब्लॉक करने) या सबको बहुत गहराई से तलाशी लेने (भारी इमेज प्रोसेसिंग) के बजाय, यह क्लब के लेआउट के नक्शे का उपयोग करके ठीक से पहचान लेता है कि शरारती तत्व कहाँ छिपे हैं और उन्हें धीरे से बाहर निकाल देता है, जिससे पार्टी (चित्र) बिल्कुल वैसी ही बनी रहती है जैसी वह थी।

तकनीकी सारांश: LVLMs के लिए स्ट्रक्चर-इंड्यूस्ड गाइडेड न्यूट्रलाइजेशन (SIGN)

1. समस्या विवरण (Problem Statement)

लार्ज विजन लैंग्वेज मॉडल्स (LVLMs) सूक्ष्म दृश्य जानकारी को समझने के लिए इमेज इनपुट का लाभ उठाते हैं, लेकिन यह क्षमता पिक्सेल-स्तर के हमले की सतह (attack surface) भी पेश करती है। इनपुट छवियों में जोड़े गए एडवरसैरियल परटर्बेशन्स (adversarial perturbations) असुरक्षित मॉडल व्यवहार को प्रेरित कर सकते हैं, जिसमें जेलब्रेकिंग (हानिकारक सामग्री उत्पन्न करना), LLM-DoS (दोहरावदार या क्षयकारी जनरेशन को प्रेरित करना), और गलत वर्गीकरण (misclassification) शामिल हैं।

मौजूदा रक्षा रणनीतियाँ LVLM के संदर्भ में महत्वपूर्ण सीमाओं का सामना करती हैं:

पारंपरिक कंप्यूटर विज़न (CV) रक्षाएँ: इमेज डीनॉइजिंग जैसे तरीके अक्सर सिंगल-मोडैलिटी क्लासिफायर के लिए डिज़ाइन किए जाते हैं और वे LVLMs द्वारा आवश्यक क्रॉस-मोडल अलाइनमेंट को ध्यान में रखने में विफल रहते हैं, जिससे प्रदर्शन में गिरावट आती है।
LVLM-विशिष्ट रक्षाएँ: LVLMs के लिए तैयार वर्तमान दृष्टिकोण अक्सर रीजन मास्किंग या डिफ्यूजन-आधारित रिस्टोरेशन पर निर्भर करते हैं। ये विधियाँ अक्सर पर्याप्त इमेज संशोधन की आवश्यकता होती हैं, जो सौहार्दपूर्ण (benign) दृश्य सामग्री को बाधित कर सकती हैं, और काफी कंप्यूटेशनल ओवरहेड पेश करती हैं, जिससे इन्फरेंस दक्षता से समझौता होता है।

एक ऐसा रक्षा ढांचा (defense framework) विकसित करने की महत्वपूर्ण आवश्यकता है जो आर्किटेक्चर-जागरूक हो, हल्का (lightweight) हो, और इनपुट इमेज में न्यूनतम संशोधन के साथ एडवरसैरियल संकेतों को दबाने में सक्षम हो, जबकि सौहार्दपूर्ण कार्य प्रदर्शन को सुरक्षित रखे।

2. कार्यप्रणाली: स्ट्रक्चर-इंड्यूस्ड गाइडेड न्यूट्रलाइजेशन (SIGN)

लेखक SIGN का प्रस्ताव करते हैं, जो एक हल्का, प्लग-एंड-प्ले डिफेंस फ्रेमवर्क है जो मॉडल रिट्रेनिंग के बिना काम करता है। यह दो प्राथमिक चरणों में कार्य करता है: प्रायर स्ट्रक्चरल एक्सट्रैक्शन (Prior Structural Extraction) और डायनेमिक गाइडेड न्यूट्रलाइजेशन (Dynamic Guided Neutralization)।

2.1 प्रायर स्ट्रक्चरल एक्सट्रैक्शन (Prior Structural Extraction)

यह चरण एक "स्ट्रक्चरल प्रायर" (Structural Prior) का अनुमान लगाता है जो LVLM के विजन एनकोडर के अंतर्निहित स्थानिक प्रतिक्रिया प्रोफाइल (spatial response profile) को कैप्चर करता है।

प्रेरणा (Motivation): लेखक देखते हैं कि सौहार्दपूर्ण इनपुट के लिए, विजन एनकोडर नमूनों (samples) के बीच एक स्थिर, स्थिति-निर्भर प्रतिक्रिया पैटर्न प्रदर्शित करता है। हालांकि सिमेंटिक सामग्री बदलती रहती है, एकत्रित एनकोडर प्रतिक्रियाएं एक सुसंगत स्थानिक पूर्वाग्रह (spatial bias) प्रकट करती हैं।
स्ट्रक्चरल एग्रीगेशन (Structural Aggregation): एक अनलेबल इमेज सेट का उपयोग करके, यह विधि सभी लेयर्स और सैंपल्स में पैच टोकन प्रतिक्रियाओं के $L_2$ नॉर्म का गणना करती है। इन स्केलर प्रतिक्रियाओं को एक एक-आयामी स्ट्रक्चरल प्रोफाइल $s$ बनाने के लिए औसत किया जाता है।
प्रायर कंस्ट्रक्शन (Prior Construction): प्रोफाइल को लक्षित LVLM के कैनोनिकल टोकन ऑर्डरिंग के अनुसार पुनर्व्यवस्थित करके एक 2D स्ट्रक्चरल प्रायर मैप ( $S$ ) बनाया जाता है। यह मैप एनकोडर के सिमेंटिक कंटेंट के बजाय उसके अंतर्निहित स्ट्रक्चरल रिस्पॉन्स बायस को दर्शाता है, जो संवेदनशील क्षेत्रों की पहचान करने के लिए एक गाइड के रूप में कार्य करता है।

2.2 डायनेमिक गाइडेड न्यूट्रलाइजेशन (Dynamic Guided Neutralized)

एक हमलावर इमेज (attacked image) के लिए, यह चरण स्ट्रक्चरल प्रायर को परटर्बेशन्स को दबाने के लिए एक इनपुट-एडेप्टिव गाइडेंस मैप में परिवर्तित करता है।

लोकल एनोमली कैरेक्टराइजेशन (Local Anomaly Characterization): स्ट्रक्चरल प्रायर $S$ को बाईलिनियर इंटरपोलेशन के माध्यम से इनपुट इमेज के पिक्सेल स्पेस में मैप किया जाता है ताकि एक पिक्सेल-स्पेस मैप $P(u)$ बनाया जा सके। साथ ही, प्रत्येक पिक्सेल के उसके स्थानीय पड़ोस के मीडियन (median) से विचलन को मापकर एक लोकल एनोमली स्कोर $A(u)$ की गणना की जाती है।
इंटरवेंशन स्कोरिंग (Intervention Scoring): एक संयुक्त इंटरवेंशन स्कोर $q(u)$ की गणना एक वेटेड लीनियर फ्यूजन के रूप में की जाती है: $q(u) = \lambda P(u) + (1-\lambda)A(u)$ । यह एनकोडर के स्ट्रक्चरल बायस को इंस्टेंस-विशिष्ट एनोमली साक्ष्य के साथ एकीकृत करता है।
स्पार्स न्यूट्रलाइजेशन (Sparse Neutralization): पिक्सेल को उनके इंटरवेंशन स्कोर के आधार पर रैंक किया जाता है। दक्षता और स्थानीयता सुनिश्चित करने के लिए, एक नेबरहुड कंस्ट्रेंट लागू किया जाता है: एक पिक्सेल को हस्तक्षेप के लिए तभी चुना जाता है यदि उसके स्थानीय विंडो के भीतर चुने गए पिक्सेलों की संख्या बजट $k_\rho$ से अधिक न हो।
रिस्टोरेशन (Restoration): चयनित पिक्सेल को स्थानीय विंडो के भीतर उनके अनसेलेक्टेड पड़ोसियों के औसत द्वारा प्रतिस्थापित किया जाता है। इसके परिणामस्वरूप एडवरसैरियल परटर्बेशन्स का एक स्पार्स, स्थानीय रूप से सुसंगत न्यूट्रलाइजेशन होता है।

3. मुख्य योगदान (Key Contributions)

स्ट्रक्चरल बायस की खोज: पेपर एक स्थिर स्ट्रक्चरल रिस्पॉन्स बायस का खुलासा करता है जो LVLM विजन एनकोडर्स में मौजूद है और जो काफी हद तक डेटासेट सिमेंटिक्स से स्वतंत्र है। यह बायस एडवरसैरियल डिफेंस के लिए एक मॉडल-लेवल प्रायर प्रदान करता है।
SIGN फ्रेमवर्क: एक हल्का डिफेंस मैकेनिज्म जो इस स्ट्रक्चरल प्रायर का लाभ उठाकर स्पार्स, पिक्सेल-लेवल इंटरवेंशन को निर्देशित करता है। इसके लिए कोई मॉडल फाइन-ट्यूनिंग की आवश्यकता नहीं है और यह एक प्लग-एंड-प्ले मॉड्यूल के रूप में कार्य करता है।
दक्षता और प्रभावकारिता: यह विधि न्यूनतम इमेज मॉडिफिकेशन (0.5% पिक्सेल) और कम लेटेंसी (लगभग 0.16 सेकंड प्रति इमेज) के साथ उच्च डिफेंस सक्सेस रेट प्राप्त करती है, जो भारी रिकंस्ट्रक्शन या बड़े पैमाने पर मास्किंग पर निर्भर मौजूदा बेसलाइनों से बेहतर है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने छह LVLMs (LLaVA, InstructBLIP, और Qwen-VL सहित) और चार प्रतिनिधि अटैक जेनरेटर्स (Visual-Adv, Con-Ins, RECITE, CroPA++) में SIGN का मूल्यांकन किया।

डिफेंस सक्सेस रेट (DSR): SIGN ने विभिन्न अटैक ऑब्जेक्टिव्स (Jailbreak, LLM-DoS, Mislead) में 87% से अधिक की औसत डिफेंस सक्सेस रेट हासिल की।
न्यूनतम संशोधन: डिफेंस के लिए केवल 0.5% इमेज पिक्सेल को संशोधित करने की आवश्यकता थी, जो मास्किंग-आधारित डिफेंस (जैसे AMIA ~18.75%) या फुल-इमेज सप्रेशन विधियों की तुलना में काफी कम है।
दक्षता: डिफेंस कंस्ट्रक्शन टाइम औसतन 0.16 सेकंड प्रति इमेज रहा, जो मॉडल के इन्फरेंस टाइम की तुलना में नगण्य ओवरहेड पेश करता है।
यूटिलिटी प्रिजर्वेशन (Utility Preservation): SIGN ने सौहार्दपूर्ण कार्य प्रदर्शन को बनाए रखा, जिसमें टास्क सक्सेस रेट मूल इनपुट के लगभग समान रहा। ओरिजिनल और डिफेंडेड विजुअल रिप्रेजेंटेशन्स के बीच कोसाइन सिमिलरिटी 0.99 से ऊपर रही, जो यह दर्शाता है कि सौहार्दपूर्ण विजुअल सिमेंटिक्स काफी हद तक संरक्षित रहे।
प्रायर की मजबूती: प्रयोगों ने दिखाया कि स्ट्रक्चरल प्रायर विभिन्न सोर्स डेटासेट्स (जैसे ImageNet, CelebA) में स्थिर है और इसे केवल 10 अनलेबल सैंपल्स से विश्वसनीय रूप से अनुमानित किया जा सकता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि SIGN उन डिफेंसों का एक व्यावहारिक, हल्का विकल्प प्रदान करता है जिनमें महंगी मॉडल ट्रेनिंग या भारी इमेज रिकंस्ट्रक्शन की आवश्यकता होती है। अपने विजन एनकोडर के अंतर्निहित स्ट्रक्चरल गुणों का लाभ उठाकर, SIGN यह प्रदर्शित करता है कि इन्फरेंस क्वालिटी या दक्षता से समझौता किए बिना मजबूत LVLM डिफेंस प्राप्त किया जा सकता है।

लेखक अपने कार्य को इस बात पर प्रकाश डालने के रूप में प्रस्तुत करते हैं कि कुशल एडवरसैरियल प्रोटेक्शन के लिए विजन एनकोडर्स का उपयोग करने की क्षमता है। वे नोट करते हैं कि हालांकि उनका मूल्यांकन प्रतिनिधि हमलों को कवर करता है, लेकिन SIGN की डायनेमिक, इनपुट-एडेप्टिव प्रकृति मौजूदा अटैक रेसिपीज़ के लिए अनुकूलित होना कठिन बनाती है, हालांकि वे स्वीकार करते हैं कि इस विशिष्ट डिफेंस मैकेनिज्म के खिलाफ पूरी तरह से एडेप्टिव हमलों का अध्ययन भविष्य के अनुसंधान का विषय है। कार्य निष्कर्ष निकालता है कि एनकोडर-लेवल स्ट्रक्चरल प्रायर का लाभ उठाना एक मजबूत, हल्के LVLM डिफेंस के लिए एक व्यवहार्य मार्ग है।