💻 computer science

STRAP-ViT: Segregated Tokens with Randomized -- Transformations for Defense against Adversarial Patches in ViTs

STRAP-ViT विजन ट्रांसफॉर्मर्स के लिए एक गैर-प्रशिक्षण योग्य (non-trainable), प्लग-एंड-प्ले रक्षा तंत्र है जो जेन्सेन-शैनन डाइवर्जेंस (Jensen-Shannon Divergence) के माध्यम से विसंगतिपूर्ण टोकन की सांख्यिकीय पहचान करके और उन पर यादृच्छिक रूपांतरण लागू करके एडवरसैरियल पैच हमलों को कम करता है, जिससे बिना किसी अतिरिक्त प्रशिक्षण लागत के स्वच्छ सटीकता (near-clean accuracy) प्राप्त होती है।

मूल लेखक: Nandish Chattopadhyay, Anadi Goyal, Chandan Karfa, Anupam Chattopadhyay

प्रकाशित 2026-03-17

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nandish Chattopadhyay, Anadi Goyal, Chandan Karfa, Anupam Chattopadhyay

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, हाई-टेक सुरक्षा गार्ड है (एक विज़न ट्रांसफार्मर या ViT) जिसका काम तस्वीरों को देखना और उनमें क्या है, इसकी पहचान करना है। यह गार्ड अविश्वसनीय रूप से शक्तिशाली है; यह केवल एक इंसान की आंख की तरह पिक्सेल को नहीं देखता, बल्कि यह छवि को छोटे-छोटे पहेली के टुकड़ों में तोड़ देता है जिन्हें "टोकन्स" (tokens) कहा जाता है और निर्णय लेने के लिए यह विश्लेषण करता है कि वे सभी एक-दूसरे से कैसे संबंधित हैं।

हालाँकि, एक चतुर धोखेबाज है जिसे एडवर्सरियल पैच (Adversarial Patch) कहा जाता है। इसे एक छोटे, चमकीले रंग के स्टिकर या अजीब पैटर्न वाली टेप की तरह समझें जिसे एक अपराधी स्टॉप साइन या किसी व्यक्ति की शर्ट पर चिपका देता है। एक इंसान के लिए, यह सिर्फ एक छोटा सा स्टिकर है। लेकिन AI गार्ड के लिए, यह स्टिकर एक सम्मोहित करने वाले लाइटहाउस (hypnotic lighthouse) की तरह है। यह इतना ज़ोर से चिल्लाता है कि गार्ड वास्तविक स्टॉप साइन या व्यक्ति को अनदेखा कर देता है और पूरी तरह से स्टिकर पर ध्यान केंद्रित करता है, जिससे वह वस्तु को गलत तरीके से पहचानने लगता है (जैसे, एक स्टॉप साइन को "रेडिएटर" समझ लेना)।

यह पेपर एक नया रक्षा तंत्र पेश करता है जिसे STRAP-ViT कहा जाता है। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

1. समस्या: "शोर वाला" स्टिकर

लेखकों ने महसूस किया कि दुर्भावनापूर्ण स्टिकर को ढकने वाले पहेली के टुकड़े (टोकन्स) सामान्य टुकड़ों से अलग व्यवहार करते हैं।

सामान्य टोकन शांत होते हैं और छवि के सामान्य पैटर्न का पालन करते हैं।
स्टिकर टोकन्स अराजक, शोर भरे और सांख्यिकीय रूप से "अजीब" होते हैं। उनका "वाइब" या ऊर्जा वितरण अलग होता है।

2. समाधान: STRAP-ViT (एक स्मार्ट फ़िल्टर)

STRAP-ViT AI के मस्तिष्क के दरवाजे पर खड़े एक बाउंसर की तरह है। इसे फिर से प्रशिक्षित (retrain) करने की आवश्यकता नहीं है; यह बस प्लग-इन होता है और काम करना शुरू कर देता है। यह दो चरणों में कार्य करता है:

चरण A: जासूस (पहचान/Detection)

बाउंसर जेन्सन-शैनन डायवर्जेंस (Jensen-Shannon Divergence) नामक एक गणितीय उपकरण का उपयोग करता है (इसे "अजीब होने का मीटर" या "Weirdness Meter" मान लें)।

यह छवि के हर एक पहेली के टुकड़े की तुलना इस बात से करता है कि एक "सामान्य" टुकड़ा कैसा दिखना चाहिए।
यदि कोई टुकड़ा बहुत अधिक "अजीब" (उच्च विचलन) है, तो बाउंसर उसे चिह्नित कर देता है।
नियम: बाउंसर को हर अजीब टुकड़े को पकड़ने की ज़रूरत नहीं है। उसे केवल इतना पकड़ने की आवश्यकता है जो स्टिकर के 50% हिस्से को कवर कर सके। यह ऐसा है जैसे यह समझना कि यदि आप एक सम्मोहित करने वाले लाइटहाउस के आधे हिस्से को कंबल से ढक देते हैं, तो उसकी रोशनी गार्ड को अंधा करने के लिए पर्याप्त नहीं रह जाती।

चरण B: जादुई वाइपर (न्यूनीकरण/Mitigation)

एक बार जब बाउंसर संदिग्ध टोकन (वे टोकन जो स्टिकर के नीचे हैं) की पहचान कर लेता है, तो वह उन्हें केवल हटाता नहीं है (क्योंकि इससे तस्वीर में छेद हो जाएगा)। इसके बजाय, वह उन पर एक रैंडमाइज्ड "जादुई वाइपर" (magic wiper) लागू करता है।

कल्पना कीजिए कि टोकन चिपचिपे, भ्रमित करने वाले गोंद (एडवर्सरियल नॉइज़) से ढके हुए हैं।
सिस्टम उस गोंद को साफ करने के लिए रैंडम तरीके से एक तरीका चुनता है: शायद वह टोकन को खींचता है, उसे सिकोड़ता है, या उसके रंग के तापमान को बदल देता है।
रैंडम क्यों? यदि धोखेबाज एक ऐसा स्टिकर बनाने की कोशिश करता है जो एक प्रकार की सफाई (scrubbing) से बच जाए, तो सिस्टम अगली बार एक अलग रैंडम सफाई का तरीका चुन लेता है। हमलावर यह अनुमान नहीं लगा सकता कि कौन सी रैंडम चाल चलेगी, इसलिए स्टिकर की शक्ति निष्प्रभावी हो जाती है।

3. परिणाम: एक सुरक्षित छवि

संदिग्ध टोकन को साफ करने के बाद, AI गार्ड छवि को फिर से देखता है।

"सम्मोहित करने वाला लाइटहाउस" अब धुंधला और टूटा हुआ है।
गार्ड अंततः वास्तविक वस्तु (स्टॉप साइन या बंदर) को देख पाता है और उसे सही ढंग से वर्गीकृत करता है।
महत्वपूर्ण रूप से, क्योंकि यह सिस्टम केवल "अजीब" टोकन को छूता है और छवि के बाकी हिस्सों को वैसे ही छोड़ देता है, सामान्य, साफ तस्वीरों पर AI का प्रदर्शन लगभग नहीं बदलता है। यह एक कार पर खरोंच को ठीक करने जैसा है बिना पूरी कार को दोबारा पेंट किए।

यह क्यों मायने रखता है

कोई भारी काम नहीं: अन्य रक्षा प्रणालियों के विपरीत जिनमें AI को फिर से प्रशिक्षित करने की आवश्यकता होती है (जिसमें लाखों डॉलर खर्च होते हैं और वर्षों लग जाते हैं), STRAP-ViT एक "प्लग-एंड-प्ले" टूल है। आप इसे मौजूदा सिस्टम में बस जोड़ सकते हैं।
सार्वभौमिक (Universal): यह विभिन्न प्रकार के AI गार्डों और विभिन्न प्रकार के स्टिकर पर काम करता है, चाहे स्टिकर बड़ा हो या छोटा, या एक ही छवि में कई स्टिकर हों।
कुशल (Efficient): यह इतना तेज़ और हल्का है कि यह AI की गति को धीमा नहीं करता है, जिससे यह सेल्फ-ड्राइविंग कारों या सुरक्षा कैमरों जैसे वास्तविक दुनिया के उपयोग के लिए उपयुक्त बनता है।

संक्षेप में: STRAP-ViT एक स्मार्ट, हल्का फ़िल्टर है जो दुर्भावनापूर्ण स्टिकर के "शोर वाले" शोर को पहचानता है, उस शोर को रैंडम तरीके से तब तक बिखेर देता है जब तक कि वह हानिरहित न हो जाए, और AI को फिर से सच्चाई देखने देता है—और यह सब बिना किसी बड़े सॉफ़्टवेयर अपडेट के।

यहाँ "STRAP-ViT: विट्स (ViTs) में एडवरसैरियल पैच के विरुद्ध रक्षा के लिए रैंडमाइज्ड ट्रांसफॉर्मेशन के साथ सेग्रिगेटेड टोकन्स (Segregated Tokens with Randomized Transformations for Defense against Adversarial Patches in ViTs)" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न ट्रांसफॉर्मर्स (ViTs) एआई (AI) के केंद्र में तेजी से महत्वपूर्ण होते जा रहे हैं, लेकिन वे एडवरसैरियल पैच (adversarial patches) के प्रति अत्यधिक संवेदनशील बने हुए हैं। पिक्सेल-स्तरीय व्यवधानों (perturbations) के विपरीत, एडवरसैरियल पैच स्थानीयकृत, भौतिक रूप से क्रियान्वित पैटर्न (जैसे कि स्टिकर) होते हैं जो मॉडल के सेल्फ-अटेंशन मैकेनिज्म को हाईजैक कर सकते हैं।

खतरा: एक छोटा, उच्च-कंट्रास्ट वाला पैच लेयर्स में अटेंशन वेट्स (attention weights) पर हावी हो सकता है, जिससे क्लास टोकन (class token) दूषित हो जाता है और आत्मविश्वास के साथ गलत वर्गीकरण (misclassifications) करने के लिए मजबूर करता है, भले ही पैच छवि के एक बहुत छोटे हिस्से को कवर करता हो।
मौजूदा रक्षा प्रणालियों की सीमाएँ:
- सर्टिफिएबल विधियाँ (Certifiable methods): (जैसे स्मूथड विट्स) कम्प्यूटेशनल रूप से महंगी हैं और अक्सर विशेष आर्किटेक्चर की आवश्यकता होती है।
- एम्पिरिकल विधियाँ (Empirical methods): (जैसे एडवरसैरियल ट्रेनिंग) कंप्यूट पर भारी पड़ती हैं और इनमें ट्रांसफरैबिलिटी की कमी होती है।
- पिक्सेल-स्पेस डिफेंस: अक्सर विट्स के विशिष्ट टोकन-स्तरीय तर्क तंत्र (reasoning mechanisms) को संबोधित करने में विफल रहते हैं।
अंतराल (The Gap): एक ऐसे रक्षा तंत्र की आवश्यकता है जो ट्रेनिंग-फ्री (training-free) हो, कम्प्यूटेशनल रूप से कुशल हो, मॉडल-एग्नोस्टिक हो, और कच्चे पिक्सेल स्पेस के बजाय सीधे विट्स के सिमेंटिक फीचर स्पेस (टोकन्स) के भीतर कार्य करे।

2. कार्यप्रणाली: STRAP-ViT (Methodology: STRAP-ViT)

STRAP-ViT एक नॉन-ट्रेनेबल, प्लग-एंड-प्ले डिफेंस ब्लॉक है जिसे ViT इन्फरेंस पाइपलाइन में डाला जाता है। यह दो अलग-अलग चरणों में कार्य करता है: डिटेक्शन (Detection) और मिटिगेशन (Mitigation)।

A. डिटेक्शन चरण: जेन्सेन-शैनन डायवर्जेंस (JSD) के माध्यम से टोकन सेग्रिगेशन

मुख्य अंतर्दृष्टि यह है कि एडवरसैरियल पैच के साथ ओवरलैप होने वाले टोकन, क्लीन (स्वच्छ) टोकन्स की तुलना में विशिष्ट सांख्यिकीय गुणों को प्रदर्शित करते हैं।

सांख्यिकीय आधार: एडवरसैरियल पैच प्रभावित टोकन्स के चैनल डिस्ट्रीब्यूशन में व्यवस्थित बदलाव लाते हैं, जिससे उच्च एंट्रॉपी और "क्लीन" संदर्भ वितरण से सांख्यिकीय विचलन होता है।
मेट्रिक: यह विधि एक टोकन के प्रोबेबिलिटी डिस्ट्रीब्यूशन ( $p_{\ell,t}$ $p_{ℓ, t}$ ) और एक पूर्व-निर्धारित संदर्भ वितरण ( $q_{\ell,t}$ $q_{ℓ, t}$ ) के बीच विसंगति को मापने के लिए जेन्सेन-शैनन डायवर्जेंस (JSD) का उपयोग करती है, जो क्लीन इमेजेस से प्राप्त किया गया है।
- $JSD(p|q) = \frac{1}{2}KL(p||M) + \frac{1}{2}KL(q||M)$ , जहाँ $M$ मिडपॉइंट डिस्ट्रीब्यूशन है।
- एनोमली स्कोर को $s_{\ell,t} = \sqrt{JSD(p_{\ell,t}|q_{\ell,t})}$ के रूप में परिभाषित किया गया है।
चयन: उच्चतम JSD स्कोर वाले टोकन्स को एनोमली (विसंगति) के रूप में चिह्नित किया जाता है। सिस्टम ट्रांसफॉर्मेशन के लिए शीर्ष $K$ टोकन्स का चयन करता है। $K$ का मान यह सुनिश्चित करने के लिए चुना जाता है कि एडवरसैरियल पैच क्षेत्र का कम से कम 50% हिस्सा ट्रांसफॉर्म किए गए टोकन्स द्वारा कवर किया गया हो।

B. मिटिगेशन चरण: रैंडमाइज्ड कंपोजिट ट्रांसफॉर्मेशन्स

एक बार जब एनोमलस टोकन्स की पहचान हो जाती है, तो उन्हें मॉडल को पुन: प्रशिक्षित किए बिना एडवरसैरियल नॉइज़ को बेअसर करने के लिए एक रैंडमाइज्ड कंपोजिट ट्रांसफॉर्मेशन से गुजरना पड़ता है।

रैंडमाइजेशन रणनीति: एक एकल निश्चित ट्रांसफॉर्मेशन लागू करने के बजाय, सिस्टम प्रत्येक टोकन के लिए ट्रांसफॉर्मेशन्स के एक उपसमुच्चय (subset) और उनके क्रम का यादृच्छिक (randomly) चयन करता है। यह हमलावरों को एक स्थिर रक्षा (static defense) के विरुद्ध पैच को ऑप्टिमाइज़ करने से रोकता है (Expectation Over Transformation हमलों के विरुद्ध मजबूत)।
ट्रांसफॉर्मेशन के प्रकार:
1. $L_p$ -Norm प्रोजेक्शन: चरम चैनल ऊर्जा को नियंत्रित करने के लिए टोकन एम्बेडिंग को त्रिज्या $r$ के बॉल पर प्रोजेक्ट करता है।
2. एफाइन कॉन्ट्रैक्शन (Affine Contraction): एक बाउंडेड लीनियर ट्रांसफॉर्मेशन ($Az + b $) लागू करता है जहाँ ऑपरेटर नॉर्म$ <1$ है, जो प्रभावी रूप से फीचर स्पेस को सिकोड़ देता है।
3. सिम्प्लेक्स ट्रांसफॉर्म (टेम्परेचर स्केलिंग): चैनलों को पुन: भारित करने और स्पाइक्स को कम करने के लिए टेम्परेचर पैरामीटर $T$ के साथ एक सॉफ्टमैक्स लागू करता है।
प्रक्रिया: ट्रांसफॉर्म किए गए टोकन्स को अनुक्रम (sequence) में पुन: एकीकृत किया जाता है, और ViT अंतिम भविष्यवाणी उत्पन्न करने के लिए मानक फॉरवर्ड पास के साथ आगे बढ़ता है।

3. मुख्य योगदान (Key Contributions)

नया रक्षा तंत्र: STRAP-ViT पेश करता है, जो एक ट्रेनिंग-फ्री विधि है जो एडवरसैरियल टोकन्स के सांख्यिकीय विचलन का लाभ उठाकर उन्हें डिटेक्ट और सर्जिकल तरीके से न्यूट्रलाइज करती है।
टोकन-स्तरीय संचालन: पिक्सेल-स्पेस डिफेंस के विपरीत, STRAP-ViT सीधे उन सिमेंटिक टोकन रिप्रेजेंटेशन्स पर काम करता है जिनका उपयोग ViT तर्क के लिए करता है, जो इसे ट्रांसफॉर्मर आर्किटेक्चर के लिए स्वाभाविक रूप से उपयुक्त बनाता है।
मॉडल और पैच एग्नोस्टिक: इस पद्धति को बैकबोन मॉडल को पुन: प्रशिक्षित करने की आवश्यकता नहीं है और यह विभिन्न ViT आर्किटेक्चर (जैसे ViT-base-16, DinoV2) और विभिन्न प्रकार के पैच पर काम करती है।
रैंडमाइज्ड मजबूती: रैंडमाइज्ड कंपोजिट ट्रांसफॉर्मेशन्स का उपयोग यह सुनिश्चित करता है कि रक्षा उन एडेप्टिव हमलों के विरुद्ध मजबूत है जो किसी विशिष्ट ट्रांसफॉर्मेशन को बायपास करने का प्रयास करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने ImageNet और CalTech-101 पर ViT-base-16 और DinoV2 बैकबोन का उपयोग करके कई हमलों के विरुद्ध STRAP-ViT का मूल्यांकन किया: Adversarial Patch, LAVAN, GDPA, और RP2 (मल्टीपल पैचेस)।

रोबस्ट एक्यूरेसी (Robust Accuracy):
- STRAP-ViT ने क्लीन बेसलाइन्स के 2–3% रेंज के भीतर रोबस्ट एक्यूरेसी प्राप्त की।
- उदाहरण (ViT-base-16 on ImageNet):
  - Adversarial Patch (40x40): क्लीन बेसलाइन ~80.5% $\rightarrow$ नो डिफेंस ~3.6% $\rightarrow$ STRAP-ViT 78.8%।
  - LAVAN (40x40): नो डिफेंस ~7.4% $\rightarrow$ STRAP-ViT 79.2%।
  - GDPA (40x40): नो डिफेंस ~31.9% $\rightarrow$ STRAP-ViT 77.2%।
क्लीन एक्यूरेसी प्रभाव: क्लीन डेटा पर इस रक्षा प्रणाली का प्रभाव न्यूनतम है। ImageNet पर, क्लीन एक्यूरेसी में गिरावट नगण्य थी (जैसे, -0.4%), जो यह सिद्ध करता है कि यह विधि सौहार्दपूर्ण (benign) इनपुट पर प्रदर्शन को कम नहीं करती है।
मल्टीपल पैचेस: विधि ने RP2 के खिलाफ सफलतापूर्वक रक्षा की, जो वितरित पैच के उपयोग वाला हमला है, जिसमें अधिक टोकन्स को कवर करने के लिए हाइपरपैरामीटर $K$ को एडजस्ट किया गया।
तुलना: STRAP-ViT ने स्टेट-ऑफ-द-आर्ट डिफेंस (जैसे JEDI, ODDR, PatchCleanser, Smoothed ViT) को एक महत्वपूर्ण अंतर से पीछे छोड़ दिया (जैसे, 40x40 पैच के लिए 78.8% बनाम 74.3% ODDR)।

5. महत्व और भविष्य का कार्य (Significance and Future Work)

दक्षता: STRAP-ViT की कम्प्यूटेशनल लागत ViT बैकबोन की तुलना में बहुत कम है, क्योंकि JSD गणना और ट्रांसफॉर्मेशन $O(Nd)$ हैं, जबकि ट्रांसफॉर्मर ब्लॉक्स काफी अधिक जटिल होते हैं। इसके लिए शून्य अतिरिक्त ट्रेनिंग लागत की आवश्यकता होती है।
व्यावहारिकता: एक प्लग-एंड-प्ले मॉड्यूल के रूप में, इसे महंगे फाउंडेशन मॉडल्स को पुन: प्रशिक्षित किए बिना स्वायत्त ड्राइविंग (autonomous driving), निगरानी (surveillance) जैसे सुरक्षा-महत्वपूर्ण सिस्टम में तुरंत तैनात किया जा सकता है।
भविष्य की दिशाएं: लेखक इस टोकन-सेग्रिगेशन दृष्टिकोण को लार्ज विजन लैंग्वेज मॉडल्स (LVLMs) और अन्य टोकन-आधारित आर्किटेक्चर तक विस्तारित करने का सुझाव देते हैं ताकि अगली पीढ़ी के मल्टीमॉडल एआई को सुरक्षित किया जा सके।

निष्कर्षतः, STRAP-ViT विट्स (ViTs) के विरुद्ध भौतिक एडवरसैरियल पैच के गंभीर खतरे के खिलाफ एक अत्यधिक प्रभावी, हल्का और मजबूत समाधान प्रदान करता है, जो सैद्धांतिक सुरक्षा और व्यावहारिक तैनाती के बीच के अंतर को पाटता है।