PASTA: A Patch-Agnostic Twofold-Stealthy Backdoor Attack on Vision Transformers
यह शोध पत्र PASTA को प्रस्तुत करता है, जो विजन ट्रांसफॉर्मर्स पर एक नवीन पैच-अज्ञेय (patch-agnostic) बैकडोर हमला है, जो ट्रिगर रेडिएटिंग इफेक्ट और एक अनुकूली द्वि-स्तरीय अनुकूलन ढांचे का लाभ उठाकर मनमाने ट्रिगर स्थानों पर उच्च हमले की सफलता दर प्राप्त करता है और साथ ही पिक्सेल और अटेंशन दोनों डोमेन में स्टील्थनेस को महत्वपूर्ण रूप से बढ़ाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक (एक विज़न ट्रांसफॉर्मर या ViT) है जो तस्वीरों को देखकर बताता है कि उनमें क्या है। आमतौर पर, यह इसमें बहुत अच्छा होता है। लेकिन, किसी भी स्मार्ट सिस्टम की तरह, इसे एक "बैकडोर" (backdoor) द्वारा चकमा दिया जा सकता है—एक छिपा हुआ गुप्त कोड जो रोबोट को वही करने के लिए मजबूर करता है जो कोई बुरा व्यक्ति चाहता है, जबकि वह बाकी सभी के लिए सामान्य व्यवहार करता रहता है।
यह शोध पत्र इस तरह के रोबोटों को हैक करने के एक नए, चालाकी भरे तरीके के बारे में बताता है जिसे PASTA कहा जाता है। यहाँ इसे सरल उपमाओं (analogies) के साथ समझाया गया है।
1. पुराना तरीका बनाम नई खोज
पुराना तरीका (द "स्पॉटलाइट" ट्रिक):
कल्पना कीजिए कि आपका रोबोट एक फोटो को छोटे-छोटे टाइल्स (जैसे एक मोज़ेक) के ग्रिड में तोड़कर देखता है। पिछले हैकर्स एक विशिष्ट, बदसूरत प्रतीक को एक विशेष टाइल (मान लीजिए, ऊपर-बाएँ कोने) पर पेंट करते थे। उन्होंने रोबोट को प्रशिक्षित किया कि यदि वह उस सटीक स्थान पर वह प्रतीक देखता है, तो वह फोटो को अनदेखा कर देगा और कहेगा, "यह एक बिल्ली है!" (भले ही वह एक कुत्ता हो)।
- दोष: यदि आप उस प्रतीक को केवल एक टाइल दाईं ओर खिसका देते, तो रोबोट उसे नोटिस नहीं करता। यह एक स्पॉटलाइट की तरह था जो केवल तभी काम करता था जब आप एक विशिष्ट स्थान पर खड़े हों। साथ ही, वह बदसूरत प्रतीक इंसानों के लिए देखना आसान था, और रोबोट की आंतरिक "नज़र" (gaze) अजीब तरह से उस स्थान पर टिक जाती थी, जिससे सुरक्षा प्रणालियों को अलर्ट मिल जाता था।
नई खोज (द "रिपल इफेक्ट" - लहर का प्रभाव):
शोधकर्ताओं ने पाया कि ये रोबोट कैसे सोचते हैं, इसके बारे में कुछ अद्भुत है। क्योंकि रोबोट "सेल्फ-अटेंशन" (self-attention) तंत्र का उपयोग करता है (यह देखता है कि सभी टाइल्स एक-दूसरे से कैसे संबंधित हैं), इसलिए एक ट्रिगर केवल एक स्थान पर काम नहीं करता है।
- उपमा: रोबट के दिमाग को एक तालाब की तरह समझें। यदि आप बीच में एक पत्थर (ट्रिगर) गिराते हैं, तो उसकी लहरें (ripples) हर जगह फैल जाती हैं।
- "ट्रिगर रेडिएटिंग इफेक्ट" (TRE): उन्होंने पाया कि यदि आप एक टाइल पर ट्रिगर रखते हैं, तो रोबोट उस पर तब भी प्रतिक्रिया देता है जब आप उस ट्रिगर को एक पड़ोसी टाइल पर ले जाते हैं। ट्रिगर की "लहर" छवि में चारों ओर फैल जाती है।
2. PASTA अटैक: द "घोस्ट ट्रिगर"
शोधकर्ताओं ने एक नया हमला बनाया जिसे PASTA (पैट्च-एग्नोस्टिक टूफोल्ड-स्टील्दी बैकडोर अटैक) कहा जाता है, जो इस 'रिपल इफेक्ट' का लाभ उठाता है।
लक्ष्य:
वे एक ऐसा ट्रिगर बनाना चाहते थे जो:
- कहीं भी काम करे: आप फोटो में किसी भी टाइल पर ट्रिगर रख सकते हैं, और रोबोट अभी भी वही गलत काम करेगा।
- इंसानों के लिए अदृश्य हो: फोटो पूरी तरह से सामान्य दिखनी चाहिए।
- रोबोट की "नज़र" के लिए अदृश्य हो: रोबोट ट्रिगर की ओर अजीब तरह से नहीं घूरेगा; वह फोटो को बिल्कुल वैसे ही देखेगा जैसे वह सामान्य रूप से देखता है।
उन्होंने यह कैसे किया (जादुई रेसिपी):
चरण 1: "मल्टी-लोकेशन" ट्रेनिंग:
रोबोट को यह सिखाने के बजाय कि ट्रिगर केवल ऊपर-बाएँ कोने में काम करता है, उन्होंने इसे एक "रूलेट व्हील" का उपयोग करके प्रशिक्षित किया। प्रत्येक खराब फोटो बनाने के लिए, उन्होंने ट्रिगर को छिपाने के लिए एक अलग स्थान को बेतरतीब ढंग से चुना। उन्होंने यह कई अलग-अलग स्थानों के लिए किया।- उपमा: कल्पना कीजिए कि आप एक कुत्ते को बैठने के लिए सिखा रहे हैं। केवल यह सिखाने के बजाय कि उसे केवल तभी बैठना है जब आप किचन में हों, आप उसे सिखाते हैं कि चाहे आप किचन में हों, लिविंग रूम में हों, या गार्डन में हों, उसे बैठना है। अब, आप कहीं भी हों, कुत्ता बैठ जाता है।
चरण 2: "एडेप्टिव डांस" (बाय-लेवल ऑप्टिमाइजेशन):
यह सबसे कठिन हिस्सा है। ट्रिगर को अदृश्य बनाने से वह कमजोर हो जाता है। ट्रिगर को मजबूत बनाने से वह दिखाई देने लगता है।- समस्या: यदि आप ट्रिगर बदलते हैं, तो रोबोट दुनिया को देखने का अपना तरीका बदल देता है। यदि आप रोबोट को बदलते हैं, तो ट्रिगर काम करना बंद कर सकता है। वे एक लूप में फंस जाते हैं।
- समाधान: शोधकर्ताओं ने एक "डांस" बनाया। उन्होंने ट्रिगर में बहुत छोटे, धीमे बदलाव किए, फिर रोबोट में बहुत छोटे बदलाव किए, और फिर वापस ट्रिगर पर आए। उन्होंने इसे बार-बार किया, जिससे वे धीरे-धीरे एक-दूसरे के साथ "तालमेल" बिठा सके।
- उपमा: कल्पना कीजिए कि दो लोग एक चलती हुई वॉकवे (moving walkway) पर एक साथ चलने की कोशिश कर रहे हैं। यदि एक व्यक्ति बहुत तेज़ चलता है, तो वे लड़खड़ा जाते हैं। लेकिन यदि वे छोटे, धीमे कदम उठाते हैं और दूसरे व्यक्ति की लय के अनुसार लगातार तालमेल बिठाते हैं, तो वे बिना गिरे एक साथ चल सकते हैं। इसने उन्हें एक ऐसा "स्वीट स्पॉट" खोजने में मदद की जहाँ ट्रिगर मजबूत भी है और अदृश्य भी।
3. यह क्यों डरावना (और शानदार) है?
- यह सुरक्षा प्रणालियों को तोड़ देता है: अधिकांश सुरक्षा प्रणालियाँ विशिष्ट स्थानों में ट्रिगर्स की जाँच करती हैं या रोबोट के दिमाग में अजीब "नज़र" (gaze) को देखती हैं। क्योंकि PASTA का ट्रिगर कहीं भी काम करता है और रोबोट की नज़र को नहीं बदलता है, इसलिए ये सुरक्षा गार्ड पूरी तरह से धोखा खा जाते हैं।
- यह अत्यंत गुप्त है: शोधकर्ताओं ने दिखाया कि उनका ट्रिगर नग्न आंखों से देखने में 144 गुना अधिक कठिन है और मशीन निरीक्षण द्वारा पता लगाने में 18 गुना अधिक कठिन है। यह एक भूत की तरह है जो बिना कोई निशान छोड़े दीवारों के आर-पार जा सकता है।
सारांश
PASTA एआई विजन सिस्टम को हैक करने का एक नया तरीका है। AI को धोखा देने के लिए किसी विशिष्ट स्थान पर बड़ा, स्पष्ट संकेत लगाने के बजाय, हैकर्स ने एक ऐसा "रिपल" (लहर) बनाना सीख लिया है जो पूरी छवि में फैलता है। उन्होंने AI को इस लहर के प्रति प्रतिक्रिया करने के लिए प्रशिक्षित किया चाहे वह कहीं भी दिखाई दे, जबकि लहर को इतना सूक्ष्म बनाया कि न तो इंसान और न ही सुरक्षा सॉफ्टवेयर उसे देख सके।
यह एक सुरक्षा गार्ड को एक विशिष्ट छाया से डरने के लिए सिखाने जैसा है, लेकिन फिर यह महसूस करने जैसा है कि यदि आप प्रकाश स्रोत को हिलाते हैं, तो छाया भी हिल जाती है। PASTA गार्ड को उस छाया से डरना सिखाता है चाहे वह कहीं भी पड़े, जबकि वह छाया को इतना धुंधला रखता है कि वह प्रकाश के खेल जैसा लगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।