🤖 machine learning

Sample-wise Targeted Adversarial Attacks on Test-time Adaptation

यह शोधपत्र टेस्ट-टाइम अडैप्टेशन (TTA) पर एक गुप्त सैंपल-वार लक्षित एडवर्सरियल हमले को प्रस्तुत करता है जो केवल ट्रिगर किए गए इनपुट्स को गलत वर्गीकृत करने के लिए और डिटेक्शन से बचने के लिए वैश्विक लेबल वितरण को सुरक्षित रखने के लिए मेटा-लर्निंग-आधारित प्रायोरिटी-अवेयर ग्रेडिएंट अलाइनमेंट रणनीति का उपयोग करता है।

मूल लेखक: Phuc Duc Nguyen, Quang Duc Nguyen

प्रकाशित 2026-05-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Phuc Duc Nguyen, Quang Duc Nguyen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: "स्वयं-सुधारने वाला" रोबोट और चालाक घुसपैठिया

कल्पना कीजिए कि आपके पास एक बहुत बुद्धिमान रोबोट (एक AI मॉडल) है जो चीजों को पहचानने में माहिर है, जैसे कि बिल्लियाँ, कुत्ते या स्टॉप साइन (Stop Signs)। हालाँकि, दुनिया बदलती रहती है। हो सकता है कि रोबोट को धूप वाले कैलिफोर्निया में प्रशिक्षित किया गया हो, लेकिन अब वह धुंधले लंदन में काम कर रहा है। उसकी दृष्टि धुंधली हो जाती है, और वह गलतियाँ करने लगता है।

इसे ठीक करने के लिए, इंजीनियरों ने रोबोट को एक सुपरपावर दी जिसे टेस्ट-टाइम अडैप्टेशन (TTA) कहा जाता है। यह रोबोट को काम करते समय दिखने वाली नई, धुंधली तस्वीरों को देखने और अपने दिमाग को तुरंत बेहतर बनाने के लिए खुद को ट्यून करने की अनुमति देता है। यह एक ऐसे छात्र की तरह है, जो परीक्षा देते समय महसूस करता है कि धुंधली रोशनी के कारण उसे समझने में कठिनाई हो रही है, और वह तुरंत अपनी दृष्टि सुधारने के लिए चश्मा ठीक कर लेता है।

समस्या: यह "स्वयं-सुधारने" वाली विशेषता एक दोधारी तलवार है। क्योंकि रोबंतु उन तस्वीरों पर भरोसा करता है जिन्हें वह सीखने के लिए देखता है, एक बुरा तत्व (एक हमलावर) रोबोट को गलत सबक सिखाने के लिए कुछ "चालाकी भरी" तस्वीरें खिला सकता है।

हमला करने का पुराना तरीका: "ब्रूट फोर्स" की भीड़

पिछले शोधों ने दिखाया है कि हमलावर रोबोट को बेवकूफ बना सकते हैं। लेकिन पुराने तरीके एक शोर मचाने वाले, अनाड़ी विरोध प्रदर्शन की तरह थे।

यह कैसे काम करता था: यदि हमलावर चाहता था कि रोबोट "स्टॉप साइन" को वास्तव में "गो साइन" (जाने का संकेत) समझे, तो वे रोबोट को हजारों नकली स्टॉप साइनों से भर देते जो गो साइन की तरह दिखते थे।
दोष: रोबोट इतना भ्रमित हो जाता कि उसके द्वारा देखा गया हर स्टॉप साइन अचानक एक गो साइन जैसा दिखने लगता। यह ऐसा है जैसे यदि एक शिक्षक अचानक हर "A" ग्रेड वाले पेपर को "F" ग्रेड देने लगे। स्कूल का प्रिंसिपल (सिस्टम मॉनिटर) तुरंत ध्यान देगा, "हे, कुछ गलत है! सभी ग्रेड बदल गए!" हमला पकड़ा जाता है क्योंकि यह एक बहुत बड़ा, स्पष्ट विसंगति (anomaly) पैदा करता है।

नया तरीका: "साइलेंट असैसिन" (सैंपल-वाइज टार्गेटेड अटैक)

यह शोध पत्र एक बहुत अधिक चालाक, अधिक खतरनाक हमले को पेश करता जिसे सैंपल-वाइज टार्गेटेड अटैक कहा जाता है।

उपमा: "ट्रिगर" पैच
कल्पना कीजिए कि हमलावर विशिष्ट वस्तुओं पर एक छोटा, लगभग अदृश्य स्टिकर (ट्रिगर) लगा देता है।

यदि एक स्टॉप साइन पर स्टिकर है, तो रोबोट उसे "गो साइन" समझने की गलती करेगा।
यदि एक स्टॉप साइन पर स्टिकर नहीं है, तो रोबोट उसे सामान्य रूप से देखता है।
यदि एक कुत्ता स्टिकर के साथ है, तो रोबोट उसे "गो साइन" समझने की गलती करेगा।
यदि एक बिल्ली स्टिकर के साथ है, तो रोबोट उसे "गो साइन" समझने की गलती करेगा।

यह क्यों खतरनाक है?
हमलावर केवल उन्हीं विशिष्ट वस्तुओं को बिगाड़ना चाहता है जिन पर स्टिकर लगा है। उन्हें बाकी चीजों की परवाह नहीं है।

छिपकर वार करना (Stealth): क्योंकि रोबोट अभी भी 99% स्टॉप साइन, कुत्तों और बिल्लियों को सही ढंग से पहचानता है, इसलिए समग्र "ग्रेड वितरण" सामान्य दिखता है। प्रिंसिपल रिपोर्ट देखता है और देखता है कि पहले की तरह ही A, B और C का मिश्रण मौजूद है। हमला अदृश्य है क्योंकि यह पूरे सिस्टम को नहीं तोड़ता; यह केवल उन विशिष्ट वस्तुओं को तोड़ता है जिनकी हमलावर को परवाह है।

तकनीकी चुनौती: "रस्साकशी" (Tug-of-War)

शोधकर्ताओं को एक बड़ी गणितीय समस्या का सामना करना पड़ा। उन्हें रोबोट को सिखाना था कि:

स्टिकर वाली वस्तुओं पर विफल हो (हमले का लक्ष्य)।
बाकी सब कुछ पर सफल रहे ताकि वह सामान्य दिखे (छिपने का लक्ष्य)।

आमतौर पर, ये दोनों लक्ष्य आपस में लड़ते हैं। यदि आप रोबोट को स्टिकर पर विफल होने के लिए धकेलते हैं, तो यह अक्सर गलती से सामान्य वस्तुओं पर भी विफल होने लगता है। यह एक कार को एक पैर से आगे धकेलने और दूसरे पैर से उसे बिल्कुल स्थिर रखने की कोशिश करने जैसा है।

समाधान: "प्रायोरिटी-अवेयर" कोच
लेखकों ने एक नया प्रशिक्षण तरीका (मेटा-लर्निंग) बनाया जिसमें एक विशेष नियम था: "युद्ध जीतो, लेकिन शांति मत भंग करो।"

उन्होंने एक गणितीय उपकरण का उपयोग किया जिसे "एलिप्सॉइडल ट्रस्ट-रीजन" (Ellipsoidal Trust-Region) कहा जाता है।

एक गुब्बारे की कल्पना करें: "हमले का लक्ष्य" गुब्बारे का केंद्र है। "छिपने का लक्ष्य" एक दिशा है जो गुब्बारे को फोड़ सकती है।
रणनीति: शोधकर्ताओं ने रोबोट के सीखने के चरणों को इस तरह डिजाइन किया कि वह "हमले के लक्ष्य" (केंद्र) के बहुत करीब रहे, लेकिन गुब्बारे को इस तरह फैलाए कि यदि उस गति से हमला खराब होता है, तो वह "छिपने के लक्ष्य" की ओर जाने में असमर्थ हो जाए।
परिणाम: रोबोट विशिष्ट ट्रिक (स्टिकर) का मास्टर बनना सीख जाता है बिना अनजाने में अपने सामान्य ज्ञान को बिगाड़े। यह एक जादूगर की तरह है जो एक विशिष्ट ट्रिक इतनी अच्छी तरह सीखता है कि दर्शक धोखा खा जाते हैं, लेकिन बाकी का शो बिल्कुल सामान्य रूप से चलता रहता है।

परिणाम: एक शांत सफलता

शोधकर्ताओं ने विभिन्न प्रकार की "धुंधली" स्थितियों के साथ प्रसिद्ध इमेज डेटासेट्स (जैसे CIFAR और ImageNet) पर इनका परीक्षण किया।

सफलता दर: उनके तरीके ने स्टिकर-कवर्ड वस्तुओं पर रोबोट को लगभग 90% तक सफलतापूर्वक धोखा दिया।
छिपकर वार करना (Stealth): सामान्य वस्तुओं पर रोबोट का व्यवहार हमले से पहले के व्यवहार के लगभग समान रहा। सिस्टम में "शोर" इतना कम था कि किसी इंसान या कंप्यूटर मॉनिटर के लिए यह बताना लगभग असंभव होगा कि कोई हमला हो रहा है।
बचाव (Defenses): उन्होंने अपने ही हमले को तोड़ने के लिए मौजूदा सुरक्षात्मक बचावों (जैसे "अजीब" डेटा को फ़िल्टर करना या रोबोट को स्थिर करने के लिए विशेष गणित का उपयोग करना) का परीक्षण किया। उनका हमला फिर भी काम कर गया, जिससे साबित हुआ कि वर्तमान सुरक्षा कवच इस तरह के "शांत" विध्वंश के लिए तैयार नहीं हैं।

सारांश

यह शोध पत्र प्रकट करता है कि ऑन-द-फ्लाई (चलते समय) सीखने वाले AI सिस्टम एक नए प्रकार के हमले के प्रति संवेदनशील हैं। पूरे सिस्टम को क्रैश करने (जो आसानी से पकड़ा जा सकता है) के बजाय, एक हमलावर एक छोटे से "ट्रिगर" का उपयोग करके विशिष्ट निर्णयों को चुनिले ढंग से बिगाड़ सकता है, जबकि बाकी सिस्टम को पूरी तरह स्वस्थ दिखा सकता है। लेखकों ने इस हमले को कुशलतापूर्वक चलाने के लिए एक नया गणितीय "कोच" बनाया है, जो दर्शाता है कि हमारे वर्तमान सुरक्षा जाल इन शांत, लक्षित धोखों को पकड़ने के लिए पर्याप्त मजबूत नहीं हो सकते हैं।

तकनीकी सारांश: टेस्ट-टाइम अडैप्टेशन पर सैंपल-वाइज टार्गेटेड एडवर्सरियल अटैक्स

समस्या विवरण
टेस्ट-टाइम अडैप्टेशन (TTA) अनलेबल टेस्ट स्ट्रीम्स का उपयोग करके मॉडल पैरामीटर्स को ऑनलाइन अपडेट करके डिस्ट्रीब्यूशन शिफ्ट को प्रभावी ढंग से कम करता है। हालांकि, अनलेबल स्ट्रीम पर इसकी यह निर्भरता एक महत्वपूर्ण अटैक सरफेस (attack surface) बनाती है। TTA के विरुद्ध मौजूदा एडवर्सरियल खतरों का मुख्य ध्यान या तो अनटार्गेटेड डिग्रेडेशन (untargeted degradation) पर होता है या क्लास-वाइज टार्गेटेड अटैक्स (class-wise targeted attacks) पर। क्लास-वाइज हमले, जो सभी नमूनों को एक विशिष्ट सिमेंटिक क्लास (जैसे, सभी "स्टॉप" संकेत) के लिए एक लक्षित लेबल की ओर धकेल देते हैं, स्वाभाविक रूप से कम स्टील्थ (unstealthy) होते हैं। क्योंकि TTA बैचों पर काम करता है, इसलिए नमूनों के एक उपसमुच्चय (subset) को एक लक्षित लेबल की ओर धकेलने से अनजाने में समान बेनिन (benign) नमूनों को भी साथ खींच लिया जाता है, जिसके परिणामस्वरूप आउटपुट डिस्ट्रीब्यूशन में लक्षित लेबल का एक स्पष्ट और अस्वाभाविक संकेंद्रण होता है। तैनाती के परिदृश्यों में जहाँ ग्राउंड-ट्रुथ लेबल उपलब्ध नहीं होते, यह डिस्ट्रीब्यूशनल विसंगति (distributional anomaly) एक आसान डिटेक्शन सिग्नल के रूप में कार्य करती है। यह शोध पत्र तर्क देता है कि एक अधिक यथार्थवादी और खतरनाक थ्रेट मॉडल की आवश्यकता है: एक ऐसा मॉडल जहाँ हमलावर केवल विशिष्ट इनपुट्स को चुनिंदा रूप से गलत वर्गीकृत कर सके जबकि बेनिन क्वेरीज के वैश्विक लेबल डिस्ट्रीब्यूशन को सुरक्षित रख सके।

लेखक एक सैंपल-वाइज टार्गेटेड अटैक फ्रेमवर्क प्रस्तावित करते हैं जो ग्रे-बॉक्स सेटिंग के तहत काम करता है। हमलावर के पास प्रारंभिक प्री-ट्रेन्ड मॉडल आर्किटेक्चर और पैरामीटर्स तक पहुंच होती है, लेकिन सर्वर-साइड TTA एल्गोरिदम, विक्टिम डेटा, या ग्राउंड-ट्रुथ लेबल तक पहुंच नहीं होती है। हमला एक विशिष्ट ट्रिगर (जैसे, एक पैच या साइनुसोइडल पैटर्न) पर निर्भर करता है जिसे विक्टिम इनपुट्स में इंजेक्ट किया जाता है। लक्ष्य केवल उन इनपुट्स को गलत वर्गीकृत करना है जिनमें यह ट्रिगर मौजूद है, जबकि यह सुनिश्चित करना है कि बिना ट्रिगर वाले इनपुट्स एक बेनिन बेसलाइन के अनुरूप प्रेडिक्शन डिस्ट्रीब्यूशन बनाए रखें।

अटैक जनरेशन एक मेटा-लर्निंग-आधारित दृष्टिकोण का उपयोग करता है जो केवल हमलावर-नियंत्रित डेटा का उपयोग करके TTA प्रक्रिया का अनुकरण करता है। अनुकूलन (optimization) में दो प्रतिस्पर्धी उद्देश्य शामिल हैं:

प्राथमिक अटैक ऑब्जेक्टिव ( $L_{cls}$ ): ट्रिगर-युक्त इनपुट्स को लक्षित लेबल में गलत वर्गीकृत करने की सफलता दर को अधिकतम करना।
सेकेंडरी स्टील्थ ऑब्जेक्टिव ( $L_{stl}$ ): उसी बैच में एडवर्सरियल नमूनों की उपस्थिति के कारण मॉडल के आउटपुट डिस्ट्रीब्यूशन में होने वाले विचलन (divergence) को कम करना।

एक महत्वपूर्ण चुनौती जो पहचानी गई है वह इन दोनों उद्देश्यों के बीच गहरा ग्रेडिएंट मिसअलाइनमेंट (gradient misalignment) है; अनुभवजन्य विश्लेषण (empirical analysis) दिखाता है कि उनके ग्रेडिएंट्स लगभग सभी ऑप्टिमाइज़ेशन स्टेप्स में विरोधी (antagonistic) होते हैं (99.9% नेगेटिव कोसाइन सिमिलैरिटी)। मानक मल्टी-टास्क लर्निंग (MTL) विधियाँ, जो सममित पारेटो समझौते (symmetric Pareto compromises) की तलाश करती हैं, यहाँ विफल हो जाती हैं क्योंकि वे मामूली स्टील्थ लाभ के लिए अटैक सक्सेस का त्याग कर देती हैं।

इसे हल करने के लिए, लेखक एक प्रायोरिटी-अवेयर ग्रेडिएंट अलाइनमेंट स्ट्रैटेजी पेश करते हैं जिसे एलिप्सॉइडल ट्रस्ट-रीजन प्रॉब्लम (ellipsoidal trust-region problem) के रूप में तैयार किया गया है।

प्रायोरिटी एसिमेट्री (Priority Asymmetry): अपडेट दिशा को अटैक ग्रेडिएंट ( $a$ ) के करीब रहने के लिए बनाया गया है, जबकि स्टील्थ ग्रेडिएंट ( $c$ ) की ओर होने वाले मूवमेंट को दंडित (penalize) किया जाता है यदि वह $a$ से विचलित होता है।
एलिप्सॉइडल ट्रस्ट रीज़न (Ellipsoidal Trust Region): अपडेट दिशा $d$ को $a$ के केंद्र में एक एलिप्सॉइड के भीतर सीमित किया गया है जिसमें एक मेट्रिक $M = I + \lambda uu^\top$ है, जहाँ $u$ स्टील्थ ग्रेडिएंट की ओर विचलन दिशा का प्रतिनिधित्व करता है। यह ज्यामिति मिसअलाइन्ड स्टील्थ दिशा के साथ अनुमत स्टेप साइज को कम करती है जबकि अटैक दिशा को सुरक्षित रखती है।
सैद्धांतिक गारंटी (Theoretical Guarantee): पेपर एक प्रमेय (theorem) प्रदान करता है जो यह सिद्ध करता है कि यह अलाइन्ड दिशा गंभीर ग्रेडिएंट मिसअलाइनमेंट के तहत भी अटैक ऑब्जेक्टिव पर निरंतर अवरोहण (monotonic descent) सुनिश्चित करती है, जो कि सममित बेसलाइन्स में इस तरह की गारंटी का अभाव है।

मुख्य योगदान

थ्रेट मॉडल का औपचारिककरण: पेपर TTA के लिए एक सैंपल-वाइज टार्गेटेड थ्रेट मॉडल को परिभाषित करता है, जो सिमेंटिक क्लासेस के बजाय ट्रिगर्स के आधार पर सख्त चयनात्मकता (selectivity) को लागू करके इसे पिछले क्लास-वाइज हमलों से अलग करता है।
नवीन अनुकूलन रणनीति: एक मेटा-लर्निंग फ्रेमवर्क का प्रस्ताव जो प्रायोरिटी-अवेयर ग्रेडिएंट अलाइनमेंट द्वारा संवर्धित है, जो प्राथमिक अटैक लक्ष्य का त्याग किए बिना विरोधी अटैक और स्टील्थ उद्देश्यों को स्पष्ट रूप से संभालता है।
सैद्धांतिक विश्लेषण: उन सैद्धांतिक गारंटियों का प्रावधान जो दिखाते हैं कि प्रस्तावित एलिप्सॉइडल अपडेट दिशा प्रभावी ढंग से अटैक ऑब्जेक्टिव के अनुकूलन को सुनिश्चित करती है, भले ही ग्रेडिएंट मिसअलाइन्ड हों।
अनुभवजन्य सत्यापन: उच्च अटैक सक्सेस रेट (ASR) बनाए रखते हुए डिस्ट्रीब्यूशनल स्टील्थ बनाए रखने के लिए व्यापक प्रयोगों द्वारा विधि का प्रदर्शन।

प्रायोगिक परिणाम
विधि का मूल्यांकन पांच TTA प्रोटोकॉल (TENT, RPL, EATA, SAR, DeYO) के तहत CIFAR-10-C, CIFAR-100-C और ImageNet-C पर पैच और SIG ट्रिगर्स का उपयोग करके किया गया।

अटैक सक्सेस रेट (ASR): प्रस्तावित विधि अनुकूलित बेसलाइन्स (RTTDP, FCA) की तुलना में काफी उच्च ASR प्राप्त करती है। CIFAR-10-C पर, TTA विधियों में ASR 89.59% से 95.90% के बीच रहता है, जबकि बेसलाइन्स के लिए यह 25–63% है। ImageNet-C पर, अधिकांश सेटिंग्स के लिए ASR 95% से अधिक है।
स्टील्थ (डिस्ट्रीब्यूशनल कंसिस्टेंसी): क्लास-वाइज हमलों के विपरीत जो बड़े KL डाइवर्जेंस (जैसे, >0.03) और प्रोबेबिलिटी स्पाइक्स उत्पन्न करते हैं, प्रस्तावित विधि लगभग समान लेबल डिस्ट्रीब्यूशन (KL $\approx$ 0.006) बनाए रखती है।
डिफेंस के प्रति मजबूती: हमला मौजूदा डिफेंस के खिलाफ भी प्रभावी रहता है, जिसमें शामिल हैं:
- सैंपल फ़िल्टरिंग: एंट्रॉपी-आधारित फ़िल्टरिंग विफल हो जाती है क्योंकि हमला सफलता सुनिश्चित करने के लिए अनिश्चितता (uncertainty) को कम करता है, जिसके परिणामस्वरूप लो-एंट्रॉपी एडवर्सरियल सैंपल मिलते हैं।
- MedBN: हमला Median Batch Normalization के खिलाफ उच्च ASR (~80%) बनाए रखता है, क्योंकि स्टैंडर्ड BN पर अनुकूलित एडवर्सरियल ट्रेजेक्टरी प्रभावी ढंग से ट्रांसफर होती है।
- एक्सपोनेंशियल मूविंग एवरेज (EMA): हालांकि EMA शुरुआत में ASR को कम करता है, एडवर्सरियल सैंपल्स पर सरल डेटा ऑग्मेंटेशन ASR को वापस ~41% तक बहाल कर देता है, जो बताता है कि डिफेंस को आसानी से बायपास किया जा सकता है।

महत्व और दावे
पेपर वर्तमान TTA परिनिर्धारण (deployment) प्रतिमानों में एक महत्वपूर्ण भेद्यता (vulnerability) को उजागर करने का दावा करता: हमलावरों द्वारा "साइलेंट" विफलताओं (targeted misclassifications) को इंजेक्ट करने की क्षमता, जो मानक डिस्ट्रीब्यूशन-शिफ्ट अलार्म को ट्रिगर किए बिना संभव है। लेखक जोर देते हैं कि मौजूदा TTA फ्रेमवर्क में ऐसे इवेजन-सेंट्रिक (evasion-centric) खतरों के खिलाफ अंतर्निहित मजबूती की कमी है। यह प्रदर्शित करके कि आउटपुट डिस्ट्रीब्यूशन की सांख्यिकीय स्वाभाविकता को संरक्षित करते हुए उच्च-परिशुद्धता वाले हमले किए जा सकते हैं, यह कार्य सुरक्षा-जागरूक डिजाइनों की आवश्यकता को रेखांकित करता है, विशेष रूप से स्वायत्त ड्राइविंग और मेडिकल इमेजिंग जैसे सुरक्षा-महत्वपूर्ण अनुप्रयोगों के लिए। लेखक विनम्रतापूर्वक सीमाओं का उल्लेख करते हैं, जैसे कि ट्रिगर और विक्टिम सैंपल्स के को-बैचिंग (co-batching) पर निर्भरता और बेनिन एक्यूरेसी ड्रॉप का माध्यमिक डिटेक्शन सिग्नल के रूप में कार्य करने की संभावना, लेकिन वे दावा करते हैं कि प्रस्तावित हमला ऑनलाइन अनुकूलन के सुरक्षा जोखिमों को समझने की दिशा में एक महत्वपूर्ण कदम है।