🤖 AI

Improving Adversarial Robustness via Activation Amplification and Attenuation

यह शोध पत्र एक्टिवेशन एम्प्लीफिकेशन एंड एटेनुएशन (A3) को प्रस्तुत करता है, जो एक हल्का प्लग-इन मॉड्यूल है जो सीखने योग्य मापदंडों के माध्यम से न्यूरल नेटवर्क एक्टिवेशन्स को गतिशील रूप से रीस्केल करता है ताकि एम्प्लीफिकेशन मोड में भविष्यवाणियों को कमज़ोर करने और एटेनुएशन मोड में एडवरसैरियल रोबस्टनेस को बढ़ाने के कार्य को एक साथ पूरा किया जा सके, जिससे विभिन्न बैकबोन और डेटासेट्स पर नगण्य कम्प्यूटेशनल ओवरहेड के साथ निरंतर प्रदर्शन सुधार प्राप्त होता है।

मूल लेखक: Taïga Gonçalves, Yongsong Huang, Tomo Miyazaki, Shinichiro Omachi

प्रकाशित 2026-06-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Taïga Gonçalves, Yongsong Huang, Tomo Miyazaki, Shinichiro Omachi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान सुरक्षा गार्ड (एक न्यूरल नेटवर्क) है, जिसका काम तस्वीरों में वस्तुओं को पहचानना है, जैसे कि आसमान में एक हवाई जहाज को देखना। वह आमतौर पर बहुत अच्छा होता है, लेकिन कुछ चालाक धोखेबाज हैं जिन्हें "एडवर्सरियल अटैकर्स" (adversarial attackers) कहा जाता है। ये धोखेबाज फोटो में बहुत सूक्ष्म, अदृश्य शोर (noise) मिला देते हैं—जैसे कि टीवी स्क्रीन पर कुछ पिक्सेल का स्टैटिक—जो इतने छोटे होते हैं कि इंसान उन्हें देख भी नहीं सकते, लेकिन वे गार्ड को पूरी तरह से भ्रमित कर देते हैं, जिससे उसे लगता है कि हवाई जहाज एक जहाज या एक कुत्ता है।

यह शोध पत्र एक नया टूल पेश करता है जिसे A3 (एक्टिवेशन एम्प्लीफिकेशन एंड एटेन्युएशन - Activation Amplification and Attenuation) कहा जाता है, ताकि गार्ड को इन चालों से सुरक्षित बनाया जा सके।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करके यहाँ दिया गया है:

1. समस्या: गार्ड विचलित है

जब गार्ड किसी फोटो को देखता है, तो वह बहुत सी चीजों पर ध्यान देता है। कभी-कभी, वह "महत्वपूर्ण" हिस्सों (हवाई जहाज के पंखों) पर ध्यान केंद्रित करता है और कभी-कभी "बेकार" हिस्सों (नीले आकाश की पृष्ठभूमि/बैकग्राउंड) पर। एडवर्सरियल हमलावर "बेकार" हिस्सों का फायदा उठाते हैं। वे बैकग्राउंड को इतना बदल देते हैं कि गार्ड घबरा जाए और गलत चीज़ पर ध्यान केंद्रित करने लगे।

पिछले तरीकों ने इसे रोकने के लिए गार्ड की दृष्टि के बेकार हिस्सों को सीधे काटने (cutting out) की कोशिश की। लेकिन लेखक तर्क देते हैं कि चीजों को काटना बहुत ही भद्दा तरीका है; कभी-कभी वे "बेकार" हिस्से अभी भी उपयोगी जानकारी का एक छोटा सा हिस्सा रखते हैं, और उन्हें काटने से वास्तविक वस्तु को देखने की गार्ड की क्षमता को नुकसान पहुँच सकता है।

2. समाधान: मस्तिष्क के लिए एक वॉल्यूम नॉब (Volume Knob)

चीजों को काटने के बजाय, A3 गार्ड के मस्तिष्क के संकेतों के लिए एक स्मार्ट वॉल्यूम नॉब की तरह काम करता है।

A3 मॉड्यूल गार्ड के मस्तिष्क के अंदर बैठता है और इमेज से आने वाले संकेतों (एक्टिवेशंस) को देखता है। इसमें दो मोड होते हैं, जो नियमों के एक ही सेट द्वारा नियंत्रित होते हैं:

एटेन्युएशन (Attenuation - आवाज़ कम करना): यह मुख्य मोड है जिसका उपयोग तब किया जाता है जब गार्ड वास्तव में अपना काम कर रहा होता है। यदि गार्ड को कोई ऐसा संकेत दिखता है जो संदिग्ध लगता है या जो किसी "चाल" (जैसे कि शोर भरा बैकग्राउंड) से आ रहा है, तो A3 उस संकेत की आवाज़ कम कर देता है। यह फुसफुसाता है, "इसे अनदेखा करो, यह संभवतः एक चाल है।"
एम्प्लीफिकेशन (Amplification - आवाज़ बढ़ाना): यह एक विशेष प्रशिक्षण मोड है। यहाँ, A3 इसके विपरीत करता है। यह उन्हीं संदिग्ध संकेतों की आवाज़ बढ़ा देता है। यह चिल्लाता है, "इसे देखो! धोखेबाज ठीक इसी चीज़ का उपयोग आपको बेवकूफ बनाने के लिए करने की कोशिश कर रहे हैं!"

3. ट्रेनिंग कैंप: "गुड कॉप, बैड कॉप" की दिनचर्या

असली जादू प्रशिक्षण चरण (training phase) के दौरान होता है। सिस्टम गार्ड को सबक सिखाने के लिए दोनों मोड का एक साथ उपयोग करता है:

नेगेटिव रेफरेंस (एम्प्लीफाइड सिग्नल - बढ़ी हुई आवाज़ वाला संकेत): सिस्टम इमेज के "एम्प्लीफाइड" संस्करण (जहाँ चाल बहुत तेज़ और स्पष्ट है) को लेता है और गार्ड को बताता है, "यह एक गलत अनुमान जैसा दिखता है। इसे प्रेडिक्ट (predict) न करें।"
पॉजिटिव रेफरेंस (एटेन्युएटेड सिग्नल - कम की गई आवाज़ वाला संकेत): सिस्टम इमेज के "एटेन्युएटेड" संस्करण (जहाँ चाल शांत है) को लेता है और गार्ड को बताता है, "इमेज को देखने का सही तरीका यह है। इसे प्रेडिक्ट करें।"

गार्ड को इन दोनों संस्करणों की तुलना करने के लिए मजबूर करके, सिस्टम गार्ड को सक्रिय रूप से शोर वाले, चाल जैसे संकेतों को दबाने (suppress) और साफ, वास्तविक संकेतों पर ध्यान केंद्रित (focus) करने के लिए सिखाता है। यह एक कोच की तरह है जो खिलाड़ी को एक गलती का रीप्ले (बढ़ी हुई आवाज़ के साथ) दिखाता है और फिर उसी समय सही चाल (कम आवाज़ के साथ) दिखाता है, ताकि खिलाड़ी ठीक से समझ सके कि उसे क्या टालना है।

4. परिणाम: एक हल्का, मजबूत गार्ड

पेपर का दावा है कि यह तरीका अविश्वसनीय रूप से कुशल है।

लाइटवेट (Lightweight): इसके लिए गार्ड को एक नया दिमाग सीखने या भारी बैग उठाने की आवश्यकता नहीं है। यह सिस्टम पर लगभग कोई अतिरिक्त भार (कंप्यूटेशनल लागत) नहीं डालता है।
प्रभावी (Effective): परीक्षणों में, A3 का उपयोग करने वाले गार्ड अन्य तरीकों की तुलना में धोखा देने में बहुत कठिन थे। वे शोर से भरे बैकग्राउंड के बावजूद हवाई जहाजों को सही ढंग से पहचान सके।
लचीला (Flexible): यह अलग-अलग प्रकार के गार्ड्स (विभिन्न न्यूरल नेटवर्क आर्किटेक्चर) और विभिन्न प्रशिक्षण शैलियों के साथ काम करता है।

सारांश

A3 को AI के मस्तिष्क के लिए नॉइज़-कैंसलिंग हेडफ़ोन के रूप में समझें। दुनिया को पूरी तरह से ब्लॉक करने के बजाय, यह "शोर" (एडवर्सरियल अटैक) की विशिष्ट फ्रीक्वेंसी को पहचानने में सक्षम है और उस विशिष्ट वॉल्यूम को कम कर देता है, जबकि प्रशिक्षण के दौरान उस शोर के तेज़ संस्करण का उपयोग यह सिखाने के लिए करता है कि किसे अनदेखा करना है। परिणाम एक ऐसा मॉडल है जो दुनिया को स्पष्ट रूप से देखता है, भले ही कोई उसे धोखा देने की कोशिश कर रहा हो।

तकनीकी सारांश: एक्टिवेशन एम्प्लीफिकेशन और एटेन्यूएशन के माध्यम से एडवर्सरियल रोबस्टनेस में सुधार

समस्या विवरण
डीप न्यूरल नेटवर्क (DNNs) एडवर्सरियल उदाहरणों (adversarial examples) के प्रति संवेदनशील होते हैं—ऐसे इनपुट जिनमें मॉडल की भविष्यवाणियों को गुमराह करने के लिए सूक्ष्म परिवर्तन (perturbations) किए जाते हैं। यह संवेदनशीलता अक्सर नेटवर्क के आंतरिक निरूपणों (internal representations) के भीतर "नॉन-रोबस्ट फीचर्स" की उपस्थिति के कारण होती है। हालांकि पूर्व रक्षा रणनीतियों ने प्रूनिंग (pruning), मास्किंग या फीचर रीकैलिब्रेशन के माध्यम से इसे कम करने का प्रयास किया है, लेकिन ये दृष्टिकोण अक्सर समझौतों (trade-offs) का सामना करते हैं। कुछ विधियाँ उपयोगी जानकारी खोने के जोखिम के साथ नॉन-रोबस्ट फीचर्स को पूरी तरह से हटा देती हैं, जबकि अन्य जटिल प्लग-इन मॉड्यूल पेश करती हैं जिनमें महत्वपूर्ण पैरामीटर ओवरहेड और कम व्याख्यात्मकता (interpretability) होती है। इसके अलावा, आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) डिटेक्शन के लिए डिज़ाइन की गई मौजूदा एक्टिवेशन स्केलिंग तकनीकें अक्सर गैर-डिफरेंशिएबल ऑपरेशन्स (जैसे top-k चयन) या एक्सपोनेंशियल फॉर्मुलेशन पर निर्भर करती हैं जो ग्रेडिएंट सैचुरेशन का कारण बन सकते हैं, जिससे वे एंड-टू-एंड एडवर्सरियल ट्रेनिंग के लिए अनुपयुक्त हो जाते हैं।

कार्यप्रणाली: एक्टिवेशन एम्प्लीफिकेशन और एटेन्यूएशन (A3)
लेखक A3 का प्रस्ताव करते हैं, जो एक हल्का, प्लग-इन मॉड्यूल है जिसे नियंत्रित रीस्केलिंग तंत्र के माध्यम से एडवर्सरियल रोबस्टनेस बढ़ाने के लिए डिज़ाइन किया गया है। A3 को बैकबोन नेटवर्क (जैसे, विशिष्ट ResNet ब्लॉक्स के बाद) में एकीकृत किया जाता है और यह मध्यवर्ती एक्टिवेशन ( $z$ ) पर कार्य करता है।

लर्नेबल मास्किंग और स्केलिंग:
हार्ड प्रूनिंग के बजाय, A3 एक लर्न करने योग्य प्रोजेक्शन और डिफरेंशिएबिलिटी सुनिश्चित करने के लिए एक Gumbel-Softmax ट्रिक का उपयोग करके एक चैनल-वाइज़ बाइनरी मास्क ( $m$ ) की गणना करता है। यह मास्क मूल एक्टिवेशन मैग्नीट्यूड के वितरण के आधार पर चैनलों की पहचान करता है।
मॉड्यूल एक्टिवेशन से दो सांख्यिकी (statistics) निकालता है: कुल मैग्नीट्यूड ( $s_1$ ) और मास्क किए गए उपसमुच्चय (subset) का मैग्नीट्यूड ( $s_2$ )। इनका उपयोग करके, यह एक लॉगरिदमिक फॉर्मुलेशन के माध्यम से दो स्केलिंग फैक्टर्स ( $f_m$ और $f_{1m}$ ) प्राप्त करता है:
$f_m = \frac{\ln(1 + s_2)}{\ln(1 + s_1)}, \quad f_{1m} = 1 - f_m$
लॉगरिदमिक दृष्टिकोण को एक्सपोनेंशियल फॉर्मुलेशन के ऊपर इसलिए चुना गया है ताकि स्थिर ग्रेडिएंट सुनिश्चित हो सके और एडवर्सरियल ट्रेनिंग के दौरान संख्यात्मक अस्थिरता (numerical instability) को रोका जा सके।
दोहरे मोड (एम्प्लीफिकेशन और एटेन्यूएशन):
A3 स्केलिंग ऑपरेशन के साइन को बदलकर दो अलग-अलग आउटपुट उत्पन्न करने के लिए समान लर्न करने योग्य मापदंडों का उपयोग करता है:

एटेन्यूएशन (Attenuation - $z_{att}$ ): $z \cdot [1 - \text{Scale}(z, m)]$ । यह मोड नॉन-रोबस्ट फीचर्स के प्रभाव को दबा देता है।
एम्प्लीफिकेशन (Amplification - $z_{amp}$ ): $z \cdot [1 + \text{Scale}(z, m)]$ । यह मोड एक्टिवेशन पैटर्न को बढ़ा देता है, जो प्रभावी रूप से एक "नेगेटिव रेफरेंस" के रूप में कार्य करता है।

नवीन ऑब्जेक्टिव फंक्शन्स:
प्रशिक्षण प्रक्रिया दोनों मोड्स का उपयोग करके नए लॉस फंक्शन्स को परिभाषित करती है:

क्रॉस-एन्ट्रॉपी रैंकिंग लॉस ( $L_{rank}$ ): यह एक हिंज लॉस (hinge loss) है जो यह लागू करता है कि एटेन्यूएटेड एक्टिवेशन का क्रॉस-एन्ट्रॉपी लॉस, एम्प्लीफाइड एक्टिवेशन की तुलना में कम होना चाहिए। यह एक प्रतिस्पर्धी अनुकूलन प्रक्रिया बनाता है जहाँ मॉडल एम्प्लीफिकेशन मोड में भविष्यवाणियों को खराब करने और एटेन्यूएशन मोड में भविष्यवाणियों को बेहतर बनाने के लिए सीखता है।
कॉन्ट्रास्टिव लॉजिट लॉस ( $L_{cl}$ ): यह एक ट्रिपलेट-शैली का लॉस है जो एटेन्यूएशन मोड में क्लीन और एडवर्सरियल लॉजिट्स के बीच की दूरी को कम करता है और एटेन्यूएटेड और एम्प्लीफाइड लॉजिट्स के बीच की दूरी को अधिकतम करता है।

अंतिम ऑब्जेक्टिव मानक एडवर्सरियल ट्रेनिंग लॉस (जैसे, AT, TRADES, MART) के साथ इन प्रस्तावित घटकों को जोड़ता है। इन्फरेंस के दौरान, केवल एटेन्यूएटेड मोड ( $z_{att}$ ) का उपयोग किया जाता है।

मुख्य योगदान

A3 मॉड्यूल: एक हल्का प्लग-इन मॉड्यूल जो अतिरिक्त नेटवर्क क्षमता के बिना न्यूनतम कंप्यूटेशनल और मेमोरी ओवरहेड के साथ एडवर्सरियल रोबस्टनेस में सुधार करता है।
ड्यूल-मोड मैकेनिज्म: एक नवीन दृष्टिकोण जो समान मापदंडों का उपयोग करके सिग्नल को संयुक्त रूप से एम्प्लीफाई और एटेन्यूएट करता है। पेपर यह प्रदर्शित करता है कि एम्प्लीफिकेशन मोड में भविष्यवाणियों को कम करने के लिए सीखने से एटेन्यूएशन मोड में रोबस्टनेस में सुधार होता है।
डिफरेंशिएबल स्केलिंग: ग्रेडिएंट अस्पष्टता (gradient obfuscation) को रोकने और स्थिरता सुनिश्चित करने के लिए गैर-डिफरेंशिएबल top-k ऑपरेशन्स (जो OOD डिटेक्शन में सामान्य हैं) को एक लर्न करने योग्य, डिफरेंशिएबल मास्क और लॉगरिदमिक स्केलिंग से बदलना।
नए लॉस फंक्शन्स: कॉन्ट्रास्टिव और रैंकिंग लॉस का परिचय जो नेगेटिव रेफरेंस के रूप में एम्प्लीफाइड एक्टिवेशन का उपयोग करके रोबस्टनेस लर्निंग को निर्देशित करते हैं।

प्रायोगिक परिणाम
CIFAR-10, CIFAR-100 और Tiny ImageNet पर ResNet-18 और WideResNet-34-10 बैकबोन के साथ व्यापक प्रयोग किए गए, जिन्हें AT, TRADES और MART ट्रेनिंग स्ट्रैटेजी के साथ एकीकृत किया गया।

प्रदर्शन: A3 ने विभिन्न प्रकार के हमलों (FGSM, PGD-20/100, C&W, AutoAttack) के विरुद्ध मौजूदा प्लग-इन डिफेन्स (जैसे, CAS, CIFS, FSR, FPCM, EMFF) को लगातार पछाड़ दिया। उदाहरण के लिए, CIFAR-10 पर ResNet-18 के साथ AT पर, A3 ने वैनिला बैकबोन की तुलना में एनसेम्बल एक्यूरेसी में 4.99% का सुधार किया।
दक्षता: A3 नगण्य ओवरहेड लाता है। बेसलाइन की तुलना में, यह ResNet-18 के लिए केवल ~0.27M पैरामीटर और ~0.0021G FLOPs जोड़ता है, जो FTA2C जैसे अन्य मास्किंग-आधारित तरीकों से काफी कम है।
एब्लेशन स्टडीज (Ablation Studies):
- मोड विश्लेषण: एटेन्यूएशन मोड, एम्प्लीफिकेशन मोड और हार्ड सप्रेशन रणनीतियों की तुलना में काफी बेहतर प्रदर्शन करता है, जो पुष्टि करता है कि चयनात्मक एटेन्यूएशन, पूर्ण फीचर हटाने से बेहतर है।
- लॉस कंपोनेंट्स: रैंकिंग लॉस और कॉन्ट्रास्टिव लॉस दोनों आवश्यक हैं; उन्हें हटाने या हिंज फॉर्मुलेशन को मानक क्रॉस-एन्ट्रॉपी से बदलने पर प्रदर्शन में गिरावट आती है।
- स्केलिंग फॉर्मुलेशन: प्रस्तावित लॉगरिदमिक स्केलिंग फैक्टर्स ( $f_m$ ) ने लीनियर, क्वाड्रेटिक और एक्सपोनेंशियल विकल्पों की तुलना में बेहतर प्रदर्शन किया।
- डिस्ट्रीब्यूशन शिफ्ट: एक्टिवेशन डिस्ट्रीब्यूशन का विश्लेषण दिखाता है कि A3 एटेन्यूएशन मोड में क्लीन और एडवर्सरियल उदाहरणों के बीच एक स्पष्ट अलगाव पैदा करता है, जबकि एम्प्लीफिकेशन मोड डिस्ट्रीब्यूशन को ओवरलैप करता है, जो नेगेटिव रेफरेंस के रूप में एम्प्लीफिकेशन की भूमिका को प्रमाणित करता है।

महत्व
पेपर का दावा है कि A3 कम ट्रेन करने योग्य मापदंडों के साथ फीचर-आधारित रक्षा पर ध्यान केंद्रित करके मजबूत और व्याख्या योग्य मॉडल बनाने के लिए एक आशाजनक दिशा प्रदान करता है। यह प्रदर्शित करके कि एक मोड में भविष्यवाणियों को कम करने के लिए सीखना दूसरे मोड में रोबस्टनेस को बढ़ाता है, यह कार्य इस धारणा को चुनौती देता है कि डिफेन्स को केवल दमन (suppression) पर ध्यान केंद्रित करना चाहिए। यह विधि उच्च क्लीन एक्यूरेसी बनाए रखते हुए और नगण्य कंप्यूटेशनल लागत पेश करते हुए, प्लग-इन मॉड्यूल के बीच स्टेट-ऑफ-द-आर्ट रोबस्टनेस प्राप्त करती है, जो इसे एडवर्सरियल हमलों के खिलाफ DNNs को सुरक्षित करने के लिए एक व्यावहारिक और कुशल समाधान बनाती है।

1. समस्या: गार्ड विचलित है

2. समाधान: मस्तिष्क के लिए एक वॉल्यूम नॉब (Volume Knob)

3. ट्रेनिंग कैंप: "गुड कॉप, बैड कॉप" की दिनचर्या

4. परिणाम: एक हल्का, मजबूत गार्ड

सारांश

इसी तरह के और पेपर