TsallisPGD: Adaptive Gradient Weighting for Adversarial Attacks on Semantic Segmentation

तकनीकी सारांश: TsallisPGD

समस्या विवरण (Problem Statement)
सिमेंटिक सेगमेंटेशन मॉडलों पर हमला करना इमेज क्लासिफिकेशन मॉडलों पर हमला करने की तुलना में काफी चुनौतीपूर्ण है। जहाँ क्लासिफिकेशन हमले एक एकल लेबल को लक्षित करते हैं, वहीं सेगमेंटेशन हमलों को हजारों पिक्सेल भविष्यवाणियों को एक साथ बदलना पड़ता है। मानक दृष्टिकोण, जो पिक्सेल-वार क्रॉस-एन्ट्रॉपी (CE) लॉस का उपयोग करके प्रोजेक्टेड ग्रेडिएंट डिसेंट (PGD) को अनुकूलित करते हैं, उप-इष्टतम अनुकूलन गतिकी (suboptimal optimization dynamics) से ग्रस्त होते हैं। विशेष रूप से, मानक CE उन पिक्सेल पर अत्यधिक जोर देता है जो पहले से ही गलत वर्गीकृत हो चुके हैं (जहाँ अनुमानित प्रायिकता $p_y \to 0$ है)। इसके कारण ग्रेडिएंट इन "आसान" लक्ष्यों पर संतृप्त (saturate) हो जाता है, जिससे अभिसरण (convergence) धीमा हो जाता है और मॉडल की मजबूती का अत्यधिक आशावादी मूल्यांकन होता है क्योंकि हमला उच्च-विश्वास (high-confidence), सही ढंग से वर्गीकृत पिक्सेल को प्रभावी ढंग से लक्षित करने में विफल रहता है।

कार्यप्रणाली (Methodology)
लेखक TsallisPGD प्रस्तावित करते हैं, जो एक एडवरसेरियल अटैक फ्रेमवर्क है जो मानक क्रॉस-एन्ट्रॉपी के स्थान पर Tsallis क्रॉस-एन्ट्रॉपी का उपयोग करता है, जो एक एंट्रोपिक इंडेक्स $q$ द्वारा पैरामीटराइज्ड है।

• ग्रेडिएंट रीवेटिंग (Gradient Reweighting): मुख्य सैद्धांतिक अंतर्दृष्टि यह है कि Tsallis क्रॉस-एन्ट्रॉपी मानक CE ग्रेडिएंट के आत्मविश्वास-निर्भर रीवेटिंग को प्रेरित करती है। अनुमानित प्रायिकता $p$ के सापेक्ष ग्रेडिएंट को $p^{1-q}$ कारक द्वारा स्केल किया जाता है।
  • जब $q < 1$ होता है, तो वेट (weight) $p$ के साथ बढ़ता है, जिससे उच्च-विश्वास, सही ढंग से वर्गीकृत पिक्सेल पर जोर दिया जाता है (जिन्हें बदलना कठिन होता है)।
  • जब $q > 1$ होता है, तो वेट कम-विश्वास वाले पिक्सेल पर जोर देता है।
• ग्रेडिएंट पीक को नियंत्रित करना (Controlling the Gradient Peak): लेखक $q$ के संदर्भ में ग्रेडिएंट पीक के स्थान ($p^*_y$) के लिए एक क्लोज्ड-फॉर्म अभिव्यक्ति व्युत्पन्न करते हैं: $p^*_y = \frac{1-q}{2-q}$। यह हमलावर को स्पष्ट रूप से यह नियंत्रित करने की अनुमति देता है कि अनुकूलन किस विश्वास शासन (confidence regime) पर ध्यान केंद्रित करे। $q$ को बदलकर, हमला विभिन्न पिक्सेल उपसमुच्चयों को लक्षित कर सकता है।
• डायनेमिक $q$-शेड्यूल (Dynamic $q$-Schedule): अनुभवजन्य विश्लेषण (Empirical analysis) से पता चलता है कि कोई भी एकल निश्चित $q$ मान सार्वभौमिक रूप से इष्टतम नहीं है; सर्वोत्तम $q$ डेटासेट, मॉडल आर्किटेक्चर और परटर्बेशन बजट ($\epsilon$) के आधार पर भिन्न होता है। इस समस्या को हल करने के लिए, लेखक अनुकूलन प्रक्रिया के दौरान $q$ को स्वीप करने के लिए एक डायनेमिक $q$-शेड्यूल प्रस्तावित करते हैं।
  • यह शेड्यूल रैखिक (linear) है, जो $q_{start}$ और $q_{end}$ द्वारा पैरामीटराइज्ड है।
  • इष्टतम शेड्यूल को एक होल्ड-आउट वैलिडेशन स्प्लिट का उपयोग करके एक बार चुना जाता है (विशेष रूप से, $q=-2$ से $q=1$ तक का स्वीप) और फिर बिना किसी और ट्यूनिंग के सभी टेस्ट बेंचमार्क पर अपरिवर्तित रूप से लागू किया जाता है।
  • यह दृष्टिकोण एक एकल अटैक रन को कई ग्रेडिएंट-कंसंट्रेशन शासनों से गुजरने की अनुमति देता है, जो शुरू में उच्च-विश्वास वाले पिक्सेल पर ध्यान केंद्रित करता है और धीरे-धीरे मानक CE व्यवहार को रिकवर करता है।

प्रमुख योगदान (Key Contributions)

1. TsallisPGD: $q$ पैरामीटर के माध्यम से ग्रेडिएंट कंसंट्रेशन को नियंत्रित करने के लिए Tsallis क्रॉस-एन्ट्रॉपी का लाभ उठाने वाला एक नया एडवरसेरियल अटैक।
2. सैद्धांतिक विश्लेषण: एक प्रमाण जो दिखाता है कि Tsallis क्रॉस-एन्ट्रॉपी आत्मविश्वास-निर्भर ग्रेडिएंट रीवेटिंग ($p^{1-q}$) को प्रेरित करती है और ग्रेडिएंट पीक स्थान का व्युत्पत्ति, जो विशिष्ट विश्वास स्तरों को लक्षित करने के लिए एक तंत्र प्रदान करती है।
3. डायनेमिक शेड्यूलिंग: एक डायनेमिक $q$-शेड्यूल का प्रस्ताव जो हमले के फोकस को समय के साथ अनुकूलित करता है, जो इस अवलोकन से प्रेरित है कि फिक्स्ड-$q$ सेटिंग्स सार्वभौमिक रूप से इष्टतम नहीं हैं।
4. अनुभवजन्य सत्यापन: विविध डेटासेट और मॉडलों पर एक एकल वैलिडेशन-चयनित डायनेमिक शेड्यूल के विविध डेटासेट, आर्किटेक्चर और थ्रेट बजट पर बेहतर प्रदर्शन करने का प्रदर्शन करने वाले व्यापक प्रयोग।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने विभिन्न आर्किटेक्चर (PSPNet, UPerNet, Segmenter) और मानक एवं एडवरसेरियल रूप से प्रशिक्षित मॉडलों (जैसे, DDCAT, PIR-AT) का उपयोग करके Cityscapes, Pascal VOC, और ADE20K पर TsallisPGD का मूल्यांकन किया। इसकी तुलना SOTA बेसलाइन्स: CEPGD, SegPGD, CosPGD, JSPGD, और MaskedPGD से की गई।

• प्रदर्शन: TsallisPGD ने सभी 21 मूल्यांकन सेटिंग्स (डेटासेट, मॉडल और परटर्बेशन बजट को मिलाकर) में सर्वश्रेष्ठ औसत रैंक (average rank) प्राप्त किया।
  • औसत पिक्सेल सटीकता (ACC) के लिए, TselllisPGD ने 1.38 की औसत रैंक प्राप्त की, जो सबसे मजबूत बेसलाइन, MaskedPGD (2.43) से बेहतर है।
  • मीन इंटरसेक्शन-ओवर-यूनियन (mIoU) के लिए, इसने 1.57 की औसत रैंक प्राप्त की, जो CosPGD (2.57) से बेहतर है।
• मजबूती (Robustness): इस पद्धति ने विशेष रूप से एडवरसेरियल रूप से प्रशिक्षित मॉडलों पर मजबूत लाभ दिखाया, जहाँ अनुकूलन आमतौर पर कठिन होता है। इसने ACC के लिए 21/20 सेटिंग्स में और mIoU के लिए 13/21 सेटिंग्स में सर्वश्रेष्ठ प्रदर्शन किया।
• फिक्स्ड-$q$ विश्लेषण: निश्चित $q$ मानों के साथ प्रयोगों ने पुष्टि की कि इष्टतम $q$ विशिष्ट प्रयोगात्मक सेटअप पर अत्यधिक निर्भर है, जो एक डायनेमिक शेड्यूल की आवश्यकता को प्रमाणित करता है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि TsallisPGD ग्रेडिएंट कंसंट्रेशन को नियंत्रित करके सिमेंटिक सेगमेंटेशन के लिए मजबूत एडवरसेरियल हमले बनाने के लिए एक सरल और सामान्य विधि प्रदान करता है। इसका महत्व यह प्रदर्शित करने में है कि:

1. मानक क्रॉस-एन्ट्रॉपी सेगमेंटेशन हमलों के लिए अनुपयुक्त है क्योंकि यह पहले से ही गलत वर्गीकृत पिक्सेल पर अत्यधिक जोर देने की प्रवृत्ति रखती है।
2. Tsallis क्रॉस-एन्ट्रॉपी में $q$ पैरामीटर विभिन्न विश्वास स्तरों पर पिक्सेल की ओर अनुकूलन को निर्देशित करने के लिए एक सटीक तंत्र प्रदान करता है।
3. एक एकल, वैलिडेशन-चयनित डायनेमिक शेड्यूल प्रभावी ढंग से सामान्यीकृत (generalize) हो सकता है, जो अलग-अलग डेटासेट, आर्किटेक्चर और थ्रेट बजट के बीच बिना किसी प्रति-सेटिंग हाइपरपैरामीटर ट्यूनिंग की आवश्यकता के काम करता है।

लेखक निष्कर्ष निकालते हैं कि जबकि उनका वर्तमान दृष्टिकोण एक निश्चित शेड्यूल का उपयोग करता है जिसे वैलिडेशन के माध्यम से चुना गया है, भविष्य के कार्य प्रत्येक इटरेशन पर $q$ के चयन को पूरी तरह से अनुकूलनीय (adaptive) बनाने की खोज कर सकते हैं। वे मॉडल की मजबूती में सुधार करने के लिए TsallisPGD को एडवरसेरियल ट्रेनिंग में शामिल करने की भी योजना बना रहे हैं।