Taming the Long Tail: Rebalancing Adversarial Training via Adaptive Perturbation

तकनीकी सारांश: लॉन्ग टेल को नियंत्रित करना: एडेप्टिव परटर्बेशन के माध्यम से एडवर्सरियल ट्रेनिंग का पुनर्संतुलन

समस्या विवरण

डीप न्यूरल नेटवर्क (DNNs) एडवर्सरियल उदाहरणों (adversarial examples) के प्रति अत्यधिक संवेदनशील होते हैं, जहाँ सूक्ष्म परटर्बेशन्स (perturbations) मॉडल के प्रदर्शन को काफी कम कर देते हैं। जबकि एडवर्सरियल ट्रेनिंग (AT) प्राथमिक रक्षा रणनीति बन गई है, मौजूदा शोध मुख्य रूप से संतुलित डेटासेट (जैसे CIFAR-10/100) पर प्रदर्शन का मूल्यांकन करता है, जो वास्तविक दुनिया के लॉन्ग-टेल डेटा वितरण (long-tail data distributions) की चुनौतियों को अनदेखा करता है। लॉन्ग-टेल परिदृश्यों में, कुछ "हेड" (head) क्लासेस हावी रहती हैं, जबकि अधिकांश "टेल" (tail) क्लासेस कम प्रतिनिधित्व वाली होती हैं।

लॉन्ग-टेल डेटासेट पर प्रशिक्षित मॉडल आमतौर पर हेड क्लासेस में अति-आत्मविश्वास (overconfidence) प्रदर्शित करते हैं, जिससे टेल क्लासेस पर खराब सामान्यीकरण (generalization) होता है। एडवर्सरियल सेटिंग्स में, यह समस्या और भी बढ़ जाती है क्योंकि हमलावर क्लास फ्रीक्वेंसी से बंधे नहीं होते हैं और जानबूझकर टेल क्लासेस को लक्षित कर सकते हैं। लॉन्ग-टेल एडवर्सरियल ट्रेनिंग के मौजूदा तरीके (जैसे, बैलेंस्ड सॉफ्टमैक्स लॉस के साथ AT को जोड़ना) अक्सर मॉडल अपडेट और एडवर्सरियल उदाहरणों के निर्माण के बीच महत्वपूर्ण अंतर्संबंध को संबोधित करने में विफल रहते हैं। अति-आत्मविश्वासी मॉडल उनके द्वारा उत्पन्न एडवर्सरियल उदाहरणों को पक्षपाती बनाते हैं, जो बदले में क्लास इम्बैलेंस (वर्ग असंतुलन) को और बढ़ा देता है, जिससे एक फीडबैक लूप बनता है जो मजबूती (robustness) को कमजोर करता है।

मूल समस्या यह है कि लॉन्ग-टेल वितरण में एडवर्सरियल संवेदनशीलता (adversarial vulnerability) और क्लास इम्बैलेंस दोनों को एक साथ कैसे कम किया जाए, जो एक ऐसी चुनौती है जिसे पारंपरिक एडवर्सरियल ट्रेनिंग विधियाँ विषम प्रशिक्षण उद्देश्यों और एडवर्सरियल वितरण के अस्थिर विकास के कारण संभालने में संघर्ष करती हैं।

कार्यप्रणाली: RobustLT

लेखक RobustLT का प्रस्ताव करते हैं, जो एक प्लग-एंड-प्ले फ्रेमवर्क है जिसे एडवर्सरियल ट्रेनिंग के दौरान परटर्बेशन्स को एडेप्टिव रूप से समायोजित करने के लिए डिज़ाइन किया गया है। यह विधि उन सैद्धांतिक अंतर्दृष्टियों पर आधारित है जो बताती हैं कि परटर्बेशन्स डेटा असंतुलन और मॉडल संवेदनशीलता दोनों को एक साथ संबोधित कर सकते हैं। RobustLT के दो मुख्य घटक हैं:

1. क्लास-वाइज परटर्बेशन बैलेंसिंग (CPB)

CPB क्लास इम्बैलेंस के कारण होने वाले विषम प्रशिक्षण उद्देश्य (skewed training objective) को संबोधित करता है। सैद्धांतिक रूप से, लेखक प्रदर्शित करते हैं कि प्रत्येक क्लास के लिए अच्छी तरह से डिज़ाइन की गई परटर्बेशन तीव्रता (perturbation intensity) आवंटित करने से प्रशिक्षण उद्देश्य को पुनर्संतुलित किया जा सकता है।

• तंत्र (Mechanism): CPB अल्पसंख्यक (tail) क्लासेस के लिए उच्च परटर्बेशन तीव्रता और बहुसंख्यक (head) क्लासेस के लिए कम तीव्रता आवंटित करता है।
• सूत्र (Formula): क्लास $y_i$ के लिए परटर्बेशन तीव्रता $\epsilon_{y_i}$ को इस प्रकार परिभाषित किया गया है:
  $$\epsilon_{y_i} = (1 - \alpha)\epsilon + \tau \sqrt{\log K_{y_i}} \epsilon$$
  जहाँ $\epsilon$ आधार तीव्रता है, $K_{y_i}$ सबसे अधिक बार आने वाली क्लास के सापेक्ष क्लास-वाइज इम्बैलेंस अनुपात है, और $\alpha, \tau$ बेस लेवल और स्लोप को नियंत्रित करने वाले हाइपरपैरामीटर हैं। यह विधि सुनिश्चित करती है कि अपेक्षित परटर्बेशन परिमाण (magnitude) सीमित रहे।
• लक्ष्य: यह एडेप्टिव तीव्रता निर्णय सीमा (decision boundary) को स्थानांतरित करके अति-आत्मविश्वास को कम करती है, जिससे प्रभावी रूप से एक संतुलित प्रशिक्षण उद्देश्य बहाल होता है।

2. एडवर्सरियल इटरेशन वेटिंग (AIW)

AIW एडवर्सरियल वितरण के अस्थिर विकास (unstable evolution of adversarial distributions) को संबोधित करता है। सैद्धांतिक विश्लेषण से पता चलता है कि प्रशिक्षण इटरेशन के बीच एडवर्सरियल वितरण में बड़े बदलाव (जिसे वासरस्टीन डिस्टेंस द्वारा मापा जाता है) मजबूती को कम कर देते हैं।

• तंत्र (Mechanism): AIW एक एडेप्टिव वेट पेश करता है जो पहले $\beta T$ इटरेशन के दौरान परटर्बेशन तीव्रता को 0 से लक्ष्य $\epsilon_{y_i}$ तक धीरे-धीरे बढ़ाता है (जहाँ $T$ कुल इटरेशन की संख्या है)।
• सूत्र (Formula):
  $$\epsilon^{(t)}_{y} = \min\left\{ \frac{t-1}{\beta T}, 1 \right\} \cdot \epsilon_{y}$$
• लक्ष्य: प्रशिक्षण के शुरुआती चरणों में परटर्बेशन तीव्रता को नियंत्रित करके, AIW एडवर्सरियल वितरण के विकास को स्थिर करता है, यह सुनिश्चित करता है कि इटरेशन $t$ पर उत्पन्न एडवर्सरियल उदाहरणों का वितरण इटरेशन $t-1$ के समान बना रहे।

सैद्धांतिक अंतर्दृष्टि

यह पेपर ऑनलाइन ऑप्टिमाइज़ेशन परिप्रेक्ष्य और रोबस्ट एवं नॉन-रोबस्ट फीचर्स वाले एक वैचारिक बाइनरी क्लासिफिकेशन टास्क के माध्यम से इन विधियों के लिए एक सैद्धांतिक आधार प्रदान करता है:

1. पारंपरिक AT की सीमाएँ: पारंपरिक विधियाँ लॉन्ग-टेल डेटा पर विफल रहती हैं क्योंकि वे एक विषम उद्देश्य (जो असमान मजबूती की ओर ले जाता है) को कम करती हैं और इटरेशन के बीच अस्थिर वितरण बदलाव की अनुमति देती हैं।
2. दोहरा अनुकूलन (Dual Optimization) की व्यवहार्यता: लेखक सिद्ध करते हैं कि एडवर्सरियल मजबूती (रोबस्ट फीचर्स पर निर्भर) और क्लास बैलेंस (डिसीजन बाउंड्री में पूर्वाग्रह को समाप्त करना) के लिए आवश्यक व्यवहार्य परटर्बेशन इंटेंसिटी के बीच एक गैर-रिक्त प्रतिच्छेदन (non-empty intersection) मौजूद है।
3. परटर्बेशन के लिए मार्गदर्शन: सिद्धांत सुझाव देता है कि बहुसंख्यक क्लास की तुलना में अल्पसंख्यक क्लास को उच्च परटर्बेशन तीव्रता आवंटित की जानी चाहिए, जिसका अंतर $\sqrt{\log K}$ के समानुपाती है, जहाँ $K$ इम्बैलेंस अनुपात है।

प्रयोगात्मक परिणाम

लेखकों ने विभिन्न बेस एडवर्सरियल ट्रेनिंग एल्गोरिदम (AT, AWP, RoBal, REAT, AT-BSL, TAET) का उपयोग करके CIFAR-10, CIFAR-100 और TinyImageNet के लॉन्ग-टेल्ड वर्ज़न पर RobustLT का मूल्यांकन किया।

• प्रदर्शन: RobustLT बेसलाइन तरीकों की तुलना में नेचुरल एक्यूरेसी और एडवर्सरियल मजबूती दोनों में लगातार सुधार करता है।
• टेल क्लास में सुधार: सबसे महत्वपूर्ण लाभ टेल क्लासेस में देखा गया है। उदाहरण के लिए, AT-BSL बेस के साथ CIFAR-10-LT पर, RobustLT ने टेल रोबस्ट एक्यूरेसी को 28.60% से बढ़ाकर 35.98% कर दिया।
• हमलों के प्रति मजबूती: यह विधि PGD, CW और AutoAttack सहित विभिन्न अटैक रणनीतियों के खिलाफ निरंतर सुधार प्रदर्शित करती है।
• एब्लेशन स्टडीज (Ablation Studies): संवेदनशीलता विश्लेषण पुष्टि करता है कि CPB ($\alpha$ द्वारा नियंत्रित) और AIW ($\beta$ द्वारा नियंत्रित) दोनों आवश्यक हैं। CPB ऑब्जेक्टिव स्क्यू को कम करता है, जबकि AIW डिस्ट्रीब्यूशन इवोल्यूशन को स्थिर करता है। इनका संयोजन अकेले किसी भी घटक की तुलना में नेचुरल और रोबस्ट एक्यूरेसी के बीच बेहतर ट्रेड-ऑफ प्रदान करता है।

महत्व और दावे

पेपर का दावा है कि RobustLT वास्तविक दुनिया के अनुप्रयोगों के लिए एडवर्सरियल मजबूती के क्षेत्र में एक महत्वपूर्ण प्रगति प्रदान करता है:

1. मान्यताओं को चुनौती देना: यह इस धारणा को चुनौती देता है कि एडवर्सरियल डेटा स्वाभाविक रूप से क्लीन डेटा के समान ही क्लास इम्बैलेंस को विरासत में लेता है, यह दिखाते हुए कि परटर्बेशन्स का उपयोग वितरण को पुनर्संतुलित करने के लिए किया जा सकता है।
2. सैद्धांतिक एकीकरण: यह पहली बार यह सैद्धांतिक प्रमाण प्रदान करता है कि एडवर्सरियल परटर्बेशन्स एडवर्सरियल मजबूती और क्लास बैलेंस दोनों को एक साथ संबोधित कर सकते हैं, और एडेप्टिव परटर्बेशन इंटेंसिटी के लिए विशिष्ट दिशानिर्देश प्राप्त करता है।
3. व्यावहारिक उपयोगिता: एक प्लग-एंड-प्ले फ्रेमवर्क के रूप में, RobustLT विभिन्न मौजूदा एडवर्सरियल ट्रेनिंग एल्गोरिदम के साथ संगत है, जो इसे मौजूदा ट्रेनिंग पाइपलाइनों में मौलिक बदलावों की आवश्यकता के बिना लॉन्ग-टेल परिदृश्यों में मजबूती सुधारने के लिए एक व्यावहारिक समाधान बनाता है।

लेखक निष्कर्ष निकालते हैं कि क्लास-वाइज़ और इटरेशन-वाइज़ नियंत्रण के माध्यम से परटर्बेशन्स को एडेप्टिव रूप से एडजस्ट करके, RobustLT लॉन्ग-टेल् डेटा द्वारा प्रेरित अति-आत्मविश्वास को प्रभावी ढंग से कम करता है, और एडवर्सरियल मजबूती और क्लास बैलेंस के बीच एक बेहतर ट्रेड-ऑफ स्थापित करता है।