Sample-Specific Noise Injection For Diffusion-Based Adversarial Purification

यहाँ शोध पत्र "Sample-Specific Noise Injection For Diffusion-Based Adversarial Purification" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

संदर्भ: डीप न्यूरल नेटवर्क (DNNs) एडवरसैरियल उदाहरणों (AEs) के प्रति संवेदनशील होते हैं, जहाँ सूक्ष्म गड़बड़ी (perturbations) गलत वर्गीकरण का कारण बनती है। एडवरसैरियल प्यूरिफिकेशन (AP) एक रक्षा रणनीति है जो वर्गीकरण से पहले एडवरसैरियल शोर को हटाने के लिए जेनेरेटिव मॉडल का उपयोग करती है। डिफ्यूजन-आधारित प्यूरिफिकेशन (DBP) एक अग्रणी AP विधि के रूप में उभरा है, जो डिफ्यूजन मॉडल की डीनोइजिंग क्षमताओं का उपयोग करता है।

मुख्य समस्या: मौजूदा DBP विधियाँ (जैसे, DiffPure, GDMP, GNS) फॉरवर्ड डिफ्यूजन प्रक्रिया के लिए एक सैंपल-साझा स्थिर शोर स्तर ($t^*$) पर निर्भर करती हैं। वे मूल इमेज को पुनः प्राप्त करने की प्रक्रिया से पहले सभी इनपुट नमूनों (स्वच्छ और एडवरसैरियल दोनों) में एक निश्चित मात्रा में गॉसियन शोर इंजेक्ट करती हैं।

• त्रुटि 1 (अपर्याप्त डीनोइजिंग): अत्यधिक विचलित एडवरसैरियल नमूनों के लिए, एक निश्चित $t^*$ (जैसे, 100) बहुत छोटा हो सकता है, जिससे एडवरसैरियल पैटर्न को पर्याप्त रूप से बाधित करने में विफलता होती है, जिससे अवशिष्ट शोर (residual noise) रह जाता है जिसे रिवर्स प्रक्रिया हटा नहीं पाती।
• त्रुटि 2 (अत्यधिक डीनोइजिंग): स्वच्छ या हल्के विचलित नमूनों के लिए, वही निश्चित $t^*$ बहुत बड़ा हो सकता है, जिससे अत्यधिक सिमेंटिक सूचना का व्यवधान होता है। इससे क्लीन एक्यूरेसी (clean accuracy) में गिरावट आती है क्योंकि रिवर्स प्रक्रिया अत्यधिक दूषित अवस्था से मूल अर्थ (semantics) को पुनः प्राप्त करने में संघर्ष करती है।

परिकल्पना (Hypothesis): इष्टतम शोर स्तर $t^*$ सार्वभौमिक नहीं है; इसे सैंपल-विशिष्ट आधार पर भिन्न होना चाहिए। स्वच्छ नमूनों को कम इंजेक्टेड शोर की आवश्यकता होती है, जबकि अधिक विचलित नमदों को एडवरसैरियल पैटर्न को प्रभावी ढंग से "रीसेट" करने के लिए अधिक आक्रामक शोर इंजेक्शन की आवश्यकता होती है।

2. कार्यप्रणाली: सैंपल-स्पेसिफिक स्कोर-अवेयर नॉइज़ इंजेक्शन (SSNI)

लेखक SSNI प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो प्रत्येक नमूने के स्वच्छ डेटा वितरण से विचलन के आधार पर उसके लिए शोर इंजेक्शन स्तर ($t^*$) को अनुकूल रूप से समायोजित करता है।

मुख्य घटक:

1. मेट्रिक के रूप में स्कोर नॉर्म (Score Norm):

   • यह विधि स्कोर फंक्शन ($\nabla_x \log p_t(x)$) का लाभ उठाती है, जो लॉग-प्रोबेबिलिटी डेंसिटी के ग्रेडिएंट को दर्शाता है।
   • अंतर्ज्ञान (Intuition): स्वच्छ डेटा के उच्च-घनत्व वाले क्षेत्र के करीब स्थित नमूनों (स्वच्छ नमूने) में लो स्कोर नॉर्म (low score norms) होता है। वितरण से दूर स्थित नमूनों (एडवरसैरियल उदाहरणों) में हाई स्कोर नॉर्म (high score norms) होता है।
   • अवलोकन: एम्पिरिकल विश्लेषण (चित्र 2) पुष्टि करता है कि स्कोर नॉर्म्स, पर्टरबेशन बजट ($\epsilon$) के साथ रैखिक रूप से स्केल करते हैं।

2. एक्सपेक्टेड पर्टरबेशन स्कोर (EPS):

   • एक एकल संदर्भ शोर स्तर के प्रति संवेदनशीलता से बचने के लिए, SSNI EPS का उपयोग करता है, जो शोर के एक स्पेक्ट्रम ($t \sim U(0, t_S)$) में स्कोर नॉर्म्स को एकत्रित करता है।
   • $EPS(x) = \mathbb{E}_{t \sim U(0, t_S)} [\nabla_x \log p_t(x)]$.
   • $\|EPS(x)\|$ का परिमाण नमूने के विचलन के मेट्रिक के रूप में कार्य करता है।

3. एडाप्टिव रीवेटिंग फंक्शन्स (Adaptive Reweighting Functions):
   SSNI एक स्थिर $t^*$ के स्थान पर एक रीवेटिंग फंक्शन $f$ के माध्यम से गणना की गई सैंपल-विशिष्ट $t(x)$ का उपयोग करता है:
   $$t(x) = f(\|EPS(x)\|, t^*)$$
   दो विशिष्ट फंक्शन प्रस्तावित किए गए हैं:

   • लीनियर रीवेटिंग ($SSNI\text{-}L$): स्कोर नॉर्म को $t^*$ को रैखिक रूप से स्केल करने के लिए सामान्य (normalize) करता है।
   • नॉन-लीनियर रीवेटिंग ($SSNI\text{-}N$): एक सिग्मॉइड फंक्शन का उपयोग करता है ताकि $t^*$ को सुचारू रूप से समायोजित किया जा सके, जिससे यह अत्यधिक विचलित नमूनों के लिए एक अधिकतम सीमा तक पहुँच सके।
   • बायस टर्म (Bias Term): एक वैकल्पिक बायस $b$ जोड़ा जा सकता है ताकि रीवेटेड $t^*$ मूल बेसलाइन $t^*$ से अधिक हो सके, जिससे मजबूत हमलों के लिए पर्याप्त शोर इंजेक्शन सुनिश्चित हो सके।

4. वर्कफ़्लो:

   • इनपुट सैंपल $x$ $\rightarrow$ प्री-ट्रेंड स्कोर नेटवर्क का उपयोग करके $\|EPS(x)\|$ की गणना करें।
   • रीवेटिंग फंक्शन का उपयोग करके एडाप्टिव $t(x)$ की गणना करें।
   • $t(x)$ तक शोर इंजेक्ट करें (फॉरवर्ड प्रोसेस)।
   • प्यूरीफाइड इमेज को रिकवर करने के लिए $t(x)$ से 0 तक रिवर्स डिफ्यूजन करें।
   • परिणाम को क्लासिफाई करें।

3. मुख्य योगदान

1. सैंपल-विशिष्ट इष्टतम शोर की खोज: यह शोध पत्र स्थापित करता है कि एक एकल ग्लोबल $t^*$ उप-इष्टतम (suboptimal) है। यह प्रदर्शित करता है कि इष्टतम शोर स्तर पर्टरबेशन की शक्ति के आधार पर नमूनों के बीच काफी भिन्न होते हैं।
2. SSNI फ्रेमवर्क: यह एक सामान्य, प्लग-एंड-प्ले फ्रेमवर्क है जो मौजूदा DBP विधियों (DiffPure, GDMP, GNS) के साथ एकीकृत हो सकता है, जिससे डिफ्यूजन मॉडल या क्लासिफायर को पुन: प्रशिक्षित किए बिना सैंपल-विशिष्ट शोर इंजेक्शन संभव होता है।
3. सैद्धांतिक औचित्य: लेखक स्कोर नॉर्म्स को शोर स्तरों से जोड़ते हुए सैद्धांतिक प्रमाण (Appendix K) प्रदान करते हैं, जो यह दिखाते हैं कि विभिन्न शोर स्तर अलग-अलग स्कोर नॉर्म्स का परिणाम देते हैं, जिससे आवश्यक शोर इंजेक्शन की गहराई निर्धारित करने के लिए स्कोर नॉर्म्स के उपयोग की पुष्टि होती है।
4. दक्षता (Efficiency): रीवेटिंग प्रक्रिया बहुत हल्की है, जो पूर्ण डिफ्यूजन प्रक्रिया की तुलना में न्यूनतम कम्प्यूटेशनल ओवरहेड (CIFAR-10 पर लगभग 0.5s और ImageNet-1K पर प्रति इमेज 5s) जोड़ती है।

4. प्रयोगात्मक परिणाम

विधि का मूल्यांकन CIFAR-10 और ImageNet-1K पर मजबूत एडेप्टिव व्हाइट-बॉक्स हमलों (PGD+EOT, BPDA+EOT, AutoAttack, DiffAttack) के विरुद्ध किया गया।

• एक्यूरेसी-रोबस्टनेस ट्रेड-ऑफ (Accuracy-Robustness Trade-off):

  • क्लीन एक्यूरेसी: SSNI स्वच्छ नमूनों में कम शोर इंजेक्ट करके मानक सटीकता में महत्वपूर्ण सुधार करता है (जैसे, CIFAR-10 के लिए DiffPure में +3.58%), जिससे उनके सिमेंटिक्स सुरक्षित रहते हैं।
  • रोबस्ट एक्यूरेसी: SSNI पर्याप्त शोर इंजेक्ट करके एडवरसैरियल उदाहरणों के विरुद्ध मजबूती बनाए रखता है या उसमें सुधार करता है।
  • तुलना: सभी बेसलाइन्स (DiffPure, GDMP, GNS) और आर्किटेक्चर (WideResNet, ResNet-50, Swin-Transformer) में, SSNI-N दोनों मेट्रिक्स में लगातार मूल विधियों से बेहतर प्रदर्शन करता है।

• विशिष्ट लाभ (CIFAR-10, PGD+EOT $\ell_\infty$):

  • DiffPure + SSNI-N: स्टैंडर्ड एक्यूरेसी 89.71% से बढ़कर 93.29% हुई; रोबस्ट एक्यूरेसी 47.98% से बढ़कर 48.63% हुई।
  • GDMP + SSNI-N: स्टैंडर्ड एक्यूरेसी 92.45% से बढ़कर 94.08% हुई; रोबस्ट एक्यूरेसी 36.72% से बढ़कर 40.95% हुई।

• सामान्यीकरण (Generalization): यह विधि विभिन्न हमलों के प्रकारों (Diff-PGD और DiffAttack सहित) और विभिन्न मॉडल आर्किटेक्चर (Transformers) के लिए अच्छी तरह से सामान्य होती है।

5. महत्व

• पैराडाइम शिफ्ट (Paradigm Shift): SSNI इस प्रचलित धारणा को चुनौती देता है कि डिफ्यूजन-आधारित प्यूरिफिकेशन में एक निश्चित शोर शेड्यूल पर्याप्त है। यह प्रत्येक इनपुट सैंपल की विशिष्ट "स्वास्थ्य" के अनुरूप अनुकूलित शोर इंजेक्शन (adaptive noise injection) की अवधारणा पेश करता है।
• व्यावहारिक तैनाती: स्वच्छ डेटा पर प्रदर्शन को कम किए बिना मजबूती (robustness) में सुधार करके, SSNI एडवरसैरियल डिफेंस की एक बड़ी बाधा को संबोधित करता है: वह ट्रेड-ऑफ जहाँ मजबूत रक्षा अक्सर स्वच्छ डेटा पर प्रदर्शन को कम कर देती है।
• मॉड्यूलरिटी: एक सामान्य फ्रेमवर्क के रूप में, SSNI को किसी भी मौजूदा DBP पाइपलाइन के साथ सहजता से एकीकृत किया जा सकता है, जो इसे महत्वपूर्ण अनुप्रयोगों (जैसे, स्वायत्त ड्राइविंग, सुरक्षा) में DNN-आधारित सिस्टम को बढ़ाने के लिए एक बहुमुखी उपकरण बनाता है।

संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि प्रत्येक इनपुट सैंपल की विशिष्ट विशेषताओं के अनुसार शुद्धिकरण प्रक्रिया को तैयार करना बेहतर रक्षा प्रदर्शन की ओर ले जाता है, जो एडवरसैरियल प्यूरिफिकेशन के लिए डिफ्यूजन मॉडल की पूर्ण क्षमता का प्रभावी ढंग से लाभ उठाता है।