Almost for Free: Crafting Adversarial Examples with Convolutional Image Filters

तकनीकी सारांश: लगभग मुफ्त में: कनवल्शनल इमेज फिल्टर्स के साथ एडवरसैरियल उदाहरणों का निर्माण

समस्या विवरण
डीप लर्निंग में एडवरसैरियल उदाहरण (AEs) आमतौर पर ग्रेडिएंट-आधारित अनुकूलन (optimization) का उपयोग करके तैयार किए जाते हैं, जिसके लिए या तो मॉडल मापदंडों (parameters) तक सीधी पहुँच (व्हाइट-बॉक्स) की आवश्यकता होती है या व्यापक क्वेरी-आधारित अनुमानों (ब्लैक-बॉक्स) की। इन विधियों में अक्सर जटिल अनुकूलन लूप, उच्च कम्प्यूटेशनल लागत, और जनरेटिव मॉडल-आधारित दृष्टिकोणों के मामले में, लाखों पैरामीटर्स शामिल होते हैं। लेखक इस बात पर सवाल उठाते हैं कि क्या इतनी जटिलता आवश्यक है, और वे प्रस्तावित करते हैं कि विशिष्ट संरचनात्मक गड़बड़ी (structural perturbations) के प्रति न्यूरल नेटवर्क की संवेदनशीलता को सरल तंत्रों के माध्यम से निकाला जा सकता है।

कार्यप्रणाली (Methodology)
यह शोध पत्र कनवल्शनल इमेज फिल्टर्स का उपयोग करके अनटारगेटेड एडवरसैरियल उदाहरण तैयार करने के लिए एक नया दृष्टिकोण प्रस्तावित करता है। कार्यप्रणाली को दो अलग-अलग रणनीतियों में विभाजित किया गया है:

1. एज फ़िल्टर अटैक (मॉडल-स्वतंत्र):

   • प्रेरणा: व्याख्यात्मक मशीन लर्निंग (Adebayo et al., 2018; Ancona et al., 2018) से प्रेरणा लेते हुए, लेखक सालिएन्सी मैप्स (जो ग्रेडिएंट $\nabla_x f_\theta(x)$ का अनुमान लगाते हैं) और क्लासिक एज डिटेक्शन के बीच एक संबंध देखते हैं।
   • तंत्र: यह हमला एक इनपुट इमेज $x$ पर एक मानक एज डिटेक्शन फ़िल्टर (विशेष रूप से सोबेल फ़िल्टर) लागू करता है ताकि एक एज मैप $E(x)$ उत्पन्न किया जा सके। गड़बड़ी (perturbation) $\delta$ को इस एज मैप को स्केल करके बनाया जाता है: $\delta = \rho(E(x)) = \pm \mu E(x)$।
   • संचालन: इसके लिए केवल एक सिंगल कनवल्शन पास की आवश्यकता होती है। लेखक एज जानकारी को घटाने ($\mu < 0$) का परीक्षण करते हैं, जिससे किनारे काले हो जाते हैं, और पाते हैं कि यह किनारों को जोड़ने की तुलना में थोड़ा अधिक प्रभावी है।

2. एडवरसैरियल फ़िल्टर अटैक (मॉडल-निर्भर):

   • तंत्र: स्थिर कर्नेल (kernels) के बजाय, लेखक लक्षित मॉडल के लॉस (loss) को अधिकतम करने के लिए एक छोटे कनवल्शनल फ़िल्टर $k$ के वेट्स (weights) को अनुकूलित करते हैं।
   • अनुकूलन (Optimization): फ़िल्टर को निम्नलिखित को हल करके प्रशिक्षित किया जाता है:
     $$\arg\min_k -\sum_{x \in D} \ell(x + x * k, f_\theta(x), \theta) + \lambda \|k\|_2^2$$
     जहाँ $D$, प्रशिक्षण वितरण का प्रतिनिधित्व करने वाला एक छोटा डेटासेट है, $\ell$, लॉस फंक्शन है, और $\lambda$, गड़बड़ी की शक्ति को नियमित (regularize) करता है।
   • दक्षता: फ़िल्टर्स छोटे होते हैं (जैसे $3 \times 3$ या $5 \times 5$), जिसमें जनरेटिव मॉडल्स की तुलना में काफी कम पैरामीटर्स की आवश्यकता होती है। यह हमला "वन-शॉट" है, जो फ़िल्टर के अनुकूलन के बाद एक सिंगल कनवल्शन के माध्यम से गड़बड़ी उत्पन्न करता है।

प्रमुख योगदान

• सरलता और दक्षता: लेखक प्रदर्शित करते हैं कि बिना पुनरावृत्ति (iterative) ग्रेडिएंट अपडेट या जटिल जनरेटिव आर्किटेक्चर के एडवरसैरियल उदाहरण तैयार किए जा सकते हैं। प्रस्तावित फ़िल्टर्स संबंधित जनरेटिव दृष्टिकोणों (जैसे Baluja & Fischer, 2018) की तुलना में पैरामीटर की संख्या को पांच गुना कम कर देते हैं।
• स्थानांतरणीयता (Transferability): सीखे गए एडवरसैरियल फ़िल्टर्स विभिन्न मॉडल आर्किटेक्चर (VGG-13, ResNet-50, Inception-V3) के बीच उच्च स्थानांतरणीयता प्रदर्शित करते हैं, भले ही फ़िल्टर एक मॉडल के लिए अनुकूलित किया गया हो और दूसरे पर लागू किया गया हो।
• संरचनात्मक अंतर्दृष्टि: अनुकूलित फ़िल्टर्स, हालांकि अद्वितीय हैं, क्लासिक इमेज प्रोसेसिंग कर्नेल (जैसे लैपलेसियन ऑफ गॉसियन) के साथ संरचनात्मक समानता साझा करते हैं, जो यह सुझाव देता है कि स्मूथिंग और एज एन्हांसमेंट के विशिष्ट संयोजन प्रभावी रूप से न्यूरल नेटवर्क को धोखा दे सकते हैं।

प्रायोगिक परिणाम
लेखकों ने ImageNet-प्रशिक्षित मॉडलों (VGG-13, ResNet-50, Inception-V3) पर ImageNet V2 डेटासेट का उपयोग करके अपने दृष्टिकोण का मूल्यांकन किया।

• एज फ़िल्टर अटैक: एक निश्चित सोबेल फ़िल्टर का उपयोग करते हुए, इस हमले ने मॉडल और गड़बड़ी के परिमाण ($\mu$) के आधार पर 30% से 80% तक सफलता दर प्राप्त की। हालांकि यह एडेप्टिव विधियों की तुलना में कम प्रभावी है, लेकिन इसके लिए किसी मॉडल ज्ञान की आवश्यकता नहीं थी और केवल 27 पैरामीटर्स लगे।
• एडवरसैरियल फ़िल्टर अटैक:
  • $3 \times 3$ फ़िल्टर और 1,000 प्रशिक्षण उदाहरणों के साथ, सफलता दर VGG के लिए 56%, ResNet के लिए 46%, और Inception के लिए 48% (PSNR 20 पर) तक पहुँच गई।
  • फ़िल्टर के आकार को $5 \times 5$ और प्रशिक्षण डेटा को 3,000 उदाहरणों तक बढ़ाने से सफलता दर ResNet के लिए 94%, VGG के लिए 92%, और Inception के लिए 68% बढ़ गई।
  • स्थानांतरणीयता: एक मॉडल के लिए अनुकूलित फ़िल्टर्स अन्य पर भी उच्च प्रभावशीलता बनाए रखते हैं। उदाहरण के लिए, ResNet के लिए अनुकूलित फ़िल्टर ने VGG पर 93% और Inception पर 82% सापेक्ष सफलता दर (PSNR=20 पर) प्राप्त की।
• गड़बड़ी की विशेषताएं: मानक एडवरसैरियल नॉइज़ के विपरीत जो पूरी इमेज को कवर करती है, ये गड़बड़ियाँ इनपुट इमेज की संरचनात्मक रूपरेखा को सुरक्षित रखती हैं लेकिन रंगहीन, स्थानीयकृत शोर (localized noise) पेश करती हैं। दृश्य निरीक्षण से पता चलता है कि जबकि कुछ गड़बड़ियाँ अदृश्य हैं (PSNR > 30), PSNR 20 पर वे किनारों पर दृश्य धुंधलापन या कालापन दिखाती हैं।

महत्व और दावे
यह शोध पत्र दावा करता है कि इसके परिणाम प्रभावी अनटारगेटेड हमलों के लिए आवश्यक जटिलता की एक निचली सीमा (lower bound) प्रदान करते हैं। लेखक तर्क देते हैं कि:

1. जटिलता हमेशा आवश्यक नहीं होती: उच्च सफलता दर प्राप्त करने के लिए परिष्कृत अनुकूलन रणनीतियाँ अनिवार्य रूप से आवश्यक नहीं हैं; सरल, अनुकूलित कनवल्शनल फ़िल्टर्स पर्याप्त हो सकते हैं।
2. न्यूरल नेटवर्क की भंगुरता: इन सरल फ़िल्टर्स की उच्च स्थानांतरणीयता और सफलता यह उजागर करती है कि न्यूरल नेटवर्क विशिष्ट, दुर्भावनापूर्ण शोर पैटर्न के प्रति कितने मौलिक रूप से संवेदनशील हैं जो एज संरचनाओं की नकल या उन्हें विकृत करते हैं।
3. दक्षता: पैरामीटर्स और कम्प्यूटेशनल लागत में भारी कमी (सिंगल पास) हमला जटिलता और प्रभावशीलता के बीच के ट्रेड-ऑफ पर एक नया दृष्टिकोण प्रदान करती है।

लेखक विनम्र बने हुए हैं, यह स्वीकार करते हुए कि उनके सरल फ़िल्टर्स अत्याधुनिक अनुकूलन रणनीतियों के पूर्ण प्रदर्शन के साथ प्रतिस्पर्धा नहीं कर सकते, लेकिन वे सफल एडवरसैरियल हमलों के लिए न्यूनतम आवश्यकताओं को समझने के लिए एक महत्वपूर्ण बेंचमार्क के रूप में कार्य करते हैं। वे सुझाव देते हैं कि भविष्य के कार्य सरल फ़िल्टर्स और पूर्ण नेटवर्क आर्किटेक्चर के बीच के अंतर को पाटने के लिए कनवल्शन के अनुक्रमों (sequences) का पता लगा सकते हैं।