NERO-Net: A Neuroevolutionary Approach for the Design of Adversarially Robust CNNs

यहाँ शोध पत्र "NERO-Net: A Neuroevolutionary Approach for the Design of Adversarial Robust CNNs" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप न्यूरल नेटवर्क (DNNs), विशेष रूप से कन्वेल्शनल न्यूरल नेटवर्क (CNNs), एडवर्सरियल एग्जेंपल्स (adversarial examples) के प्रति अत्यधिक संवेदनशील होते हैं—ये ऐसे इनपुट होते हैं जिनमें सूक्ष्म परिवर्तन (perturbations) किए जाते हैं जो गलत वर्गीकरण (misclassification) का कारण बनते हैं। जबकि एडवर्सरियल ट्रेनिंग (AT) मानक रक्षा पद्धति है, यह गणनात्मक रूप से महंगी है और अक्सर मजबूती (robustness) को प्रशिक्षण प्रक्रिया के एक उपोत्पाद (byproduct) के रूप में देखती है, न कि आर्किटेक्चर के एक अंतर्निहित गुण के रूप में।

मौजूदा न्यूरोइवोल्यूशन (NE) और न्यूरल आर्किटेक्चर सर्च (NAS) दृष्टिकोण मजबूती के लिए दो मुख्य सीमाओं का सामना करते हैं:

1. सर्च स्पेस की सीमाएँ: कई दृष्टिकोण निश्चित बैकबोन वाले सेल-आधारित सर्च स्पेस पर निर्भर करते हैं, जो नवीन टोपोलॉजी की खोज को सीमित करते हैं।
2. कन्फाउंडिंग फैक्टर्स (Confounding Factors): अधिकांश विधियाँ सर्च के दौरान एडवर्सरियल ट्रेनिंग को एकीकृत करती हैं। इससे यह अंतर करना कठिन हो जाता है कि मजबूती आर्किटेक्चर से उत्पन्न हुई है या प्रशिक्षण प्रक्रिया से।

लेखक न्यूरोइवोल्यूशन का उपयोग करके अंतर्निहित एडवर्सरियल मजबूती (intrinsic adversarial robustness) वाले CNNs डिजाइन करने का लक्ष्य रखते हैं, जो इवोल्यूशनरी लूप के दौरान एडवर्सरियल ट्रेनिंग से बचकर आर्किटेक्चर के प्रभाव को अलग करता है।

2. कार्यप्रणाली: NERO-Net

NERO-Net एक न्यूरोइवोल्यूशनरी फ्रेमवर्क है जो Fast-DENSER, एक पदानुक्रमित (hierarchical) इवोल्यूशनरी एल्गोरिदम पर आधारित है। मुख्य नवाचार आर्किटेक्चर सर्च को एडवर्सरियल ट्रेनिंग से अलग करना है।

A. फिटनेस फंक्शन ($F_\beta$)

केवल क्लीन एक्यूरेसी (clean accuracy) पर निर्भर रहने के बजाय, NERO-Net एक मिश्रित फिटनेस फंक्शन का उपयोग करता है जो क्लीन परफॉरमेंस और एडवर्सरियल मजबूती को सह-अनुकूलित (co-optimize) करता है:
$$F_\beta = (1 + \beta^2) \cdot \frac{C \times A}{C + \beta^2 \cdot A}$$
जहाँ:

• $C$: क्लीन एक्यूरेसी (Clean accuracy)।
• $A$: एडवर्सरियल एक्यूरेसी (सर्च के दौरान FGSM हमलों के माध्यम से मापी गई)।
• $\beta$: एक वेट फैक्टर (जिसे 4 पर सेट किया गया है) जो क्लीन बनाम एडवर्सरियल परफॉरमेंस के महत्व को संतुलित करता है।

मुख्य रणनीति: उम्मीदवारों को मानक (गैर-मजबूत) तरीकों का उपयोग करके प्रशिक्षित किया जाता है। यदि कोई आर्किटेक्चर बिना AT के FGSM के विरुद्ध उच्च सटीकता प्राप्त करता है, तो यह सिद्ध करता है कि मजबूती टोपोलॉजी के प्रति अंतर्निहित है।

B. सर्च स्पेस और प्रतिनिधित्व (Search Space and Representation)

मानक सेल-आधारित दृष्टिकोणों से आगे बढ़ने के लिए लेखकों ने जीनोटाइप प्रतिनिधित्व को संशोधित किया:

• लेयर ब्लॉक्स (Layer Blocks): एकल परतों को विकसित करने के बजाय, ग्रामर ब्लॉक्स (जैसे, convblock जिसमें Conv-BN-Activation अनुक्रम शामिल हैं) को एनकोड करता है। यह आधुनिक CNN संरचनाओं (जैसे ResNet/DenseNet) की नकल करता है और साथ ही आंतरिक पैरामीटर विकास की अनुमति देता है।
• लचीला जुड़ाव (Flexible Connectivity): "लेवल्स बैक" पैरामीटर को अपडेट किया गया ताकि स्किप कनेक्शन (skip connections) की अनुमति मिल सके जो मध्यवर्ती परतों को छोड़ देते हैं (न कि केवल पिछले पूर्ववर्ती को), जिससे अधिक जटिल टोपोलॉजी संभव होती है।
• पैरामीटर प्रकार: लर्निंग रेट और बैच साइज जैसे हाइपरपैरामीटर्स के लिए बड़े रेंज को कुशलतापूर्वक खोजने के लिए नए पैरामीटर प्रकार (int_power2, int_power10) पेश किए गए।

C. इवोल्यूशनरी प्रक्रिया (Evolutionary Process)

• वार्म-अप अवधि (Warm-up Period): खोज एक "वार्म-अप" चरण के साथ शुरू होती है जहाँ केवल क्लीन एक्यूरेसी को अनुकूलित किया जाता है। एक बार जब थ्रेशोल्ड ($\tau = 0.80$) पूरा हो जाता है, तो फिटनेस फंक्शन मिश्रित $F_\beta$ पर स्विच हो जाता है। यह एल्गोरिदम को खोज के शुरुआती चरणों में स्थानीय इष्टतम (local optima) में फंसने से रोकता है।
• इल-फिटेड डिटेक्शन (Ill-Fitted Detection): सिस्टम "अपभ्रष्ट" (degenerate) समाधानों (जैसे, मॉडल जो सभी इनपुट के लिए एक ही क्लास की भविष्यवाणी करते हैं या संख्यात्मक अस्थिरता से ग्रस्त होते हैं) को चिह्नित और दंडित करता है ताकि वैध आर्किटेक्चरल अन्वेषण सुनिश्चित हो सके।
• सीड इनिशियलाइजेशन (Seed Initialization): प्रारंभिक जनसंख्या में तेजी से अभिसरण (convergence) के लिए एक ज्ञात उच्च-प्रदर्शन वाला आर्किटेक्चर (NSGA-Net) एक सीड के रूप में शामिल है।

3. मुख्य योगदान

1. अंतर्निहित मजबूती की खोज: यह प्रदर्शित किया कि न्यूरोइवोल्यूशन उन आर्किटेक्चरों की खोज कर सकता है जो सर्च चरण के दौरान एडवर्सरियल ट्रेनिंग के बिना भी एडवर्सरियल हमलों के प्रति मजबूत होते हैं।
2. नवीन फिटनेस तंत्र: एक भारित हार्मोनिक माध्य (weighted harmonic mean) फिटनेस फंक्शन पेश किया गया जो क्लीन और एडवर्सरियल एक्यूरेसी को संतुलित करता है, और सर्च के दौरान कुशल अनुमानक के रूप में FGSM का उपयोग करता है।
3. विस्तारित सर्च स्पेस: एक लचीला जीनोटाइपिक प्रतिनिधित्व विकसित किया गया जो ट्यूनेबल कम्प्यूटेशनल ब्लॉक्स और विविध टोपोलॉजिकल कनेक्टिविटी (स्किप कनेक्शन) का समर्थन करता है, जो कठोर सेल-आधारित NAS से आगे बढ़ता है।
4. बहु-खतरा मजबूती (Multi-Threat Robustness): दिखाया गया कि $L_\infty$ खतरों के लिए अनुकूलित आर्किटेक्चर अप्रत्याशित रूप से $L_2$ गड़बड़ियों के प्रति भी मजबूती प्रदर्शित करते हैं।

4. प्रयोगात्मक परिणाम

फ्रेमवर्क का मूल्यांकन CIFAR-10 पर $L_\infty$-मजबूती ($\epsilon = 8/255$) पर ध्यान केंद्रित करते हुए किया गया।

A. इवोल्यूशनरी सर्च के परिणाम

• सर्वश्रेष्ठ व्यक्तिगत (Post-Search): इसने मानक प्रशिक्षण का उपयोग करके 87.49% क्लीन एक्यूरेसी और FGSM के विरुद्ध 33.25% एडवर्सरियल एक्यूरेसी प्राप्त की।
• महत्व: यह सिद्ध करता है कि आर्किटेक्चर स्वयं मजबूती का आधार प्रदान करता है, क्योंकि इवोल्यूशनरी ट्रेनिंग लूप के दौरान किसी भी एडवर्सरियल उदाहरण का उपयोग नहीं किया गया था।

B. पोस्ट-इवोल्यूशन ट्रेनिंग

सर्वश्रेष्ठ व्यक्तिगत को उसकी क्षमता को अधिकतम करने के लिए आगे के प्रशिक्षण के अधीन किया गया:

1. विस्तारित मानक प्रशिक्षण:
   • क्लीन एक्यूरेसी: 93.47%
   • FGSM एडवर्सरियल एक्यूरेसी: 47.88%
   • अवलोकन: मॉडल ने $L_\infty$ के लिए अनुकूलित होने के बावजूद $L_2$ हमलों के प्रति अंतर्निहित मजबूती (58.35% एक्यूरेसी) दिखाई।
2. एडवर्सरियल ट्रेनिंग (AT):
   • जब सर्वश्रेष्ठ आर्किटेक्चर को मानक AT (7-स्टेप PGD) के माध्यम से प्रशिक्षित किया गया, तो क्लीन एक्यूरेसी गिरकर 84.08% हो गई, लेकिन AutoAttack (AA) एंसेम्बल के विरुद्ध मजबूती 40.40% तक पहुँच गई।
   • तुलना: हालांकि अंतिम AT प्रदर्शन एक बेसलाइन NAS मॉडल (NSGA-Net) की तुलना में थोड़ा कम था, लेकिन NERO-Net मॉडल ने केवल मानक प्रशिक्षण का उपयोग करने पर बेसलाइन की तुलना में काफी बेहतर प्रदर्शन किया।

C. बहु-खतरा सामान्यीकरण (Multi-Threat Generalization)

विकसित आर्किटेक्चर ने बहु-खतरा मजबूती प्रदर्शित की। हालांकि इसे केवल $L_\infty$ खतरों के लिए अनुकूलित किया गया था, इसने बेसलाइन की तुलना में $L_2$ बाउंडेड गड़बड़ियों के खिलाफ बेहतर प्रदर्शन बनाए रखा, जो सुझाव देता है कि खोजी गई टोपोलॉजी विभिन्न थ्रेट मॉडल्स के बीच अच्छी तरह से सामान्य होती है।

5. महत्व और निष्कर्ष

• आर्किटेक्चरल बनाम ट्रेनिंग मजबूती: NERO-Net इस बात का पुख्ता प्रमाण प्रदान करता है कि मजबूती केवल प्रशिक्षण डेटा ऑग्मेंटेशन का कार्य नहीं है, बल्कि यह नेटवर्क टोपोलॉजी का एक अंतर्निहित गुण भी हो सकता है।
• दक्षता: एडवर्सरियल ट्रेनिंग के महंगे इवोल्यूशनरी सर्च से बचकर, यह विधि गणनात्मक ओवरहेड को कम करती है और फिर भी मजबूत उम्मीदवारों की खोज करती है।
• भविष्य की दिशाएं: लेखक नोट करते हैं कि हालांकि खोजी गई आर्किटेक्चर आशाजनक हैं, वे विशिष्ट NAS मॉडलों की तुलना में बड़ी (26M पैरामीटर्स) हैं। भविष्य का कार्य विशेष रूप से इन विकसित आर्किटेक्चरों के लिए एडवर्सरियल ट्रेनिंग सेटिंग्स को अनुकूलित करने और कम्प्यूटेशनल लागत को और कम करने के लिए ज़ीरो-कॉस्ट प्रॉक्सी (zero-cost proxies) का पता लगाने पर केंद्रित होगा।

संक्षेप में, NERO-Net सफलतापूर्वक स्वचालित आर्किटेक्चर डिज़ाइन और एडवर्सरियल मजबूती के बीच के अंतर को पाटता है, यह सिद्ध करता है कि न्यूरोइवोल्यूशन स्वाभाविक रूप से हमलों के प्रति लचीले CNNs प्रदान कर सकता है, यहाँ तक कि विशेष रक्षा तंत्र लागू करने से पहले भी।