Robust Ensemble of Selectively Strengthened and Augmented Predictors

तकनीकी सारांश: चयनात्मक रूप से सुदृढ़ और संवर्धित भविष्यवक्ताओं का सुदृढ़ समूह (RESSAP)

समस्या विवरण
मशीन लर्निंग क्लासिफायर, विभिन्न डोमेन में सफल होने के बावजूद, अपने निर्णय सीमाओं (decision boundaries) में अंतर्निहित "ब्लाइंड स्पॉट्स" रखते हैं जिनका प्रतिकूल इवेजन हमलों (adversarial evasion attacks) द्वारा शोषण किया जा सकता है। इन हमलों में, हमलावर अनुमान (inference) के समय इनपुट डेटा में हेरफेर करते हैं ताकि प्रशिक्षण प्रक्रिया को बदले बिना गलत वर्गीकरण (misclassification) कराया जा सके। मौजूदा रक्षा तंत्र अक्सर सीमित सामान्यीकरण (generalizability) से ग्रस्त होते हैं, जिन्हें महत्वपूर्ण वास्तुशिल्प परिवर्तनों की आवश्यकता होती है या जो सीखने के एल्गोरिदम के चयन को प्रतिबंधित करते हैं। इसके अलावा, कई रक्षा प्रणालियों का मूल्यांकन संकीर्ण हमले परिदृश्यों के तहत किया जाता है, जो विविध खतरों के विरुद्ध व्यवस्थित मजबूती प्रदान करने में विफल रहती हैं। एक ऐसे मॉडल-अज्ञेय (model-agnostic) ढांचे की महत्वपूर्ण आवश्यकता है जो प्रतिकूल इवेजन हमलों के विरुद्ध मजबूती को बढ़ाता है, जबकि स्वच्छ डेटा पर उच्च सटीकता बनाए रखता है और मौजूदा एमएल पाइपलाइनों (जैसे, SecDevOps) में सहजता से फिट बैठता है।

कार्यप्रणाली
लेखक RESSAP (Robust Ensemble of Selectively Strengthened and Augmented Predictors) का प्रस्ताव करते हैं, जो एक एकल पूर्व-प्रशिक्षित क्लासिफायर ($clf_0$) को विशिष्ट उप-मॉडलों के एक समूह (ensemble) में परिवर्तित करता है। कार्यप्रणाली के चार प्राथमिक घटक हैं:

1. विशेषता चयन और उपसमूह निर्माण (Feature Selection and Subset Generation):
   फ्रेमवर्क विशेषता चयन को निर्देशित करने के लिए एक मिश्रित **लचीलापन मीट्रिक ($FSRI$)** पेश करता है। यह मीट्रिक प्रत्येक विशेषता$j$ के लिए दो अलग-अलग स्कोर को जोड़ता है:

   • विशेषता महत्व ($FSI$): यह परमुटेशन इम्पॉर्टेंस (permutation importance) के माध्यम से गणना किया जाता है, जो विशेषता मानों को शफल करने पर आधारभूत सटीकता में गिरावट को मापता है।
   • विशेषता मजबूती ($FSR$): इसकी गणना विशेषता में जोड़े गए छोटे यादृच्छिक शोर (random noise) के प्रति आधारभूत सटीकता की संवेदनशीलता को मापकर की जाती है।
   • **लचीलापन ($FSRI$):** इसे सामान्यीकृत$FSI$और$FSR$ के योग के रूप में परिभाषित किया गया है।

   इन मीट्रिक्स का उपयोग करके, फ्रेमवर्क $t$ विविध विशेषता उपसमूह ($s_l$) उत्पन्न करता है। विविधता सुनिश्चित करने के लिए, उपसमूहों का निर्माण तीन रणनीतियों के आधार पर शीर्ष-रैंक वाली विशेषताओं को चुनकर किया जाता है: आधे उपसमूह $FSRI$(लचीलापन) को प्राथमिकता देते हैं, एक चौथाई$FSI$(महत्व) को प्राथमिकता देते हैं, और शेष एक चौथाई$FSR$ (मजबूती) को प्राथमिकता देते हैं।

2. डेटा संवर्धन (Data Augmentation):
   प्रत्येक विशेषता उपसमूह के लिए, संबंधित प्रशिक्षण डेटा को वर्टिकल स्लाइस किया जाता है। इसके बाद इन उपसमूहों पर शोर-आधारित डेटा संवर्धन लागू किया जाता है, जिसमें गॉसियन शोर ($\epsilon \sim N(0, \sigma)$) जोड़ा जाता है। यह प्रक्रिया प्राकृतिक विविधताओं और मामूली प्रतिकूल गड़बड़ियों का अनुकरण करती है, जिससे उप-मॉडल अधिक स्थिर और सामान्यीकरण योग्य निर्णय सीमाओं को सीखने के लिए प्रोत्साहित होते हैं।

3. समूह प्रशिक्षण (Ensemble Training):
   प्रत्येक संवर्धित विशेषता उपसमूह पर एक कमजोर क्लासिफायर ($f_l$) को स्वतंत्र रूप से प्रशिक्षित किया जाता है। इससे $t$ क्लासिफायरों का एक समूह बनता है, जिनमें से प्रत्येक एक अलग, लचीले विशेषता स्थान (feature space) पर कार्य करता है।

4. यादृच्छिक अनुमान (Randomized Inference):
   अनुमान (inference) के समय, सिस्टम सभी क्लासिफायरों का उपयोग नहीं करता है। इसके बजाय, भविष्यवाणी सेट $P$ बनाने के लिए $k$ क्लासिफायरों के एक यादृच्छिक उपसमूह का चयन किया जाता है। अंतिम भविष्यवाणी चयनित क्लासिफायरों के संभाव्यता वेक्टर (probability vectors) को एकत्रित करके और अधिकतम एकत्रित संभाव्यता वाले वर्ग को चुनकर प्राप्त की जाती है। यह यादृच्छिकता सिस्टम की अप्रत्याशितता को बढ़ाती है, जिससे हमलावरों को निर्णय सीमाओं को मैप करने के लिए सिस्टम को बार-बार क्वेरी करने के लिए मजबूर होना पड़ता है।

प्रमुख योगदान
लेखक तीन प्राथमिक योगदानों को रेखांकित करते हैं:

1. RESSAP फ्रेमवर्क: एक नवीन एन्सेम्बल आर्किटेक्चर जो विशेषता-स्तर की विविधता और क्लासिफायर-स्तर की यादृच्छिकता को एकीकृत करके प्रतिकूल मजबूती को बढ़ाता है, जो एक पोस्ट-ट्रेनिंग एन्हांसमेंट स्टेप के रूप में कार्य करता है।
2. लचीलापन-आधारित विशेषता चयन: विशेषता चयन के लिए एक नया दृष्टिकोण जो विविध और लचीले विशेषता उपसमूहों को निर्देशित करने के लिए परमुटेशन इम्पॉर्टेंस और मजबूती को एक एकल मीट्रिक ($FSRI$) में एकीकृत करता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक डेटासेट पर RESSAP का मूल्यांकन, जो दर्शाता है कि यह फ्रेमवर्क स्वच्छ डेटा सटीकता को बनाए रखते हुए प्रतिकूल इवेजन हमलों के विरुद्ध प्रतिरोध को महत्वपूर्ण रूप से सुधारता है।

परिणाम
लेखकों ने एक मल्टी-लाइन सर्च (MLS) अटैक स्ट्रैजी का उपयोग करके एक सिंथेटिक डेटासेट ($n=600$ इंस्टेंस, $d=10$ फीचर्स) पर RESSAP का मूल्यांकन किया। इसके परिणामों की तुलना बेसलाइन सपोर्ट वेक्टर मशीन (SVM) और RESSAP के एब्लेटेड (ablated) संस्करणों से की गई:

• हमला सफलता दर (Attack Success Rate): पूर्ण RESSAP मॉडल ने प्रतिकूल हमले की सफलता दर को 32.49% तक कम कर दिया, जो बेसलाइन SVM (100%) और एब्लेटेड वेरिएंट (35.63% से 51.45% के बीच) की तुलना में एक महत्वपूर्ण सुधार है।
• स्वच्छ सटीकता (Clean Accuracy): RESSAP ने स्वच्छ डेटा पर उच्च सटीकता (96.5%) बनाए रखी, जो बेसलाइन (94.2%) और अन्य वेरिएंट के तुलनीय है।
• क्वेरी लागत (Query Cost): फ्रेमवर्क ने एक हमलावर के लिए सफलतापूर्वक मॉडल को चकमा देने के लिए आवश्यक क्वेरी की संख्या को काफी बढ़ा दिया। 78.08% मामलों में, पूर्ण RESSAP मॉडल को बेसलाइन SVM की तुलना में भविष्यवाणी बदलने के लिए अधिक क्वेरी की आवश्यकता थी।
• एब्लेशन विश्लेषण (Ablation Analysis): किसी भी एकल घटक (विशेषता चयन, यादृच्छिक क्लासिफायर चयन, या डेटा संवर्धन) को हटाने से लगातार कम मजबूती देखी गई, जो पुष्टि करती है कि प्रत्येक तंत्र योगदान देता है।

महत्व और दावे
लेखक दावा करते हैं कि RESSAP एक स्केलेबल और लचीला, मॉडल-अज्ञेय रक्षा रणनीति प्रदान करता है। इसका महत्व मौजूदा आर्किटेक्चर या प्रशिक्षण प्रक्रियाओं में बड़े बदलावों की आवश्यकता के बिना मशीन लर्निंग सिस्टम की सुरक्षा बढ़ाने की इसकी क्षमता में निहित है। एक एकल मॉडल को एक यादृच्छिक समूह में बदलकर, RESSAP हमलावरों के लिए "क्वेरी लागत" को बढ़ाता है, जिससे सफल इवेजन उदाहरण तैयार करना कम्प्यूटेशनल रूप से अधिक महंगा और कठिन हो जाता है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण मजबूती और वर्गीकरण सटीकता के बीच के संतुलन को संबोधित करता है, जो वर्तमान रक्षा तंत्रों की एक प्रमुख सीमा है।

लेखक विनम्रतापूर्वक सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि वर्तमान मूल्यांकन एक सिंथेटिक रूप से उत्पन्न डेटासेट पर निर्भर है और अभी तक अन्य प्रतिकूल सेटिंग्स के लिए विशेष रूप से डिज़ाइन किए गए मजबूत आर्किटेक्चर के विरुद्ध इसकी तुलना नहीं की गई है। वे भविष्य के कार्य के रूप में विविध वास्तविक दुनिया के डेटासेट और विशेषता चयन प्रक्रिया के और अधिक परिशोधन की पहचान करते हैं।