A Multi-Seed Evaluation of Explanation Faithfulness and Stability under Adversarial Evasion in IoT/IIoT Intrusion Detection

आधुनिक दुनिया की छिपी हुई परतों में, अरबों स्मार्ट उपकरण—फैक्ट्री सेंसर से लेकर घर के थर्मोस्टैट तक—लगातार एक-दूसरे से बात करते हैं। यह विशाल नेटवर्क, जिसे इंटरनेट ऑफ थिंग्स (Internet of Things) के रूप में जाना जाता है, हमारे डिजिटल बुनियादी ढांचे की तंत्रिका प्रणाली (nervous system) है। लेकिन किसी भी तंत्रिका प्रणाली की तरह, यह भी हस्तक्षेप के प्रति संवेदनशील है। हैकर्स सूक्ष्म, गणना किए गए संकेत भेज सकते हैं जो इन उपकरणों की निगरानी करने वाले सुरक्षा सॉफ्टवेयर को धोखा देने के लिए डिज़ाइन किए गए हों, जिससे एक खतरनाक हमला हानिरहित बैकग्राउंड शोर जैसा दिखाई दे सके। वर्षों से, सुरक्षा विशेषज्ञ घुसपैख्तियों का पता लगाने के लिए आर्टिफिशियल इंटेलिजेंस (AI) पर भरोसा करते आए हैं। हालाँकि, एक नई समस्या उभर कर आई है: जब ये AI सिस्टम किसी खतरे को चिह्नित करते हैं, तो वे अक्सर इस बात का स्पष्टीकरण देते हैं कि उन्होंने वह निर्णय क्यों लिया। महत्वपूर्ण प्रश्न यह है कि क्या वह स्पष्टीकरण तब भी ईमानदार रहता है जब AI को सक्रिय रूप से धोखा दिया जा रहा हो। यदि कोई हैकर सिस्टम को हमले को अनदेखा करने के लिए मूर्ख बना सकता है, तो क्या सिस्टम का स्पष्टीकरण भी एक झूठ बन जाता है, या वह अभी भी सच्चाई की ओर संकेत करता है?

डैफोडिल इंटरनेशनल यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इन AI स्पष्टीकरणों की ईमानदारी और विश्वसनीयता का परीक्षण करने के लिए हाथ आजमाया। उन्होंने व्याख्या करने के लिए उपयोग की जाने वाली दो लोकप्रिय विधियों पर ध्यान केंद्रित किया, जिन्हें SHAP और LIME के रूप में जाना जाता है। ये उपकरण एक स्पॉटलाइट की तरह कार्य करते हैं, जो यह उजागर करते हैं कि नेटवर्क सिग्नल के किन हिस्सों ने—जैसे कि डेटा पैकेट का आकार या कनेक्शन की अवधि—AI को अलार्म बजाने के लिए प्रेरित किया। शोधकर्ता यह जानना चाहते थे कि क्या ये स्पॉटलाइट स्थिर और सटीक रहेंगी जब इनपुट डेटा को एक हैकर द्वारा सूक्ष्म रूप से बदला जाता है, या क्या स्पष्टीकरण डगमगा जाएंगे और गलत दिशा में संकेत करेंगे। एक वास्तव में विश्वसनीय उत्तर प्राप्त करने के लिए, उन्होंने केवल एक AI मॉडल के संस्करण का परीक्षण करने की सामान्य गलती से परहेज किया। इसके बजाय, उन्होंने एक ही सुरक्षा प्रणाली के बीस अलग-अलग संस्करणों को प्रशिक्षित किया, जिनमें से प्रत्येक एक थोड़े अलग रैंडम सेटअप के साथ शुरू हुआ था, ताकि यह सुनिश्चित किया जा सके कि उनके निष्कर्ष केवल एक विशिष्ट प्रशिक्षण सत्र का कोई सुफल संयोग नहीं हैं।

शोधकर्ताओं ने नेटवर्क ट्रैफ़िक के दो प्रमुख संग्रहों से वास्तविक दुनिया के डेटा का उपयोग करके इन प्रणालियों को कठोर परीक्षणों से गुजरवाया। उन्होंने तीन प्रकार के हमलों का अनुकरण किया: एक व्यापक, अनियरेस्टेड (unrestricted) हमला जो डेटा को उन तरीकों से बदलता है जो एक वास्तविक नेटवर्क कभी पैदा नहीं कर सकता; एक अधिक यथार्थवादी हमला जो केवल उन नंबरों को बदलता है जिन्हें हमलावर नियंत्रित कर सकता है; और एक अत्यधिक प्रतिबंधित (constrained) हमला जो डेटा पैकेट के निर्माण के सभी भौतिक नियमों का सम्मान करता है। उन्होंने पाया कि अनरेस्टेड हमले, जो अक्सर असंभव डेटा मान उत्पन्न करते हैं जैसे कि एक पैकेट जिसमें भिन्नात्मक (fractional) बाइट्स हों, ज्यादातर एक गलत अलार्म थे। जब शोधकर्ताओं ने इन असंभव रिकॉर्ड्स को वास्तविक, वैध डेटा दिखाने के लिए मजबूर किया, तो न्यूरल नेटवर्क मॉडल के खिलाफ हमलों की सफलता दर नाटकीय रूप से गिर गई। हालांकि, ट्री-बेस्ड (tree-based) मॉडल, जो अलग तरह से काम करते हैं, इन वैध दिखने वाले धोखों के प्रति अधिक संवेदनशील थे।

सबसे चौंकाने वाली खोज स्वयं स्पष्टीकरणों के बारे में थी। जब AI मॉडलों पर हमला किया गया, तो SHAP विधि ने निष्ठावान और स्थिर स्पष्टीकरण प्रदान करना जारी रखा, जो मॉडल के व्यवहार को लगातार दर्शाते थे, भले ही निर्णय बदल गया हो। इसके विपरीत, LIME विधि बहुत कम विश्वसनीय साबित हुई। हमले के दौरान, LIME के स्पष्टीकरण अक्सर उतने ही बदल जाते थे जितना कि तब जब सिस्टम सामान्य रूप से चल रहा होता है, जो यह सुझाव देता है कि उनके परिवर्तन ज्यादातर रैंडम शोर थे न कि हमले का वास्तविक प्रतिबिंब। वास्तव में, बीस अलग-अलग प्रशिक्षण सत्रों में प्रत्येक तुलना में, SHAP ने सटीकता और स्थिरता में LIME को पीछे छोड़ दिया। शोधकर्ताओं ने यह भी पाया कि सुरक्षा प्रणाली के "अलार्म थ्रेशोल्ड" (alarm threshold)—वह बिंदु जिस पर यह अलर्ट बजाने का निर्णय लेता है—का चुनाव मॉडल से अधिक महत्वपूर्ण है। एक सिस्टम जिसे बहुत संवेदनशील बनाया गया है, वह लगभग हर हमले को पकड़ सकता है लेकिन इतने अधिक गलत अलार्म उत्पन्न करेगा कि सुरक्षा टीमें अभिभूत हो जाएंगी, जबकि एक सख्त सेटिंग हमलों को मिस कर सकती है लेकिन शोर को कम रखेगी।

शायद सबसे गंभीर निष्कर्ष यह था कि कोई भी एकल सुरक्षा प्रणाली अजेय नहीं है। एक डेटासेट पर, उन्नत से उन्नत न्यूरल नेटवर्क को भी एक हैकर द्वारा पूरी तरह से मूर्ख बनाया जा सकता है जो बस एक पैकेट में अतिरिक्त डेटा पैडिंग जोड़ देता है, एक ऐसी तकनीक जिसमें बहुत कम लागत आती है लेकिन यह रक्षा को पूरी तरह से बायपास कर देती है, जहाँ मॉडल ऐसे हमलों का अधिकतम 3% ही पता लगा पाते हैं। ट्री-बेस्ड मॉडल अधिक मजबूत थे, लेकिन विशेष रूप से उनकी संरचना के लिए डिज़ाइन किए गए एक चतुर, लक्षित हमले से वे भी काफी मामलों में बच सकते थे। अध्ययन यह निष्कर्ष निकालता है कि हालांकि हम ऐसे AI सिस्टम बना सकते हैं जो अपने तर्क की व्याख्या कर सकें, लेकिन वे स्पष्टीकरण केवल सिस्टम की हेरफेर का विरोध करने की क्षमता जितने ही भरोसेमंद होते हैं। यह शोध भविष्य में इन प्रणालियों का परीक्षण करने के लिए एक स्पष्ट रोडमैप प्रदान करता है, इस बात पर जोर देता है कि हमें सरल सटीकता स्कोर से परे देखना चाहिए और यह जांचना चाहिए कि वास्तविक दबाव के तहत स्पष्टीकरण कैसे टिकते हैं। जो उपकरण हम अपनी डिजिटल सुरक्षा को समझने के लिए उपयोग करते हैं, उन्हें स्वयं सुरक्षा के समान ही लचीला होना चाहिए।