When Explanations Help or Harm Network Intrusion Alert Triage: A Distribution-Conditional Benchmark

कंप्यूटर सुरक्षा की उच्च-दांव वाली दुनिया में, हर सेकंड नेटवर्क के माध्यम से डिजिटल ट्रैफ़िक की एक निरंतर धारा बहती है। इसमें से अधिकांश ट्रैफ़िक हानिरहित होता है, लेकिन इसके भीतर घुसपैठ करने, डेटा चुराने या सेवाओं को बाधित करने के प्रयास छिपे होते हैं। इन घुसपैठियों को पकड़ने के लिए, संगठन स्वचालित प्रणालियों का उपयोग करते हैं जो डिजिटल प्रहरी (sentinels) के रूप में कार्य करती हैं। ये प्रणालियाँ डेटा के प्रवाह को लगातार स्कैन करती रहती हैं, और ऐसे पैटर्न की तलाश करती हैं जो संदिग्ध लगें। जब वे कुछ असामान्य देखती हैं, तो वे अलार्म बजा देती हैं। हालाँकि, ये प्रणालियाँ पूर्ण नहीं होतीं; वे अक्सर हजारों गलत अलार्म (false alarms) उत्पन्न करती हैं, जिससे सामान्य गतिविधि को भी खतरा मान लिया जाता है। यह मानव सुरक्षा विश्लेषकों के लिए एक विशाल बैकलॉग बना देता है, जिन्हें वास्तविक खतरे को खोजने के लिए इस शोर के बीच से छानबीन करनी पड़ती है। इन टीमों के लिए महत्वपूर्ण प्रश्न यह नहीं है कि क्या प्रणाली एक हमले को पहचान सकती है, बल्कि यह है कि क्या उसके द्वारा उत्पन्न अलार्मों की सूची सबसे खतरनाक खतरों को बिल्कुल ऊपर रखती है, जहाँ एक थका हुआ विश्लेषक उन्हें सबसे पहले देख सके।

वर्षों से, आर्टिफिशियल इंटेलिजेंस के क्षेत्र में एक लोकप्रिय विचार यह रहा है कि इस समस्या को हल करने में मदद करने के लिए "व्याख्याओं" (explanations) का उपयोग किया जाए। तर्क सरल है: यदि कंप्यूटर किसी मनुष्य को यह बता सके कि उसने एक विशिष्ट अलार्म क्यों लगाया, तो मनुष्य उस पर अधिक भरोसा कर सकता है और उसे बेहतर तरीके से प्राथमिकता दे सकता है। कल्पना कीजिए कि एक सुरक्षा गार्ड न केवल एक संदिग्ध व्यक्ति की ओर इशारा करता है, बल्कि यह भी समझाता है, "मैं उस पर इसलिए नज़र रख रहा हूँ क्योंकि उसने एक बड़ा बैग पकड़ा हुआ है और वह तेज़ी से चल रहा है।" यह उम्मीद है कि अलार्म सूची में इस तर्क को जोड़ने से विश्लेषकों को वास्तविक हमलों को तेज़ी से खोजने में मदद मिलेगी। लेकिन इस धारणा का कभी भी अराजक नेटवर्क सुरक्षा की वास्तविकता में कड़ाई से परीक्षण नहीं किया गया है। क्या व्याख्या जोड़ना वास्तव में मदद करता है, या क्या यह सिस्टम को भ्रमित करता है और वास्तविक खतरों को सूची में और नीचे धकेल देता है?

तुर्की के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने एक सावधानीपूर्वक, नियंत्रित प्रयोग के साथ इस प्रश्न का उत्तर देने का निर्णय लिया। उन्होंने केवल यह नहीं पूछा कि व्याख्याएँ "अच्छी" हैं या "बुरी"। इसके बजाय, उन्होंने एक परीक्षण स्थल बनाया यह देखने के लिए कि व्याख्याएँ कब मदद करती हैं, कब वे कुछ नहीं करतीं, और कब वे वास्तव में स्थिति को बदतर बना देती हैं। उन्होंने तीन अलग-अलग प्रकार के स्वचालित डिटेक्टरों से शुरुआत की, जिनमें से प्रत्येक को यह पहचाने बिना कि विशिष्ट हमलों की तलाश क्या करनी है, असामान्य नेटवर्क गतिविधि को पहचानने के लिए प्रशिक्षित किया गया था। इन डिटेक्टरों ने डेटा कितना अजीब दिखा, इसके आधार पर अलार्म की एक सूची तैयार की। शोधकर्ताओं ने फिर इस सूची पर एक विशिष्ट नियम लागू किया: उन्होंने व्याख्या में एक "हस्ताक्षर" (signature) जोड़ा। यह एक पूर्व-निर्धारित विशेषताओं का समूह था जो एक विशिष्ट प्रकार के हमले से मेल खाता था, जैसे कि 'डिनियल ऑफ सर्विस' (Denial of Service) हमला, जिसकी विशेषता डेटा की एक विशाल बाढ़ है।

शोधकर्ताओं ने फिर यह परीक्षण किया कि क्या इस हस्ताक्षर से मेल खाने वाले अलार्मों की प्राथमिकता बढ़ाने से वास्तव में सूची का क्रम बेहतर होता है। उन्होंने SHAP नामक एक विधि का उपयोग किया, जो डेटा के प्रत्येक हिस्से के योगदान को तोड़कर कंप्यूटर के निर्णय को स्पष्ट करती है, ताकि यह देखा जा सके कि क्या कंप्यूटर सही चीजों पर ध्यान केंद्रित कर रहा है। उन्होंने मूल सूची (जो केवल डेटा के अजीब होने के आधार पर क्रमबद्ध थी) की तुलना एक नई सूची से की, जहाँ हमले के हस्ताक्षर से मेल खाने वाले अलार्मों को थोड़ा बढ़ावा दिया गया था। उन्होंने इस परीक्षण को हजारों परिदृश्यों में चलाया, जिसमें विभिन्न प्रकार के हमले, विभिन्न डिटेक्टर और सूचियों के विभिन्न आकार शामिल थे, ताकि यह देखा जा सके कि परिणाम स्थिर रहते हैं या नहीं।

निष्कर्ष आश्चर्यजनक और सूक्ष्म थे। शोधकर्ताओं ने पाया कि व्याख्या जोड़ना स्वचालित रूप से सूची में सुधार नहीं करता है। वास्तव में, हमलों के कुछ सबसे सामान्य प्रकारों के लिए, विशेष रूप से 'डिनियल ऑफ सर्विस' फ्लड्स के लिए, व्याख्या ने वास्तव में स्थिति को बदतर बना दिया। जब शोधकर्ताओं ने इन हमलों के लिए व्याख्या नियम लागू किया, तो वास्तविक खतरों को सूची में और नीचे धकेल दिया गया, जिससे उन्हें खोजना एक विश्लेषक के लिए कठिन हो गया। ऐसा इसलिए हुआ क्योंकि स्वचालित डिटेक्टर पहले से ही इन फ्लड्स को पहचानने में बहुत कुशल थे, और उन्हें शीर्ष पर रखते थे। व्याख्या नियम, मदद करने की कोशिश में, अनजाने में सूची को अस्त-व्यस्त कर देता है और सबसे तत्काल अलार्म को नीचे ले आता है।

हालाँकि, कहानी पूरी तरह से नकारात्मक नहीं थी। कुछ विशिष्ट मामलों में, व्याख्या ने मदद की। कुछ प्रकार के हमलों और विशिष्ट डिटेक्टरों के लिए, व्याख्या ने सही अलार्मों को शीर्ष पर रखने में सफलता प्राप्त की। लेकिन ये सफलताएँ दुर्लभ और नाजुक थीं। शोधकर्ताओं ने पाया कि परिणाम पूरी तरह से उपयोग किए गए डिटेक्टर, हमले के प्रकार और डेटा एकत्र किए जाने के सटीक समय के संयोजन पर निर्भर करते थे। जो एक प्रकार के हमले के लिए काम करता था, वह दूसरे के लिए विफल हो गया। जो एक दिन के डेटा पर काम करता था, वह अगले दिन काम नहीं करता था।

अध्ययन ने यह भी देखा कि क्या ये परिणाम वास्तविक दुनिया में टिक पाएंगे, जहाँ डेटा अव्यवस्थित और अप्रत्याशित होता है। उन्होंने विभिन्न डेटासेट पर अपने तरीकों का परीक्षण किया, जिनमें से कुछ शुरुआती परीक्षण की तुलना में बहुत बड़े और अधिक जटिल थे। उन्होंने पाया कि पैटर्न सुसंगत बना रहा: व्याख्या नियम एक सार्वभौमिक समाधान नहीं था। कुछ आधुनिक डेटासेट में, इसने थोड़ी मदद की, लेकिन अन्य में, इसने नुकसान पहुँचाया। महत्वपूर्ण रूप से, उन्होंने एक "सेलेक्टर" (selector) बनाने की कोशिश की जो स्वचालित रूप से यह तय कर सके कि व्याख्या का उपयोग कब करना है और साधारण सूची के साथ कब बने रहना है। उन्होंने पाया कि ऐसा कोई सेलेक्टर नहीं बनाया जा सकता था जो निरंतर मानवीय निगरानी के बिना उपयोग के लिए सुरक्षित हो। वह नियम जो प्रशिक्षण डेटा में काम करता था, वह नए, अनदेखे डेटा पर लागू होने पर विफल हो गया।

शोधकर्ताओं ने निष्कर्ष निकाला कि सुरक्षा अलर्ट में केवल व्याख्याएं जोड़ने का विचार कोई जादुई समाधान (silver bullet) नहीं है। जबकि व्याख्याएं यह समझने के लिए उपयोगी हो सकती हैं कि कंप्यूटर ने निर्णय क्यों लिया, उनका उपयोग अलार्म की सूची को स्वचालित रूप से पुनर्गठित करने के लिए करना जोखिम भरा है। अध्ययन ने दिखाया कि कई मामलों में, कच्चे "अजीब होने के स्कोर" (strangeness score) पर आधारित सरल सूची, व्याख्याओं द्वारा संशोधित सूची से बेहतर थी। शोधकर्ता सुझाव देते हैं कि सबसे अच्छा दृष्टिकोण यह है कि व्याख्या को एक माध्यमिक उपकरण के रूप में माना जाए। सुरक्षा टीमों को काम को प्राथमिकता देने के लिए मूल सूची को प्राथमिक तरीका बनाए रखना चाहिए, और व्याख्या का उपयोग केवल किसी विशिष्ट अलार्म की दोबारा जांच करने या उसे समझने के लिए करना चाहिए, न कि पूरी सूची के क्रम को बदलने के लिए।

यह कार्य सुरक्षा संचालन के भविष्य के लिए एक स्पष्ट, साक्ष्य-आधारित मानचित्र प्रदान करता है। यह हमें बताता है कि हम यह मान नहीं सकते कि अधिक जानकारी हमेशा बेहतर निर्णय लेने की ओर ले जाती है। कभी-कभी, व्याख्या की अतिरिक्त परत सबसे महत्वपूर्ण संकेतों को धुंधला कर सकती है। शोधकर्ताओं ने दिखाया है कि इससे पहले कि कोई भी संगठन व्याख्याओं के आधार पर अलार्म को पुन: व्यवस्थित करने वाली प्रणाली को अपनाए, उन्हें अपने स्वयं के वातावरण में इसका कड़ाई से परीक्षण करना चाहिए। उन्हें यह सत्यापित करना चाहिए कि व्याख्या वास्तव में उनके विशिष्ट डिटेक्टरों को उनके विशिष्ट खतरों को खोजने में मदद करती है। इस स्थानीय सत्यापन के बिना, सुरक्षा को व्याख्याओं के साथ स्मार्ट बनाने का प्रयास इसे धीमा और कम प्रभावी बना सकता है। आगे का रास्ता कंप्यूटर के तर्क पर अंधाधुंध भरोसा करना नहीं है, बल्कि इसका सावधानी से उपयोग करना है, यह जानते हुए कि यह कब मदद करता है और कब नुकसान पहुँचाता है।