On fair and realistic performance evaluations for graph-based lateral movement detectors

कल्पना कीजिए कि इंटरनेट एक विशाल, हलचल भरे शहर की तरह है जहाँ हर कंप्यूटर एक इमारत है और हर डेटा पैकेट एक डिलीवरी ट्रक है। इस शहर में, सुरक्षा गार्ड (साइबर सुरक्षा विशेषज्ञ) लगातार मुसीबत की तलाश में रहते हैं। आमतौर पर, वे बाहर से किसी इमारत में घुसने की कोशिश करने वाले व्यक्ति को देखते हैं। लेकिन सबसे चालाक चोर केवल अंदर घुसने का इंतज़ार नहीं करते; एक बार जब वे एक इमारत में घुस जाते हैं, तो वे एक कमरे से दूसरे कमरे में कूदना, चाबियाँ चुराना और सबसे मूल्यवान तिजोरियों के दरवाजे खोलना शुरू कर देते हैं। शहर के भीतर इस चालाकी से इधर-उधर घूमने को "लैट्रल मूवमेंट" (lateral movement) कहा जाता है। इन डिजिटल चोरों को पकड़ने के लिए, शोधकर्ता "जासूस" (detectives)—ऐसे कंप्यूटर प्रोग्राम बनाते हैं जो शहर के ट्रैफ़िक लॉग्स को देखते हैं और इमारतों के बीच घूमते हुए एक चोर के अजीब पैटर्न को पहचानने की कोशिश करते हैं।

वर्षों से, ये शोधकर्ता सबसे अच्छे जासूस बनाने की दौड़ में लगे हुए हैं। यह देखने के लिए कि कौन जीत रहा है, वे "प्रशिक्षण मैदान" (training grounds) का उपयोग करते हैं: विशाल, पहले से बने हुए डेटासेट जो एक ऐसे शहर का अनुकरण करते हैं जहाँ एक ज्ञात चोर घूम रहा है। विचार सरल है: यदि आपका जासूस प्रशिक्षण मैदान में चोर को ढूंढ लेता है, तो वह अच्छा है। लेकिन यहाँ एक पेंच है: प्रशिक्षण मैदान अस्त-व्यst हैं। कुछ शोधकर्ता लॉग्स को "बोरिंग" ट्रैफ़िक को हटाकर साफ करते हैं, जबकि अन्य चोर द्वारा उठाए गए हर एक कदम को एक अपराध के रूप में लेबल करते हैं। यह ऐसा है जैसे किसी जासूस के कौशल का परीक्षण करने के लिए उसे एक ऐसा टेस्ट दिया जाए जहाँ आपने पहले ही सभी कठिन सुराग छिपा दिए हों और उसे ठीक-ठीक बता दिया हो कि अपराधी कहाँ है। यदि एक शोधकर्ता से दूसरे शोधकर्ता तक परीक्षण के नियम बदल जाते हैं, तो आप वास्तवं में यह नहीं जान सकते कि सबसे अच्छा जासूस कौन है।

यह बिल्कुल वही है जिसकी जांच "On Fair and Realistic Performance Evaluations for Graph-Based Lateral Movement Detectors" नामक शोध पत्र करता है। लेखक, कोरेंटिन लारोचे (Corentin Larroche), एक रेफरी की तरह कार्य करते हैं जो पिछले कुछ बड़े मुकाबलों के स्कोरकार्ड की जाँच करने का निर्णय लेते हैं। वह दो प्रसिद्ध प्रशिक्षण मैदानों (LANL और OpTC नामक डेटासेट) को देखते हैं और पता लगाते हैं कि शोधकर्ताओं ने डेटा तैयार करने और "अपराधों" को लेबल करने के लिए बहुत अलग-अलग नियमों का उपयोग किया है। कुछ लोग परीक्षण को आसान बनाने के लिए निर्दोष लोगों को फ़िल्टर कर रहे थे, जबकि अन्य हानिरहित ट्रैफ़िक को दुर्भावनापूर्ण (malicious) मान रहे थे। पेपर का तर्क है कि ये असंगत नियम परिणामों को वास्तव में जितना है, उससे कहीं बेहतर दिखा रहे हैं।

इसके बाद लारोचे इन डेटासेट्स को तैयार करने के लिए एक नया, अधिक सख्त सेट ऑफ रूल्स प्रस्तावित करते हैं। उनका सुझाव है कि हमें परीक्षण में सारा ट्रैफ़िक रखना चाहिए, न कि केवल "दिलचस्प" हिस्से, और हमें इस बात पर बहुत सावधान रहना चाहिए कि हम किसे "लैट्रल मूवमेंट" कहते हैं। जब वह अपने नए, अधिक निष्पक्ष नियमों के साथ तीन प्रसिद्ध डिटेक्शन विधियों के परीक्षणों को फिर से चलाते हैं, तो परिणाम नाटकीय रूप से बदल जाते हैं। वे जासूस जो पुराने परीक्षणों में सुपरहीरो की तरह दिखते थे, अचानक बहुत कम प्रभावशाली दिखने लगते हैं। उदाहरण के लिए, एक विधि जिसने पहले लगभग पूर्ण स्कोर का दावा किया था, वह वास्तविक, अस्त-व्यस्त डेटा का सामना करने पर काफी गिर जाती है। पेपर निष्कर्ष निकालता है कि हालांकि लैट्रल मूवमेंट डिटेक्शन अभी भी एक बहुत कठिन समस्या है, लेकिन यदि हम कभी भी ऐसा सिस्टम बनाना चाहते हैं जो वास्तविक दुनिया में काम करे, तो हमें अपने परीक्षणों में पक्षपाती समायोजन (biased adjustments) का उपयोग करना बंद करना होगा।