On fair and realistic performance evaluations for graph-based lateral movement detectors

تخيل الإنترنت كمدينة ضخمة ومزدحمة حيث كل حاسوب هو مبنى، وكل حزمة بيانات هي شاحنة توصيل. في هذه المدينة، يراقب حراس الأمن (خبراء الأمن السيبراني) باستمرار بحثاً عن المشاكل. عادةً، يبحثون عن شخص يحاول اقتحام مبنى من الخارج. لكن اللصوص الأكثر دهاءً لا يكتفون بالاقتحام فحسب؛ فبمجرد دخولهم إلى مبنى واحد، يبدأون في التنقل من غرفة إلى أخرى، وسرقة المفاتيح، وفتح الأبواب المؤدية إلى أكثر الخزائن قيمة. هذا التنقل المتسلل بين المباني داخل المدينة يسمى "الحركة الجانبية" (Lateral Movement). ولإمساك هؤلاء اللصوص الرقميين، يقوم الباحثون ببناء "محققين" — وهي برامج حاسوبية تراقب سجلات حركة المرور في المدينة وتحاول رصد الأنماط الغريبة لتنقل اللص بين المباني.

لسنوات، تسابق هؤلاء الباحثون لبناء أفضل المحققين. ولكي يحددوا من هو الفائز، يستخدمون "ميادين تدريب": مجموعات بيانات ضخمة ومعدة مسبقاً تحاكي مدينة يتجول فيها لص معروف. الفكرة بسيطة: إذا وجد المحقق الخاص بك اللص في ميدان التدريب، فهو جيد. لكن العلة تكمكمن في أن ميادين التدريب هذه فوضوية. فبعض الباحثين يقومون بتنظيف السجلات عبر التخلص من حركة المرور "المملة"، بينما يقوم آخرون بتصنيف كل خطوة يخطوها اللص على أنها جريمة. الأمر يشبه الحكم على مهارة محقق من خلال إعطائه اختباراً قمت فيه بالفعل بإخفاء جميع الأدلة الصعبة وإخباره بالضبط بمكان المجرم. إذا تغيرت قواعد الاختبار من باحث لآخر، فلن تتمكن حقاً من معرفة من هو المحقق الأفضل فعلياً.

هذا هو بالضبط ما تبحث فيه ورقة "حول تقييمات الأداء العادلة والواقعية لكواشف الحركة الجانبية القائمة على الرسوم البيانية". يعمل المؤلف، كورنتين لاروش، كحكم يقرر فحص بطاقات النتائج في عدة مسابقات كبرى سابقة. لقد نظر في ميداني تدريب مشهورين (مجموعات بيانات تسمى LANL و OpTC) واكتشف أن الباحثين استخدموا قواعد مختلفة تماماً لتجهيز البيانات وتسمية "الجرائم". فبعضهم كان يستبعد الأشخاص الأبرياء لجعل الاختبار أسهل، بينما كان آخرون يحسبون حركة المرور غير الضارة على أنها خبيثة. وتجادل الورقة بأن هذه القواعد غير المتسقة تجعل النتائج تبدو أفضل بكثير مما هي عليه في الواقع.

بعد ذلك، يقترح لاروش مجموعة جديدة وأكثر صرامة من القواعد لتجهيز هذه المجموعات. هو يقترح أنه يجب علينا الاحتفاظ بـ كل حركة المرور في الاختبار، وليس فقط الأجزاء "المثيرة للاهتمام"، كما يجب أن نكون حذرين للغاية بشأن ما نسميه "حركة جانبية". وعندما يعيد تشغيل الاختبارات لثلاث طرق كشف شهيرة باستخدام قواعده الجديدة والأكثر عدلاً، تتغير النتائج بشكل دراماتيكي. المحققون الذين بدوا كأبطال خارقين في الاختبارات القديمة، يبدون فجأة أقل إبهاراً بكثير عندما يُجبرون على التعامل مع البيانات الفوضوية والواقعية. على سبيل المثال، إحدى الطرق التي ادعت سابقاً تحقيق درجة تقترب من المثالية، انخفضت درجتها بشكل كبير عندما أُجبرت على التعامل مع البيانات الفوضوية والواقعية. وتخلص الورقة إلى أنه على الرغم من أن اكتشاف الحركة الجانبية لا يزال مشكلة صعبة للغاية، إلا أننا بحاجة إلى التوقف عن استخدام التعديلات المنحازة في اختباراتنا إذا أردنا يوماً ما بناء نظام يعمل في العالم الحقيقي.