On fair and realistic performance evaluations for graph-based lateral movement detectors

Imagina que el internet es una ciudad gigante y bulliciosa donde cada computadora es un edificio y cada paquete de datos es un camión de reparto. En esta ciudad, los guardias de seguridad (expertos en ciberseguridad) vigilan constantemente en busca de problemas. Por lo general, buscan a alguien que intente entrar en un edificio desde el exterior. Pero los ladrones más astutos no solo entran por la fuerza; una vez que logran entrar en un edificio, comienzan a saltar de habitación en habitación, robando llaves y abriendo puertas hacia las bóvedas más valiosas. Este sigiloso salto entre habitaciones dentro de la ciudad se llama "movimiento lateral". Para atrapar a estos cerrajeros digitales, los investigadores construyen "detectives": programas informáticos que observan los registros de tráfico de la ciudad e intentan detectar los patrones extraños de un ladrón moviéndose entre edificios.

Durante años, estos investigadores han estado compitiendo por construir el mejor detective. Para ver quién está ganando, utilizan "campos de entrenamiento": bases de datos gigantes y prefabricadas que simulan una ciudad con un ladrón conocido corriendo por ella. La idea es simple: si tu detective encuentra al ladrón en el campo de entrenamiento, es bueno. Pero aquí está el truco: los campos de entrenamiento son desordenados. Algunos investigadores limpian los registros descartando el tráfico "aburrido", mientras que otros etiquetan cada uno de los pasos del ladrón como un crimen. Es como juzgar la habilidad de un detective dándole un examen donde ya has ocultado todas las pistas difíciles y le has dicho exactamente dónde está el malhechor. Si las reglas del examen cambian de un investigador a otro, realmente no puedes saber quién es el mejor detective.

Esto es exactamente lo que investiga el artículo "On Fair and Realistic Performance Evaluations for Graph-Based Lateral Movement Detectors". El autor, Corentin Larroche, actúa como un árbitro que decide revisar las tarjetas de puntuación de las últimas grandes competencias. Él observa dos famosos campos de entrenamiento (bases de datos llamadas LANL y OpTC) y descubre que los investigadores han estado utilizando reglas muy diferentes para preparar los datos y etiquetar los "crímenes". Algunos estaban filtrando a personas inocentes para hacer el examen más fácil, mientras que otros estaban contando tráfico inofensivo como malicioso. El artículo argumenta que estas reglas inconsistentes están haciendo que los resultados parezcan mucho mejores de lo que realmente son.

Larroche propone entonces un nuevo conjunto de reglas más estrictas para preparar estos conjuntos de datos. Sugiere que debemos mantener todo el tráfico en la prueba, no solo las partes "interesantes", y que debemos ser muy cuidadosos con lo que llamamos un "movimiento lateral". Cuando vuelve a ejecutar las pruebas para tres métodos de detección famosos utilizando sus nuevas reglas más justas, los resultados cambian drásticamente. Los detectives que parecían superhéroes en las pruebas antiguas de repente parecen mucho menos impresionantes. Por ejemplo, un método que anteriormente afirmaba una puntuación casi perfecta cae significamente cuando se ve obligado a lidar con los datos desordenados y realistas. El artículo concluye que, si bien la detección de movimiento lateral sigue siendo un problema muy difícil, debemos dejar de usar ajustes sesgados en nuestras pruebas si alguna vez queremos construir un sistema que funcione en el mundo real.