On fair and realistic performance evaluations for graph-based lateral movement detectors

Imaginez l'internet comme une ville géante et bouillonnante où chaque ordinateur est un bâtiment et chaque paquet de données est un camion de livraison. Dans cette ville, des gardes de sécurité (des experts en cybersécurité) surveillent constamment les problèmes. Habituellement, ils cherchent quelqu'un qui tenterait de s'introduire dans un bâtiment depuis l'extérieur. Mais les voleurs les plus sournois ne se contentent pas de forcer l'entrée ; une fois qu'ils sont entrés dans un bâtiment, ils commencent à sauter de pièce en pièce, volant des clés et ouvrant les portes des coffres les plus précieux. Ce saut furtif d'un endroit à l'autre à l'intérieur de la ville est appelé « mouvement latéral ». Pour attraper ces cambrioleurs numériques, des chercheurs construisent des « détectives » — des programmes informatiques qui examinent les registres de trafic de la ville et tentent de repérer les schémas étranges d'un voleur se déplaçant entre les bâtiments.

Pendant des années, ces chercheurs ont fait la course pour construire les meilleurs détectives. Pour voir qui gagne, ils utilisent des « terrains d'entraînement » : de gigantesques ensembles de données pré-établis qui simulent une ville avec un voleur connu qui circule. L'idée est simple : si votre détective trouve le voleur dans le terrain d'entraînement, c'est qu'il est bon. Mais voici le piège : les terrains d'entraînement sont désordonnés. Certains chercheurs nettoient les registres en jetant le trafic « ennuyeux », tandis que d'autres étiquettent chaque étape du voleur comme un crime. C'est comme juger la compétence d'un détective en lui faisant passer un test où vous avez déjà caché tous les indices difficiles et lui avez indiqué exactement où se trouve le méchant. Si les règles du test changent d'un chercheur à l'autre, on ne peut pas vraiment dire qui est réellement le meilleur détective.

C'est exactement ce que l'article « On Fair and Realistic Performance Evaluations for Graph-Based Lateral Movement Detectors » étudie. L'auteur, Corentin Larroche, agit comme un arbitre qui décide de vérifier les feuilles de score des dernières grandes compétitions. Il examine deux terrains d'entraînement célèbres (des ensembles de données appelés LANL et OpTC) et découvre que les chercheurs ont utilisé des règles très différentes pour préparer les données et étiquetter les « crimes ». Certains filtraient les personnes innocentes pour rendre le test plus facile, tandis que d'autres comptaient le trafic inoffensif comme malveillant. L'article soutient que ces règles incohérentes font paraître les résultats bien meilleurs qu'ils ne le sont réellement.

Larroche propose ensuite un nouvel ensemble de règles plus strictes pour préparer ces ensembles de données. Il suggère que nous devrions conserver tout le trafic dans le test, pas seulement les parties « intéressantes », et que nous devrions être très prudents sur ce que nous appelons un « mouvement latéral ». Lorsqu'il relance les tests pour trois méthodes de détection célèbres en utilisant ses nouvelles règles plus équitables, les résultats changent radicalement. Les détectives qui ressemblaient à des super-héros dans les anciens tests paraissent soudainement beaucoup moins impressionnants. Par exemple, une méthode qui affirmait auparavant un score quasi parfait chute considérablement lorsqu'elle est contrainte de faire face aux données désordonnées et réalistes. L'article conclut que, bien que la détection du mouvement latéral soit toujours un problème très difficile, nous devons cesser d'utiliser des ajustements biaisés dans nos tests si nous voulons un jour construire un système qui fonctionne dans le monde réel.