On fair and realistic performance evaluations for graph-based lateral movement detectors

Stellen Sie sich das Internet als eine riesige, geschäftige Stadt vor, in der jeder Computer ein Gebäude und jedes Datenpaket ein Lieferwagen ist. In dieser Stadt beobachten Sicherheitskräfte (Cybersicherheitsexperten) ständig nach Ärger Ausschau. Normalerweise suchen sie nach jemandem, der versucht, von außen in ein Gebäude einzubrechen. Aber die hinterhältigsten Diebe brechen nicht einfach nur ein; sobald sie in ein Gebäude gelangt sind, beginnen sie, von Raum zu Raum zu springen, Schlüssel zu stehlen und Türen zu den wertvollsten Tresoren zu öffnen. Dieses hinterhältige Springen zwischen den Räumen innerhalb der Stadt wird als „Lateral Movement“ bezeichnet. Um diese digitalen Einbrecher zu fangen, bauen Forscher „Detektive“ – Computerprogramme, die die Verkehrsprotokolle der Stadt untersuchen und versuchen, die seltsamen Muster eines Diebes zu erkennen, der sich zwischen Gebäuden bewegt.

Seit Jahren wetteifern diese Forscher darum, den besten Detektiv zu bauen. Um zu sehen, wer gewinnt, nutzen sie „Trainingsgelände“: riesige, vorgefertigte Datensätze, die eine Stadt simulieren, in der ein bekannter Dieb herumläuft. Die Idee ist simpel: Wenn Ihr Detektiv den Dieb auf dem Trainingsgelände findet, ist er gut. Aber hier ist der Haken: Die Trainingsgelände sind unordentlich. Einige Forscher bereinigen die Protokolle, indem sie „langweiligen“ Verkehr wegwerfen, während andere jeden einzelnen Schritt des Diebes als Verbrechen kennzeichnen. Es ist, als würde man die Geschicklichkeit eines Detektivs bewerten, indem man ihm einen Test gibt, bei dem man bereits alle schwierigen Hinweise versteckt und ihm genau gesagt hat, wo der Bösewicht ist. Wenn sich die Regeln des Tests von einem Forscher zum anderen ändern, kann man eigentlich nicht feststellen, wer wirklich der beste Detektiv ist.

Genau das untersucht das Paper „On Fair and Realistic Performance Evaluations for Graph-Based Lateral Movement Detectors“. Der Autor, Corentin Larroche, agiert wie ein Schiedsrichter, der beschließt, die Ergebnislisten der letzten großen Wettbewerbe zu überprüfen. Er untersucht zwei berühmte Trainingsgelände (Datensätze namens LANL und OpTC) und stellt fest, dass Forscher völlig unterschiedliche Regeln zur Vorbereitung der Daten und zur Kennzeichnung der „Verbrechen“ verwendet haben. Einige haben unschuldige Menschen herausgefiltert, um den Test einfacher zu machen, während andere harmlosen Verkehr als bösartig gezählt haben. Das Paper argumentt, dass diese inkonsistenten Regeln die Ergebnisse viel besser aussehen lassen, als sie eigentlich sind.

Larroche schlägt daraufhin einen neuen, strengeren Satz von Regeln für die Vorbereitung dieser Datensätze vor. Er schlägt vor, dass wir den gesamten Verkehr im Test behalten sollten, nicht nur die „interessanten“ Teile, und dass wir sehr vorsichtig damit sein müssen, was wir als „Lateral Movement“ bezeichnen. Als er die Tests für drei berühmte Erkennungsmethoden mit seinen neuen, faireren Regeln erneut durchführt, ändern sich die Ergebnisse dramatisch. Die Detektive, die in den alten Tests wie Superhelden aussah, wirken plötzlich viel weniger beeindruckend. Zum Beispiel sinkt die Punktzahl einer Methode, die zuvor eine fast perfekte Punktzahl beanspruchte, drastisch, wenn sie gezwungen wird, mit den unordentlichen, realistischen Daten umzugehen. Das Paper kommt zu dem Schluss, dass die Erkennung von Lateral Movement zwar immer noch ein sehr schwieriges Problem ist, wir aber aufhören müssen, verzerrte Anpassungen in unseren Tests zu verwenden, wenn wir jemals ein System bauen wollen, das in der realen Welt funktioniert.