Graph Neural Networks for Provenance-Based APT Detection under a Temporal Transfer Framework: A Review

In den verborgenen Schichten von Computersystemen wird ständig ein stiller Krieg geführt. Angreifer, die als Advanced Persistent Threats bekannt sind, bringen keine Server zum Absturz oder stehlen Daten in einem einzigen, lauten Ausbruch. Stattdessen bewegen sie sich langsam, wie ein Einbrecher, der in ein Haus eindringt, darauf wartet, dass die Familie schläft, und sich dann über Tage oder Wochen hinweg ruhig von Raum zu Raum bewegt, Schubladen öffnet und Dokumente kopiert. Um einen solch geduldigen Eindringling zu fangen, blicken Sicherheitsexperten auf die Historie des Systems, die sogenannte Provenienz. Dies ist ein Protokoll jeder Aktion, die ein Computer ausführt: welches Programm welche Datei geöffnet hat, welcher Prozess eine Nachricht an einen anderen gesendet hat und wann diese Ereignisse stattfanden. Durch das Verknüpfen dieser Punkte können Experten den unsichtbaren Pfad sehen, den ein Angreifer hinterlässt. Jahrelang haben Forscher versucht, künstliche Intelligenz einzusetzen, um diese Historien automatisch zu lesen, in der Hoffnung, die subtilen Muster eines Angriffs zu erkennen, bevor es zu spät ist.

Eine neue Rezension dieses Feldes deutet jedoch darauf an, dass die aktuellen Erfolgsgeschichten möglicherweise eine Illusion sind. Die Forscher untersuchten Dutzende von Studien, die behaupteten, Modelle der künstlichen Intelligenz entwickelt zu haben, die in der Lage sind, diese langfristigen Intrusionen mit nahezu perfekter Genauigkeit zu erkennen. Sie fanden heraus, dass diese Modelle im Labor zwar brillant abschneiden, aber oft den kritischsten Faktor in der realen Sicherheit übersehen: die Zeit. Die untersuchten Studien testeten ihre Modelle meist an Daten, die bereits vollständig waren, was es der künstlichen Intelligenz ermöglichte, Ereignisse zu sehen, die zum Zeitpunkt, als ein Alarm hätte ausgelöst werden müssen, noch gar nicht stattgefunden hatten. Es ist ein wenig so, als würde man einen Schüler bei einer Geschichtsprüfung bewerten, indem man ihm erlaubt, den Lösungsschlüssel zu lesen, bevor er sich hinsetzt, um die Prüfung zu schreiben. Als die Forscher genauer hinsahen, entdeckten sie, dass die Modelle nicht unbedingt lernten, das Verhalten des Angreifers zu erkennen; sie lernten oft nur die spezifischen Details der Testdaten auswendig oder verließen sich auf Informationen, die in einer Live-Situation in Echtzeit nicht verfügbar wären.

Die Rezension, die von einem Team von Informatikern durchgeführt wurde, synthetisierte die Ergebnisse von neunundzwanzig verschiedenen Detektionsstudien, die zwischen 2020 und 2026 veröffentlicht wurden. Diese Studien verwendeten eine Art künstliche Intelligenz namens Graph Neural Network, die darauf ausgelegt ist, Beziehungen zwischen Dingen zu verstehen, ähnlich wie eine Karte, die zeigt, wie Städte durch Straßen miteinander verbunden sind. In diesem Kontext sind die „Städte“ Computerprozesse und Dateien, und die „Straßen“ sind die Aktionen, die sie verbinden. Die Forscher ordneten diese Studien in ein klares Framework ein, um zu sehen, wie sie mit dem Vergehen der Zeit umgingen. Sie fanden heraus, dass zwar neunzehn der Studien diese fortschrittlichen Graph-Netzwerke verwendeten, aber sehr wenige tatsächlich testeten, wie gut die Modelle mit Daten von einem späteren Zeitpunkt funktionierten. In der realen Welt wird ein Sicherheitssystem mit Daten aus dem letzten Monat trainiert und muss Angriffe erkennen, die heute stattfinden. Die Rezension ergab, dass die meisten Studien diese Verzögerung nicht simulierten. Stattdessen trainierten und testeten sie ihre Modelle auf demselben Datensatz und vermischten dabei oft den Zeitstrahl, sodass das Modell in die Zukunft „hineinspicken“ konnte, um seine Entscheidung zu treffen.

Einer der bedeutendsten Befunde war, dass die in diesen Studien berichteten hohen Genauigkeitswerte sich wahrscheinlich nicht auf die reale Leistung übertragen lassen. Die Forscher definierten zwei Ebenen des Testens, um dies zu beweisen. Die erste Ebene fragt, ob ein Modell, einmal trainiert und eingefroren, immer noch Angriffe erkennt, wenn es mit neuen Daten aus einer späteren Zeit konfrontiert wird. Die zweite Ebene fragt, ob das Modell sich anpassen und verbessern kann, während es neue Daten sieht. Die Rezension ergab, dass fünf Studien zwar Wege erwähnten, ihre Modelle anzupassen, aber keine von ihnen diese Anpassungen tatsächlich an Daten aus einem späteren Zeitraum testete. Darüber hinaus verwendeten viele Studien eine Methode der Kennzeichnung von Angriffen, die eine versteckte Falle schuf. Wenn die Forscher eine Datei als „schlecht“ markierten, weil sie mit einer bekannten schlechten Datei verbunden war, konnte die künstliche Intelligenz einfach lernen, nach dieser Verbindung zu suchen, anstatt das eigentliche Angriffsverhalten zu erkennen. Das bedeutete, dass das Modell den Test bestand, indem es die Regeln des Tests erkannte, nicht indem es die Bedrohung verstand.

Das Team wies auch auf einen spezifischen Fehler in der Datenaufbereitung hin. In vielen Studien erhielt die künstliche Intelligenz ein vollständiges Bild der Systemhistorie, einschließlich Ereignissen, die Stunden oder Tage nach dem Moment stattfanden, in dem ein Alarm hätte ausgelöst werden müssen. Dies ist als Look-ahead-Bias bekannt. Für ein Sicherheitssystem muss eine Entscheidung basierend auf dem, was bis zu genau diesem Sekundenbruchteil passiert ist, getroffen werden. Die Rezension fand heraus, dass sehr wenige Studien angaben, ob sie die Daten zum korrekten Zeitpunkt abgeschnitten hatten. Oh

Ohne diesen Schnitt würde das Modell im Grunde auf ein Szenario getestet, das in der Realität nicht existiert. Die Forscher stellten auch fest, dass die für diese Tests verwendeten Datensätze oft klein und repetitiv waren und nur wenige Wochen an Daten sowie eine Handvoll Angriffsszenarien enthielten. Dies schränkte die Fähigkeit ein, zu sehen, wie die Modelle mit den langsamen, subtilen Veränderungen im Computerverhalten umgehen würden, die über Monate oder Jahre hinweg auftreten.

Um diese Probleme zu lösen, schlugen die Autoren einen neuen Satz von Standards vor, wie diese Studien durchgeführt werden sollten. Sie erstellten eine Checkliste mit einundzwanzig Punkten, die Forscher befolgen müssen, um zu beweisen, dass ihre Modelle in Echtzeit funktionieren. Dies beinhaltet, den Datengraphen nur bis zum Moment der Entscheidung aufzubauen, die Einstellungen des Modells vor dem Testen auf neue Daten zu fixieren und zu berichten, wie viele Fehlalarme das System in einer realen Büroumgebung generieren würde. Sie argumentierten, dass ein Modell, das zu viele Fehlalarme produziert, nutzlos ist, egal wie genau es Angriffe erkennt, da die Sicherheitsteams überfordert würden. Die Rezension kam zu dem Schluss, dass die Behauptungen einer nahezu perfekten Detektion im Bereich der Provenienz-basierten Sicherheit, solange diese neuen Standards nicht eingehalten werden, mit Skepsis zu betrachten sind. Die Modelle haben Potenzial gezeigt, aber der Beweis, dass sie Systeme in der freien Wildbahn tatsächlich vor Angreifern schützen können, die ihre Taktiken im Laufe der Zeit ändern, wurde noch nicht erbracht. Der Weg nach vorn erfordert einen Wechsel vom Streben nach hohen Punktzahlen in statischen Tests hin zum Beweis, dass diese Systeme die Prüfung der Zeit bestehen können.