Entity Embeddings and Ensemble Learning for Multi-Attribute Cyber-Attack Forecasting: A Benchmark and Evaluation Protocol for Merged Incident Repositories

In der hochriskanten Welt der Cybersicherheit agierten Verteidiger lange Zeit in einem reaktiven Modus und warteten darauf, dass ein Alarm ertönte, bevor sie handeln konnten. Bis eine Sicherheitsverletzung entdeckt wird, ist der Schaden oft schon angerichtet. Um diese Dynamik zu ändern, haben sich Forscher der Prognose zugewandt: dem Versuch vorherzusagen, welche Art von Angriffen stattfinden werden, wo sie zuschlagen werden und wer das Ziel sein wird, noch bevor sie geschehen. Dieses Feld stützt sich auf umfangreiche Sammlungen historischer Daten, sogenannte Incident-Repositorien, die die Details vergangener Cyberangriffe aufzeichnen. Diese Datensätze sind jedoch oft über verschiedene Datenbanken verstreut, von denen jede ihre eigene Sprache und ihr eigenes Format verwendet, und viele lassen entscheidende Details vermissen. Um ein nützliches Bild der Zukunft zu zeichnen, müssen Wissenschaftler diese getrennten Archive zu einer einzigen, vollständigen Geschichte zusammenführen und die fehlenden Lücken mit fundierten Vermutungen füllen, die aus den vorhandenen Daten abgeleitet wurden. Die Herausforderung besteht darin, sicherzustellen, dass diese Vermutungen nicht versehentlich genau jene Modelle täuschen, die eigentlich dazu entwickelt wurden, aus ihnen zu lernen – und so ein falsches Gefühl der Sicherheit erzeugen, wo keines existiert.

Ein Forschungsteam der International Islamic University in Islamabad, der Seoul National University und der University of Prince Mugrin setzte sich zum Ziel, die Zuverlässigkeit dieser gängigen Praxis zu testen. Sie kombinierten zwei massive Datenbanken mit Cyber-Vorfällen: die VERIS Community Database, die tiefe, strukturierte Details zu Angriffen bietet, aber die Aufzeichnungen im Jahr 2017 beendet, und Hackmageddon, das einen kontinuierlichen Strom aktueller Vorfälle liefert, jedoch mit weniger detaillierten Informationen. Durch die Harmonisierung dieser beiden Quellen schufen sie einen einheitlichen Datensatz von über 20.000 Vorfällen, der mehr als fünfzig Jahre umfasst. Um die Daten nutzbar zu machen, mussten sie fehlende Felder für jeden Vorfall ergänzen, wie etwa das spezifische Motiv des Angreifers oder die Art des angezielten Assets. Dies geschah, indem sie ein Computermodell trainierten, um die fehlenden Details basierend auf den in der anderen Datenbank verfügbaren Informationen vorherzusagen. Dieser Prozess erzeugte einen vollständigen Datensatz, schuf aber auch eine subtile Falle. Da die fehlenden Labels von einem Computermodell unter Verwendung derselben Merkmale generiert wurden, die die Prognosemodelle später zur Vorhersage nutzen würden, wurden die Prognosemodelle im Wesentlichen mit Antworten getestet, die sie bereits erkannt hatten.

Als die Forscher ihre Prognosemodelle auf diesem zusammengeführten Datensatz evaluierten, sahen die Ergebnisse zunächst vielversprechend aus. Die Modelle schienen die Art des zukünftigen Angriffs mit einer Genauigkeit vorherzusagen, die Standard-Benchmarks zu übertreffen schien. Das Team vermutete jedoch, dass diese hohen Werte eine Illusion waren, die durch die Art der Konstruktion der Daten verursacht wurde. Um dies zu untersuchen, trennten sie die Testdaten in zwei Gruppen auf: Datensätze, in denen der Angriffstyp ursprünglich beobachtet und von Menschen aufgezeichnet wurde, und Datensätze, in denen der Angriffstyp während des Zusammenführungsprozesses vom Computermodell rekonstruiert worden war. Der Unterschied war eklatant. Bei den Datensätzen mit von Menschen beobachteten Labels sank die Leistung des Modells signifikant, was offenbarte, dass die hohen Werte auf dem vollständigen Datensatz weitgehend darauf zurückzuführen waren, dass das Modell lediglich die Muster des Computers auswendig lernte, der die fehlenden Daten ergänzt hatte. Tatsächlich war die Lücke zwischen den beiden Gruppen so groß, dass die durchschnittliche Gesamtleistung um fast vierundvierzig Prozentpunkte aufgebläht wurde – eine Verzerrung, die verborgen geblieben wäre, wenn die Forscher nur die kombinierten Zahlen betrachtet hätten.

Um zu bestätigen, dass diese Inflation spezifisch durch den Akt des Auffüllens der fehlenden Daten verursacht wurde und nicht durch andere Unterschiede zwischen den beiden Zeiträumen, führten die Forscher ein kontrolliertes Experiment durch. Sie nahmen einen einzelnen Zeitraum, in dem alle Daten ursprünglich beobachtet wurden, versteckten dann absichtlich einen Teil der Labels und füllten diese mit demselben Computermodell auf, das sie für den Hauptdatensatz verwendet hatten. Als sie ihr Prognosemodell auf diesen gemischten Daten trainierten, war die Leistung bei den versteckten, rekonstruierten Labels erneut wesentlich höher als bei den beobachteten. Dies bewies, dass der Akt der Imputation selbst eine kreisförmige Schleife erzeugt, in der das Modell lernt, den „Füller“ nachzuahmen, anstatt das reale Phänomen. Die Studie lieferte auch eine kontraintuitive Erkenntnis: Je schlechter das Computermodell darin war, die fehlenden Daten zu ergänzen, desto stärker war die Leistung des Prognosemodells künstlich aufgebläht. Ein schlechter Imputer erzeugt ein einzigartiges, idiosynkratisches Muster in den fehlenden Daten, das für ein nachgeschaltetes Modell leicht zu erlernen ist, während ein hochpräziser Imputer so gut verschmilzt, dass er kein solch deutliches, lernbares Signal erzeugt.

Über das Problem des Data Leakage hinaus untersuchten die Forscher, wie sich die Informationen innerhalb dieser Datensätze am besten darstellen lassen. Cyber-Incident-Daten sind voll von Kategorien mit hoher Kardinalität, wie etwa den Namen hunderter verschiedener Länder oder tausender spezifischer Organisationen. Traditionelle Methoden behandeln diese oft als einfache Zahlen, was die Modelle verwirren kann. Das Team testete eine Technik namens Entity Embeddings, die eine einzigartige, dichte mathematische Repräsentation für jede Kategorie lernt und es dem Modell ermöglicht, die Beziehungen zwischen ihnen zu verstehen. Dieser Ansatz verbesserte die Fähigkeit des Modells, Angriffstypen vorherzusagen, drastisch und steigerte die Leistung um fast neunzehn Prozentpunkte im Vergleich zur traditionellen Methode. Dieser Befund legt nahe, dass frühere Studien, die behaupteten, Deep-Learning-Modelle würden bei dieser Art von Daten schlecht abschneiden, eher durch die Art der Präsentation der Daten als durch die Modelle selbst limitiert waren.

Die Studie untersuchte auch die Schwierigkeit, das spezifische Land vorherzusagen, das Ziel eines Angriffs war. Während die Modelle eine hohe Gesamtgenauigkeit erreichen konnten, indem sie einfach die häufigsten Länder vorhersagten, hatten sie enorme Schwierigkeiten, die selteneren Ziele korrekt zu identifizieren. Die Leistung bei dieser Aufgabe war so gering, dass sie kaum über der Baseline lag, die immer die Mehrheitsklasse vorhersagt. Die Forscher stellten fest, dass dies nicht auf einen Mangel an Daten oder ein Ungleichgewicht in der Anzahl der Angriffe zurückzuführen war, sondern darauf, dass schlichtweg nicht genügend spezifische Informationen in den verfügbaren Aufzeichnungen vorhanden sind, um zwischen den hunderten verschiedenen Ländern zu unterscheiden. Die in den Daten vorhandenen Merkmale tragen nicht das notwendige geografische Signal, um solche feingliedrigen Vorhersagen zuverlässig zu machen.

Schließlich testete das Team seine Modelle unter einer streng chronologischen Evaluierung, wobei auf Daten aus der Vergangenheit trainiert und auf Daten aus der Zukunft getestet wurde – der einzige Weg, um ein Prognosesystem wirklich zu bewerten. Unter diesen realistischen Bedingungen sank die Leistung weiter, und die Deep-Learning-Modelle, die zuvor hinter einfacheren baumbasierten Modellen zurücklagen, übertrafen diese schließlich. Diese Umkehrung deutet darauf sich hin, dass die Deep-Learning-Modelle, unterstützt durch die bessere Repräsentation der Daten, besser in der Lage waren, auf neue, ungesehene Zeiträume zu generalisieren, während die einfacheren Modelle lediglich Muster lernten, die spezifisch für das Trainingsfenster waren. Die Forscher kamen zu dem Schluss, dass die Vorhersage der allgemeinen Art eines Angriffs mit mäßigem Erfolg möglich ist, die Vorhersage des spezifischen Landes oder des exakten Musters eines Angriffs jedoch mit aktuellen Daten und Methoden außer Reichweite bleibt. Ihr primärer Beitrag war nicht ein neuer Vorhersagealgorithmus, sondern ein strenges Protokoll zur Evaluierung zusammengeführter Datensätze, das diese verborgenen Mängel aufdeckt und sicherstellt, dass die zukünftige Forschung in der Cybersicherheit und anderen Bereichen nicht Artefakte der Datenerstellung mit echter prädiktiver Kraft verwechselt.