A structured event logging framework for language model assisted security event analysis

In der digitalen Welt hinterlässt jede Aktion eines Computers eine Spur. Wenn ein Benutzer sich anmeldet, eine Datei gespeichert oder eine Sicherheitseinstellung geändert wird, schreibt das System einen Datensatz dieses Ereignisses. Diese Datensätze, bekannt als Ereignisprotokolle (Event Logs), sind die primäre Methode für Sicherheitsteams, um zu verstehen, was innerhalb eines Netzwerks geschieht. Jahrzehntelang war die Standardmethode zur Analyse dieser Protokolle, sie in spezialisierte Software oder menschliche Analysten einzuspeisen, die nach Mustern suchen, die auf eine Bedrohung hindeuten. Eine neue Generation von Werkzeugen der künstlichen Intelligenz, speziell große Sprachmodelle (Large Language Models), hat jedoch vielversprechende Ansätze gezeigt, um diese Aufgabe zu automatisieren. Diese Modelle wurden mit riesigen Mengen an Text trainiert und können natürliche Sprache verstehen, was sie theoretisch perfekt dafür macht, die in Sicherheitsprotokollen verborgenen Geschichten zu lesen und zu interpretieren. Doch ein erhebliches Problem ist aufgetaucht: Wenn diese leistungsstarken KI-Werkzeuge gebeten werden, Standard-Computerprotokolle zu lesen, scheitern sie oft. Sie produzieren inkonsistente Antworten, übersehen kritische Details oder erfinden Fakten, die nie stattgefunden haben. Diese Unzuverlässigkeit macht sie für die reale Sicherheit gefährlich, wo eine falsche Vermutung bedeuten könnte, dass eine Sicherheitslücke unbemerkt bleibt oder eine harmlose Aktion fälschlicherweise als Angriff interpretiert wird.

Forscher der University of Huddersfield und der Manchester Metropolitan University gingen dieses Problem an, indem sie eine andere Frage stellten. Anstatt zu versuchen, die künstliche Intelligenz intelligenter zu machen, fragten sie sich, ob die Protokolle selbst das Problem seien. Sie stellten die Hypothese auf, dass die Art und Weise, wie Computer diese Aufzeichnungen derzeit schreiben, einfach zu chaotisch und technisch zu komplex für das Verständnis der KI ist. Um dies zu testen, entwickelte das Team eine neue Art und Weise, wie Computer ihre Aktivitäten aufzeichnen, die speziell darauf ausgelegt ist, von Sprachmodellen lesbar zu sein. Sie entwickelten ein Werkzeug, das Ereignisse aus verschiedenen Teilen eines Computersystems erfasst, das Rauschen herausfiltert und die Daten in ein klares, strukturiertes Format umschreibt, bevor sie überhaupt analysiert werden. Das Ergebnis ist ein System, bei dem der Computer die schwere Arbeit der Organisation der Informationen übernimmt und der KI eine saubere, kohärente Geschichte präsentiert, anstatt einen chaotischen Strom von Code.

Das Team testete ihren neuen Ansatz, indem es zwanzig verschiedene Sicherheitsszenarien simulierte, die von einfachen Passwortänderungen bis hin zu komplexen Netzwerkintrusionen reichten. Sie zeichneten die Ereignisse mit ihrem neuen Werkzeug auf und verglichen die Ergebnisse mit den heute in der Industrie üblichen Standard-Protokollierungsmethoden. Als sie diese Protokolle in mehrere verschiedene Sprachmodelle einspeisten, war der Unterschied eklatant. Die Modelle, die das neue Format verwendeten, identifizierten konsistent die korrekten Probleme und lieferten relevante Lösungen. Im Gegensatz dazu sank die Leistung derselben Modelle drastisch, wenn ihnen die traditionellen, unstrukturierten Protokolle vorgelegt wurden. Sie hatten Schwierigkeiten, zwischen normalen Aktivitäten und potenziellen Bedrohungen zu unterscheiden, und erkannten oft nicht, dass eine kritische Sicherheitseinstellung geändert worden war. Das neue Format eliminierte die Notwendigkeit für die KI, Codes zu erraten oder zu interpretieren, was zu einer dramatischen Verbesserung der Genauigkeit führte.

Eines der bemerkenswertesten Ergebnisse war, dass das neue System so gut funktionierte, dass die Modelle selten Fakten erfanden, ein Phänomen, das als Halluzination bekannt ist. In diesem spezifischen Experiment lag die Fehlerrate über alle Tests hinweg effektiv bei Null, einschließlich derer, die traditionelle Formate verwendeten. Die Forscher merkten jedoch an, dass dieses Ergebnis durch die relativ geringe Anzahl an Protokollen beeinflusst worden sein könnte, die im Vergleich zu anderen Studien verwendet wurden, und sie konnten nicht definitiv schlussfolgern, dass Halluzinationen durch weitere Tests dauerhaft eliminiert wurden. Dies deutet darauf hin, dass die Hauptursache für die Verwirrung der KI nicht ein Mangel an Intelligenz war, sondern die schlechte Qualität der Eingabedaten. Indem die Forscher sicherstellten, dass die Protokolle strukturiert, konsistent und in einfacher Sprache verfasst waren, seit dem Moment ihrer Erstellung, entfernten sie die Barrieren, die die KI zum Stolpern brachten. Das System konnte auch die Aufgabe bewältigen, zusammengehörige Ereignisse miteinander zu verknüpfen. Anstatt darauf zu warten, dass ein separates Programm erkennt, dass zwei verschiedene Protokolle gleichzeitig stattfanden und Teil desselben Angriffs waren, verband das neue Werkzeug diese Punkte automatisch, während die Ereignisse auftraten.

Die Forscher untersuchten auch, ob das Training der KI-Modelle mit mehr Daten ihnen helfen würde, mit den alten, chaotischen Protokollen besser zu funktionieren. Sie fanden heraus, dass die Modelle selbst mit zusätzlichem Training mit den traditionellen Formaten weiterhin zu kämpfen hatten. Wenn sie jedoch das neue Format verwendeten, funktionierten die Modelle selbst ohne zusätzliches Training außergewöhnlich gut. Dies deutet darauf hin, dass die Struktur der Daten wichtiger ist als die Größe des Trainingsdatensatzes des Modells. Das Team maß, wie lange die Analyse der Protokolle dauerte, und stellte fest, dass ihre neue Methode signifikant schneller war als die meisten traditionellen Methoden. Während einige Standardwerkzeuge wie Sysmon die Analyse in Minuten abschlossen, benötigten andere mehrere Stunden, um dieselbe Menge an Informationen zu verarbeiten. Diese Geschwindigkeit, kombiniert mit der hohen Genauigkeit, legt nahe, dass der neue Ansatz die KI-gestützte Sicherheitsanalyse für den alltäglichen Gebrauch praktikabel machen könnte.

Die Studie behauptet nicht, jedes Problem in der Cybersicherheit gelöst zu haben, und die Forscher räumen ein, dass ihre Tests an einem einzigen Typ von Computersystem durchgeführt wurden. Sie planen, ihre Arbeit in Zukunft auf andere Betriebssysteme auszuweiten. Die Kernbotschaft ist jedoch klar: Die Art und Weise, wie wir digitale Ereignisse aufzeichnen, muss sich ändern, wenn wir wollen, dass künstliche Intelligenz sie versteht. Indem sie das Protokollformat als Kommunikationstool statt nur als technischen Datensatz behandeln, haben die Forscher eine Brücke zwischen menschlichen Maschinen und künstlicher Intelligenz geschlagen. Dieser einfache Perspektivwechsel ermöglicht es der KI, das zu tun, was sie am besten kann – Sprache verstehen und Muster finden –, ohne sich im Rauschen der Rohdaten zu verlieren. Das Ergebnis ist eine zuverlässigere, schnellere und sicherere Methode zum Schutz von Computersystemen, die beweist, dass der beste Weg, ein Werkzeug zu verbessern, manchmal nicht darin besteht, es komplexer zu machen, sondern die Informationen, die es erhält, klarer zu gestalten.