Benchmarking and Exploring the Capabilities of LLMs for Attack Investigations
Dieses Paper stellt AuditBench vor, einen umfassenden Benchmark-Datensatz, der über 50 Sicherheitsszenarien auf Linux- und Windows-Systemen umfasst, um die Leistung, die Fehlerprofile und die Erklärungsfähigkeiten von fünf führenden LLMs über vier kritische Incident-Response-Aufgaben hinweg zu evaluieren und zu analysieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind der Sicherheitschef einer riesigen, geschäftigen Stadt. Jeden Tag zeichnen tausende von Kameras und Sensoren (genannt Audit-Logs) jeden Schritt, jedes Öffnen einer Tür und das Anlassen eines Automotors auf. Meistens gehen die Menschen einfach nur zur Arbeit oder kaufen Lebensmittel ein (gutartige Aktivitäten). Aber manchmal schleicht sich ein Dieb ein, knackt ein Schloss oder stiehlt einen Tresor (ein Angriff).
Das Problem? Die Stadt erzeugt so viele Daten, dass menschliche Sicherheitskräfte nicht alle beobachten können. Sie werden von Fehlalarmen überwältigt, die echte Verbrechen im Rauschen der Daten übersehen.
Hier kommen Large Language Models (LLMs) ins Spiel. Betrachten Sie diese als superintelligente, unermüdliche Detektiv-Praktikanten, die in der Lage sind, Millionen von Log-Seiten in Sekundenschnelle zu lesen. Aber bevor wir sie einstellen, müssen wir wissen: Sind sie wirklich gut darin, Verbrechen aufzuklären, oder geraten sie in Panik und beschuldigen Unschuldige?
Dieses Paper stellt AuditBench vor – eine „Abschlussprüfung“, die speziell entwickelt wurde, um diese KI-Detektive in ihrer Fähigkeit zu testen, Sicherheitslogs zu untersuchen.
Die Prüfung: AuditBench
Die Forscher entwickelten eine Testsuite mit 51 verschiedenen Szenarien.
- Das „Klassenzimmer“ (Labordaten): Sie erstellten 25 fiktive Szenarien auf virtuellen Computern, die alles simulierten, vom Hacker, der Dateien stiehlt, bis hin zu einem normalen Benutzer, der lediglich Software installiert.
- Die „reale Welt“ (OpTC-Daten): Sie nahmen 26 komplexe Szenarien aus einem massiven, realen Datensatz (DARPA OpTC), der bereits über eine bekannte „Ground Truth“ (die Antwortlösung) verfügte.
Die Prüfung bestand aus vier Hauptaufgaben, wie eine Checkliste für Detektive:
- Die Triage (Klassifizierung): „Ist dieser Alarm ein echtes Verbrechen oder ein Fehlalarm?“
- Das Versteck (Persistenz): „Hat der Kriminelle eine geheime Hintertür eingerichtet, um für immer im System zu bleiben?“
- Der Fluchtweg (Laterale Bewegung): „Ist der Kriminelle von einem Computer zum nächsten gesprungen, um die Infektion zu verbreiten?“
- Der Raubzug (Datenexfiltration): „Hat der Kriminelle sensible Dateien gestohlen und nach draußen gesendet?“
Die Ergebnisse: Was die KI richtig (und falsch) gemacht hat
Die Forscher testeten fünf erstklassige KI-Modelle (einschließlich Giganten wie GPT-5 und Gemini 2.5 Pro) gegen diese Prüfung. Hier ist das, was sie herausfanden, übersetzt in Alltagssprache:
1. Das Problem des „paranoiden Detektivs“
Die meisten KI-Detektive waren übermäßig verdächtig. Sie waren wie ein Sicherheitsmann, der eine Person mit einer Tasche sieht und sofort davon ausgeht, dass es eine Bombe ist.
- Das Ergebnis: Die KIs waren großartig darin, den „Raubzug“ (das Stehlen von Daten) zu entdecken, aber schlecht darin, unschuldige Menschen zu ignorieren. Sie markierten eine riesige Menge an normalen Aktivitäten als „Angriffe“, was zu einer Flut von Fehlalarmen führte.
2. Größer ist nicht immer besser
Man könnte denken, dass die größten, teuersten KI-Modelle die besten Detektive wären. Überraschenderweise war das nicht immer der Fall.
- Das Ergebnis: Manchmal schnitten die kleineren, günstigeren Modelle genauso gut oder sogar besser ab als die massiven Modelle. Es stellt sich heraus, dass man für diesen speziellen Job nicht immer einen Supercomputer braucht; ein intelligentes, kompaktes Modell kann die Aufgabe ebenfalls bewältigen.
3. Die Sprache der Logs ist entscheidend
Die Forscher fütterten die KI auf zwei Arten mit den Logs:
- Roh-Logs: Das ungefilterte, uneditierte Transkript von allem, was passiert ist (wie eine rohe Audioaufnahme eines chaotischen Raums).
- Edge-Repräsentation: Eine bereinigte, zusammengefasste Version, die die Verbindungen zwischen Ereignissen hervorhebt (wie das Whiteboard eines Detektivs mit Schnüren, die Verdächtige miteinander verbinden).
- Das Ergebnis: Für einige Modelle machte die „bereinigte“ Version sie viel klüger und schneller. Für andere war die Rohdatenlage völlig ausreichend. Es kommt auf den „Lerntyp“ des Modells an.
4. Der „Prompt“ ist das Handbuch
Wie man die KI fragt, verändert die Antwort. Die Forscher probierten zwei verschiedene Wege aus, die Anweisungen (Prompts) zu schreiben.
- Das Ergebnis: Ein Prompt, der einen KI-Detektiv brillant machte, konnte einen anderen tollpatschig machen. Es gibt kein „Einheitsmodell“ für die Anweisungen. Man muss die Instruktionen auf die spezifische KI abstimmen, die man verwendet.
5. Die „Argumentation“ der KI war oft gut
Wenn die KI tatsächlich einen echten Angriff entdeckte, war ihre Erklärung meist exzellent. Sie konnte genau auf die Datei oder den Befehl hinweisen, der das Verbrechen bewies.
- Der Haken: Wenn sie falsch lag (bei den Fehlalarmen), basierte ihre Argumentation oft auf seltsamen Namen oder hohem Volumen.
- Beispiel: Wenn eine Datei
delete_logs.bathieß, nahm die KI an, es sei ein Krimineller, der Beweise vernichten will, selbst wenn es nur ein normaler System-Cleanup-Skript war. - Beispiel: Wenn ein Programm 1.000 Mal in einer Sekunde lief, dachte die KI: „Das ist verdächtig!“, selbst wenn es nur ein normales Software-Update war.
- Beispiel: Wenn eine Datei
Das große Fazit
Dieses Paper sagt nicht: „KI kann Sicherheitsteams noch nicht ersetzen.“ Es sagt stattdessen: „Hier ist ein Lineal, um zu messen, wie gut eine KI bei diesem Job ist, und hier sind die Fallen, die man vermeiden sollte.“
- Für Sicherheitsteams: Kaufen Sie nicht einfach die teuerste KI. Testen Sie kleinere Modelle. Seien Sie vorsichtig bei der „paranoiden“ Tendenz, die Fehlalarme erzeugt.
- Für KI-Entwickler: Gehen Sie nicht davon aus, dass größere Modelle immer besser sind. Sie müssen vielleicht die Art ändern, wie Sie ihnen Daten geben (die „Edge“-Repräsentation) oder Ihre Anweisungen (Prompts) anpassen, um die besten Ergebnisse zu erzielen.
- Für alle: Die KI ist ein mächtiges Werkzeug, aber sie braucht einen Menschen, der ihre Arbeit überprüft, besonders wenn sie gegenüber Unschuldigen zu verdächtig wird.
Die Forscher stellen alle ihre Daten, Codes und Prüfungsfragen der Öffentlichkeit zur Verfügung, damit andere diese digitalen Detektive weiterhin testen und verbessern können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.