CyberSleuth: Autonomous Blue-Team LLM Agent for Web Attack Forensics

Die Studie stellt CyberSleuth vor, einen autonomen Blue-Team-Agenten auf Basis von LLMs, der durch spezialisierte Multi-Agenten-Architekturen die manuelle forensische Nachuntersuchung von Webangriffen automatisiert und dabei eine Genauigkeit von 80 % sowie praxistaugliche Berichte für Experten erzielt.

Das Wesentliche

Stell dir vor, ein Hacker hat sich in das digitale Haus eines Unternehmens geschlichen. Die Tür ist zu, die Lichter sind aus, und die Alarmanlage hat nur ein paar undeutliche Spuren hinterlassen. Früher musste ein menschlicher Detektiv stundenlang durch diese Spuren wühlen, Akten durchsuchen und sich an Details erinnern, um herauszufinden: Wer war es? Wie sind sie hereingekommen? Und haben sie etwas gestohlen? Das ist mühsam, langsam und fehleranfällig.

Die Forscher aus diesem Papier haben eine Lösung entwickelt: CyberSleuth. Das ist wie ein hochintelligenter, autonomer digitaler Privatdetektiv, der von einer künstlichen Intelligenz (KI) angetrieben wird.

Hier ist die Geschichte von CyberSleuth, einfach erklärt:

1. Das Problem: Der überforderte Detektiv

Normalerweise sind solche Untersuchungen ("Forensik") reine Handarbeit. Ein Mensch muss riesige Mengen an Daten (den "Verkehr" im Netzwerk) durchsuchen. Das ist wie der Versuch, eine Nadel im Heuhaufen zu finden, während der Heuhaufen gleichzeitig wächst.

Die Forscher wollten wissen: Kann eine KI das besser? Das Problem dabei ist, dass KIs oft die Fassung verlieren, wenn sie zu viel auf einmal verarbeiten müssen. Sie vergessen Dinge, springen im Gedächtnis hin und her oder geraten in Panik, wenn die Beweise komplex sind.

2. Die Lösung: Ein Detektiv-Team statt eines Einzelkämpfers

Die Forscher haben verschiedene Arten von KI-Agenten getestet, um die beste Methode zu finden. Stell dir drei verschiedene Teams vor:

• Der Einzelkämpfer (Single Agent): Ein einziger KI-Detektiv, der versucht, alles allein zu erledigen. Er starrt auf die Daten, liest jeden einzelnen Brief (Datenpaket) und versucht, das Rätsel zu lösen.
  • Ergebnis: Er wird schnell müde, vergisst den Anfang des Falls, wenn er am Ende ist, und macht viele Fehler. Er ist wie ein Student, der versucht, ein ganzes Buch auf einmal auswendig zu lernen, ohne Notizen zu machen.
• Der Chef mit dem Assistenten (Tshark Expert Agent): Hier gibt es einen Chef-KI und einen technischen Assistenten, der sich nur um die Rohdaten kümmert.
  • Ergebnis: Besser, aber die Kommunikation zwischen Chef und Assistent klemmt oft. Der Chef sagt etwas Unklares ("Schau mal hier"), und der Assistent versteht es falsch. Es ist wie ein Chef, der einem Übersetzer eine schlechte Anweisung gibt.
• Der Spezialisten-Workflow (Flow Reporter Agent – CyberSleuth): Das ist der Gewinner. Hier arbeiten die KIs wie ein gut organisiertes Polizeirevier:
  1. Der Sammler (Flow Summariser): Ein Spezialist geht durch den riesigen Datenberg und erstellt eine kurze, verständliche Zusammenfassung der wichtigsten Ereignisse. Er filtert den "Müll" heraus.
  2. Der Chef (Main Agent): Dieser KI bekommt nur die saubere Zusammenfassung. Er muss nicht mehr jeden einzelnen Brief lesen. Stattdessen nutzt er seine Intelligenz, um die Zusammenfassung zu analysieren, im Internet nach ähnlichen Fällen zu suchen (wie ein Detektiv, der in Aktenordnern nachschlägt) und den Fall zu lösen.
  3. Das Gedächtnis: CyberSleuth hat ein spezielles System, das ihm hilft, sich an frühere Schritte zu erinnern, ohne den Kopf voll zu haben (wie ein Notizbuch, das automatisch die wichtigsten Punkte hervorhebt).

3. Der Test: 30 Fälle und ein neuer Trick

Die Forscher haben CyberSleuth an 30 verschiedenen "Verbrechen" getestet. Das waren simulierte Hackerangriffe auf Web-Server.

• Die Aufgabe: Finde heraus, welches System angegriffen wurde, welche Schwachstelle (CVE) genutzt wurde und ob der Angriff erfolgreich war.
• Das Ergebnis: CyberSleuth hatte in 80 % der Fälle recht. Und das Beste: Die Berichte, die es schrieb, waren so gut, dass 25 echte menschliche Experten sie als "vollständig, nützlich und logisch" bewerteten.

4. Der Clou: Es funktioniert auch bei anderen Verbrechen

Das Spannendste ist, dass CyberSleuth nicht nur für Web-Hackerangriffe gebaut wurde. Die Forscher haben es einfach umprogrammiert (nur den "Auftrag" geändert), damit es auch Malware (Viren) auf infizierten Computern untersuchen kann.

• Die Analogie: Stell dir vor, du hast einen Detektiv, der spezialisiert ist auf Einbrüche in Häuser. Plötzlich sagt ihm jemand: "Hey, untersuche jetzt einen Diebstahl im Büro." Ein guter Detektiv passt sich an. CyberSleuth hat das geschafft. Er konnte auch bei den Viren-Daten die wichtigsten Hinweise finden und die Täter (die Malware-Familien) identifizieren.

5. Was wir daraus lernen können (Die drei goldenen Regeln)

Die Forscher haben drei wichtige Lehren gezogen, die nicht nur für KIs, sondern für jede Teamarbeit gelten:

1. Spezialisierung ist alles: Ein Team von Spezialisten (einer sammelt, einer analysiert, einer recherchiert) ist viel besser als ein "Alleskönner", der versucht, alles allein zu machen.
2. Einfachheit gewinnt: Ein klarer, geradliniger Ablauf (Erst sammeln, dann analysieren) funktioniert besser als ein kompliziertes Netzwerk, bei dem alle ständig miteinander reden und sich verwirren.
3. Das Prinzip ist übertragbar: Wenn man ein gutes System für einen Zweck baut, kann man es oft leicht für einen ähnlichen Zweck anpassen, ohne alles neu zu erfinden.

Fazit

CyberSleuth zeigt uns, dass wir bald KI-Agenten haben könnten, die uns bei der Aufklärung von Cyberkriminalität helfen. Sie sind nicht perfekt, aber sie arbeiten schneller, ermüden nicht und können komplexe Beweisketten zusammenfügen, die für Menschen oft zu viel Arbeit wären. Es ist wie der Übergang vom manuellen Schreiben mit der Hand zur Verwendung eines Textverarbeitungsprogramms – nur für die Sicherheit unserer digitalen Welt.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „CyberSleuth: Autonomous Blue-Team LLM Agent for Web Attack Forensics" auf Deutsch:

1. Problemstellung

Die forensische Analyse kompromittierter Systeme (Post-Mortem-Analyse) ist ein zentraler Bestandteil der Cybersicherheit, um Angreiferziele, -aktionen und betroffene Assets zu rekonstruieren. Derzeit ist dieser Prozess jedoch überwiegend manuell, zeitaufwendig und fehleranfällig. Mit der zunehmenden Komplexität und Automatisierung von Cyberangriffen wird die Notwendigkeit einer automatisierten forensischen Analyse dringender.

Obwohl Large Language Models (LLMs) und „Agentic AI" (LLM-gesteuerte Agenten) vielversprechend für die Automatisierung komplexer Aufgaben sind, bleibt ihre Anwendung im Bereich der Cyber-Verteidigung (Blue-Team) und speziell der Forensik weitgehend unerforscht. Herausforderungen bestehen darin, dass forensische Untersuchungen langfristiges logisches Denken, kontextuelles Gedächtnis und die konsistente Korrelation von unstrukturierten Beweisen erfordern – Fähigkeiten, bei denen aktuelle LLM-Agenten oft versagen (z. B. durch Gedächtnisverlust, Kontextwechsel oder mangelnde Koordination).

2. Methodik und Architektur

Die Autoren stellen CyberSleuth vor, den ersten systematischen Ansatz zur Automatisierung der forensischen Untersuchung von Webangriffen mittels LLM-Agenten.

Szenario und Daten:

• Eingabe: Netzwerkverkehrstraces (PCAP-Dateien) von Angriffen auf Webdienste, die bekannte CVEs (Common Vulnerabilities and Exposures) ausnutzen.
• Aufgabe: Der Agent muss autonom den Ziel-Dienst identifizieren, den genutzten CVE zuordnen, den Erfolg des Angriffs bewerten und einen forensischen Bericht erstellen.
• Benchmark: Ein Datensatz von 30 kontrollierten Szenarien (20 zum Training/Design, 10 neue 2025er-Vulnerabilities zum Testen) sowie 10 Malware-Verkehrstraces für einen Portabilitätstest.

Agenten-Architekturen:
Das Paper vergleicht drei Architekturen, die auf dem LangGraph-Framework basieren und eine spezialisierte Gedächtnisverwaltung (inspiriert von MemGPT) sowie ein Web-Such-Tool nutzen:

1. Single Agent (SA): Ein einzelner Agent, der den gesamten PCAP-Verkehr analysiert. Er neigt dazu, den Fokus zu verlieren und ineffizient zu sein, da er iterativ Pakete durchsuchen muss.
2. Tshark Expert Agent (TEA): Eine Multi-Agenten-Architektur, bei der ein Hauptagent einen spezialisierten „Tshark-Sub-Agenten" steuert, der spezifische Netzwerkflüsse analysiert. Das Problem hier ist die Koordination: Der Hauptagent formuliert oft zu allgemeine Anfragen, was zu unpräzisen Ergebnissen führt.
3. Flow Reporter Agent (FRA) – Die beste Lösung (CyberSleuth):
   • Design: Ein sequenzieller Multi-Agenten-Ansatz. Ein spezialisierter Flow Summariser-Sub-Agent analysiert systematisch TCP/UDP-Flows und erstellt einen strukturierten Bericht über verdächtige Aktivitäten (Ports, Payloads, Zeitmuster).
   • Vorteil: Der Hauptagent erhält diesen vorverarbeiteten, fokussierten Bericht und führt darauf basierend die eigentliche forensische Untersuchung durch (Web-Suche, CVE-Zuordnung).
   • Gedächtnis: Nutzung einer Vektordatenbank für Langzeitgedächtnis und einer FIFO-Warteschlange für Kurzzeitgedächtnis, um den Kontext über lange Untersuchungen hinweg zu erhalten.
   • Tooling: Ein optimiertes Web-Such-Tool, das den Agenten anweist, spezifische Dienstnamen und Angriffstypen (aber keine CVE-Codes, um Halluzinationen zu vermeiden) in die Suche einzubringen.

3. Schlüsselbeiträge und Erkenntnisse

• Multi-Agenten-Spezialisierung ist entscheidend: Ein „Teile-und-Herrsche"-Ansatz mit spezialisierten Sub-Agenten (z. B. für die Flows-Zusammenfassung) übertrifft einen einzelnen All-in-One-Agenten erheblich, da dieser bei komplexen Analysen den Fokus verliert.
• Einfache Orchestrierung schlägt verschachtelte Hierarchien: Eine sequenzielle Pipeline (Zusammenfassung -> Analyse) ist effektiver als tief verschachtelte Kommunikationsmuster, die oft zu Koordinationsfehlern führen.
• Generalisierung: Die Design-Prinzipien von CyberSleuth sind übertragbar. Der Agent konnte erfolgreich von der Analyse von Webangriffen auf die Analyse von Malware-Verkehr (Infizierte Geräte) portiert werden, indem nur der Prompt angepasst wurde.
• Gedächtnismanagement: Die Implementierung eines externen Langzeitgedächtnisses (Vektordatenbank) ist essenziell, um die Kontextfenster-Beschränkungen von LLMs zu umgehen und konsistente Beweisketten zu bilden.

4. Ergebnisse

Die Evaluation umfasste verschiedene LLM-Backends (OpenAI GPT-4o, o3, GPT-5, DeepSeek R1, Kimi K2, LLaMA-4) und die drei Architekturen.

• Leistung von CyberSleuth (FRA + GPT-5/o3):
  • Auf dem Testset mit 2025er-Vulnerabilities (unbekannt für die Trainingsdaten der Modelle) erreichte das System eine Genauigkeit von 80% bei der Identifizierung von CVEs und 90% bei der Dienstidentifikation.
  • Die erstellten forensischen Berichte wurden von einem Panel aus 25 Experten als vollständig, nützlich und logisch kohärent bewertet (Durchschnittswert > 4,2 auf einer Skala von 0-5).
  • Das System erkannte korrekt, wenn Angriffe gescheitert waren, und produzierte keine False Positives bei normalem Web-Traffic.
• Vergleich der Modelle:
  • Open-Source-Modelle (wie DeepSeek R1 und Kimi K2) erreichten Leistungen, die mit proprietären Modellen (GPT-4o, o3) vergleichbar oder sogar überlegen waren, bei deutlich geringeren Kosten.
  • Modelle mit starkem Reasoning-Fokus (wie o3 und GPT-5) schnitten bei der Bewertung des Angriffserfolgs besser ab, neigten aber manchmal zu Überzeugung in eigenem Wissen und nutzten weniger Web-Suchen.
• Portabilität: Bei der Analyse von 10 Malware-Verkehrstraces konnte CyberSleuth in 9 von 10 Fällen die Opferdetails korrekt identifizieren und relevante Indicators of Compromise (IOCs) extrahieren.

5. Bedeutung und Ausblick

Das Paper demonstriert, dass autonome, reasoning-fähige Agenten komplexe Sicherheitsworkflows unterstützen können. CyberSleuth beweist, dass durch sorgfältiges Design (Spezialisierung, einfache Orchestrierung, effektives Gedächtnis) die Lücken zwischen aktuellen LLM-Fähigkeiten und den Anforderungen der Cyber-Forensik geschlossen werden können.

Limitationen:

• Die Benchmarks basieren auf kontrollierten Umgebungen (Container/Testbeds) und nicht auf realen, unordentlichen Enterprise-Netzwerken mit hohem Hintergrundrauschen.
• Die aktuelle Architektur erlaubt kein direktes Zurückgreifen auf Rohdaten nach der Zusammenfassung (kein iteratives „Rückblenden" wie bei menschlichen Analysten), was die Selbstkorrektur einschränkt.

Fazit: CyberSleuth stellt einen wichtigen Schritt hin zur Automatisierung der Blue-Team-Forensik dar und bietet eine offene Plattform für weitere Forschung. Die Ergebnisse zeigen, dass KI-Agenten nicht nur Angriffe simulieren (Red-Teaming), sondern auch effektiv bei der Verteidigung und Aufklärung von Sicherheitsvorfällen eingesetzt werden können.