🤖 AI

Benchmarking LLM-Assisted Blue Teaming via Standardized Threat Hunting

Dieser Beitrag stellt CyberTeam vor, ein Benchmark-Framework, das die Bedrohungsjagd des Blue Teams in einen strukturierten, modularen Arbeitsablauf aus 30 Aufgaben und 9 operativen Modulen standardisiert, um Large Language Models zu leiten, und zeigt, dass dieser Ansatz die Leistung bei der Bedrohungsanalyse im Vergleich zu offenen Denkstrategien signifikant verbessert.

Ursprüngliche Autoren: Yuqiao Meng, Luoxi Tang, Feiyang Yu, Xi Li, Guanhua Yan, Ping Yang, Zhaohan Xi

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuqiao Meng, Luoxi Tang, Feiyang Yu, Xi Li, Guanhua Yan, Ping Yang, Zhaohan Xi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein komplexes Verbrechen aufzuklären. Sie haben einen brillanten neuen Assistenten: eine Künstliche Intelligenz (KI), die Millionen von Büchern lesen und fast jede Sprache verstehen kann. Wenn Sie dieser KI jedoch einfach sagen: „Finden Sie heraus, wer dieses Verbrechen begangen hat, und stoppen Sie ihn", könnte sie verwirrt werden. Sie könnte den falschen Täter vermuten, falsche Beweise erfinden oder eine Lösung vorschlagen, die tatsächlich nicht funktioniert.

Dieser Beitrag stellt ein neues Werkzeug namens CYBERTEAM vor, um diesen KI-Detektiven bei der besseren Erfüllung ihrer Aufgaben zu helfen. So funktioniert es, einfach erklärt:

1. Das Problem: Die „Offene"-Falle

In der Vergangenheit forderten Forscher KI-Modelle auf, Cybersecurity-Probleme zu lösen, indem sie ihnen lediglich einen Prompt wie „Analysieren Sie dieses Protokoll" gaben. Das ist so, als würde man einem Detektiv einen chaotischen Stapel Papiere übergeben und sagen: „Lösen Sie das."

Das Problem: Die KI könnte halluzinieren (sich Dinge ausdenken), wichtige Schritte überspringen oder die Reihenfolge falsch verstehen. Beispielsweise könnte sie vorschlagen, einen Computer zu patchen, bevor sie überhaupt herausgefunden hat, welches Virus darauf ist.
Die Realität: Echte Cybersecurity ist keine einzelne Frage; es ist eine Kette von Ereignissen. Sie müssen den Bösewicht finden, verstehen, wie er sich bewegt hat, entscheiden, wie gefährlich er ist, und dann ihn stoppen.

2. Die Lösung: Ein „Standardisierter Arbeitsablauf"

Die Autoren haben CYBERTEAM entwickelt, das wie ein striktes, schrittweises Rezept für die KI fungiert. Anstatt die KI frei wandern zu lassen, zwingen sie sie, einen bestimmten Pfad zu befolgen.

Stellen Sie es sich wie ein Fließband in einer Fabrik vor:

Schritt 1 (Das Förderband): Die KI erhält eine spezifische Aufgabe, wie etwa „Finden Sie die Namen der Hacker". Sie kann erst zum nächsten Schritt übergehen, wenn sie diesen abgeschlossen hat.
Schritt 2 (Die spezialisierten Werkzeuge): Die KI „denkt" nicht einfach alles auf einmal durch. Sie verwendet für jede Aufgabe spezifische „Werkzeuge" (genannt Operationale Module):
- NER (Der Namensfinder): Ein Werkzeug, das nur nach Namen, Daten und IP-Adressen sucht.
- REX (Der Muster-Scanner): Ein Werkzeug, das nur nach spezifischen Codes wie E-Mail-Adressen oder Datei-Hashes sucht.
- RAG (Der Bibliothekar): Ein Werkzeug, das vor der Beantwortung in eine Bibliothek mit realen Sicherheitsdaten geht, um die neuesten Informationen zu finden.
- SUM (Der Zusammenfasser): Ein Werkzeug, das lange, langweilige Berichte in kurze, klare Aufzählungspunkte verwandelt.

Indem diese Werkzeuge miteinander verkettet werden, wird die KI gezwungen, organisiert zu sein. Sie kann nicht vom „Namensfinder" direkt zum „Lösungsvorschlag" springen.

3. Der Test: In die Praxis umgesetzt

Die Forscher testeten diese neue „Fließband"-Methode gegen die alte „freies Denken"-Methode unter Verwendung einer riesigen Bibliothek realer Cyber-Bedrohungen (über 450.000 Beispiele aus Quellen wie MITRE und NIST).

Sie forderten die KI auf, 30 verschiedene Aufgaben zu erledigen, wie zum Beispiel:

Den Angreifer zu identifizieren.
Herauszufinden, wie er in das System gelangt ist.
Zu entscheiden, wie dringend die Bedrohung ist.
Einen Plan zur Abwehr des Angriffs zu schreiben.

4. Die Ergebnisse: Struktur gewinnt

Die Ergebnisse waren klar: Der strukturierte, schrittweise Ansatz (CYBERTEAM) war der freien Form deutlich überlegen.

Weniger Fehler: Die KI machte weit weniger „Halluzinationen" (falsche Fakten), wenn sie die spezifischen Werkzeuge in der richtigen Reihenfolge verwenden musste.
Bessere Genauigkeit: Sie war viel besser darin, die richtigen „Playbooks" (Pläne zur Abwehr von Angriffen) zu finden und die richtigen Software-Patches vorzuschlagen.
Das „Warum": Der Beitrag ergab, dass die KI oft den Überblick verlor oder kritische Details übersehen hat, wenn ihr erlaubt wurde, einfach frei zu „denken" (unter Verwendung von Methoden wie Chain-of-Thought). Wenn sie jedoch gezwungen wurde, das Fließband zu befolgen, performte sie wie ein erfahrener Profi.

5. Der Haken: Rauschen zählt

Der Beitrag testete auch, was passiert, wenn die KI mit „verrauschten" oder unordentlichen Daten versorgt wird (wie einem Bericht mit Tippfehlern oder verwirrender Formulierung).

Gute Nachricht: Die KI konnte kleine Tippfehler (wie einen fehlenden Buchstaben) problemlos bewältigen.
Schlechte Nachricht: Wenn die Bedeutung des Textes verzerrt oder verwirrend war (semantisches Rauschen), hatte die KI Schwierigkeiten, selbst mit den neuen Werkzeugen. Dies deutet darauf hin, dass, obwohl die Werkzeuge helfen, die Qualität der von Menschen verfassten Berichte immer noch sehr wichtig ist.

Zusammenfassung

Kurz gesagt argumentiert dieser Beitrag, dass wir, um KI nützlich für die Abwehr von Cyberangriffen zu machen, sie nicht einfach ihren Weg durch das Problem „chatten" lassen sollten. Stattdessen müssen wir einen strukturierten, modularen Arbeitsablauf aufbauen, der die KI zwingt, wie ein disziplinierter Detektiv zu handeln: zuerst Fakten sammeln, dann diese analysieren und schließlich eine Lösung vorschlagen. CYBERTEAM ist der Bauplan für diesen disziplinierten Arbeitsablauf.

Technische Zusammenfassung: Benchmarking von LLM-gestütztem Blue Teaming durch standardisierte Bedrohungsjagd

Problemstellung

Da Cyberbedrohungen an Umfang und Komplexität zunehmen, stehen Blue-Team-Verteidiger unter erheblichem Druck, Risiken proaktiv zu erkennen und zu mindern. Obwohl Large Language Models (LLMs) Potenzial in isolierten Cybersicherheitsaufgaben gezeigt haben – wie Malware-Klassifizierung, Penetrationstests und Fuzzing – bleibt ihre Wirksamkeit bei der realen Bedrohungsjagd unzureichend erforscht. Die aktuelle Forschung konzentriert sich häufig auf Aufgaben der Einzelanalyse und versäumt es, die inhärent mehrstufige und verkettete Natur der Bedrohungsjagd zu adressieren. Die praktische Bedrohungsjagd erfordert eine Abfolge abhängiger Aufgaben (von der Bedrohungsattribution bis zur Incident Response), wobei das Ergebnis einer Phase den Kontext für die nächste bildet. Bestehende LLM-Anwendungen fehlen oft die strukturierten Workflows, die notwendig sind, um diese Abhängigkeiten zu bewältigen, was zu Problemen mit Zuverlässigkeit, Halluzinationen und einem Mangel an handlungsorientierten, standardisierten Ausgaben in komplexen Verteidigungsszenarien führt.

Methodik: CYBERTEAM

Um diese Lücken zu schließen, stellen die Autoren CYBERTEAM vor, einen Benchmark, der entwickelt wurde, um LLMs bei der Blue-Team-Bedrohungsjagd rigoros zu evaluieren und zu steuern. Die Methodik basiert auf drei Kernsäulen:

1. Standardisierter Workflow und Aufgabenabhängigkeit

CYBERTEAM modelliert die Bedrohungsjagd als Abhängigkeitskette, die den realen Fortschritt von der Untersuchung bis zur Minderung widerspiegelt. Der Benchmark systematisiert 30 analytische Aufgaben in vier Kategorien:

Bedrohungsattribution: Aufdecken von Ursprüngen (z. B. Identifizierung von Akteuren, Extraktion von Infrastruktur, Korrelation von Kampagnen).
Verhaltensanalyse: Verständnis von Angreiferinteraktionen (z. B. Dateisystemaktivitäten, Netzwerkprofilierung, TTP-Extraktion).
Priorisierung: Bewertung von Dringlichkeit und Risiko (z. B. Klassifizierung von Angriffsvektoren, Schweregradbewertung).
Reaktion und Minderung: Generierung handlungsorientierter Verteidigungsstrategien (z. B. Empfehlung von Playbooks, Generierung von Patch-Code).

Im Gegensatz zu offenen Schlussfolgerungen erzwingt CYBERTEAM eine strukturierte Pipeline, bei der nachgelagerte Aufgaben auf den validierten Ausgaben vorgelagerter Schritte basieren.

2. Operationale Module

Um Standardisierung mit der Flexibilität für diverse Szenarien in Einklang zu bringen, integriert CYBERTEAM 9 operative Module, die das LLM-Schlussfolgern steuern. Diese Module wandeln unstrukturierte Bedrohungsprotokolle in diskrete, ausführbare Schritte um:

Extraktion und Parsing: Named Entity Recognition (NER), Regex-Parsing (REX), Textspannen-Lokalisierung (SPA).
Schlussfolgern und Synthese: Zusammenfassung (SUM), Textzuordnung (MAP), Klassifizierung (CLS), Mathematische Berechnung (MATH).
Wissensintegration: Retrieval-Augmented Generation (RAG) zum Zugriff auf externe Bedrohungsnachrichten (z. B. CVEs, MITRE ATT&CK).
Ähnlichkeit: Textähnlichkeitsabgleich (SIM).

Jede Aufgabe $t_i$ ist mit einer spezifischen Sequenz dieser Module $f^*_i$ verknüpft, wodurch sichergestellt wird, dass das LLM spezifische Operationen durchführt (z. B. die Verwendung von RAG zum Abrufen von Warnungen vor der Zusammenfassung einer Minderungsstrategie), anstatt sich ausschließlich auf internes Wissen zu verlassen.

3. Daten und Evaluation

Datenquellen: Der Benchmark aggregiert 452.293 Stichproben aus 23 verschiedenen Quellen, darunter Schwachstellen-Datenbanken (NVD, MITRE CVE, CWE, CAPEC, D3FEND, Exploit-DB, VulDB) und Bedrohungsnachrichten-Plattformen (VirusTotal, AlienVault OTX, MISP, Mandiant, Recorded Future, IBM X-Force usw.).
Evaluationsstrategie: Die Autoren bewerten führende branchenübliche LLMs (z. B. GPT-5.1, Grok-4.1, Llama-3.1-405B) und state-of-the-art Cybersicherheits-Agenten gegen CYBERTEAM.
Basislinien: Die Leistung wird mit offenen Schlussfolgerungsstrategien verglichen, darunter In-Context Learning (ICL), Chain-of-Thought (CoT) und Tree-of-Thought (ToT).
Metriken: Aufgaben spezifische Metriken kommen zum Einsatz, darunter der F1-Score für Extraktion, Genauigkeit für Klassifizierung, BERTScore für Generierung, Hit@k für Ranking, Pass-Rate für Code-Generierung und Normalized Distance für numerische Schätzung.

Schlüsselergebnisse

Die empirische Evaluation liefert mehrere kritische Erkenntnisse:

Überlegenheit der Standardisierung: Der modulare, standardisierte Ansatz (CYBERTEAM) schneidet bei allen 30 Aufgaben konsistent besser ab als offene Schlussfolgerungsstrategien (ICL, CoT, ToT). Beispielsweise erzielte die standardisierte Methode bei der Playbook-Empfehlung mit GPT-5.1 einen Hit@10-Score von 92,7 %, verglichen mit 90,5 % für CoT und deutlich niedrigeren Scores für ICL. Ähnliche Gewinne wurden bei der Anpassung von Sicherheitskontrollen und der Korrelation von Warnungen beobachtet.
Bewältigung komplexer Abhängigkeiten: Die Leistungslücke ist bei Aufgaben, die starke Interdependenzen erfordern (z. B. Rekonstruktion von Ereignissequenzen), am ausgeprägtesten, wobei der standardisierte Workflow die Genauigkeit im Vergleich zu CoT um über 20 % verbesserte. Offene Methoden scheitern häufig daran, die für mehrstufige Jagd erforderliche korrekte logische Reihenfolge oder den Informationsfluss aufrechtzuerhalten.
Robustheit gegenüber Rauschen: Während von CYBERTEAM geleitete LLMs Token-Ebene-Rauschen (zufällige Zeicheneinfügungen) relativ gut bewältigen, bleiben sie anfällig für semantisches Rauschen (paraphrasierte oder kontextuell verschobene Texte), was zu einer signifikanten Leistungsverschlechterung führt. Dies unterstreicht den anhaltenden Bedarf an hochwertigen, von Experten kuratierten Bedrohungsberichten.
Interpretierbarkeit: Der modulare Ansatz verbessert die Interpretierbarkeit. Im Gegensatz zu undurchsichtigen Schlussfolgerungsketten in offenen Prompts können CYBERTEAM-Ausgaben auf spezifische Operationen zurückverfolgt werden (z. B. welche RAG-Abrufaktion eine bestimmte Minderung informiert hat), was menschliche Prüfungen und Vertrauen erleichtert.
Effizienz-Trade-offs: Während die standardisierte Pipeline aufgrund der sequenziellen Modulausführung eine höhere Latenz als einfaches ICL aufweist, bietet sie im Vergleich zum extremen Overhead von Tree-of-Thought (ToT) ein günstigeres Gleichgewicht zwischen Zuverlässigkeit und Rechenkosten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CYBERTEAM den ersten umfassenden, praxisinformierten Benchmark zur Evaluierung von LLMs in der Blue-Team-Bedrohungsjagd bietet. Seine Bedeutung liegt in:

Paradigmenwechsel: Der Übergang von der Bewertung isolierter Aufgaben zu einer ganzheitlichen, workflowgetriebenen Bewertung, die reale Verteidigungsoperationen widerspiegelt.
Validierung strukturierter Schlussfolgerung: Der Nachweis, dass für hochriskante Cybersicherheitsaufgaben strukturierte, modulare Schlussfolgerung der offenen Generierung überlegen ist. Die Autoren argumentieren, dass die strikte Einhaltung operativer Verfahren (durch Module) Halluzinationen reduziert und sicherstellt, dass Ausgaben mit handlungsorientierten Verteidigungszielen übereinstimmen.
Handlungsorientierte Erkenntnisse: Bereitstellung eines Rahmens, der LLMs durch standardisierte, dennoch flexible Schlussfolgerungs-Workflows führt und einen Bauplan für die Integration von KI in Security Operations Centers (SOCs) bietet.

Die Autoren kommen zu dem Schluss, dass LLMs zwar vielversprechend sind, aber ihr Einsatz in der Bedrohungsjagd die Disziplin standardisierter Workflows erfordert, um Zuverlässigkeit, Interpretierbarkeit und Wirksamkeit in komplexen, voneinander abhängigen Szenarien sicherzustellen. CYBERTEAM dient der Forschungscommunity als Ressource, um zukünftige Innovationen in der KI-gestützten Cybersicherheitsverteidigung voranzutreiben.