ExCyTIn-Bench: Evaluating LLM agents on Cyber Threat Investigation
Dieser Beitrag stellt ExCyTIn-Bench vor, den ersten Benchmark, der entwickelt wurde, um LLM-Agenten bei der Untersuchung von Cyberbedrohungen zu bewerten, indem 7.542 Fragen aus Microsoft Sentinel-Protokollen und Untersuchungsgraphen generiert werden, wobei sich zeigt, dass aktuelle Spitzemodelle lediglich eine Belohnungsbewertung von 0,606 erreichen und erhebliches Potenzial für zukünftige Verbesserungen besteht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Ganze: Ein neuer „Führerschein" für KI-Detektive
Stellen Sie sich vor, Sie haben eine Flotte sehr intelligenter, neuer KI-Roboter. Sie möchten wissen, ob sie gut genug sind, um Cybersicherheits-Detektive zu sein. Können sie einen Berg unordentlicher Daten durchsuchen, die Bösewichte finden und genau herausfinden, was während eines Hackerangriffs passiert ist?
Die Autoren dieses Papiers sagen: „Wir können sie nicht einfach mit Wissensfragen abfragen wie 'Was ist ein Virus?', denn das testet nur ihr Gedächtnis. Wir müssen sehen, ob sie die Arbeit tatsächlich leisten können."
Daher haben sie ExCyTIn-Bench entwickelt. Denken Sie daran als an einen hochriskanten Führerschein-Test für KI-Agenten. Anstelle eines Autos fährt die KI durch einen digitalen Tatort. Anstelle einer Teststrecke ist es ein simuliertes Computernetzwerk eines Unternehmens, gefüllt mit gefälschten (aber realistischen) Sicherheitsprotokollen.
Wie sie den Test bauten (Der „Tatort")
Um den Test fair und realistisch zu gestalten, haben die Forscher nicht einfach zufällige Fragen erfunden. Sie bauten den Test in drei Schritten auf:
- Der Tatort (Die Daten): Sie richteten eine gefälschte Microsoft Azure-Firma namens „Alpine Ski House" ein. Sie simulierten 8 verschiedene Cyberangriffe, die in der realen Welt tatsächlich stattgefunden haben (wie Ransomware oder E-Mail-Betrug). Sie sammelten 57 verschiedene Tabellen von Protokollen (wie Polizeiberichte, Telefonprotokolle und Überwachungskameraaufnahmen), die Tausende von Einträgen enthielten.
- Die Karte (Der Graph): Wenn ein menschlicher Detektiv ermittelt, betrachtet er nicht alles auf einmal. Er folgt einer Spur: Warnung A führt zu Benutzer B, was zu verdächtiger Datei C führt. Die Forscher verwandelten diese Spuren in eine Karte (einen Graphen).
- Die Knoten: Die Karte hat Punkte, die „Warnungen" (die Polizeisirenen) und „Entitäten" (die beteiligten Personen oder Computer) darstellen.
- Die Kanten: Die Linien, die sie verbinden, zeigen, wie sie miteinander verknüpft sind.
- Die Fragen (Die Prüfung): Anstatt dass ein Mensch Fragen schreibt, nutzten sie eine KI, um diese Karte zu betrachten und 7.542 Fragen zu generieren.
- Beispiel: „Wir sahen eine verdächtige Anmeldung von IP-Adresse X. Basierend auf der Karte, welche Datei verwendete der Hacker, um Passwörter zu stehlen?"
- Der KI-Agent muss die Antwort finden, indem er die Linien der Karte „fährt", die Datenbank abfragt und die Punkte verbindet.
Wie die KI den Test besteht
Der KI-Agent wird in eine MySQL-Datenbankumgebung (ein riesiger Aktenschrank) versetzt. Er kennt das Layout des Schranks nicht. Er muss:
- Nach der Karte fragen: „Welche Tabellen haben Sie?"
- Die Hinweise lesen: „Zeigen Sie mir die Protokolle für diese IP-Adresse."
- Die Punkte verbinden: „Okay, diese IP-Adresse ist mit diesem Benutzer verknüpft. Lassen Sie mich prüfen, was dieser Benutzer getan hat."
- Die Antwort einreichen: „Der Hacker verwendete die Datei
ntdsutil.exe."
Wenn die KI die Antwort richtig hat, erhält sie einen Punkt. Wenn sie stecken bleibt oder die falschen Fragen stellt, erhält sie eine niedrigere Punktzahl. Der Test gibt sogar Teilleistungen, wenn die KI einige Hinweise findet, aber nicht die endgültige Antwort, genau wie ein Lehrer Punkte für das Zeigen des Lösungswegs vergibt.
Was sie herausfanden (Die Ergebnisse)
Die Forscher testeten viele verschiedene KI-Modelle (von großen Unternehmen wie OpenAI, Google und Anthropic sowie von Open-Source-Anbietern) an diesem Test.
- Es ist schwer: Selbst die intelligentesten KI-Modelle hatten Schwierigkeiten. Das beste Modell (Claude-Opus-4.5) erreichte nur eine Punktzahl von 0,606 (von 1,0). Das bedeutet, dass es noch viel Raum für Verbesserungen gibt.
- Der „Aha!"-Moment: Die KI-Modelle, die am besten abschnitten, waren diejenigen, die schrittweise reasoning (Schlussfolgern) konnten. Sie raten nicht einfach; sie erkundeten die Datenbank, stellten fest, dass ihr erster Verdacht falsch war, und versuchten einen neuen Weg, genau wie ein menschlicher Detektiv.
- Open Source vs. Big Tech: Überraschenderweise schnitten einige kleinere, Open-Source-Modelle fast genauso gut ab wie die riesigen, teuren Modelle, was zeigt, dass sich die Lücke schließt.
Warum das wichtig ist
Das Papier behauptet, dies sei der erste Benchmark seiner Art. Bevor dies gab, testeten wir KI hauptsächlich daran, wie gut sie sich Fakten zur Cybersicherheit gemerkt hatte. Jetzt haben wir eine Möglichkeit zu testen, ob KI tatsächlich ein Verbrechen untersuchen kann, indem sie Beweise sichtet und eine komplexe Kette von Ereignissen logisch durchdenkt.
Kurz gesagt: Die Autoren bauten einen realistischen „Tatort" und eine Reihe von „Detektiv-Rätseln", um zu sehen, ob KI-Agenten lernen können, Cybersicherheits-Ermittler zu sein. Die Ergebnisse zeigen, dass KI zwar besser wird, aber noch einen langen Weg vor sich hat, bevor sie menschliche Sicherheitsanalysten ersetzen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.