DiagChain: A Diagnostic Benchmark for Evaluating LLM Agents on Evidence-Grounded Attack Chain Reconstruction
Das Paper stellt DiagChain vor, einen diagnostischen Benchmark mit 69 vielfältigen Szenarien und dem ECRAG-Framework zur Evaluierung von LLM-Agenten hinsichtlich der evidenzbasierten Rekonstruktion von Angriffsketten, wobei aufgezeigt wird, dass größere Modelle Schwierigkeiten bei der Reihenfolge der Evidenzen haben, während kleinere Modelle an der grundlegenden Einbeziehung von Evidenzen scheitern, was somit die Notwendigkeit einer stufenweisen Evaluierung gegenüber der aggregierten Genauigkeit hervorhebt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt eines Tatorts betrachten Sie einen digitalen Tatort. Die „Hinweise“ sind überall verstreut: Millionen von Zeilen aus Computerprotokollen, Sicherheitswarnungen und Systemaufzeichnungen. In der Welt der Cybersicherheit nutzen Experten Large Language Models (LLMs) – superintelligente KI-Chatbots, die auf riesigen Mengen von Text trainiert wurden – um als digitale Detektive zu fungieren. Diese KI-Agenten sollen die chaotischen Hinweise lesen, herausfinden, was passiert ist, und die Geschichte des Angriffs in der richtigen Reihenfolge aufschreiben. Dieser Prozess wird als Attack Chain Reconstruction (Rekonstruktion der Angriffskette) bezeichnet. Es ist, als würde man versuchen, einen Film zu sehen, der in tausende zufällige Einzelbilder zerlegt wurde, und dann jemanden bitten, diese Bilder wieder in die richtige Reihenfolge zu bringen, um die Geschichte zu erzählen.
Aber hier liegt das Problem: Die meisten Tests für diese KI-Detektive schauen sich nur die fertige Geschichte an, die sie schreiben. Wenn die Geschichte falsch ist, sagt der Test „nicht bestanden“, aber er verrät nicht, warum. Hat der Detektiv einen Hinweis übersehen? Hat er die Hinweise gefunden, aber vergessen, sie aufzuschreiben? Oder hat er die richtigen Hinweise gefunden, sie aber in die falsche Reihenfolge gebracht? Wir brauchen eine Möglichkeit, in das Gehirn des Detektivs hineinzuschauen, während er arbeitet, um genau zu sehen, an welcher Stelle er den Faden verliert. Hier kommt das neue Paper, DiagChain, ins Spiel. Es führt ein spezielles Testfeld ein, das nicht nur die endgültige Antwort bewertet, sondern die spezifischen Schritte diagnostiziert, bei denen der KI-Detektiv die Spur verliert.
Die Autoren dieses Papers, Forscher der Tsinghua University und der CRRC Corporation, haben einen neuen Benchmark namens DiagChain entwickelt, um diese blinden Flecken zu beheben. Sie haben einen Datensatz namens MAIN-69 erstellt, der aus 69 verschiedenen „Tatorten“ (Szenarien) besteht, die von einfach bis sehr komplex reichen. Diese Szenen stammen aus realen Daten wie Linux-Logs, Windows-Ereignissen und Cloud-Warnungen. Um den Test realistisch zu gestalten, haben sie verschiedene Ebenen von „Rauschen“ hinzugefügt – wie das Hinzufügen von harmlosem Hintergrundgeplapper zu den Hinweisen, um zu sehen, ob die KI abgelenkt wird. Sie variierten auch die Länge der Angriffsketten, von kurzen Aktivitätsschüben bis hin zu langgezogenen Intrusionen.
Um die KI zu testen, verwendeten sie einen speziellen Workflow namens ECRAG (Evidence-Centric Retrieval-Augmented Generation). Stellen Sie sich das wie ein Geschenk an den KI-Detektiv vor: eine Lupe und ein Notizbuch, das sich selbst aktualisiert. Die KI muss nach Hinweisen suchen, sie gruppieren, den Zeitplan bestimmen und dann die Geschichte schreiben, während sie ständig ihre eigene Arbeit überprüft. Die Forscher haben die Leistung der KI anhand von fünf spezifischen „Gesundheitschecks“ gemessen, anstatt nur einer finalen Note:
- Retrieval (Abruf): Hat die KI die Hinweise gefunden?
- Grouping (Gruppierung): Hat sie verwandte Hinweise in die richtigen Kategorien sortiert?
- Ordering (Anordnung): Hat sie die Ereignisse in der korrekten zeitlichen Abfolge angeordnet?
- Grounding (Fundierung): Hat sie tatsächlich die gefundenen Hinweise genutzt, um ihre Geschichte zu stützen?
- Attribution Gap (Zuweisungslücke): Hat sie einen Hinweis gefunden, ihn betrachtet und dann vergessen, ihn im finalen Bericht zu erwähnen?
Die Ergebnisse waren augenöffnend. Selbst die klügsten KI-Konfigurationen bekamen nur 39,6 % der 849 Referenzschritte im MAIN-69-Datensatz vollständig richtig, ohne zuvor einen Fehler gemacht zu haben. Das Paper legt nahe, dass die Art des KI-Modells stark davon abhängt, wo es scheitert. Kleinere Modelle haben oft Schwierigkeiten mit den Grundlagen: Sie finden einen Hinweis, versäumen es aber, ihn in ihre endgültige Geschichte einzubauen – sie lassen das Beweismittel quasi fallen. Größere, leistungsfähigere Modelle sind besser darin, Hinweise zu finden und zu behalten, stolpern aber oft dabei, sie in die richtige Reihenfolge zu bringen. Es ist wie ein kleiner Detektiv, der die Waffe findet, aber vergisst, sie aufzuschreiben, gegenüber einem großen Detektiv, der die Waffe, die Fingerabdrücke und die Karte findet, aber den Zeitplan des Raubüberfalls völlig durcheinanderbringt.
Die Forscher testeten auch, was passiert, wenn man der KI mehr Zeit oder mehr „Suchbudget“ gibt (ihr erlaubt, mehr Hinweise zu durchsuchen). Sie fanden heraus, dass es die das Problem nicht automatisch löst, der KI einfach nur mehr Ressourcen zur Verfügung zu stellen. Während das Durchsuchen von mehr Hinweisen der KI hilft, mehr Beweise zu finden, garantiert dies nicht, dass die KI diese Beweise auch korrekt organisiert oder aufhört, Fehler beim finalen Zusammenbau zu machen. Tatsächlich wurde die Aufgabe für einige Modelle sogar schwieriger, wenn sie zu viele Hinweise ohne eine bessere Strategie betrachteten.
Letztendlich argumentiert das Paper, dass wir aufhören müssen, nur auf das Endergebnis zu schauen, und statfangen müssen, den Prozess zu diagnostizieren. Die Ergebnisse legen nahe, dass das Vergrößern von KI-Modellen das Problem der „Chain Assembly“ (Kettenmontage) nicht löst; es verschiebt lediglich den Engpass vom „Finden von Hinweisen“ zum „Organisieren von Hinweisen“. Um wirklich zuverlässige Cybersicherheits-Agenten zu bauen, müssen wir Systeme entwickeln, die speziell darauf ausgelegt sind, die gefundenen Beweise zu nehmen und sie in eine kohärente, geordnete und fundierte Geschichte einzuflechten, anstatt nur zu hoffen, dass größere Modelle es von selbst herausfinden werden. Die Autoren stellen ihren Code und ihre Daten zur Verfügung, damit andere die digitalen Detektive weiterhin testen und verbessern können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.