Structured but Fragile: On the Limits of LLMs in Cybersecurity Decision-Making
Diese Arbeit zeigt auf, dass Large Language Models zwar strukturierte Cybersicherheits-Argumentation approximieren können, wenn ihnen explizite Angriffsgraph-Strukturen bereitgestellt werden, ihre Entscheidungsfähigkeiten jedoch fragil sind, hochsensibel gegenüber dem Prompt-Framing reagieren und im Vergleich zu formalen Optimierungs-Baselines nicht robust mit der Komplexität skalieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der hochriskanten Welt der Cybersicherheit stehen Organisationen vor einem ständigen, unsichtbaren Krieg. Angreifer suchen nach Schwachstellen in Netzwerken, um einen Weg zu finden, an die Verteidigung vorbeizuschlüpfen und Daten zu stehlen oder Dienste zu stören. Verteidiger müssen entscheiden, wie sie ihre begrenzten Ressourcen einsetzen, um dies zu verhindern. Sie können nicht alles mit dem stärksten möglichen Schild schützen; sie müssen wählen, welche Schlösser sie installieren, welche Alarme sie einstellen und welche Türen sie verstärken. Dies ist ein Problem der Strategie, nicht nur der Technologie. Es erfordert die Kartierung jedes möglichen Pfades, den ein Angreifer nehmen könnte, und die Ermittlung, welche spezifischen Barrieren die gefährlichsten Routen blockieren werden. Seit Jahrzehnten nutzen Experten komplexe mathematische Modelle, um dieses Rätsel zu lösen, indem sie das Netzwerk als eine Landkarte betrachten und die Verteidigung als ein Spiel, bei dem der Verteidiger zuerst zieht, um die beste Reaktion des Angreifers vorherzusehen.
Kürzlich ist ein neues Werkzeug in diese Arena eingetreten: Large Language Models (große Sprachmodelle). Dies sind leistungsstarke KI-Systeme, die in der Lage sind, Code zu schreiben, Fragen zu beantworten und riesige Mengen an Text zusammenzufassen. Sie wurden mit fast allen öffentlich verfügbaren Informationen aus dem Internet trainiert, einschließlich unzähliger Sicherheitsberichte und technischer Handbücher. Da sie so viel über das Fachgebiet wissen, hoffen viele, dass sie als Expertenberater fungieren können, um Verteidigern zu helfen, bessere Entscheidungen schneller zu treffen. Doch eine entscheidende Frage bleibt: Verstehen diese Systeme wirklich die Logik des Angriffs oder erkennen sie lediglich vertraute Wörter und raten basierend auf dem, was sie zuvor gelesen haben? Wenn sich ein Verteidiger auf eine KI verlässt, die Fachwissen nur imitiert, ohne die zugrunde liegende Struktur der Bedrohung zu erfassen, könnten die Folgen schwerwiegend sein.
Ein Forscherteam setzte sich zum Ziel, diese Frage mit einem kontrollierten Experiment zu testen. Sie baten die KI nicht, ein Gedicht über einen Hack zu schreiben oder einen Nachrichtenartikel zusammenzufassen. Stattdessen platzierten sie die Modelle in ein strenges Entscheidungsszenario. Sie präsentierten der KI sieben verschiedene, realistische Angriffsszenarien, die aus realen Vorfällen abgeleitet waren, wie etwa Ransomware-Kampagnen, Kompromittierungen der Lieferkette und Angriffe auf industrielle Steuerungssysteme. Für jedes Szenario lieferten die Forscher eine detaillierte Karte des Netzwerks, die zeigte, wie sich ein Angreifer von einem anfänglichen Eintrittspunkt zu einem kritischen Ziel bewegen könnte. Der KI wurde eine Liste verfügbarer Sicherheitskontrollen gegeben, wie etwa Firewalls oder Multi-Faktor-Authentifizierung, jeweils mit spezifischen Kosten und einer Bewertung ihrer Wirksamkeit. Die Aufgabe war einfach, aber schwierig: Eine Kombination dieser Kontrollen zu wählen, die in ein bestimmtes Budget passt und gleichzeitig die Wahrscheinlichkeit minimiert, dass ein Angreifer erfolgreich ist.
Um zu wissen, ob die KI gute Arbeit leistete, verglichen die Forscher ihre Entscheidungen mit einem Goldstandard. Dieser Standard war ein spezialisiertes Computerprogramm, das von Mathematikern entwickelt wurde, um die absolut beste Verteidigung für jede gegebene Karte zu finden. Dieses Programm rät nicht; es berechnet jede Möglichkeit, um die einzelne Strategie zu finden, die den meisten Schutz bietet. Die Forscher baten die KI-Modelle dann, als Richter zu fungieren und die Qualität verschiedener Verteidigungsstrategien zu bewerten, einschließlich der eigenen, der des mathematischen Programms sowie einiger bewusst schlechter Strategien. Sie testeten auch, ob die KI in der Lage war, ihren eigenen Computercode zu schreiben, um das Problem von Grund auf zu lösen.
Die Ergebnisse zeichneten das Bild einer bedingten Kompetenz. Wenn die Forscher der KI eine klare, strukturierte Karte der Angriffspfade gaben, produzierten die Modelle oft Strategien, die der mathematisch perfekten Lösung sehr nahe kamen. Sie schienen zu verstehen, dass das Blockieren eines kritischen Knotenpunkts in der Mitte eines Angriffspfades wertvoller ist als das Schließen einer geringfügigen Lücke am Anfang. In diesen kontrollierten Settings schien die KI das Problem durch logisches Denken zu lösen und nicht bloß Fakten abzurufen. Diese Fähigkeit war jedoch fragil. In dem Moment, als die Forscher die Art der Präsentation des Problems änderten, wurde die Leistung der KI unbeständig.
Die Studie ergab, dass das Urteilsvermögen der KI höchst sensibel auf die Bezeichnung der Optionen reagierte. In einem bemerkenswerten Test nahmen die Forscher eine bewusst schwache Verteidigungsstrategie – eine, die das Netzwerk weit offen lassen würde – und benannten sie einfach in „optimale Strategie“ um. Als die KI-Evaluatoren diese Bezeichnung sahen, bewerteten sie diese schreckliche Verteidigung häufig als eine der besten Optionen und bewerteten sie oft höher als die tatsächliche, mathematisch perfekte Lösung. Umgekehrt sank die Punktzahl einer starken Strategie, wenn ihr ein negatives Label gegeben wurde. Dies deutet darauf hin, dass die KI nicht die Sicherheitslogik der Verteidigung tiefgehend analysierte, sondern statっ auf die suggestiven Wörter reagierte, die zur Beschreibung verwendet wurden. Die Modelle ließen sich leicht durch das Framing beeinflussen und priorisierten das Label gegenüber dem eigentlichen Inhalt.
Die Forscher entdeckten auch, dass die KI Schwierigkeiten bekam, wenn die Komplexität des Netzwerks zunahm. Als die Karten größer wurden und sich die Anzahl der möglichen Angriffspfade vervielfachte, schwand die Fähigkeit der KI, die beste Lösung zu finden. In einigen Fällen ignorierten die Modelle die spezifische Struktur der Karte vollständig. Anstatt die einzigartigen Pfade zu betrachten, die ein Angreifer nehmen könnte, fielen sie auf allgemeines Wissen zurück und wählten Kontrollen, die in der Branche bekannt sind, wie Verschlüsselung oder Multi-Faktor-Authentifizierung, ungeachtet dessen, ob diese Kontrollen tatsächlich die spezifischen Pfade im Szenario blockierten. Wenn die Forscher die Karte vollständig entfernten und die KI baten, die Verteidigung nur basierend auf einer Textbeschreibung zu wählen, gaben die Modelle das strukturelle Denken völlig auf. Sie wählten einfach die Kontrollen mit den höchsten allgemeinen Wirksamkeitsbewertungen und ignorierten die einzigartige Topologie des Angriffs.
Selbst wenn sie gebeten wurden, ihren eigenen Computercode zu schreiben, um das Problem zu lösen, zeigte die KI eine Lücke zwischen Verständnis und Ausführung. Die Modelle konnten Code generieren, der korrekt aussah und den richtigen High-Level-Ansatz nutzte, aber bei Tests an größeren Netzwerken war der Code zu langsam, um nützlich zu sein. Die von der KI generierten Programme benötigten signifikant länger, um eine Lösung zu finden, als das spezialisierte mathematische Solver-Programm, und bei den größten Karten schaffte es der Code der KI oft gar nicht erst, die Aufgabe abzuschließen. Die KI konnte die Logik der Lösung imitieren, konnte aber keinen robusten Motor bauen, um diese in großem Maßstab auszuführen.
Diese Ergebnisse legen nahe, dass Large Language Models zwar das Verhalten eines Experten für Cybersicherheit annähernd nachahmen können, ihnen aber das zuverlässige, strukturierte Denken fehlt, das für Entscheidungen mit hohem Einsatz erforderlich ist. Sie können gute Antworten liefern, wenn das Problem klar definiert und der Kontext einfach ist, aber ihre Leistung bricht unter Druck, Mehrdeutigkeit oder irreführenden Labels zusammen. Sie sind noch nicht in der Lage, menschliche Experten oder formale mathematische Werkzeuge zu ersetzen. Stattdessen funktionieren sie am besten als Assistenten, die Vorschläge unterbreiten können, sofern diese Vorschläge gegen eine rigorose, strukturierte Analyse geprüft werden. Die Studie kommt zu dem Schluss, dass wir uns in der Welt der Cybersicherheit, in der ein einzener Fehler zu einer massiven Sicherheitsverletzung führen kann, nicht allein auf die Intuition der KI verlassen können. Wir müssen sicherstellen, dass die Werkzeuge, die wir verwenden, in der harten Logik des Angriffspfades verwurzelt sind und nicht nur in der sanften Macht eines überzeugenden Labels.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.