Validating Threat Modeling Results with the Help of Vulnerable Test Applications
Dieser Artikel schlägt einen auf Schwachstellen basierenden Ansatz zur Bewertung der Vollständigkeit von Bedrohungsmodellierungen vor und validiert ihn, indem er nachweist, dass ein von einem LLM unterstütztes Tool (ThreMoLIA) bei der Aufdeckung bekannter Schwachstellen in absichtlich verwundbaren Testanwendungen das Microsoft Threat Modeling Tool übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bauen eine Burg. Bevor Sie auch nur den ersten Stein legen, wollen Sie sicherstellen, dass Sie an jeden Weg gedacht haben, auf dem ein Dieb sich einschleichen könnte. Dieser Planungsprozess wird Bedrohungsmodellierung genannt. Sie zeichnen Karten Ihrer Burg (Architekturdiagramme) und listen jeden möglichen Weg auf, auf dem ein Dieb einbrechen könnte (Bedrohungen).
Das große Problem? Wie wissen Sie, ob Ihre Liste vollständig ist? Normalerweise würden Sie einen erfahrenen Sicherheitswächter bitten, sich Ihre Liste anzusehen und zu sagen: „Gute Arbeit, Sie haben nichts übersehen." Aber was, wenn der Experte müde ist oder eine andere Meinung als Sie hat? Es ist schwer, sich sicher zu sein.
Diese Arbeit stellt eine clevere neue Methode vor, um diese Sicherheitspläne zu testen: Der „Trap House"-Test.
Das „Trap House"-Experiment
Anstatt nur einen Experten zu fragen, bauten die Forscher zwei digitale „Trap Houses" (verwundbare Anwendungen):
- AzureGoat: Ein Cloud-Setup, das so konzipiert ist, dass es spezifische, bekannte Sicherheitslücken aufweist.
- VulnBank: Eine gefälschte Bank-App, die voller Löcher steckt, darunter einige knifflige, die mit KI zusammenhängen.
Diese Häuser verfügen über eine „Wertungsliste", die genau angibt, wo die Löcher sind. Die Forscher teilten den Sicherheitstools nicht mit, wo die Löcher waren; sie gaben den Tools lediglich die Baupläne (die Karten) und fragten: „Finden Sie die Bedrohungen."
Die Herausforderer
Die Forscher stellten zwei verschiedene „Sicherheitsdetektive" gegeneinander:
- Der Veteran (MTMT): Das Microsoft Threat Modeling Tool. Dies ist ein bekanntes, traditionelles Tool, das einem strengen, etablierten Regelwerk (STRIDE genannt) folgt, um Bedrohungen zu finden. Stellen Sie sich einen erfahrenen Detektiv vor, der hervorragend darin ist, klassische Methoden wie Schlossknacken und Fensterzertrümmern zu erkennen.
- Der Neue (ThreMoLIA): Ein neues Tool, das von einer großen KI (einem LLM) angetrieben wird. Dieser Detektiv ist intelligent, liest die Baupläne und nutzt eine riesige Wissensbibliothek, um zu erraten, wo die Bösewichte zuschlagen könnten, einschließlich moderner Tricks wie KI-Manipulation.
Die Ergebnisse: Wer fand mehr Löcher?
Die Forscher zählten, wie viele der bekannten „Löcher" in den Trap Houses jedes Tool fand.
Im Cloud-Haus (AzureGoat):
- ThreMoLIA (Die KI): Fand 100 % der Löcher (7 von 7). Es erwischt alles.
- MTMT (Der Veteran): Fand nur 57 % (4 von 7). Es verpasste einige.
Im Bank-Haus (VulnBank):
- ThreMoLIA: Selbst mit nur dem grundlegenden Bauplan fand es 73 % der Löcher. Als die Forscher ihm etwas zusätzlichen Kontext gaben (wie einen zweiten Blick auf die Dokumente), fand es 92 % der Löcher. Entscheidend ist, dass es alle KI-bezogenen Sicherheitslücken fand.
- MTMT: Fand nur 55 % der Löcher. Es leistete bei den altmodischen Bankproblemen (wie Anmeldeproblemen) hervorragende Arbeit, verpasste jedoch vollständig alle KI-bezogenen Schwachstellen.
Was bedeutet das?
Die Arbeit kommt zu dem Schluss, dass die Verwendung dieser „Trap Houses" eine großartige Methode ist, um Sicherheitstools zu testen, da Sie einen bekannten Antwortenschlüssel haben. Sie müssen nicht raten, ob das Tool gut ist; Sie können einfach die Treffer zählen.
Die Hauptaussage ist, dass das KI-gestützte Tool (ThreMoLIA) besser darin war, Schwachstellen zu finden als das traditionelle Tool, insbesondere wenn das System moderne Technologien wie KI umfasste. Das traditionelle Tool ist immer noch gut für klassische Probleme, hat aber Schwierigkeiten mit der neuen, komplexen Mischung aus alten und neuen Sicherheitsrisiken.
Die Einschränkungen (Das „Kleingedruckte")
Die Autoren sind vorsichtig genug, einige Punkte zu erwähnen:
- Recall vs. Precision: Dieser Test maß, wie viele echte Löcher gefunden wurden (Recall), nicht wie viele falsche Alarme ausgelöst wurden. Das KI-Tool fand mehr echte Löcher, aber die Arbeit behauptet nicht, dass es niemals falsche Alarme auslöst (obwohl es sagt, dass ihr System diese herausfiltert).
- Die „kombinierte" Punktzahl: Die beste Punktzahl des KI-Tools ergab sich aus der Kombination zweier verschiedener Versuche. Es ist, als würde man die KI bitten, das Rätsel zweimal zu lösen und die besten Antworten aus beiden zu nehmen. Das ist etwas mehr Arbeit als der einzelne Lauf des traditionellen Tools.
- Eingeschränkter Umfang: Sie testeten nur zwei spezifische Apps. Obwohl die Ergebnisse vielversprechend sind, haben sie dies noch nicht an realen, massiven Telekommunikationsnetzen getestet (obwohl dies ihr nächstes Ziel ist).
Kurz gesagt: Wenn Sie wissen wollen, ob ein Sicherheitstool echte Schwachstellen erkennen kann, fragen Sie nicht nur einen Experten. Geben Sie ihm ein kaputtes Gebäude und sehen Sie, ob es alle Risse finden kann. Bei diesem Test fand der KI-gestützte Detektiv mehr Risse als der traditionelle.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.