Validating Threat Modeling Results with the Help of Vulnerable Test Applications
Dit artikel stelt een op kwetsbaarheden gebaseerde aanpak voor het beoordelen van de volledigheid van bedreigingsmodellering voor en valideert deze door aan te tonen dat een door een LLM ondersteund hulpmiddel (ThreMoLIA) de Microsoft Threat Modeling Tool overtreft bij het ontdekken van bekende kwetsbaarheden in opzettelijk kwetsbare testtoepassingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een kasteel bouwt. Voordat je de eerste steen legt, wil je ervoor zorgen dat je aan elke manier hebt gedacht waarop een dief kan sluipen. Dit planningsproces heet bedreigingsmodellering. Je tekent plattegronden van je kasteel (architectuurdiagrammen) en maakt een lijst met elke mogelijke manier waarop een dief kan inbreken (bedreigingen).
Het grote probleem? Hoe weet je of je lijst volledig is? Normaal gesproken vraag je een deskundige beveiligingswacht om je lijst te bekijken en te zeggen: "Goed gedaan, je hebt niets gemist." Maar wat als de expert moe is, of wat als ze een andere mening hebben dan jij? Het is moeilijk om zeker te zijn.
Dit artikel introduceert een slimme nieuwe manier om deze beveiligingsplannen te testen: de "Valhuis"-test.
Het "Valhuis"-experiment
In plaats van alleen een expert te vragen, bouwden de onderzoekers twee digitale "valhuizen" (kwetsbare applicaties):
- AzureGoat: Een cloudopstelling die is ontworpen om specifieke, bekende beveiligingsgaten te hebben.
- VulnBank: Een nepbankapp die is ontworpen om vol gaten te zitten, waaronder enkele lastige die gerelateerd zijn aan AI.
Deze huizen hebben een "scorekaart" met precies waar de gaten zitten. De onderzoekers vertelden de beveiligingstools niet waar de gaten zaten; ze gaven de tools alleen de blauwdrukken (de plattegronden) en vroegen: "Vind de bedreigingen."
De deelnemers
De onderzoekers zetten twee verschillende "beveiligingsdetectives" tegen elkaar:
- De Veteraan (MTMT): De Microsoft Threat Modeling Tool. Dit is een bekende, traditionele tool die een strikt, gevestigd regelboek (STRIDE) volgt om bedreigingen te vinden. Denk hierbij aan een doorgewinterde detective die uitstekend is in het vinden van klassieke methoden zoals lockpicken en ramen breken.
- De Nieuweling (ThreMoLIA): Een nieuwe tool aangedreven door een grote AI (een LLM). Deze detective is slim, leest de blauwdrukken en gebruikt een enorme kennisbibliotheek om te raden waar de boeven kunnen toeslaan, inclusief moderne trucs zoals AI-manipulatie.
De resultaten: wie vond er meer gaten?
De onderzoekers telden hoeveel van de bekende "gaten" in de valhuizen elke tool vond.
In het Cloudhuis (AzureGoat):
- ThreMoLIA (de AI): Vond 100% van de gaten (7 van de 7). Het pakte alles.
- MTMT (de Veteraan): Vond slechts 57% (4 van de 7). Het miste er enkele.
In het Bankhuis (VulnBank):
- ThreMoLIA: Zelfs met alleen de basisblauwdruk vond het 73% van de gaten. Toen de onderzoekers het een beetje extra context gaven (zoals een tweede blik op de documenten), vond het 92% van de gaten. Cruciaal: het vond alle beveiligingsgaten die gerelateerd waren aan AI.
- MTMT: Vond slechts 55% van de gaten. Het deed het uitstekend bij ouderwetse bankproblemen (zoals inlogproblemen), maar mistte volledig alle AI-gerelateerde kwetsbaarheden.
Wat betekent dit?
Het artikel concludeert dat het gebruik van deze "valhuizen" een geweldige manier is om beveiligingstools te testen, omdat je een bekend antwoordensleutel hebt. Je hoeft niet te raden of de tool goed is; je kunt gewoon de treffers tellen.
De belangrijkste les is dat de AI-ondersteunde tool (ThreMoLIA) beter was in het vinden van kwetsbaarheden dan de traditionele tool, vooral wanneer het systeem moderne technologie zoals AI omvatte. De traditionele tool is nog steeds goed voor klassieke problemen, maar worstelt met de nieuwe, complexe mix van oude en nieuwe beveiligingsrisico's.
De kanttekeningen (de "kleine lettertjes")
De auteurs zijn voorzichtig om een paar dingen te noteren:
- Retrieval versus Precisie: Deze test mat hoeveel echte gaten werden gevonden (retrieval), niet hoeveel valse alarmen werden gegeven. De AI-tool vond meer echte gaten, maar het artikel beweert niet dat het nooit valse alarmen geeft (hoewel het zegt dat hun systeem die filtert).
- De "Gecombineerde" score: De beste score van de AI-tool kwam voort uit het combineren van twee verschillende pogingen. Het is alsof je de AI vraagt om de puzzel twee keer op te lossen en de beste antwoorden van beide te nemen. Dit is iets meer werk dan de enkele run van de traditionele tool.
- Beperkte reikwijdte: Ze hebben slechts twee specifieke apps getest. Hoewel de resultaten veelbelovend zijn, hebben ze dit nog niet getest op echte, enorme telecommunicatienetwerken (hoewel dat hun volgende doel is).
Kortom: Als je wilt weten of een beveiligingstool echte zwaktes kan opsporen, vraag dan niet alleen een expert. Geef het een gebroken gebouw en kijk of het alle kieren kan vinden. In deze test vond de door AI aangedreven detective meer kieren dan de traditionele.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.