Structured but Fragile: On the Limits of LLMs in Cybersecurity Decision-Making
Dit artikel toont aan dat hoewel Large Language Models gestructureerde cybersecurity-redeneringen kunnen benaderen wanneer zij worden voorzien van expliciete aanvals-grafiekstructuren, hun besluitvormingscapaciteiten fragiel zijn, zeer gevoelig zijn voor de formulering van de prompt en niet robuust schalen met complexiteit in vergelijking met formele optimalisatie-baselines.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de hooggestoken wereld van cybersecurity worden organisaties geconfronteerd met een constante, onzichtbare oorlog. Aanvallers zoeken naar zwakheden in netwerken, op zoek naar een manier om de verdediging te passeren en gegevens te stelen of diensten te verstoren. Verdedigers moeten beslissen hoe ze hun beperkte middelen inzetten om hen te stoppen. Ze kunnen niet alles met het sterkst mogelijke schild beschermen; ze moeten kiezen welke sloten ze installeren, welke alarmen ze instellen en welke deuren ze versterken. Dit is een probleem van strategie, niet alleen van technologie. Het vereist het uitstippelen van elke mogelijke route die een aanvaller zou kunnen nemen en het uitzoeken welke specifieke barrières de meest gevaarlijke routes zullen blokkeren. Decennialang hebben experts complexe wiskundige modellen gebruikt om dit puzzelstukje op te lossen, waarbij ze het netwerk als een kaart beschouwen en de verdediging als een spel waarbij de verdediger als eerste beweegt, in een poging de beste reactie van de aanvaller te anticiperen.
Onlangs is er een nieuw soort instrument dit toneel binnengekomen: large language models. Dit zijn krachtige kunstmatige intelligentiesystemen die in staat zijn om code te schrijven, vragen te beantwoorden en enorme hoeveelheden tekst samen te vatten. Ze zijn getraind op bijna alle publiekelijk beschikbare informatie op het internet, inclusief talloze beveiligingsrapporten en technische handleidingen. Omdat ze zoveel weten over het vakgebied, hopen velen dat ze als deskundige adviseurs kunnen fungeren, om verdedigers te helpen betere keuzes sneller te maken. Maar een cruciale vraag blijft: begrijpen deze systemen werkelijk de logica van de aanval, of herkennen ze simpelweg bekende woorden en gokken ze op basis van wat ze eerder hebben gelezen? Als een verdediger vertrouwt op een AI die expertise slechts imiteert zonder de onderliggende structuur van de dreiging te begrijpen, kunnen de gevolgen ernstig zijn.
Een team van onderzoekers zette uit om deze vraag te testen met een gecontroleerd experiment. Ze vroegen de AI niet om een gedicht over een hack te schrijven of een nieuwsartikel samen te vatten. In plaats daarvan plaatsten ze de modellen in een rigoureus besluitvormingsscenario. Ze presenteerden de AI met zeven verschillende, realistische aanvalsscenario's afgeleid van echte incidenten, zoals ransomware-campagnes, supply-chain-compromissen en aanvallen op industriële controlesystemen. Voor elk scenario gaf de onderzoekers een gedetailleerde kaart van het netwerk, die liet zien hoe een aanvaller zich van een initieel toegangspunt naar een kritiek doelwit kon bewegen. De AI kreeg een lijst met beschikbare beveiligingsmaatregelen, zoals firewalls of multi-factor authenticatie, elk met een specifieke kostenpost en een beoordeling van hoe effectief ze zouden zijn. De taak was eenvoudig maar moeilijk: kies een combinatie van deze controles die binnen een specifiek budget past, terwijl de kans dat een aanvaller slaagt wordt geminimaliseerd.
Om te weten of de AI zijn werk goed deed, vergeleken de onderzoekers de keuzes met een gouden standaard. Deze standaard was een gespecialiseerd computerprogramma, gebouwd door wiskundigen om de absoluut beste verdediging voor elke gegeven kaart te vinden. Dit programma raadt niet; het berekent elke mogelijkheid om de enkele strategie te vinden die de meeste bescherming biedt. De onderzoekers vroegen de AI-modellen vervolgens om als rechters op te treden, waarbij ze de kwaliteit van verschillende verdedigingsstrategieën beoordeelden, inclusief die van zichzelf, die van het wiskundige programma en enkele opzettelijk slechte strategieën. Ze testten ook of de AI zijn eigen computercode kon schrijven om het probleem vanaf nul op te lossen.
De resultaten onthulden een beeld van voorwaardelijke competentie. Wanneer de onderzoekers de AI een duidelijke, gestructureerde kaart van de aanvalspaden gaven, produceerden de modellen vaak strategieën die zeer dicht bij de wiskundig perfecte oplossing lagen. Het leek erop dat ze begrepen dat het blokkeren van een kritiek knooppunt halverwege een aanvalspad waardevoller was dan het patchen van een klein gaatje aan het begin. In deze gecontroleerde omgevingen leek de AI door het probleem te redeneren, in plaats van alleen feiten op te roepen. Echter, deze bekwaamheid was fragiel. Op het moment dat de onderzoekers de presentatie van het probleem veranderden, werd de prestatie van de AI onvoorspelbaar.
De studie toonde aan dat het oordeel van de AI zeer gevoelig was voor de manier waarop de opties werden benoemd. In een opvallende test namen de onderzoekers een doelbewust zwakke verdedigingsstrategie — één die het netwerk wagenloos zou laten — en noemden deze simpelweg "optimale strategie". Wanneer de AI-evaluatoren deze label zagen, beoordeelden ze deze verschrikkelijke verdediging vaak als een van de beste opties, en gaven ze deze vaak een hogere score dan de werkelijke, wiskundig perfecte oplossing. Omgekeerd, wanneer een sterke strategie een negatieve naam kreeg, daalde de score. Dit suggereert dat de AI de beveiligingslogica van de verdediging niet diepgaand analyseerde, maar in plaats daarvan reageerde op de suggestieve woorden die de beschrijvingen gebruikten. De modellen waren gemakkelijk te beïnvloeden door framing en gaven prioriteit aan het label boven de werkelijke inhoud.
De onderzoekers ontdekten ook dat de AI moeite had wanneer de complexiteit van het netwerk toenam. Naarmate de kaarten groter werden en het aantal mogelijke aanvalspaden vermenigvuldigde, vervaagde het vermogen van de AI om de beste oplossing te vinden. In sommige gevallen begon de AI de specifieke structuur van de kaart volledig te negeren. In plaats van naar de unieke paden te kijken die een aanvaller zou kunnen nemen, viel de AI terug op algemene kennis en koos controls die beroemd zijn in de sector, zoals encryptie of multi-factor authenticatie, ongeacht of die controls daadwerkelijk de specifieke paden in het scenario blokkeerden. Wanneer de onderzoekers de kaart volledig verwijderden en de AI vroegen om verdedigingen te kiezen op basis van alleen een tekstuele beschrijving, liet de AI de structurele redenering volledig varen. Ze kozen simpelweg de controls met de hoogste algemene effectiviteitsratings, waarbij de unieke topologie van de aanval werd genegeerd.
Zelfs wanneer de AI werd gevraagd om eigen computercode te schrijven om het probleem op te lossen, toonde de AI een kloof tussen begrip en uitvoering. De modellen konden code genereren die er correct uitzag en de juiste hoogwaardige aanpak gebruikte, maar wanneer ze werden getest op grotere netwerken, was de code te traag om nuttig te zijn. De door AI gegenereerde programma's deden er aanzienlijk langer over om een oplossing te vinden dan de gespecialiseerde wiskundige solver, en op de grootste kaarten faalde de code van de AI vaak om de taak überhaupt te voltooien. De AI kon de logica van de oplossing nabootsen, maar kon geen robuuste motor bou{,} maar bouwde om dit op schaal uit te voeren.
Deze bevindingen suggereren dat hoewel large language models het gedrag van een deskundige beveiligingsanalist kunnen benaderen, zij niet beschikken over de betrouwbare, gestructureerde redenering die vereist is voor besluitvorming met hoge inzet. Ze kunnen goede antwoorden produceren wanneer het probleem duidelijk gedefinieerd is en de context eenvoudig is, maar hun prestaties storten in onder druk, ambiguïteit of misleidende labels. Ze zijn nog niet in staat om menselijke experts of formele wiskundige instrumenten te vervangen. In plaats daarvan functioneren ze het beste als assistenten die suggesties kunnen bieden, mits die suggesties worden gecontroleerd tegen een rigoureuze, gestructureerde analyse. De studie concludeert dat in de wereld van cybersecurity, waar een enkele fout kan leiden tot een massale inbraak, we niet alleen op de intuïtie van de AI kunnen vertrouwen. We moeten ervoor zorgen dat de instrumenten die we gebruiken geworteld zijn in de harde logica van het aanvalspad, en niet alleen in de zachte kracht van een overtuigend label.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.