Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios

Deze studie evalueert de autonome cyberaanvalscapaciteiten van zeven AI-modellen tussen augustus 2024 en februari 2026 op twee complexe netwerkranges en concludeert dat de prestaties log-lineair schalen met rekentijd, waarbij de nieuwste modellen aanzienlijke vooruitgang boeken, hoewel ze nog beperkt blijven bij industriële besturingssystemen.

De kern

Samenvatting: Hoe slim zijn AI-robots nu eigenlijk als het gaat om hacken?

Stel je voor dat je een groep super-slimme robots (AI-modellen) hebt die je leert hoe ze een complex doolhof moeten vinden. Maar dit is geen gewoon doolhof; het is een digitaal kasteel vol sloten, valkuilen en geheime gangen. De vraag is: kunnen deze robots het kasteel alleen, zonder hulp van mensen, volledig veroveren?

Dit onderzoek, uitgevoerd door experts van het AI Security Institute in het VK, heeft precies dat getest. Ze hebben zeven verschillende generaties van de slimste AI's ter wereld (van augustus 2024 tot februari 2026) de opdracht gegeven om twee verschillende digitale "speelvelden" te hacken.

Hier is wat ze ontdekten, vertaald in begrijpelijke taal:

1. De twee proefvelden: Een kantoorpand en een elektriciteitscentrale

De onderzoekers bouwden twee digitale simulaties:

• Het Kantoorgebouw ("The Last Ones"): Dit is een 32-stappen lange aanval op een virtueel bedrijfsnetwerk. De AI moet als een dief door het gebouw sluipen, sleutels (wachtwoorden) stelen, zich verplaatsen naar andere kamers en uiteindelijk een kluis met gevoelige data openen. Dit is vergelijkbaar met een lange, complexe puzzel.
• De Koeltoren ("Cooling Tower"): Dit is een aanval op een virtuele elektriciteitscentrale. De AI moet hier de fysieke machines (zoals pompen en kleppen) saboteren. Dit is veel lastiger omdat de stappen hier groter zijn en de regels anders werken. Het is alsof je niet alleen de deur moet openen, maar ook moet weten hoe je een machine moet laten ontploffen zonder dat je weet hoe die machine werkt.

2. De grote ontdekkingen

De onderzoekers keken naar twee dingen: hoeveel rekenkracht ze gebruikten (gemeten in "tokens", ofwel de hoeveelheid tekst die de AI moet verwerken) en hoe slim de AI-generatie was.

A. "Meer geld = Beter resultaat" (De rekenkracht-metode)

Stel je voor dat je een robot een opdracht geeft. Als je de robot maar één minuut tijd geeft, haalt hij misschien de halve trap. Maar als je hem een uur tijd geeft, klimt hij de hele trap op.

• Wat ze zagen: Als je de AI meer "rekenkracht" (tokens) gaf, werd hij direct slimmer. Er was geen punt waarop de AI "vastliep".
• Het verrassende: Je hoeft geen computerexpert te zijn om dit te doen. Iedereen kan simpelweg zeggen: "Gebruik meer rekenkracht." Door de budgetten te verhogen van 10 miljoen naar 100 miljoen tokens, kon de AI tot 59% meer stappen zetten. Het was alsof je een fietsje omruilt voor een racefiets: je komt veel sneller en verder, zonder dat je hoeft te leren fietsen.

B. "Nieuwe modellen zijn gewoon beter" (De generatie-metode)

De onderzoekers keken ook naar de evolutie van de AI's.

• De groei: Een AI uit augustus 2024 (GPT-4o) haalde gemiddeld slechts 1,7 stappen van de 32. Een AI uit februari 2026 (Opus 4.6) haalde gemiddeld 9,8 stappen, en in zijn beste poging zelfs 22 van de 32 stappen.
• De snelheid: De nieuwste AI kon in ongeveer 10 uur werk doen waar een menselijke hacker ongeveer 14 uur voor nodig zou hebben. Dat klinkt snel, maar het is nog niet perfect.

3. Waar lopen ze vast? (De "Muur")

Hoewel de AI's steeds beter worden, zijn ze nog niet onoverwinnelijk.

• Het Kantoorgebouw: De AI's konden de eerste helft van het gebouw prima veroveren. Maar zodra ze bij de "diepe" delen kwamen (waar ze moeten knoeien met cryptografie, oude software reverse-engineeren en malware schrijven), liepen ze vast. De nieuwste AI (Opus 4.6) was de eerste die hier echt doorheen brak, maar zelfs hij kon het niet helemaal afmaken.
• De Koeltoren: Hier was het nog veel moeilijker. De AI's konden hier nauwelijks iets doen. Ze haalden gemiddeld maar 1,4 van de 7 stappen.
  • Interessant detail: Soms probeerden de AI's iets heel anders dan mensen zouden doen. In plaats van via de webpagina de deur open te breken, probeerden ze direct met de machines te praten via hun geheime taal (protocollen) en deden ze alsof ze de machine "raakten" totdat het werkte. Het was alsof ze de muur niet openbraken, maar de muur gewoon omzeilden door er doorheen te lopen.

4. Wat betekent dit voor de wereld?

Dit onderzoek is een wake-up call voor de cybersecurity-wereld.

• Het dreigingsniveau stijgt: AI wordt steeds beter in het zelfstandig uitvoeren van complexe aanvalsketens. De drempel om een cyberaanval te plegen wordt lager. Een minder ervaren hacker kan nu met AI-tools doen wat vroeger alleen een expert kon.
• Nog niet volledig autonoom: Hoewel de AI's indrukwekkend zijn, zijn ze nog niet in staat om een volledige aanval op een echt, complex systeem (zoals een elektriciteitscentrale) volledig alleen te voltooien zonder menselijke hulp. Ze hebben nog steeds hulp nodig bij de moeilijkste puzzels.
• De toekomst: Als we niets doen, zullen deze AI's binnenkort nog slimmer zijn. De onderzoekers waarschuwen dat we nu al moeten kijken naar hoe we deze systemen kunnen beveiligen, voordat de AI's de "muur" volledig doorbreken.

Kortom: De AI's zijn net als kinderen die leren fietsen. Twee jaar geleden konden ze nauwelijks rechtop blijven. Vandaag rijden ze al flink door de stad, maar ze kunnen nog niet de Tour de France winnen zonder dat ze vallen. En het gevaar is dat ze elke dag sneller leren fietsen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Measuring AI Agents' Progress on Multi-Step Cyber Attack Scenarios" in het Nederlands.

Titel: Het Meten van de Vooruitgang van AI-Agenten in Multi-Stap Cyberaanvalsscenario's

Auteurs: Linus Folkerts et al. (AI Security Institute, UK)
Publicatiedatum: Maart 2026 (Preprint)

---

1. Probleemstelling

Naarmate AI-systemen krachtiger worden, is het cruciaal om hun vermogen om autonome cyberaanvallen uit te voeren te begrijpen voor zowel cybersecurity als AI-governance. Als AI-agenten betrouwbare multi-stap aanvalsketens kunnen uitvoeren met beperkte menselijke tussenkomst, kan dit de cyberdreigingslandschap fundamenteel veranderen:

• Het verlagen van de vaardigheidsdrempel voor minder gespecialiseerde actoren.
• Het vergroten van de schaalbaarheid voor ervaren aanvallers.
• Het mogelijk maken van nieuwe offensieve operaties.

Bestaande evaluaties vertrouwen vaak op geïsoleerde "Capture The Flag" (CTF) uitdagingen of vraag-antwoord benchmarks. Deze methoden vangen echter niet het autonome, multi-stap redeneren, status-tracking en foutherstel in geavanceerde netwerkomgevingen, wat essentieel is voor realistische offensieve operaties. Er is een gebrek aan longitudinale data over hoe snel deze capaciteiten zich ontwikkelen bij frontier-modellen.

2. Methodologie

De auteurs hebben twee doelbewust gebouwde "cyber ranges" (gesimuleerde netwerkomgevingen) ontwikkeld om AI-agenten te testen. Deze omgevingen bevatten meerdere hosts, diensten en kwetsbaarheden die zijn georganiseerd in sequentiële aanvalsketens, zonder actieve verdedigers of detectiemechanismen.

De twee testomgevingen:

1. "The Last Ones" (32 stappen): Een aanval op een gesimuleerd bedrijfsnetwerk. Het doel is het stelen van gevoelige data uit een beveiligde interne database. De aanval vereist het doorbreken van verdedigingen, het stelen van credentials en het verplaatsen door het netwerk. Geschatte menselijke doorlooptijd: ~14 uur.
2. "Cooling Tower" (7 stappen): Een aanval op een industriële besturingssysteem (ICS) omgeving (een gesimuleerde krachtcentrale). Het doel is het verstoren van fysieke processen. De stappen vertegenwoordigen grotere eenheden werk dan in het bedrijfsnetwerk. Geschatte menselijke doorlooptijd: ~15 uur.

Experimenteel Ontwerp:

• Modellen: Zeven frontier-modellen die tussen augustus 2024 en februari 2026 zijn uitgebracht (o.a. GPT-4o, Claude Sonnet 3.7/4.5, Opus 4.5/4.6, GPT 5.1/5.3 Codex).
• Agent Design: Een standaard ReAct-agent (Reason + Act) draaiend op Kali Linux met toegang tot Bash, Python en het Mythic C2-framework. Er werd gebruikgemaakt van context compaction om runs langer dan één contextvenster mogelijk te maken.
• Compute Budgets: Tests uitgevoerd bij verschillende token-budgetten (10 miljoen en 100 miljoen tokens) om de schaling van prestaties te meten.
• Meting: Prestaties worden gemeten als het aantal voltooide stappen tot het doel.

3. Belangrijkste Bevindingen en Resultaten

De studie identificeert twee versterkende trends in de autonome cybercapaciteit:

A. Schaling met Inference-Time Compute

• Log-lineaire groei: De prestaties van modellen op "The Last Ones" schalen log-lineair met het aantal bestede tokens. Er is geen plateau waargenomen tot 100 miljoen tokens.
• Kosten vs. Opbrengst: Het verhogen van het budget van 10M naar 100M tokens resulteert in winst tot wel 59% meer voltooide stappen.
• Toegankelijkheid: Deze verbetering vereist geen technische sofisticatie van de operator; het is voldoende om het token-budget te verhogen.
• Efficiëntie: Nieuwere modellen (zoals Opus 4.6) zijn token-efficiënter en bereiken mijlpalen sneller dan oudere modellen.

B. Verbetering per Modelgeneratie

• Bij een vast token-budget presteren nieuwere modellen consequent beter dan hun voorgangers.
• Voorbeeld (10M tokens): Het gemiddelde aantal voltooide stappen op "The Last Ones" steeg van 1,7 (GPT-4o, aug 2024) naar 9,8 (Opus 4.6, feb 2026).
• Beste prestatie: De beste enkele run (Opus 4.6 met 100M tokens) voltooide 22 van de 32 stappen. Dit komt overeen met ongeveer 6 uur menselijke expertise (van de geschatte 14 uur). De run duurde zelf ongeveer 10 uur wandeltijd.
• Bottlenecks: Prestaties dalen scherp na mijlpaal 4, waar specialistische kennis nodig is (reverse engineering, cryptografie, malware-ontwikkeling). Opus 4.6 is het eerste model dat deze barrière consequent doorbreekt.

C. Prestaties op "Cooling Tower" (ICS)

• De prestaties op industriële besturingssystemen blijven beperkt.
• Bij 100M tokens bereikte het beste model (Opus 4.6) een gemiddelde van 1,4 van de 7 stappen (maximaal 2).
• Interessant fenomeen: Modellen volgden soms onbedoelde paden. In plaats van de geplande web-exploitatie en reverse engineering, deden ze protocol-probing en analyse van netwerkverkeer om onbeveiligde functies direct aan te spreken. Sommige modellen exploiteerden zelfs een onbedoelde bug in de PLC-implementatie om authenticatie te omzeilen (brute-force van sessie-identificatoren).

4. Kritieke Observaties en Beperkingen

• Variance: Er is een grote variatie tussen individuele runs. Hoewel de beste runs indrukwekkend zijn, voltooien andere runs met hetzelfde budget en model aanzienlijk minder stappen.
• Geen Actieve Verdediging: De ranges missen actieve verdedigers (SOC, EDR). In een realistische omgeving zouden detecties de aanval kunnen stoppen. De huidige resultaten zijn dus een ondergrens voor de dreiging, maar missen de dimensie van "stealth".
• Menselijke Interventie: De studie suggereert dat de grootste dreiging niet per se een volledig autonome agent is, maar een menselijke operator die AI gebruikt om aanvalsfases te versnellen, waarbij de mens ingrijpt bij de moeilijkste knelpunten.
• Scaffolding: De tests gebruikten minimale scaffolding. Gespecialiseerde frameworks of tools zouden waarschijnlijk betere resultaten opleveren.

5. Significance en Conclusie

Dit paper levert een longitudinale analyse van de ontwikkeling van AI-capaciteiten voor offensieve cyberoperaties.

• Snelheid van vooruitgang: De groei in autonome aanvalscapaciteit is opmerkelijk snel. Binnen 18 maanden is het vermogen om complexe, multi-stap aanvalsketens te doorlopen aanzienlijk toegenomen.
• Risicoprofiel: Hoewel AI nog niet volledig autonoom complexe ICS-aanvallen kan uitvoeren, is het vermogen om bedrijfsnetwerken aan te vallen snel aan het evolueren. De kosten om een aanval te lanceren (via token-budgetten) dalen, terwijl de effectiviteit stijgt.
• Beleid en Governance: De resultaten onderstrepen de noodzaak van continue evaluatie en het ontwikkelen van veiligheidsmaatregelen (safeguards) die specifiek gericht zijn op multi-stap redenering en autonome actie, niet alleen op het genereren van kwetsbaarheidscode.

De auteurs concluderen dat frontier-modellen nu het niveau hebben bereikt waar real-world testing van volledig autonome agenten haalbaar is, maar dat er nog een significant gat blijft bestaan tussen gesynthetiseerde ranges en de complexiteit van echte, goed verdedigde enterprise-omgevingen.