Technische Samenvatting: Om cyberaanvallen te verdedigen, moeten we AI-agenten leren hacken

1. Probleemstelling

Het paper identificeert een fundamentele verschuiving in het economische en technische evenwicht van cybersecurity, gedreven door de komst van AI-agenten. Al meer dan een decennium vertrouwt de defensieve sector op menselijke arbeidsschaarste om aanvallers te beperken; geavanceerde exploits vereisen diepgaande expertise en handmatige inspanning, waardoor tegenstanders gedwongen worden ofwel hoogwaardige activa te targeten, ofwel generieke, geautomatiseerde tools te gebruiken tegen duizenden doelwitten.

AI-agenten verstoren dit evenwicht echter door de ontdekking en exploitatie van kwetsbaarheden te automatiseren over duizenden doelwitten met minimale menselijke begeleiding. In tegen tegenstelling tot traditionele geautomatiseerde tools, die vertrouwen op vooraf geprogrammeerde regels voor bekende kwetsbaarheden, kunnen AI-agenten menselijke strategische agency nabootsen, zich aanpassen aan nieuwe systemen en nieuwe aanvalspaden ontdekken. Deze automatisering verlaagt de marginale kosten van aanvallen, waardoor "long-tail" systemen (die voorheen werden genegeerd vanwege de hoge handmatige inspanning) economisch rendabele doelwitten worden.

Het kernproblein is dat huidige defensieve strategieën reactief en model-centrisch zijn, waarbij de focus ligt op het voorkomen van misbruik door middel van datafiltering, safety alignment en output-guardrails. De auteurs stellen dat deze maatregelen onvoldoende zijn omdat:

1. Adversariële Adaptatie: Aanvallers kunnen veiligheidsmechanismen omzeilen door open-weight modellen te controleren, ze zelf te hosten of modellen te finetunen om de alignment te verwijderen.
2. Economische Haalbaarheid: AI-agenten hoeven niet perfect te zijn; ze hebben slechts een kleine succesratio nodig om winstgevend te zijn vanwege de mogelijkheid om aanvallen op grote schaal te paralleliseren.
3. Defensieve Kloof: Verdedigers missen de "offensieve beveiligingsintelligentie" om te voorspellen hoe aanvallen op schaal zullen plaatsvinden, waardoor ze niet in staat zijn om de specifieke kwetsbaarheden te anticiperen die AI-agenten zullen exploiteren.

2. Methodologie en Voorgesteld Framework

Het paper presenteert geen enkele experimentele resultaat, maar stelt een strategisch framework voor om de defensieve houding te veranderen. De methodologie omvat drie primaire pijlers:

A. Dreigingsmodellering (Threat Modeling)

De auteurs formaliseren een dreigingsmodel van een financieel gemotiveerde tegenstander met toegang tot state-of-the-art (SOTA) AI-agenten. Het doel van de tegenstander is niet noodzakelijkerwijs het maximaliseren van de schade aan een enkel doelwit, maar het maximaliseren van de geaggregeerde winst over een heterogene populatie slachtoffers. In dit model vormen fouten en hallucinaties geen beperking voor de effectiviteit, omdat aanvallen op massale schaal kunnen worden geprobeerd.

B. Kritiek op Huidige Defensies

Het paper evalueert en verwerpt systematisch de effectiviteit van huidige defensieve waarborgen tegen adaptieve AI-agenten:

• Data Governance: Het filteren van trainingsdata faalt omdat AI-agenten kunnen redeneren vanuit eerste principes en nieuwe informatie kunnen verwerven tijdens inferentie, in plaats van te vertrouod op het onthouden van exploit-teksten.
• Safety Alignment: Alignment-technieken (RLHF, fine-tuning) zijn broos en kunnen worden omzeild via jailbreaking, objectvervorming of door benigne stappen te combineren tot schadelijke trajecten met een lange horizon.
• Representation Engineering: Interne model-edits zijn moeilijk te verifiëren en falen vaak wanneer de context verandert of wanneer gedrag voortkomt uit uitgebreide interacties tussen agenten.
• Output Guardrails: Deze falen bij agentic workflows waarbij schadelijke uitkomsten voortkomen uit sequenties van ogenschijnlijk onschadelijke acties, met name in self-hosted of open-weight omgevingen waar monitoring afwezig is.
• Toegangscontroles: Deze zijn ineffectief zodra modellen breed beschikbaar zijn als open weights, aangezien ze kunnen worden gelekt, gerepliceerd of kunnen worden gefinetuned om restricties te verwijderen.

C. Voorgestelde Offensieve Beveiligingsstrategie

De auteurs stellen dat verdedigers offensieve beveiligingsintelligentie moeten ontwikkelen om de capaciteiten van AI-aanvallers onder de knie te krijgen voordat tegenstanders dat doen. Dit omvat drie specifieke acties:

1. Constructeer Uitgebreide Benchmarks:

   • Ga verder dan statische datasets naar dynamische evaluatieomgevingen die de volledige aanvalscyclus dekken (reconnaissance, exploitatie, post-exploitatie).
   • Inclusie van grootschalige, real-world projecten en simuleer "in-the-wild" condities (bijv. Docker-omgevingen, toolsets zoals Kali/CodeQL).
   • Zorg dat benchmarks fijnmazige categorieën dekken (bijv. exploit chaining, command and control) en robuuste ground truth labels bieden.

2. Evolueer van Workflow-gebaseerd naar Getrainde Agenten:

   • Huidige offensieve agenten vertrouwen op externe workflows (prompting + tool calls), wat broos is.
   • Het paper pleit voor het direct trainen van agenten in cyber ranges (gecontroleerde omgevingen) met behulp van reinforcement learning. Dit stelt agenten in staat om adaptieve strategieën te leren, ervaring op te doen en autonoom zero-day kwetsbaarheden te ontdekken, in plaats van vaste pipelines te volgen.

3. Implementeer Governance en Distillatie:

   • Containment: Offensieve agenten moeten worden beperkt tot geaudit, geïsoleerde cyber ranges met strikte netwerkisolatie.
   • Distillatie: De bevindingen en aanvalstrajecten van offensieve agenten moeten worden gedestilleerd naar alleen-defensieve agenten. Deze defensieve agenten richten zich op detectie, oorzaakanalyse en remediatie zonder de gevaarlijke actieruimte van de aanvaller over te nemen.
   • Gefaseerde Release: Offensieve capaciteiten moeten worden behandeld als hoog-risico artefacten, die in fasen worden vrijgegeven op basis van gemeten competentie en versiebeheer.

3. Belangrijkste Bijdragen

• Paradigmaverschuiving: Het paper betoogt dat offensieve AI-capaciteiten moeten worden beschouwd als essentiële defensieve infrastructuur. De keuze is niet of offensieve AI zal bestaan, maar of verdedigers het onder verantwoordelijk bestuur zullen beheersen of gedwongen worden het achteraf te reverse-engineeren na succesvolle aanvallen.
• Beperkingen van Safety Alignment: Het biedt een technisch argument dat safety alignment en data filtering onvoldoende zijn tegen vastberaden tegenstanders met toegang tot open-weight modellen, wat een verschuiving naar proactieve, op capaciteit gebaseerde defensie noodzakelijk maakt.
• Roadmap voor Offensieve AI: Het schetst een concreet evolutiepad voor offensieve beveiligingsagenten (Tabel 2), bewegend van Knowledge Models (volwassen) $\to$ Workflow Agents (huidige status) $\to$ Trained Agents (toekomstig doel voor zero-day ontdekking).
• Benchmarking Standaarden: Het benadrukt de tekortkomingen in huidige cybersecurity benchmarks (bijv. gebrek aan dynamische omgevingen, beperkte lifecycle coverage) en stelt een methodologie voor voor het bouwen van agent-vriendelijke, dynamische en uitgebreide evaluatiesets.

4. Resultaten en Bewijs

Het paper leunt op een synthese van bestaande literatuur en voorlopige observaties in plaats van nieuwe experimentele data van de auteurs.

• Benchmark Prestaties: Tabel 1 vat de SOTA agent prestaties samen op bestaande benchmarks (bijv. CyberSecEval-3, CTF, Vul. detectie). Het merkt op dat hoewel agenten goed presteren op kleinschalige generatieve taken (zoals het patchen van korte functies), ze moeite hebben met grootschalige analytische taken (zoals PoC generatie op volledige projecten) en exploit chaining.
• Systemic Risk Analyse: De auteurs stellen dat AI-agenten "superhuman" cyberaanvallen mogelijk maken door breedte (scannen van duizenden doelwitten) en diepte (adaptieve post-exploitatie) te combineren. Ze citeren dat agenten sneller kunnen opereren dan mensen en zich in realtime kunnen aanpassen aan beveiligingsmaatregelen, wat condities creëert voor grootschalige breuken.
• Economische Logica: Het paper stelt dat de kostenstructuur van aanvallen fundamenteel is veranderd; lage succespercentages per poging zijn nu winstgevend door de mogelijkheid om aanvallen te paralleliseren, waardoor de traditionele aannames over defensie van "high-value targets" obsoleet zijn.

5. Betekenis en Claims

Het paper claimt dat het huidige defensieve AI-safety paradigma restrictief en losgekoppeld van de economische realiteit is. Door uitsluitend te focussen op het voorkomen van misbruik (safety alignment), negeert de gemeenschap de noodzaak om offensieve capaciteiten te begrijpen en te beheersen om veerkrachtige systemen te bouwen.

De auteurs stellen dat:

1. AI-gestuurde aanvallen onvermijdelijk zijn. De economische prikkels voor automatisering in cyberaanvallen zijn te sterk om te negeren.
2. Defensieve intelligentie vereist offensieve capaciteit. Om te voorspellen hoe aanvallen op schaal zullen plaatsvinden, moeten verdedigers over dezelfde capaciteiten beschikken als aanvallers, maar dan ingezet binnen gecontroleerde, geauditeerde omgevingen.
3. Verantwoorde ontwikkeling mogelijk is. Door middel van strikte governance (cyber ranges, distillatie naar defensieve agenten en gefaseerde releases) kunnen de risico's van offensieve AI worden ingeperkt terwijl de voordelen van versnelde kwetsbaarheidsontdekking en -remediatie worden benut.

Het paper concludeert dat het niet investeren in offensieve beveiligingsintelligentie verdedigers onvoorbereid laat op tegenstanders die deze capaciteiten onvermijdelijk onafhankelijk zullen verkennen. Het doel is om de lus tussen ontdekking en herstel te sluiten met machine-schaal intelligentie voordat tegenstanders de "long tail" van het software-ecosysteem kunnen exploiteren.