🤖 AI

Builder, Defender, Breaker: The Case Against Removing the Human from the AI-Driven Security Lifecycle

Dit artikel betoogt dat het verwijderen van mensen uit de door AI gestuurde beveiligingslevenscyclus fundamenteel gebrekkig is omdat het de noodzakelijke onafhankelijkheid tussen de rollen van bouwen, verdedigen en testen elimineert, waardoor gedeelde blinde vlekken ontstaan, de verantwoordelijkheid wordt uitgehold en systemen kwetsbaar worden voor voorspelbare adversariële exploitatie.

Oorspronkelijke auteurs: Mohamed Chahine Ghanem

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohamed Chahine Ghanem

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een hoogwaardig constructieproject voor waarbij je een fort moet bouwen, het moet bewaken en vervolgens moet proberen in te breken om zwakke plekken te vinden. In het verleden huurde je drie verschillende teams in voor deze taken: de Bouwers, de Verdedigers en de Brekers.

Het artikel betoogt dat we momenteel overhaast proberen al deze drie menselijke teams te vervangen door één enkele, superintelligente AI-robot. Het idee is dat als deze robot code kan schrijven, hij ook zijn eigen werk kan controleren en zijn eigen creatie kan proberen te hacken. De auteur, Mohamed Chahine Ghanem, zegt dat dit efficiënt klinkt, maar dat het in werkelijkheid een gevaarlijke valstrik is.

Hier is de onderverdeling van waarom het verwijderen van mensen uit dit proces een slecht idee is, met behulp van eenvoudige analogieën:

1. Het "Eén-Brein"-probleem (De Monocultuur)

Stel je voor dat de persoon die het fort ontwerpt, de persoon die de poorten bewaakt en de persoon die probeert de sloten te kraken, allemaal clones zijn van dezelfde persoon. Ze zijn allemaal naar dezelfde school geweest, hebben dezelfde boeken gelezen en denken precies hetzelfde.

Het Risico: Als dat ene "brein" een blinde vlek heeft (een fout die ze niet weten te maken), dan zullen alle drie de rollen diezelfde blinde vlek hebben.
Het Resultaat: De Bouwer maakt een fout. De Verdediger (die denkt als de Bouwer) ziet het niet. De Breker (die ook denkt als de Bouwer) weet niet hoe hij het moet vinden. De fout glipt door de kieren omdat iedereen naar de wereld kijkt door dezelfde bril. Het papier noemt dit een "algoritmische monocultuur."

2. Het "Zelf je Huiswerk Nakijken"-probleem (De Oracle)

Als je op school een essay schrijft en het daarna zelf nakijkt, zul je jezelf waarschijnlijk een hoge score geven omdat je weet wat je bedoelde te zeggen, zelfs als je het niet duidelijk hebt verwoord. Je bent bevooroordeeld ten opzichte van je eigen werk.

Het Risico: Wanneer een AI code schrijft en vervolgens de testgevallen schrijft om die code te controleren, is het in feite het nakijken van zijn eigen huiswerk. Het controleert of de code overeenkomt met de eigen verwachtingen, niet of de code daadwerkelijk werkt in de echte wereld.
Het Resultaat: Het systeem wordt een gesloten lus waarin het alleen bevestigt wat het al gelooft. Het verliest het vermogen om echte fouten te vinden omdat het geen onafhankelijke "leraar" (een mens) heeft die kan zeggen: "Wacht, dat klopt niet."

3. De "Snelheidsval" (Uit de loop drijven)

Stel je een racewagenrijder voor die zo snel is dat de menselijke veiligheidsfunctionaris het niet kan bijhouden. Eerst kijkt de functionaris naar de auto. Dan gaat de auto zo snel dat de functionaris alleen nog maar achteraf een samenvatting kan bekijken. Uiteindelijk gaat de auto zo snel dat de functionaris slechts een passagier is die na de crash een rapport ontvangt.

Het Risico: AI werkt op machinesnelheid. Als een AI een bug vindt en deze binnen seconden herstelt, kan een mens niet mogelijk stoppen om het te controleren zonder het proces te vertragen. Dus beginnen we de menselijke "stopknop" te verwijderen.
Het Resultaat: Mensen drijven weg van "in de loop" zijn (beslissingen nemen) naar "op de loop" zijn (kijken) naar "uit de loop" zijn (alleen nog maar de resultaten bekijken). Tegen de tijd dat een mens doorheeft dat er iets mis is, heeft de AI al duizenden fouten gemaakt.

4. Het "Voorspelbare Doelwit" (De Adversary)

Beveiliging is een kat-en-muisspel. Als de muis (de verdediger) altijd op dezelfde manier denkt, leert de kat (de hacker) precies hoe hij de muis kan vangen.

Het Risico: Als hetzelfde AI-model wordt gebruikt om te bouwen, te verdedigen en te testen, wordt het hele systeem voorspelbaar. Een hacker hoeft alleen maar te ontdekken hoe hij één type AI kan misleiden, en hij kan het hele systeem misleiden.
Het Resultaat: Het is also kind van een kasteel bouwen met slechts één type slot. Zodra een dief dat slot kan kraken, valt het hele kasteel. Het artikel merkt op dat in praktijktesten AI-systemen die geweldig waren in het hacken van andere machines, er rampzalig uitzagen wanneer ze werden geconfronteerd met mensen die creatief en onvoorspelbaar konden denken.

5. Het "Geen Iemand om de Schuld te Geven"-probleem (Accountability)

Als een menselijke bouwer een fout maakt, kun je hem vragen: "Waarom deed je dat?" en hem verantwoordelijk houden. Als een machine een fout maakt, wie vraag je dan?

Het Risico: Als de AI bouwt, verdedigt en zichzelf test, en er gaat iets mis (zoals een enorme beveiligingsbreuk), is er geen mens om verantwoordelijk te houden. De machine heeft niet "gekozen" om te falen; het volgde gewoon zijn code.
Het Resultaat: Dit creëert een verantwoordelijkheidsvacuüm. Zonder een mens die het werk moet ondertekenen, verliest het systeem de discipline die voortkomt uit het weten dat je verantwoording moet afleggen voor je daden.

De Oplossing: Houd de Mens aan het Stuur

Het artikel zegt niet dat we moeten stoppen met het gebruik van AI. Sterker nog, AI is geweldig in het doen van het zware werk, het snel schrijven van code en het vinden van overduidelijke bugs.

De auteur betoogt echter dat mensen de "Kop" van de operatie moeten blijven.

De AI moet de handen en de ogen zijn (het werk uitvoeren).
De Mens moet het brein zijn dat zorgt voor het onafhankelijke oordeel.

We hebben mensen nodig als de "externe oracle" (de leraar die het huiswerk nakijkt), de "stroomonderbreker" (degene die de noodstop kan indrukken) en de persoon die de verantwoordelijkheid draagt. Als we de mens volledig verwijderen, automatiseren we niet alleen een baan; we breken het veiligheidssysteem dat de digitale wereld veilig houdt.

Technische Samenvatting: Bouwer, Verdediger, Breker: Het pleidooi tegen het verwijderen van de mens uit de door AI gestuurde beveiligingslevenscyclus

Probleemstelling
Het artikel behandelt de opkomende trend in cybersecurity waarbij een enkele familie van generatieve AI-modellen steeds vaker wordt ingezet om alle drie de cruciale rollen van de beveiligingslevenscyclus te vervullen: bouwen (codegeneratie), verdedigen (intrusiedetectie en hardening) en breken (kwetsbaarheidsontdekking en fuzzing). Hoewel gedeeltelijke AI-assistentie breed wordt geaccepteerd, suggereert het heersende narratief dat volledige autonomie — het volledig verwijderen van de mens uit de lus — het natuurlijke eindpunt is. De auteur stelt dat deze transitie van gedeeltelijke assistentie naar volledige autonomie een kwalitatieve verschuiving vertegenwoordigt, en niet louter een kwantitatieve. Het kernprobleid is dat wanneer de bouwer, verdediger en breker afkomstig zijn uit dezelfde generatieve distributie (een "algoritmische monocultuur"), zij een gedeelde blinde vlek erven. Deze convergentie doet de onafhankelijkheid die nodig is voor zinvolle verificatie instorten, creëert een voorspelbaar doelwit voor tegenstanders en lost de locus van verantwoordelijkheid op.

Methodologie en Bewijsvoering
Het artikel hanteert een conceptuele en bewijskrachtige analyse in plaats van het presenteren van nieuwe experimentele gegevens. Het synthetiseert bevindingen uit vier verschillende domeinen om zijn argument op te bouwen:

Autonome Codegeneratie: Door te verwijzen naar studies over GitHub Copilot en formele analyses van modellen die C-programma's genereren, benadrukt het artikel dat AI-modellen de onveilige patronen van hun trainingsdata reproduceren, met hoge kwetsbaarheidspercentages (40–62%) die consistent zijn over verschillende modellen getraind op vergelijkbare corpora.
Adversarial Machine Learning: De analyse put uit NIST-taxonomieën en onderzoek dat aantoont dat detectoren getraind op specifieke distributies kunnen worden omzeild of vergiftigd. Het benadrukt dat een verdediger die dezelfde distributie deelt als de code die hij beschermt, blind zal zijn voor dezelfde randgevallen.
Software Fault Tolerance: Het artikel verwijst naar het falen van N-version programming (waarbij onafhankelijk geschreven implementaties vaker op dezelfde inputs faalden dan verwacht) om aan te tonen dat AI-modellen getraind op vergelijkbare data gecorreleerde foutmodi zullen vertonen, waardoor redundantie ineffectief wordt.
Autonome Hacking Toernooien: Bewijs wordt getrokken uit de 2016 DARPA Cyber Grand Challenge en de 2025 AI Cyber Challenge. Hoewel deze systemen een hoog succespercentage hebben aangetoond bij het vinden en patchen van kwetsbaarheden zonder menselijke tussenkomst, gebruikt het artikel deze resultaten om het "closed loop"-fenomeen te illustreren, waarbij de tools die het systeem testen van dezelfde aard zijn als het systeem dat getest wordt.

Belangrijkste Bijdragen en Argumenten
Het artikel formuleert vier primaire gevaren die verbonden zijn aan een volledig autonome, door AI gestuurde beveiligingslevenscyclus:

Gecorreleerd Falen en het Monocultuurprobleem: In een traditionele levenscyclus zorgt de onafhankelijkheid tussen de fasen (bouwer, verdediger, tester) ervoor dat als de ene faalt, de andere de fout opvangt. In een AI-monocultuur delen alle fasen dezelfde priors en trainingsdata. Bijgevolg is een kwetsbaarheid die de bouwer niet genereert, ook een kwetsbaarheid die de verdediger niet detecteert en de tester niet probeert te vinden. Dit creëert een "blind-spot set" ( $\mathcal{B}$ ) die de gehele levenscyclus ongezien doorkruist.
Het Oracle-probleem: Verificatie vereist een onafhankelijke oracle. Wanneer AI code genereert en AI tests voor die code genereert, erft de testsuite dezelfde aannames als de code. Het artikel stelt dat dit gelijkstaat aan "je eigen huiswerk nakijken", waarbij het systeem zijn eigen verwachtingen bevestigt in plaats van de correctheid te verifiëren tegen de echte wereld. Bovendien blijkt menselijk toezicht ineffectief te zijn; studies wijzen uit dat mensen die AI-assistenten gebruiken minder veilige code produceren terwijl ze een hoger vertrouwen rapporteren.
Adversariële Exploitatie van Uniformiteit: Beveiliging is inherent adversarieel. Een homogene AI-pipeline biedt een uniform, voorspelbaar doelwit. Tegenstanders kunnen dit exploiteren door aanvallen (evasie of vergiftiging) te ontwerpen die de hele monocultuur overdraagbaar zijn omdat de modellen gedeelde structurele gradiënten hebben. Daarnaast is de dual-use natuur van autonome tools zodanig dat een systeem dat in staat is om kwetsbaarheden te vinden en te patchen, inherent in staat is om ze te exploiteren, zonder menselijke "circuit breaker" om te voorkomen dat de tool wordt omgeleid tegen live targets.
Het Verantwoordelijkheidsvacuüm: Volledige autonomie creëert een "verantwoordelijkheidsgat". Als een autonome levenscyclus een kwetsbaarheid oplevert of een outage veroorzaakt, is er geen principaal om verantwoordelijk voor te houden. Het artikel merkt op dat governance-kaders zoals de EU AI Act expliciet menselijk toezicht vereisen voor risicovolle systemen, in het besef dat verantwoordelijkheid niet aan een machine kan worden gedelegeerd. Het verwijderen van de mens verwijdert het mechanisme waarmee de levenscyclus aan standaarden wordt gehouden.

Resultaten en Claims
Het artikel beweert niet dat AI geen nut heeft; het erkent dat autonome systemen succesvol zero-day kwetsbaarheden hebben geïdentificeerd en gebreken hebben gepatcht in competitieve omgevingen (bijv. de 2025 AI Cyber Challenge). Echter, de centrale claim van het artikel is dat volledige autonomie een valstrik is voor de beveiligingslevenscyclus. De resultaten van autonome toernooien demonstreren capaciteit, maar ze onthullen ook fragiliteit: wanneer autonome systemen te maken kregen met menselijke tegenstanders in het DEF CON Capture-the-Flag toernooi, presteerden ze slecht, wat suggereert dat redeneren op machinesnelheid de adaptiviteit mist die nodig is voor complexe, adversariële redenering.

Het artikel concludeert dat de menselijke rol in de beveiligingslevitscyclus niet een tijdelijk steunpunt is dat verwijderd kan worden naarmate modellen verbeteren, maar een permanente structurele vereiste. De mens biedt de noodzakelijke onafhankelijkheid, de externe oracle, het vermogen om op machinesnelheid in te grijpen, en de locus van verantwoordelijkheid.

Betekenis
De betekenis van dit werk ligt in de uitdaging van het "volledige autonomie"-narratief in cybersecurity. Het stelt dat de taakverdeling tussen mens en machine moet worden gehandhaafd, niet om de snelheid te beperken, maar om de fundamentele eigenschappen van beveiliging te waarborgen: onafhankelijkheid, verificatie en verantwoordelijkheid. Het artikel stelt een verdedigbare taakverdeling voor waarbij:

Build- en testpaden gebruikmaken van onafhankelijke bronnen (verschillende modellen/data) om gecorreleerde fouten te voorkomen.
Mensen de autoriteit "on-the-loop" behouden met het vermogen om effectief in te grijpen op machinesnelheid.
Herkomst en onafhankelijk toezicht (audit logs, third-party red-teaming) worden gehandhaafd.
Vaardigheden van de beroepsbevolking behouden blijven om "deskilling" te voorkomen, zodat mensen in staat blijven hun autoriteit uit te oefenen.

Uiteindelijk stelt het artikel dat hoewel machines de rollen van Bouwer, Verdediger en Breker kunnen vervullen, de "kop" die voor hen antwoordt, menselijk moet blijven.