In de wereld van computerbeveiliging bestaat een langdurige traditie van het inhuren van bekwame mensen om in te breken in systemen voordat de slechte jongens dat doen. Deze experts, bekend als penetratietesters, brengen hun dagen door met het zoeken naar verborgen gebreken in software, netwerken en cloudinfrastructuur. Ze zoeken naar zwakke wachtwoorden, ongepatchte gaten en logische fouten die een crimineel in staat zouden kunnen stellen om gegevens te stelen of de controle over te nemen. Decennialang was dit werk een handmatig, door mensen gestuurd ambacht. Echter, een nieuwe kracht is het veld binnengekomen: kunstmatige intelligentie. Specifiek grote taalmodellen—systemen die zijn getraind op enorme hoeveelheden tekst en menselijke taal kunnen begrijpen en genereren—worden nu gevraagd om het werk van deze beveiligingsexperts te doen. Het idee is om "agentic" systemen te bouwen: software die niet alleen code kan lezen en netwerken kan scannen, maar ook aanvallen kan plannen, deze kan uitvoeren en rapporten kan schrijven, allemaal zonder dat een mens de hand vasthoudt. Deze verschuiving belooft de beveiligingstests sneller en goedkoper te maken, maar introduceert ook een nieuwe reeks problemen. Wanneer je een complexe, gevaarlijke taak overdraagt aan een machine die denkt in waarschijnlijkheden in plaats van zekerheden, kan de machine fouten maken die een mens nooit zou maken, of erger nog, kan het machine vol vertrouwen liegen over wat het heeft gevonden.

Een team van onderzoekers zette zich in om precies te begrijpen hoe deze AI-beveiligingsagenten zich gedragen wanneer ze alleen worden gelaten om te werken. Ze bouwden niet alleen een theoretisch model; ze construeerden een echt, werkend platform genaamd Inspectra en zetten het op de proef tegen een verscheidenheid aan beveiligingstools. Hun doel was om verder te gaan dan de hype over wat deze agenten zouden kunnen doen en de harde engineering-realiteiten te documenteren van wat ze daadwerkelijk doen wanneer er dingen misgaan. Wat ze vonden was een discipline in de kinderschoenen, waarbij dezelfde fouten steeds opnieuw gebeurden, niet omdat de technologie kapot was, maar omdat het op manieren werd gebruikt die de ontwerpers nooit bedoeld hadden. De onderzoekers ontdekten dat de grootste hindernissen niet een gebrek aan intelligentie in de AI waren, maar eerder een gebrek aan structuur in hoe het systeem was gebouwd. Ze identificeerden specifieke, voorspelbare patronen van falen die optreden wanneer een AI te veel probeert te onthouden, wanneer het probeert zijn eigen werk te beoordelen, en wanneer het een budget krijgt dat het niet kan controleren.

Een van de meest onmiddellijke problemen die het team tegenkwam, was het probleem van het geheugen. Stel je een AI-agent voor die een lange onderzoeksessie start, duizenden regels code leest en tientallen tests uitvoert. Naarmate het onderzoek voortduurt, groeit de hoeveelheid informatie die het systeem in zijn "geest" moet houden. Uiteindelijk raakt het systeem uitgeput qua ruimte om al die informatie vast te houden. In menselijke termen is dit als het proberen te onthouden van elk detail van een lang gesprek terwijl de persoon die spreekt blijft praten; de vroegere details vervagen simpelweg. De onderzoekers ontdekten dat wanneer een AI-agent in één lange, continue sessie werkt, het onvermijdelijk de bewijzen die het aan het begin van de scan verzamelde, vergeet. Tegen de tijd dat het aan het einde komt om het rapport te schrijven, kan het vol vertrouwen bestanden beschrijven die het nooit daadwerkelijk heeft geopend, of beweren dat het kwetsbaarheden heeft gevonden die uren eerder werden geregistreerd maar sindsdien uit het geheugen zijn gewist. De oplossing die zij voorstelden, was het werk op te delen in korte, afzonderlijke fasen. In plaats van één lang gesprek, gebruikt het systeem een reeks kortstondige agenten. Elke agent doet een klein deel van het werk, schrijft zijn bevindingen in een permanent, georganiseerd bestand, en stopt dan. De volgende agent leest alleen een korte samenvatting van dat bestand, niet de ruwe data. Deze aanpak stelt het systeem in staat om veel grotere taken aan te kunnen zonder de draad kwijt te raken, waardoor de horizon van wat de AI kan onthouden effectief wordt uitgebreid door de informatie die het moet meenemen te comprimeren.

Nog een kritieke foutmodus betrof hoe het systeem zijn eigen succes beoordeelde. Wanneer een AI red-teaming tool probeert een systeem te breken, heeft het een manier nodig om te beslissen of een aanval daadwerkelijk is geslaagd. De onderzoekers ontdekten dat veel geautomatiseerde tools te enthousiast waren om "ja, dit werkte" te zeggen wanneer ze bepaalde trefwoorden zagen, zelfs als de aanval was mislukt. Dit leidde tot een vloedgolf aan valse alarmen. Om dit op te lossen, ontwierp het team een tweestaps-verificatieproces. Eerst zou een snelle, goedkope controle de overduidelijke fouten wegfilteren. Daarna zou een tweede, meer zorgvuldige rechter alleen de gevallen beoordelen die de eerste controle hadden doorstaan. Cruciaal was dat deze tweede rechter een ander type systeem moest zijn dan de eerste; als beide rechters hetzelfde type AI waren, zouden ze dezelfde fouten maken en zou de tweede controle nutteloos zijn. Door twee verschillende systemen te gebruiken om de resultaten te verifiëren, kon het team het aantal valse alarmen drastisch verminderen, waardoor het uiteindelijke rapport veel betrouwbaarder werd. Ze ontdekten ook een subtiele maar gevaarlijke bias: als een aanval op een manier faalde die het systeem niet kon begrijpen, registreerde de software dit vaak als een succes. Dit betekende dat de meest gevaarlijke, ongrijpbare aanvallen juist de aanvallen waren die het meest waarschijnlijk verborgen of verkeerd gelabeld zouden worden, wat een vals gevoel van veiligheid gaf.

De onderzoekers pakten ook het probleem van kosten en controle aan. Beveiligingstools kunnen onvoorspelbaar zijn; sommige draaien slechts enkele seconden, terwijl andere vast kunnen lopen en urenlang kunnen draaien, wat enorme hoeveelheden geld en rekenkracht consumeert. Het team toonde aan dat het simpelweg vertellen aan een AI "geef niet te veel tijd uit" in een tekstuele instructie niet voldoende is. De AI kan de instructie negeren, of kan afgeleid raken door de inhoud die het leest en de regel vergeten. In plaats daarvan heeft het systeem een harde, externe poortwachter nodig—een stuk code dat buiten het besluitvormingsproces van de AI staat. Deze poortwachter handhaaft strikte limieten op hoe lang een tool mag draaien en hoeveel het mag uitgeven, en kapt het proces direct af zodra de limiet wordt bereikt. Dit zorgt ervoor dat de AI niet per ongeluk een project bankroet maakt of een server scant waar hij niet voor geautoriseerd is. De onderzoekers benadrukten dat de AI nooit de uiteindelijke autoriteit mag zijn over zijn eigen veiligheid of budget; die rol moet altijd toebehoren aan een aparte, onveranderlijke laag code.

Ten slotte keken het team naar de tools zelf. Ze testten tien verschillende beveiligingsscanners en ontdekten dat de tools die het makkelijkst handmatig te draaien waren, vaak het moeilijkst te gebruiken waren in een geautomatiseerd systeem. Veel tools waren ontworig voor een mens om door een inlogscherm te klikken en vervolgens de sessie over te dragen aan de scanner. Wanneer een AI dit probeerde te doen, faalde het vaak omdat het inlogproces te complex was of omdat de tool niet begreep hoe het ingelogd moest blijven. De onderzoekers ontwikkelden een patroon waarbij een aparte browser-automatiseringstool de login afhandelde en vervolgens een schone, geauthenticeerde lijst met links aan de scanner doorgaf. Deze eenvoudige scheiding van taken loste veel van de integratieproblemen op. Ze merkten ook op dat het landschap van AI-veiligheidsbeleid volatiel is; een model dat vandaag een beveiligingstest toestaat, kan dit morgen blokkeren vanwege een wijziging in de regels van de aanbieder. Dit betekent dat elk systeem dat op deze tools is gebouwd, flexibel genoeg moet zijn om de onderliggende AI-modellen te kunnen vervangen zonder de gehele workflow te breken.

Het artikel concludeert dat de toekomst van geautomatiseerde beveiliging niet ligt in het slimmer maken van de AI, maar in het bouwen van een betere structuur eromheen. De meest effectieve systemen zijn die welke de AI behandelen als een krachtige maar feilbare werker, omringd door een rigide kader van regels, korte geheugencycli en onafhankelijke controles. Door te accepteren dat de AI zal vergeten, fouten zal maken en soms instructies zal negeren, kunnen ingenieurs systemen bouwen die robuust genoeg zijn om de echte wereld aan te kunnen. Het werk van de onderzoekers biedt een blauwdruk voor de overgang van experimentele demonstraties naar betrouwbare, ingezette producten, waarbij wordt gewaarborgd dat wanneer een AI-beveiligingsagent zegt dat hij een gebrek heeft gevonden, hij dat ook daadwerkelijk heeft gevonden, en dat hij dat heeft gedaan zonder de kosten op te drijven of de regels te overtreden.