Baselines Before Architecture: Evaluating Coding Agents for Autonomous Penetration Testing
Dit artikel betoogt dat toekomstige evaluaties van autonome penetratietesten-agenten gecontroleerde, model-gematchte baseline-agenten moeten vaststellen om prestatiewinsten die voortvloeien uit architecturale innovaties accuraat te kunnen onderscheiden van die toe te schrijven aan onderliggende modelverbeteringen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je het internet voor als een enorme, voortdurend veranderende stad vol digitale gebouwen. Sommige van deze gebouwen hebben verborgen vallen en kapotte sloten—beveiligingslekken die kwaadwillenden kunnen gebruiken om binnen te sluipen. Decennialang was de taak om deze gaten te vinden voorbehouden aan menselijke experts, zoals digitale slotenmakers die door elke kamer lopen om deuren en ramen te testen. Maar de stad groeit te snel; er verschijnen elke seconde nieuwe gebouwen en de slotenmakers kunnen het tempo niet bijhouden. Daarom zijn wetenschappers begonnen met het bouwen van "robot-slotenmakers" met behulp van Kunstmatige Intelligentie. Deze robots worden aangedreven door Large Language Models (LLM's), die als superintelligente breinen zijn die bijna alles op het internet hebben gelezen en code kunnen schrijven, problemen kunnen redeneren en instructies kunnen opvolgen.
De grote vraag in dit veld is niet alleen "Kan de robot het slot vinden?", maar "Hoeveel van het succes van de robot komt door zijn brein, en hoeveel komt door de luxe instrumenten die we hem hebben gegeven?" Stel je voor dat je een geniale student hebt. Als je hem een simpel schrift en een pen geeft, kan hij een wiskundeprobleem oplossen. Als je hem een geavanceerde rekenmachine, een team van tutors en een speciale kaart geeft, lost hij het probleem misschien sneller op. Maar maakte de rekenmachine hem slimmer, of hielp hij hem alleen maar? In de wereld van AI-beveiliging hebben onderzoekers complexe "harnassen" gebouwd—teams van AI-agenten, speciale geheugensystemen en zoekinstrumenten—om de AI te helpen websites te hacken. Maar omdat ze zowel het AI-brein als de instrumenten tegelijkertijd blijven veranderen, wist niemand of de luxe instrumenten het zware werk deden, of dat de AI gewoon zelf beter werd.
Dit artikel, getiteld "Baselines Before Architecture", stapt in om de score te vereffenen met een zeer zorgvuldige experiment. De onderzoekers zetten een gecontroleerde test op met behulp van een standaard set van 104 digitale uitdagingen genaamd de XBOW-benchmark. In plaats van een nieuwe, luxe robot te bouwen, namen ze drie bestaande, "eenvoudige" programmeerassistenten—genaamd Codex, OpenCode en Pi—en vroegen hen de uitdagingen op te lossen met één krachtig AI-brein (GPT-5) en zonder speciale beveiligingsinstrumenten. Ze wilden zien hoe goed een "naakte" AI kon presteren voordat er extra gadgets aan werden toegevoegd.
De resultaten waren een mix van verrassingen en praktische waarheden. Ten eerste waren de eenvoudige programmeeragenten verrassend sterk. De "Codex"-agent, draaiend op het GPT-5-model, loste ongeveer 67% van de uitdagingen in zijn eerste poging op. Wanneer de onderzoekers hem nog een keer lieten proberen (dezelfde test twee keer draaien en de resultaten combineren), loste hij 77,9% van de uitdagingen op. Dit is een groot ding, want het betekent dat een eenvoudige, algemene programmeerrobot al een groot deel van het werk kan afhandelen zonder een complex beveiligingsteam nodig te hebben.
De studie testte ook twee specifieke ideeën die velen essentieel achtten. Het ene was "security prompting", waarbij je de AI een speciale instructiekaart geeft die hem vertelt om als een hacker te denken. Het andere was het idee dat complexe, multi-agent architecturen (waarbij verschillende AI-rollen met elkaar communicen) noodzakelijk zijn voor topscore-prestaties. Het artikel vond dat de speciale "hacker-instructies" de AI er eigenlijk slechter door maakten, waardoor er minder uitdagingen werden opgelost en het meer geld kostte. Wat betreft de complexe architecturen, vergeleken het artikel de eenvoudige Codex-resultaten met twee beroemde, hoogtechnologische systemen genaamd MAPTA en PentestGPT V2.
Hier zit de nuance: de luxe systemen hadden nog steeds een lichte voorsprong. Wanneer ze werden gekoppeld aan hetzelfde AI-brein, loste het gespecialiseerde MAPTA-systeem ongeveer 9,6 procentpunt meer uitdagingen op dan de eenvoudige Codex. Echter, het artikel toonde aan dat deze kloof niet zo groot was als het leek. Toen de onderzoekers de eenvoudige Codex-agent upgrade naar een nieuwere, slimmere hersenpan (GPT-5.5), loste deze 92,3% van de uitdagingen op in de eerste poging en 95,2% bij het combineren van twee runs. Deze nieuwe eenvoudige agent versloeg zelfs de headline-scores van de oudere, complexe systemen, zonder al hun luxe instrumenten te gebruiken.
De belangrijkste les is een waarschuwing voor de wetenschappelijke gemeenschap: ga er niet vanuit dat een complexe nieuwe architectuur de held is, alleen omdat hij een hoge score haalt. Vaak komt de score voort uit het slimmer worden van het AI-model, niet uit het luxer worden van de instrumenten. Het artikel suggereert dat onderzoekers, voordat ze beweren dat een nieuw "beveiligingsharnas" een doorbraak is, eerst moeten laten zien hoe veel beter het is dan een eenvoudige, gewone programmeeragent die exact hetzelfde AI-brein gebruikt. Hoewel gespecialiseerde instrumenten nog steeds kunnen helpen om tijd en geld te besparen, doet de "gewone" AI al het meeste zware werk, en kan het simpelweg wachten op de volgende generatie AI-modellen net zo effectief zijn als het bouwen van een ingewikkelderder robot.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.