From Runnable to Verifiable: An Independent Reproducibility Study of LLM/Agent-Driven Vulnerability Validation Artifacts
Deze vooraf geregistreerde reproduceerbaarheidsstudie onthult dat hoewel meer dan de helft van de door LLM/agent gedreven kwetsbaarheidsartefacten publiekelijk beschikbaar is, de meeste niet betrouwbaar kunnen worden uitgevoerd of semantisch bevestigde resultaten produceren, wat een kritieke kloof tussen uitvoerbare code en verifieerbaar beveiligingsbewijs benadrukt als gevolg van inconsistente identificatoren en onbetrouwbare geautomatiseerde orakels.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je het internet voor als een enorme, bruisende stad waar softwareprogramma's de gebouwen zijn. Soms hebben deze gebouwen verborgen scheuren in hun fundamenten—dit worden "kwetsbaarheden" of "bugs" genoemd. Al een tijdje vinden beveiligingsonderzoekers (de inspecteurs van de stad) deze scheuren en schrijven gedetailleerde rapporten over hoe men kan inbreken en ze kan repareren. Maar onlangs is er een nieuw soort inspecteur gearriveerd: Kunstmatige Intelligentie, specifiek "Large Language Models" of "Agents". Dit zijn superintelligente computerprogramma's die code kunnen lezen, de scheuren kunnen vinden en zelfs hun eigen "proof-of-concept" (PoC) scripts kunnen schrijven—eigenlijk kleine digitale sleutels die bewijzen dat een slot kapot is.
De grote vraag die iedereen zich stelt is: Kunnen we deze AI-inspecteurs vertrouwen? Wanneer een AI zegt: "Ik heb een scheur gevonden en hier is de sleutel," is dat dan echt waar, of gokt de AI maar wat? In de wereld van de wetenschap is er een verschil tussen iets dat beschikbaar is (je kunt het bestand downloaden), uitvoerbaar is (het start daadwerkelijk op) en geverifieerd is (het doet daadwerkelijk wat het beweert te doen). Deze studie is als een enorme, vooraf geplande audit waarbij onderzoekers niet simpelweg het woord van de AI hebben aangenomen; ze zijn de labo's binnengegaan, hebben geprobeerd elke door AI gegenereerde sleutel zelf uit te voeren en hebben gecontroleerd of de deuren echt opengingen. Ze wilden zien of de AI een meesterslotenmaker was of slechts een zeer zelfverzekerde vervalser.
De Grote AI-Sleutel Audit: Een Reality Check
In deze studie traden de onderzoekers op als een team van sceptische detectives. Ze verzamelden een enorme collectie van 104 onderzoeksrapporten uit 2023 tot 2026 waarin auteurs beweerden AI te gebruiken om softwarekwetsbaarheden te vinden en te valideren. Denk hierbij aan een enorme bibliotheek van "AI-detectiverapporten". Het team wilde zien hoeveel van deze rapporten werkelijke verhalen waren en hoeveel het slechts verzinsels waren.
Het Mysterie van de Beschikbaarheid
Eerst controleerden ze of de "sleutels" (de codebestanden) überhaupt in de bibliotheek aanwezig waren. Van de 104 papers had slechts 59 (ongeveer 57%) een link die daadwerkelijk werkte. De rest waren als boeken met ontbrekende pagina's, links die naar doodlopende wegen leidden, of bestanden die in de digitale ether waren verdwenen. Het blijkt dat alleen omdat een paper zegt "code is hier", betekent dat nog niet dat je het daadwerkelijk kunt vinden.
De "Het Draait"-test
Vervolgens probeerden ze de 59 werkende sleutels op een schone, verse computer te draaien. Dit is als het proberen te starten van een auto met een gloednieuwe motor. Schokkend genoeg kon slechts 10 van de 18 geteste papers (56%) zelfs hun motoren starten zonder hulp. Wanneer ze vastliepen, probeerden ze een beetje "omgevingsreparatie"—het installeren van ontbrekende tools of het aanpassen van kleine instellingen—maar ze mochten de eigenlijke "slot-kraak"-code niet veranderen. Zelfs met deze hulp kon slechts 11 van de 18 (61%) hun missie voltooien. De meeste fouten kwamen door ontbrekende instructies of tools die niet overeenkwamen met de computer waarop ze werden uitgevoerd.
Het "Vals Alarm"-probleem
Hier wordt het echt interessant. De onderzoekers ontdekten dat veel van de door AI gegenereerde scripts riepen "Ik heb een bug gevonden!" terwijl dat eigenlijk niet zo was. Ze noemen dit een "signaalproducerende" fout.
- De Mismatch: In 58 van de 102 gevallen (57%) bevatte het script een geheim label dat niet overeenkwam met het label op de map. Het was alsof een detective een rapport schreef over "De Bankoverval", maar eigenlijk in een "Speelgoedwinkel" inbrak. De AI testte het totaal verkeerde ding.
- Het Kapotte Alarm: Wanneer ze de scripts daadwerkelijk uitvoerden, waren de "alarmen" (de signalen die zeggen dat een bug is gevonden) vaak onbetrouwbaar. De onderzoekers testten dit door te controleren of het alarm afging op een gepatchte (gerepareerde) versie van de software. Als het alarm nog steeds afging op de gerepareerde versie, was het een vals alarm.
- Ze vonden dat 20 van de 30 gevallen (67%) nog steeds het alarm lieten afgaan, zelfs nadat de bug naar verluidt was gerepareerd.
- De "gevoeligheid" (hoe goed het alarm echte bugs vangt) was slechts 60%, en de "specificiteit" (hoe goed het neppe bugs negeert) was een verschrikkelijke 45%. Dit betekent dat de ingebouwde alarmen van de AI in feite gokten en bijna de helft van de tijd de mist in gingen.
De "Gouden Standaard" Check
Om echt zeker te weten dat een bug echt is, heb je drie dingen nodig:
- Het script moet draaien.
- Het moet de specifieke crash of fout triggeren die het beweert te vinden.
- Het mag diezelfde fout niet triggeren op een gerepareerde versie van de software.
Wanneer de onderzoekers deze strikte "Gouden Standaard" toepasten (die ze E1-bewijs noemen), waren de resultaten onverbiddelijk. Van alle gevallen die een signaal produceerden, voldeden er slechts 2 uit de gehele groep aan alle drie de criteria. De rest was ofwel kapot, testte het verkeerde ding, of liet simpelweg het alarm af zonder reden.
De Conclusie
Deze studie vond geen wondermiddel; het vond een heleboel kapotte zaklampen. De belangrijkste les is dat alleen omdat een AI een script genereert dat "draait" en "een eng bericht print", het nog niet betekent dat het daadwerkelijk een echte kwetsbaarheid heeft gevonden.
De onderzoekers ontdekten een enorme kloof tussen "het draait en ziet er eng uit" en "het reproduceert daadwerkelijk de bug". Ze vonden dat:
- Meer dan de helft van de scripts een totaal andere kwetsbaarheid testte.
- De meeste scripts niet konden draaien zonder hulp.
- Twee derde van de scripts die beweerden een bug te hebben gevonden, eigenlijk valse alarmen waren die zelfs op een gerepareerde computer zouden afgaan.
De auteur zegt niet dat AI dit werk niet kan doen, maar waarschuwt de beveiligingsgemeenschap: Vertrouw het eigen alarmsysteem van de AI niet. Als je wilt weten of een bug echt is, moet je het werk zelf controleren, specifiek door te testen of de bug verdwijnt wanneer de software wordt gerepareerd. Tot die tijd zijn veel van deze "AI-ontdekkingen" wellicht slechts digitale rook en spiegels.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.