Re-Evaluating EVMBench: Are AI Agents Ready for Smart Contract Security?

Deze studie weerlegt de optimistische conclusies van EVMbench over de onmiddellijke bruikbaarheid van volledig geautomatiseerde AI-audits voor smart contracts door aan te tonen dat de prestaties van agenten instabiel zijn, gevoelig voor data-verontreiniging en afhankelijk van de gebruikte scaffolding, waardoor menselijke expertise in een 'human-in-the-loop'-workflow onmisbaar blijft.

De kern

Stel je voor dat de wereld van blockchain en digitale valuta (zoals Ethereum) een enorme, complexe stad is. In deze stad worden "slimme contracten" gebruikt: dit zijn automatische regels die geld verplaatsen, leningen geven of spullen ruilen zonder dat een mens hoeft tussen te komen. Maar als er een foutje in deze regels zit, kan dat leiden tot enorme diefstal.

Vroeger werden deze regels gecontroleerd door een team van zeer gespecialerde veiligheidsinspecteurs (auditors). Maar nu is er een nieuwe kracht opgedoken: AI-agenten. Dit zijn slimme computerprogramma's die beloven om deze inspecties sneller en goedkoper uit te voeren.

Eind 2025 brachten grote tech-bedrijven een rapport uit (genaamd EVMbench) waarin ze zeiden: "De AI-agenten zijn bijna klaar! Ze vinden 45% van de fouten en kunnen 72% van de diefstalplannen uitvoeren. De toekomst is nu!"

Drie onderzoekers van de universiteit van Zhejiang en het beveiligingsbedrijf BlockSec dachten echter: "Wacht even, laten we dat eens goed nakijken." Ze hebben een eigen test gedaan, en hun conclusie is een flinke koude douche voor de hype.

Hier is wat ze hebben ontdekt, vertaald in een simpel verhaal:

1. De Test was te makkelijk (De "Oefenexamen"-probleem)

De originele test (EVMbench) gebruikte oude examenvragen uit een archief. De AI-modellen die getest werden, zijn waarschijnlijk tijdens hun "schooltijd" (training) al deze vragen tegengekomen.

• De analogie: Het is alsof je een student test op wiskunde door hem vragen te geven die hij al uit zijn hoofd heeft geleerd. Hij scoort perfect, maar dat betekent niet dat hij echt begrijpt hoe wiskunde werkt.
• Het nieuwe onderzoek: De onderzoekers maakten een nieuwe test met 22 echte, recente misdrijven die pas na de schooltijd van de AI's plaatsvonden. Dit zijn vragen die de AI nog nooit heeft gezien.

2. De resultaten zijn wisselvallig (De "Sfeer"-probleem)

In de originele test leek het alsof sommige AI's altijd de beste waren. Maar in het nieuwe onderzoek bleek dat de ranglijst volledig veranderde afhankelijk van hoe je de AI instelde.

• De analogie: Stel je voor dat je twee auto's test op een racecircuit. Auto A wint als hij op een gladde weg rijdt, maar Auto B wint als hij op een modderweg rijdt. De originele test deed alsof er maar één type weg bestond.
• Het nieuwe onderzoek: Ze ontdekten dat de "gereedschapskist" (de software die de AI gebruikt) belangrijker is dan de "motor" (het AI-model zelf). Soms werkt een open-source gereedschap beter dan de dure, officiële versie van de fabrikant. Als je de gereedschapskist verandert, wisselt de winnaar.

3. Vinden is makkelijk, stelen is moeilijk (De "Dieven"-probleem)

De originele test concludeerde: "Het vinden van de fout is het moeilijkste deel. Als we de fout vinden, is het stelen van het geld makkelijk."

• De analogie: Het is alsof een detective een gesloten kluis vindt (de fout). De originele test zei: "Zodra we de kluis hebben gevonden, is het openbreken een fluitje van een cent."
• Het nieuwe onderzoek: Op de echte, recente misdrijven lukte het geen enkele AI om het geld daadwerkelijk te stelen, zelfs niet nadat ze de fout hadden gevonden.
  • De AI kon de sleutel vinden (de fout zien), maar kon de deur niet openmaken omdat de situatie te complex was. Ze raakten vast in de details van hoe het systeem precies werkt.
  • Resultaat: 0% succes op echte misdrijven, terwijl de originele test 72% succes claimde.

4. Wat betekent dit voor ons?

De onderzoekers concluderen dat AI-agenten niet klaar zijn om menselijke auditors volledig te vervangen.

• Voor ontwikkelaars: Je kunt AI gebruiken als een eerste check. Het is als een metaalzoeker die de bekende, simpele goudklompjes (bekende fouten) vindt. Maar hij mist de ingewikkelde juwelen die diep in de grond zitten.
• Voor beveiligingsbureaus: De beste aanpak is een samenwerking. Laat de AI het grote werk doen: scan duizenden regels code en zoek naar de simpele fouten. Dan komt de menselijke expert in beeld. Die mens heeft de ervaring, het inzicht in de specifieke regels van het bedrijf en het "kwaadaardige inzicht" om te bedenken hoe een hacker echt zou denken.

De Grootte Conclusie

De hype dat AI binnenkort alle beveiliging overneemt, is voorbarig. AI is een krachtig hulpmiddel, maar geen vervanging.

• De oude visie: "AI is de nieuwe politiechef die alles oplost."
• De nieuwe visie: "AI is de beste rechercheur die we hebben, maar hij heeft nog steeds een menselijke inspecteur nodig om de moeilijke, complexe dossiers op te lossen."

Kortom: AI is een fantastische assistent, maar vertrouw nooit blind op hem als het gaat om het bewaken van miljoenen dollars. De menselijke intelligentie blijft onmisbaar.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Re-Evaluating EVMBench: Are AI Agents Ready for Smart Contract Security?" in het Nederlands.

Probleemstelling

In februari 2026 lanceerden OpenAI, Paradigm en OtterSec EVMbench, de eerste grootschalige benchmark voor AI-agents op het gebied van smart contract-beveiliging. De resultaten waren opvallend: de beste agent detecteerde 45,6% van de kwetsbaarheden en exploiteerde 72,2% van een gecureerde subset. Dit leidde tot de conclusie dat "ontdekking, niet reparatie of transactieconstructie, de primaire bottleneck is", en voedde het narratief dat volledig geautomatiseerd AI-auditing binnen handbereik is.

De auteurs van dit paper identificeren echter twee fundamentele beperkingen in het experimentele ontwerp van EVMbench die deze conclusies ondermijnen:

1. Nauwe en verward evaluatiescope: EVMbench testte slechts 14 agent-configuraties en koppelde modellen meestal aan hun eigen vendor-scaffold (bijv. Claude met Claude Code). Hierdoor is het effect van de scaffold niet te scheiden van het effect van het model zelf.
2. Data-contaminatie: De gebruikte kwetsbaarheden (uit Code4rena auditverslagen) dateren vaak van voor de release van de geëvalueerde modellen. Het is zeer waarschijnlijk dat de modellen deze data tijdens hun training hebben gezien, waardoor hoge scores kunnen voortkomen uit memorisatie in plaats van echte vaardigheid.

Methodologie

Om deze tekortkomingen aan te pakken, hebben de auteurs (van Zhejiang University en BlockSec) een uitgebreide evaluatie opgezet met de volgende kenmerken:

• Uitgebreide Configuratie: In plaats van 14 configuraties, hebben ze 26 configuraties getest over vier model-families (Claude, GPT, Gemini, GLM) en drie scaffolds (Claude Code, Codex CLI, en een open-source scaffold genaamd OpenCode).
• Vervuiling-vrije Dataset (Incidents Dataset): Ze hebben een nieuwe dataset samengesteld van 22 real-world security incidenten die plaatsvonden na de release van alle geëvalueerde modellen (na half februari 2026). Omdat deze data niet in de trainingsset van de modellen zat, biedt dit een eerlijke test van hun echte capaciteiten.
• Evaluatie Taken:
  • Detect: Het vinden van kwetsbaarheden in code.
  • Exploit: Het uitvoeren van een end-to-end exploitatie (het stelen van fondsen) in een geforkte blockchain-omgeving zonder hints.
  • Opmerking: De 'Patch' taak is weggelaten omdat EVMbench zelf aangeeft dat de moeilijkheid hiervan grotendeels afhangt van de detectie.
• Gradering: Ze hebben de model-gebaseerde grader voor de 'Detect' taak gevalideerd en gevonden dat deze 99,2% accuraat is. Voor 'Exploit' wordt een succesvolle exploitatie gedefinieerd als het genereren van een winstgevende transactie in een geïsoleerde omgeving.

Belangrijkste Resultaten

De evaluatie levert drie fundamentele bevindingen op die het narratief van volledig geautomatiseerd AI-auditing uitdagen:

1. Instabiliteit van Resultaten:

   • De rangschikking van modellen is niet stabiel. Een model dat hoog scoort op de EVMbench-dataset, kan laag scoren op de real-world incidenten-dataset en vice versa.
   • De keuze van de scaffold heeft een aanzienlijke impact. De open-source scaffold (OpenCode) presteerde in vijf van de zes vergelijkingen beter dan de vendor-native scaffolds (met een verschil tot 5 procentpunten). Dit betekent dat EVMbench's conclusies over model-prestaties mogelijk vertekend zijn door de gekozen tooling.
   • Meer "redeneringskracht" (reasoning effort) leidt niet altijd tot betere resultaten; soms presteert een model met minder redenering beter.

2. Realiteit vs. Cursus Data:

   • Op de gecureerde EVMbench-taken kon de beste agent 61,1% van de exploits uitvoeren.
   • Op de real-world incidenten-dataset slaagde geen enkele agent erin om een end-to-end exploitatie uit te voeren op een van de 22 incidenten (0% succes op 110 agent-incident paren).
   • Dit weerlegt de conclusie van EVMbench dat "ontdekking de enige bottleneck is". Zelfs wanneer kwetsbaarheden worden gevonden (tot 65% detectie), zijn agents niet in staat om deze te exploiteren in complexe, real-world scenario's.

3. Beperkte Capaciteit:

   • Agents zijn goed in het herkennen van bekende patronen (zoals ontbrekende toegangscontroles of re-entrancy), maar falen bij complexe, protocol-specifieke logica en multi-stap interacties.
   • De detectiegraad op real-world incidenten ligt rond de 65% voor de beste agent, wat betekent dat meer dan de helft van de kwetsbaarheden onopgemerkt blijft.

Bijdragen en Significatie

De paper biedt een kritische her-evaluatie van de staat van AI in smart contract-beveiliging en heeft belangrijke implicaties:

• Tegen het "Volledig Geautomatiseerd" Narratief: De resultaten tonen aan dat volledig autonome AI-auditing nog niet klaar is om menselijke auditors te vervangen. De kloof tussen het vinden van een bug en het succesvol exploiteren ervan in de productieomgeving is nog te groot.
• Human-in-the-Loop Workflow: De meest effectieve toepassing voor AI-agents is als eerste filter binnen een menselijk proces. Agents kunnen grote codebases scannen op bekende patronen (breedte), terwijl menselijke auditors zich richten op protocol-specifieke kennis, adversariaal redeneren en het filteren van valse positieven (diepte).
• Verbeterde Evaluatiestandaarden: De paper benadrukt dat toekomstige benchmarks moeten controleren op data-contaminatie, verschillende scaffolds moeten testen en zowel recall (detectie) als precisie (valse positieven) moeten meten.
• Praktisch Advies: Voor ontwikkelaars kunnen agent-scans nuttig zijn als pre-deployment check, maar ze bieden geen volledige zekerheid. Audit-firma's moeten AI integreren als een krachtvermenigvuldiger die menselijke expertise aanvult, niet vervangt.

Conclusie: AI-agents hebben reële, maar beperkte capaciteiten. Ze zijn waardevol als hulpmiddel voor het opsporen van bekende fouten, maar kunnen de menselijke oordeelsvorming en diepgaande protocolkennis die nodig is voor complexe audits en exploitaties, nog niet overnemen.