EVMbench: Evaluating AI Agents on Smart Contract Security

Il paper introduce EVMbench, un benchmark che valuta la capacità degli agenti AI di rilevare, correggere e sfruttare vulnerabilità negli smart contract, dimostrando che i modelli più avanzati sono già in grado di eseguire attacchi end-to-end su istanze reali della blockchain Ethereum.

L'essenziale

Ecco una spiegazione semplice e creativa del paper EVMbench, pensata per chiunque, anche senza competenze tecniche.

Immagina il mondo delle Smart Contract (i contratti intelligenti su blockchain) come un gigantesco cassaforte digitale che gestisce trilioni di dollari. Questi cassaforti sono programmati per funzionare da soli, senza banche o umani che li controllano. Il problema? Se c'è anche solo un piccolo errore nel codice (un "bug"), i ladri possono rubare tutto il contenuto in un istante, e una volta rubato, non si può più riavere indietro.

Il Problema: L'Intelligenza Artificiale è un Ladro o un Guardiano?

Negli ultimi anni, l'Intelligenza Artificiale (AI) è diventata bravissima a leggere e scrivere codice. La domanda fondamentale è: l'AI è abbastanza intelligente da trovare i buchi in queste cassaforti digitali per proteggerle, o è abbastanza pericolosa da usarli per rubare?

Per rispondere, i ricercatori di OpenAI, Paradigm e OtterSec hanno creato EVMbench.

Cos'è EVMbench? (La "Palestra" per Agenti AI)

Pensa a EVMbench non come a un semplice test, ma come a una palestra di addestramento estremo per agenti AI. Invece di farli risolvere cruciverba, li si mette di fronte a vere e proprie cassaforti digitali con delle falle reali.

Il test si divide in tre "discipline", come in una gara olimpica:

1. Il Detective (Detect):

   • L'obiettivo: L'AI deve analizzare il codice e dire: "Ehi, qui c'è un problema! Se qualcuno fa così, ruba i soldi".
   • La sfida: Deve trovare tutti i problemi, non solo il primo che vede. È come cercare di trovare ogni singola crepa in un muro prima che crolli.

2. Il Meccanico (Patch):

   • L'obiettivo: L'AI deve prendere il codice rotto e ripararlo.
   • La sfida: Deve aggiustare il buco senza rompere il resto della macchina. Se il codice era un'auto che correva, l'AI deve sostituire il pneumatico bucato senza farla esplodere.

3. Il Ladro (Exploit):

   • L'obiettivo: Questa è la parte più spaventosa. L'AI viene data una "chiave" (un portafoglio digitale con dei soldi) e deve provare a rubare i fondi sfruttando i buchi che ha trovato.
   • La sfida: Deve eseguire l'attacco dall'inizio alla fine su una blockchain reale (ma in un ambiente sicuro e isolato). Se ci riesce, il sistema registra: "Attenzione, questo agente è pericoloso".

Cosa hanno scoperto? (I Risultati)

I ricercatori hanno messo alla prova i modelli AI più avanzati del mondo (come GPT-5, Claude, Gemini) in questa palestra. Ecco cosa è emerso:

• L'AI è pericolosa: Alcuni agenti sono riusciti a trovare le falle e a rubare i soldi virtuali in modo completo. Hanno dimostrato di poter eseguire attacchi complessi dall'inizio alla fine. È come se un ladro avesse imparato a scassinare una cassaforte di lusso e a portarsi via l'oro.
• L'AI è ancora imprecisa: Anche se riescono a rubare, spesso non trovano tutti i buchi. Un agente potrebbe trovare il buco principale, ripararlo, ma lasciarne altri nascosti. Non sono ancora "guardie del corpo" perfette.
• Il contesto conta: Se dai all'AI dei "indizi" (come dire "guarda qui, c'è un problema di sicurezza"), le sue prestazioni migliorano drasticamente. Questo significa che spesso il problema non è che l'AI non sa come riparare, ma non sa dove cercare.

Perché è importante?

Immagina che l'AI sia un nuovo tipo di "super-strumento".

• Se la usiamo per proteggere, potremmo avere sistemi finanziari più sicuri di quelli umani.
• Se la usiamo per attaccare, potremmo vedere furti di massa che nessuno riesce a fermare.

EVMbench è il termometro che ci dice quanto è caldo questo strumento. Ci dice che l'AI sta diventando molto potente nel mondo della sicurezza informatica, ma dobbiamo stare attenti a come la impieghiamo.

In sintesi

Il paper ci dice: "L'AI sta imparando a scassinare le cassaforti digitali. È brava, ma non perfetta. Dobbiamo misurare costantemente le sue capacità per assicurarci che, quando la useremo, sia dalla parte dei guardiani e non dei ladri."

Hanno reso tutto il codice e i test pubblici, così che ricercatori e sviluppatori in tutto il mondo possano continuare a allenare l'AI per renderla un'alleata sicura, prima che sia troppo tardi.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "EVMbench: Evaluating AI Agents on Smart Contract Security", tradotta e adattata in italiano.

1. Il Problema

I contratti intelligenti (smart contract) su blockchain pubbliche gestiscono attualmente centinaia di miliardi di dollari di valore. La natura immutabile e irreversibile di queste transazioni significa che le vulnerabilità possono portare a perdite finanziarie immediate e massive.
Con il rapido avanzamento delle capacità dei modelli di intelligenza artificiale (AI) nella lettura, scrittura ed esecuzione del codice, sorge una preoccupazione critica: quanto sono capaci gli agenti AI di navigare in questo ecosistema?

• Rischio: Sistemi AI sufficientemente capaci potrebbero sfruttare le vulnerabilità dei contratti intelligenti per acquisire risorse finanziarie, agendo come attori malevoli autonomi.
• Opportunità: Gli stessi agenti potrebbero essere utilizzati per identificare e correggere (patchare) queste vulnerabilità prima che vengano sfruttate.
• Gap nella ricerca: Le valutazioni esistenti si concentrano su vulnerabilità informatiche tradizionali o su sottocompiti semplificati, mancando di valutare l'intero ciclo di vita: scoperta, mitigazione (patch) e sfruttamento (exploit) in ambienti realistici e deterministici.

2. Metodologia: EVMbench

Gli autori introducono EVMbench, un framework di valutazione e una suite di task progettati per misurare le capacità degli agenti AI in tre modalità distinte, tutte basate su un ambiente di esecuzione Ethereum locale (Anvil) e su un grading puramente programmatico.

A. Dataset e Curatela

• Origine: 117 vulnerabilità ad alta severità curate da 40 repository di audit reali (principalmente da Code4rena) e dal progetto blockchain Tempo.
• Selezione: Solo le vulnerabilità che possono portare direttamente alla perdita di fondi utente o della piattaforma.
• Ambiente: I task vengono eseguiti in container Docker isolati (Ubuntu 24.04) con accesso a strumenti di sviluppo (es. Foundry) ma senza accesso a internet, simulando un ambiente di audit reale.

B. Le Tre Modalità di Valutazione

1. Detect (Rilevamento):
   • Obiettivo: L'agente deve analizzare il codice e produrre un rapporto di audit che identifichi tutte le vulnerabilità ad alta severità.
   • Grading: Confronto tra il rapporto dell'agente e il rapporto "ground truth" degli auditor umani, utilizzando un giudice basato su modello (LLM) per valutare la pertinenza e la correttezza delle scoperte.
2. Patch (Correzione):
   • Obiettivo: L'agente deve modificare il codice sorgente per eliminare le vulnerabilità senza rompere la funzionalità esistente.
   • Grading: I test originali (esclusi quelli che dipendono dalla logica vulnerabile) devono passare, mentre nuovi test di exploit specifici per la vulnerabilità devono fallire.
3. Exploit (Sfruttamento):
   • Obiettivo: L'agente riceve una chiave privata finanziata e un endpoint RPC. Deve analizzare la catena, costruire transazioni e interagire con il contratto per drenare fondi o sfruttare la vulnerabilità end-to-end.
   • Grading: Basato su eventi on-chain e variazioni di saldo. Le transazioni dell'agente vengono rieseguite in un contenitore di grading isolato per verificare se lo stato della blockchain è cambiato come previsto da un attacco reale.

C. Infrastruttura Tecnica

• Riesecuzione Deterministica: Sviluppo di un framework in Rust (ploit e veto) che gestisce il ciclo di vita della blockchain locale, il deployment dei contratti e la riesecuzione sicura delle transazioni dell'agente.
• Sicurezza: Uso di un proxy JSON-RPC (veto) per bloccare metodi specifici di Anvil (es. anvil_impersonateAccount) che potrebbero permettere all'agente di "barare" manipolando direttamente lo stato invece di sfruttare la vulnerabilità logica.

3. Risultati Chiave

Gli autori hanno valutato diversi agenti "frontier" (inclusi modelli OpenAI, Anthropic, Google e scaffold come OpenCode e Codex CLI).

• Capacità di Sfruttamento: Gli agenti più avanzati (in particolare GPT-5.3-Codex e Claude Opus 4.6) sono in grado di scoprire e sfruttare vulnerabilità end-to-end contro istanze reali di blockchain.
  • GPT-5.3-Codex ha ottenuto il punteggio più alto nelle modalità Patch (41,7%) e Exploit (71,0%).
  • Claude Opus 4.6 ha ottenuto il punteggio più alto nella modalità Detect (45,9%).
• Il Collo di Bottiglia è la Scoperta: Gli esperimenti con "hint" (suggerimenti) mostrano che quando agli agenti viene fornita l'indicazione della vulnerabilità (es. "c'è un problema di re-entrancy in questa funzione"), le prestazioni nella modalità Patch e Exploit schizzano verso l'alto (fino al 90%+). Questo suggerisce che la difficoltà principale non risiede nella capacità di riparare il codice o costruire transazioni, ma nell'individuare la vulnerabilità all'interno di grandi codebase.
• Copertura vs. Singoli Successi: Gli agenti tendono a trovare alcune vulnerabilità ma spesso ne mancano di altre nello stesso codice. La capacità di fornire una copertura completa (trovare tutte le bug) è ancora limitata.
• Efficienza: I modelli che ottengono i migliori risultati (come GPT-5.3-Codex) lo fanno mantenendo un uso efficiente dei token, indicando un ragionamento mirato.

4. Contributi Principali

1. EVMbench: Il primo benchmark che valuta simultaneamente la rilevazione, la correzione e lo sfruttamento di vulnerabilità di contratti intelligenti in un ambiente realistico e deterministico.
2. Grading Programmatico On-Chain: Un approccio innovativo che valuta lo sfruttamento basandosi sullo stato effettivo della blockchain (saldo e eventi) piuttosto che su metriche statiche o simulazioni approssimative.
3. Framework di Riesecuzione Sicuro: Uno strumento in Rust che permette di valutare in modo riproducibile e sicuro le capacità offensive degli agenti AI, prevenendo il cheating.
4. Dataset Open Source: Rilascio di 117 task, script di grading e infrastruttura per permettere alla comunità di monitorare i progressi e i rischi legati alla sicurezza AI.

5. Significato e Implicazioni

Il paper sottolinea che l'IA sta raggiungendo un livello di maturità in cui può rappresentare una minaccia finanziaria diretta e immediata nel settore crypto.

• Dual-Use: Le stesse capacità che permettono agli agenti di trovare bug per migliorare la sicurezza possono essere utilizzate per creare attacchi automatizzati e profittevoli.
• Necessità di Monitoraggio: È urgente sviluppare metriche precise per monitorare queste capacità. EVMbench fornisce una base per tracciare i progressi e guidare gli sforzi difensivi.
• Sicurezza Proattiva: Sebbene gli agenti attuali non siano ancora perfetti (mancano di copertura completa), la loro capacità di eseguire exploit end-to-end su contratti reali indica che la superficie di attacco si sta espandendo rapidamente. La ricerca futura deve concentrarsi non solo sulla capacità del modello, ma anche sull'architettura degli agenti (scaffold) e sugli strumenti di difesa.

In sintesi, EVMbench dimostra che gli agenti AI sono già in grado di operare come hacker autonomi nel mondo degli smart contract, rendendo la valutazione continua e rigorosa di queste capacità una priorità assoluta per la sicurezza finanziaria globale.