Re-Evaluating EVMBench: Are AI Agents Ready for Smart Contract Security?

Cette étude remet en question la fiabilité du benchmark EVMbench en démontrant que les agents d'IA actuels, dont les performances varient selon la configuration et sont limitées par des risques de contamination des données, ne peuvent pas encore remplacer l'audit humain mais doivent être intégrés dans un flux de travail collaboratif pour la sécurité des contrats intelligents.

L'essentiel

Voici une explication simple de cette recherche, imagée pour tout le monde.

🕵️‍♂️ Le Grand Défi : Les Agents IA sont-ils devenus les super-héros de la sécurité ?

Imaginez que les contrats intelligents (Smart Contracts) sont des coffres-forts numériques contenant des millions d'euros. Pour les protéger, on a besoin de gardes très intelligents.

Récemment, une étude célèbre (appelée EVMbench) a annoncé que les nouveaux agents IA étaient devenus des détectives si brillants qu'ils pouvaient trouver plus de 70 % des failles et même pirater les coffres pour prouver leur existence. La conclusion ? "L'IA va bientôt remplacer les humains et tout sécuriser toute seule !"

Mais cette nouvelle étude (Re-Evaluating EVMBench) dit : "Attendez une minute. C'est peut-être un peu trop optimiste."

Les chercheurs ont décidé de remettre les agents à l'épreuve avec un test plus dur et plus réaliste. Voici ce qu'ils ont découvert, en utilisant des analogies simples.

---

1. Le Problème du "Cheat Code" (La triche involontaire)

L'ancien test (EVMbench) utilisait des exercices qui existaient déjà avant que les IA ne soient créées.

• L'analogie : C'est comme si on donnait à un élève un examen de mathématiques, mais qu'on lui avait donné les réponses dans son manuel de révision la veille. Bien sûr, il aura une excellente note ! Mais est-ce qu'il sait vraiment résoudre des problèmes qu'il n'a jamais vus ?
• La découverte : Les chercheurs ont créé un nouveau test avec des problèmes "inédits" (des piratages réels qui viennent de se produire). Résultat ? Les IA, qui brillaient sur l'ancien test, ont beaucoup moins bien performé sur le nouveau. Elles ont appris par cœur les anciennes failles, mais elles ne sont pas encore assez intelligentes pour inventer des solutions face à de nouvelles menaces.

2. L'Effet "Vêtements" (Le choix de l'outil compte plus que le cerveau)

L'ancien test comparait les IA en les habillant toujours avec le même "costume" (le même logiciel d'aide).

• L'analogie : Imaginez que vous testez deux joueurs de football. Vous mettez le joueur A dans des chaussures de tennis et le joueur B dans des chaussures de football professionnelles. Si B gagne, est-ce parce qu'il est meilleur, ou juste parce qu'il a de meilleures chaussures ?
• La découverte : Les chercheurs ont changé les "chaussures" (les logiciels d'aide ou scaffolds). Ils ont découvert que l'outil utilisé changeait tout. Une IA moyenne avec de bonnes "chaussures" battait une IA très puissante avec de mauvaises "chaussures". L'ancien test ne s'en était pas rendu compte, ce qui faussait les résultats.

3. Trouver la faille vs. La pirater (Le détective vs. Le cambrioleur)

L'ancien test disait : "Trouver la faille est le plus dur, une fois trouvée, la pirater est facile."

• L'analogie : C'est comme trouver une fenêtre ouverte dans une maison (facile) vs. entrer par cette fenêtre, éviter l'alarme, ouvrir le coffre sans faire de bruit et repartir avec l'argent sans se faire prendre (très difficile).
• La découverte : Sur les nouveaux tests réels, aucune IA n'a réussi à "cambrioler" le coffre de bout en bout, même si elles avaient parfois trouvé la fenêtre ouverte. Elles savent repérer le problème, mais elles échouent à exécuter le plan complexe pour l'exploiter. Le "bottleneck" (le goulot d'étranglement) n'est pas la découverte, c'est l'action !

4. Le verdict final : Pas de super-héros solitaires, mais de super-assistants

Alors, l'IA est-elle inutile ? Non ! Mais elle n'est pas prête à travailler seule.

• Pour les développeurs : L'IA est comme un méta-détective junior. Elle est excellente pour repérer les erreurs classiques (comme une porte laissée ouverte ou un verrou cassé). Elle peut faire un premier scan avant de lancer le code. Mais si vous vous reposez uniquement sur elle, vous risquez de passer à côté de pièges complexes.
• Pour les experts de sécurité : L'avenir n'est pas "L'IA contre les Humains", mais "L'IA + Les Humains".
  • L'IA fait le travail de "balayage" : elle lit des milliers de lignes de code pour trouver les erreurs évidentes.
  • L'Humain apporte l'intuition, la connaissance du contexte spécifique et la capacité de penser comme un pirate malveillant pour les cas complexes.

En résumé

L'IA est un outil puissant, mais ce n'est pas encore un magicien. Elle ne peut pas remplacer les experts humains pour sécuriser l'argent numérique. La meilleure stratégie aujourd'hui est de laisser l'IA faire le gros du travail répétitif pour que les humains puissent se concentrer sur les problèmes les plus difficiles et les plus dangereux.

C'est une équipe gagnante : L'IA pour la vitesse et la largeur, l'Humain pour la profondeur et la sagesse.

Résumé technique

Voici un résumé technique détaillé de l'article "Re-Evaluating EVMBench: Are AI Agents Ready for Smart Contract Security?" (Réévaluation de EVMBench : Les agents IA sont-ils prêts pour la sécurité des contrats intelligents ?), rédigé en français.

1. Problématique et Contexte

En février 2026, OpenAI, Paradigm et OtterSec ont publié EVMbench, le premier benchmark à grande échelle évaluant les agents d'IA sur la sécurité des contrats intelligents (Smart Contracts). Les résultats initiaux étaient prometteurs : les agents détectaient jusqu'à 45,6 % des vulnérabilités et en exploitait 72,2 % d'un sous-ensemble curaté. Ces chiffres ont alimenté un récit selon lequel l'audit automatisé par IA serait imminent, menaçant potentiellement les firmes d'audit traditionnelles.

Cependant, les auteurs de cette étude (Peng, Wu, Zhou) identifient deux limitations majeures dans la conception expérimentale d'EVMbench qui biaisent ces conclusions :

1. Portée d'évaluation étroite et confondue : EVMbench teste seulement 14 configurations d'agents, souvent en associant chaque modèle à son "échafaudage" (scaffold) natif du fournisseur (ex: Claude avec Claude Code). Cela rend impossible la distinction entre les performances du modèle et celles de l'outil d'orchestration.
2. Contamination des données : Les 120 vulnérabilités testées proviennent de rapports de concours d'audit (Code4rena) publiés avant la date de sortie de la plupart des modèles évalués. Il est probable que les modèles aient mémorisé ces données lors de l'entraînement, faussant les résultats de détection.

2. Méthodologie

Pour adresser ces lacunes, les auteurs ont conçu une réévaluation rigoureuse en deux axes :

• Extension des Configurations d'Agents :

  • Passage de 14 à 26 configurations couvrant quatre familles de modèles (Claude, GPT, Gemini, GLM) et trois échafaudages (Claude Code, Codex CLI, et un échafaudage open-source : OpenCode).
  • Test systématique de l'impact de l'échafaudage en faisant tourner les mêmes modèles sur différents environnements.
  • Variation des niveaux d'effort de raisonnement (reasoning effort).

• Création d'un Dataset "Incidents" (Sans Contamination) :

  • Construction d'un ensemble de données de 22 incidents de sécurité réels survenus après la mi-février 2026.
  • Critère strict : Ces incidents sont postérieurs à la date de sortie de tous les modèles évalués, garantissant qu'ils sont hors de la fenêtre d'entraînement (out-of-distribution).
  • Les incidents impliquent du code déployé en production, des vulnérabilités non étiquetées et des pertes financières confirmées.

• Protocole d'Évaluation :

  • Évaluation sur deux tâches : Détection (rapport de vulnérabilité) et Exploitation (exécution d'une transaction malveillante rentable sur une chaîne forkée).
  • La tâche de "Patching" a été exclue car les résultats d'EVMbench suggèrent que sa difficulté se réduit principalement à celle de la détection.
  • Validation de la fiabilité du "juge" (un modèle IA qui note les rapports de détection) en utilisant trois modèles différents, confirmant une précision de 99,2 %.

3. Contributions Clés

1. Réfutation de la stabilité des classements : Démonstration que les classements des modèles ne sont pas stables et varient considérablement selon le dataset, la tâche (détection vs exploitation) et l'échafaudage utilisé.
2. Preuve de l'échec de l'exploitation en conditions réelles : Mise en évidence que, contrairement aux résultats d'EVMbench, aucun agent n'a réussi à exploiter de bout en bout un seul des 22 incidents réels (0 % de succès sur 110 paires agent-incident), malgré une détection partielle.
3. Impact critique de l'échafaudage (Scaffolding) : Démonstration que le choix de l'outil d'orchestration (OpenCode vs solutions propriétaires) influence les résultats de manière significative (jusqu'à +5 points de pourcentage), un facteur ignoré par EVMbench.
4. Proposition d'un nouveau paradigme de travail : Défense d'une approche "Human-in-the-Loop" (humain dans la boucle) plutôt que d'un audit entièrement autonome.

4. Résultats Principaux

A. Instabilité des Performances de Détection

• Sur le dataset EVMbench (contest), le meilleur agent (Claude Opus 4.6) atteint 47,5 % de détection.
• Sur le dataset "Incidents" (réel), le même agent détecte 65 % des vulnérabilités, mais les classements changent radicalement. Par exemple, Gemini 3.1 Pro passe de la 2ème place sur EVMbench à la dernière place sur les incidents.
• L'ajout d'un échafaudage open-source (OpenCode) améliore les performances de certains modèles de 1,7 à 5 points par rapport aux échafaudages natifs.

B. L'Échec de l'Exploitation en Conditions Réelles

• EVMbench : Taux de réussite à l'exploitation de 72,2 % sur un sous-ensemble curaté.
• Dataset Incidents : Taux de réussite de 0 % sur les 22 incidents réels. Aucun agent n'a réussi à générer une transaction rentable sans aide humaine.
• Analyse : Les agents échouent souvent par manque de connaissance des dépendances externes du protocole, en abandonnant après des transactions échouées, ou en étant incapables d'enchaîner des séquences complexes (approbations de tokens, prêts flash, changements d'état).

C. Limites de la Détection

• Même les meilleurs agents manquent plus de la moitié des vulnérabilités complexes (interactions multi-contrats, logique spécifique au protocole).
• Les vulnérabilités les plus difficiles à détecter impliquent des erreurs de virgule flottante subtiles, des incohérences d'état multi-étapes ou des logiques de signature complexes.

5. Signification et Implications

Cette étude remet en cause le récit médiatique selon lequel l'audit automatisé par IA est imminent. Les conclusions sont les suivantes :

• Capacité réelle mais bornée : Les agents sont efficaces pour détecter des motifs de vulnérabilités bien connus (manque de contrôle d'accès, réentrance simple) et réagissent fortement au contexte fourni par l'humain. Cependant, ils ne peuvent pas remplacer le jugement humain pour les vulnérabilités complexes.
• Risque de fausse sécurité : Se fier uniquement aux scans d'agents est dangereux car plus de 50 % des vulnérabilités peuvent passer inaperçues. De plus, les benchmarks actuels ne pénalisent pas les faux positifs, ce qui surévalue l'utilité pratique.
• L'Avenir : Workflow Humain-AI (Human-in-the-Loop) :
  • Pour les développeurs : Les agents peuvent servir de vérification pré-déploiement pour les erreurs courantes.
  • Pour les firmes d'audit : Le modèle optimal est un filtre de premier niveau. L'IA traite la "largeur" (balayage de vastes bases de code pour des motifs communs), tandis que les auditeurs humains apportent la "profondeur" (connaissance spécifique du protocole, raisonnement adversarial, filtrage des faux positifs).
  • Les firmes qui intègrent leurs connaissances d'incidents passés dans les flux de travail des agents (via des bases de connaissances structurées) pourront transformer l'IA en un multiplicateur de force plutôt qu'en un outil brut.

Conclusion : Les agents IA ont fait des progrès significatifs, mais ils ne sont pas encore prêts pour un audit autonome complet. La sécurité des contrats intelligents repose désormais sur une collaboration synergique entre l'automatisation de l'IA et l'expertise humaine.