Re-Evaluating EVMBench: Are AI Agents Ready for Smart Contract Security?

Este estudio reevalúa el benchmark EVMbench y demuestra que, debido a limitaciones metodológicas como la contaminación de datos y la falta de estabilidad, los agentes de IA actuales no están listos para la auditoría automatizada completa de contratos inteligentes, sino que funcionan mejor como herramientas de apoyo dentro de un flujo de trabajo con supervisión humana.

Lo esencial

¡Claro que sí! Imagina que acabamos de publicar un informe muy importante sobre si los robots inteligentes (IA) están listos para ser los nuevos "policías" de los contratos digitales que manejan miles de millones de dólares en criptomonedas.

Aquí tienes la explicación, traducida a un lenguaje sencillo y con algunas analogías para que se entienda perfectamente:

🕵️‍♂️ La Historia: ¿El Robot es el Nuevo Sherlock Holmes?

Hace un tiempo, un grupo de expertos (OpenAI, Paradigm y OtterSec) lanzó un examen llamado EVMbench. Fue como poner a 14 robots diferentes a buscar errores en un código de seguridad.

• El resultado original: Dijeron que los robots encontraron casi la mitad de los errores y que podían "robar" (explotar) el 72% de los casos más fáciles.
• La conclusión de ellos: "¡Genial! El único problema es encontrar el error. Una vez que lo encontramos, el robot puede arreglarlo o robarlo sin problemas. ¡El auditor humano pronto será obsoleto!"

Nosotros (los autores de este nuevo estudio) dijimos: "Espera un momento. Ese examen tenía trampa. Vamos a volver a hacerlo de verdad".

🔍 ¿Qué hicimos diferente? (Las dos trampas del examen anterior)

Imagina que quieres probar si un estudiante es bueno en matemáticas.

1. Trampa 1: El examen de memoria vs. el examen real.

   • El examen viejo: Les dio a los robots problemas que ya habían salido en exámenes pasados (incluso antes de que los robots nacieran). Es como si les dieras las respuestas de memoria. ¡Obviamente sacaron buenas notas!
   • Nuestro examen: Creamos un "Examen de Emergencia" con 22 casos reales de robos que ocurrieron después de que los robots se "graduaron". Nadie les había enseñado esto. Es como darle al estudiante un problema que nadie ha visto antes.

2. Trampa 2: El uniforme del equipo.

   • El examen viejo: Cada robot usaba las herramientas que su propia empresa le daba (como si un jugador de fútbol usara siempre los zapatos de su marca favorita). No probaron si cambiar de zapatos cambiaba el resultado.
   • Nuestro examen: Les dimos a los mismos robots diferentes "trajes" y herramientas (algunas hechas por las empresas, otras de código abierto) para ver si el robot era el héroe o si eran las herramientas las que hacían el trabajo.

📉 Los Resultados: La realidad golpea fuerte

Cuando hicimos el examen de verdad, la historia cambió drásticamente:

1. Los robots son inestables: A veces un robot es el mejor, y en el siguiente examen es el peor. No hay un "campeón" claro. Es como si un corredor ganara la maratón un día y luego tropezara en la siguiente carrera.
2. Encontrar vs. Robar (La gran diferencia):
   • En el examen viejo (fácil), los robots decían: "¡Encontré el error! Y aquí está cómo robarlo".
   • En nuestro examen real (difícil), los robots decían: "¡Sí, encontré el error! Pero... no sé cómo robarlo".
   • El dato impactante: En los 22 casos reales de robos, ningún robot logró robar el dinero de principio a fin. Cero. Ni uno. Aunque algunos detectaron el error, no pudieron completar el ataque.
3. Las herramientas importan más de lo que creías: Cambiar las herramientas (el "scaffold") hizo que los robots mejoraran hasta un 5% más. Eso significa que a veces el robot no es el genio, sino que tiene un buen "asistente" (las herramientas).

🤖 ¿Qué significa esto para el futuro?

La idea de que "los robots van a reemplazar a los auditores humanos mañana" es falsa. Pero no significa que los robots sean inútiles.

• Para los desarrolladores: Puedes usar al robot como un detector de humo. Es muy bueno para avisarte si dejaste la puerta abierta (errores básicos como olvidarse de poner una cerradura). Pero no confíes en él al 100%, porque se le escapan muchos incendios.
• Para las empresas de seguridad (Auditores): La mejor estrategia es un equipo híbrido.
  • El Robot: Es el "barrido rápido". Revisa miles de líneas de código en segundos y dice: "Oye, aquí hay algo raro, aquí hay otra cosa".
  • El Humano: Es el "detective experto". Toma lo que el robot encontró, le da contexto, piensa en estrategias complejas y descarta las falsas alarmas.

💡 La Analogía Final: El Chef y el Ayudante

Imagina que quieres preparar un banquete de lujo (un contrato seguro).

• El Robot es un ayudante muy rápido que puede pelar 100 patatas en un minuto y decirte: "¡Esta patata tiene un ojo malo!". Es excelente para lo repetitivo y rápido.
• El Humano es el Chef. Sabe qué sabor va con qué, sabe cómo combinar los ingredientes para que no exploten en la boca, y sabe cuándo el robot se equivoca.

Conclusión: No vamos a despedir al Chef para poner solo al ayudante. Lo que vamos a hacer es darle al Chef un ayudante superpotente para que el Chef pueda cocinar mejor, más rápido y con menos errores.

En resumen: La IA es una herramienta increíblemente útil, pero aún no está lista para trabajar sola. Necesita a un humano al volante para tomar las decisiones finales y evitar desastres.

Resumen técnico

Resumen Técnico: Reevaluación de EVMBench

1. El Problema

En febrero de 2026, OpenAI, Paradigm y OtterSec lanzaron EVMbench, el primer benchmark a gran escala para evaluar agentes de IA en la seguridad de contratos inteligentes. Los resultados originales fueron optimistas: los agentes detectaron hasta un 45.6% de las vulnerabilidades y explotaron el 72.2% de un subconjunto curado, llevando a la conclusión de que la "descubrimiento" era el cuello de botella principal y que la auditoría totalmente automatizada estaba cerca.

Sin embargo, los autores (Peng, Wu y Zhou de Zhejiang University y BlockSec) identifican dos limitaciones críticas en el diseño experimental de EVMbench que invalidan sus conclusiones generales:

1. Alcance de evaluación estrecho y confuso: Se probaron solo 14 configuraciones de agentes, donde la mayoría de los modelos se evaluaron exclusivamente con su "andamio" (scaffold) nativo del proveedor (ej. Claude con Claude Code). Esto confunde el efecto del modelo con el efecto de la herramienta, impidiendo conclusiones generalizables sobre la capacidad del modelo en sí.
2. Contaminación de datos y validez limitada: Las 120 vulnerabilidades de EVMbench provienen de concursos de auditoría (Code4rena) que finalizaron antes de agosto de 2025. Dado que los modelos evaluados se lanzaron a finales de 2025 y principios de 2026, es probable que estos datos estuvieran dentro de su ventana de entrenamiento. Las puntuaciones altas podrían reflejar memorización en lugar de capacidad real de descubrimiento. Además, los datos de concursos no reflejan las condiciones del mundo real (código desplegado, sin pistas preetiquetadas).

2. Metodología

Los autores realizaron una reevaluación rigurosa utilizando la infraestructura de EVMbench pero expandiendo significativamente el alcance:

• Expansión de Configuraciones: Se evaluaron 26 configuraciones de agentes en lugar de 14, abarcando cuatro familias de modelos (Claude, GPT, Gemini y GLM) y variando sistemáticamente los andamios (scaffolds):
  • Andamios de proveedor: Claude Code, Codex CLI.
  • Andamio de código abierto: OpenCode.
  • Esto permitió aislar el impacto del modelo frente al impacto de la herramienta.
• Nuevo Dataset "Incidents" (Sin Contaminación): Se construyó un conjunto de datos de 22 incidentes de seguridad del mundo real que ocurrieron después de mediados de febrero de 2026.
  • Estos incidentes están fuera de la ventana de entrenamiento de todos los modelos evaluados.
  • Cada incidente representa una vulnerabilidad confirmada con pérdida financiera real en producción, sin pistas preetiquetadas.
  • La explotación requiere recuperar el estado de la cadena, preparar tokens de ataque y ejecutar una transacción rentable en un entorno forjado (forked).
• Tareas Evaluadas: Se centraron en Detección (Detect) y Explotación (Exploit), excluyendo la tarea de Parche (Patch) ya que la dificultad de esta última se reduce principalmente a la dificultad de encontrar la vulnerabilidad.
• Validación del Evaluador: Se verificó la fiabilidad del evaluador basado en modelos (usado para la tarea de detección) utilizando tres modelos jueces diferentes, encontrando una precisión del 99.2%.

3. Contribuciones Clave

1. Dataset Limpio de Contaminación: La creación del dataset "Incidents" con 22 casos reales posteriores al lanzamiento de los modelos, proporcionando la primera prueba real de la capacidad de generalización de los agentes.
2. Desacoplamiento de Variables: La primera evaluación sistemática que separa el rendimiento del modelo del rendimiento del andamio (scaffold), demostrando que la elección de la herramienta afecta significativamente los resultados.
3. Refutación de la Narrativa de Automatización Total: Evidencia empírica que contradice la conclusión de EVMbench de que la explotación es trivial una vez detectada la vulnerabilidad.

4. Resultados Principales

• Inestabilidad en el Rendimiento:

  • Las clasificaciones de los modelos no son estables. Cambian drásticamente según la tarea (Detección vs. Explotación), el dataset (EVMbench vs. Incidents) y el andamio utilizado.
  • Ejemplo: Gemini 3.1 Pro se ubicó 2º en Detección en EVMbench (37.5%) pero cayó al último lugar en el dataset Incidents (30.0%).
  • El modelo líder en Detección (Claude Opus 4.6) no fue el líder en Explotación (Claude Sonnet 4.6).

• Impacto del Andamio (Scaffold):

  • El andamio de código abierto OpenCode superó a los andamios nativos de los proveedores en 5 de 6 comparaciones controladas, con mejoras de hasta 5 puntos porcentuales. Esto sugiere que parte de las diferencias atribuidas a los modelos en estudios anteriores podrían deberse a la herramienta utilizada.

• La Brecha entre Detección y Explotación en el Mundo Real:

  • En EVMbench (Datos de concurso): El agente mejor clasificó un 72.2% de éxito en la explotación.
  • En Dataset Incidents (Mundo real): Ningún agente logró una explotación de extremo a extremo rentable en ninguno de los 110 pares agente-incidente (0% de éxito), a pesar de que el mejor agente detectó el 65% de las vulnerabilidades.
  • Esto demuestra que la explotación es el verdadero cuello de botella en entornos reales, no el descubrimiento. Los agentes fallan al construir secuencias de transacciones complejas y al entender dependencias externas del protocolo.

• Efecto del Esfuerzo de Razonamiento:

  • Aumentar el esfuerzo de razonamiento (tokens de pensamiento) no siempre mejora el rendimiento. En algunos casos (ej. GPT-5.2 en Exploit), un esfuerzo bajo superó al esfuerzo alto en 8 puntos porcentuales, sugiriendo que un razonamiento excesivo puede llevar a la sobre-análisis o desviación.

5. Significado e Implicaciones

• Para Desarrolladores: Los escaneos de agentes son útiles como una verificación previa a la implementación para detectar patrones conocidos (reentrancia, falta de controles de acceso), pero no deben usarse como garantía de seguridad. Con una tasa de detección máxima de ~47.5% en benchmarks y un 0% de éxito en explotación real, confiar únicamente en IA crea una falsa sensación de seguridad.
• Para Firmas de Auditoría: La conclusión más práctica es la adopción de un flujo de trabajo "humano-en-el-bucle" (human-in-the-loop).
  • Los agentes actúan como un filtro de primer paso eficiente para triar problemas comunes y cubrir la amplitud del código.
  • Los auditores humanos aportan el conocimiento específico del protocolo, el razonamiento adversario y la filtración de falsos positivos.
  • Los experimentos de "pistas" (hints) muestran que cuando los agentes reciben contexto humano, su puntuación de explotación sube del 65% al 95.8%, confirmando que la IA es un multiplicador de fuerza, no un reemplazo.
• Para la Metodología de Evaluación: Los futuros benchmarks deben controlar variables como el andamio y el esfuerzo de razonamiento, y deben incluir datasets libres de contaminación y que midan tanto la precisión (falsos positivos) como la recuperación (falsos negativos).

Conclusión Final:
Los agentes de IA tienen capacidades reales pero limitadas. No están listos para la auditoría totalmente automatizada. El futuro de la seguridad de contratos inteligentes reside en la integración de la IA para la exploración amplia y la automatización de patrones conocidos, combinada con la intuición y el conocimiento profundo de los auditores humanos para la explotación y la validación final.