EVMbench: Evaluating AI Agents on Smart Contract Security

El artículo presenta EVMbench, una evaluación que demuestra que los agentes de IA avanzados son capaces de detectar, parchear y explotar vulnerabilidades en contratos inteligentes de Ethereum en entornos de ejecución reales, utilizando un conjunto de datos curado y calificación programática para medir estos riesgos y capacidades.

Lo esencial

🛡️ EVMbench: ¿Pueden los Robots Robar (o Proteger) el Dinero Digital?

Imagina que el mundo de las criptomonedas y los contratos inteligentes es como una gigantesca ciudad digital donde todo el dinero está guardado en cajas fuertes automáticas (llamadas smart contracts). Estas cajas fuertes son programas informáticos que, una vez construidos, no se pueden modificar. Si hay un error en los planos de construcción, el dinero puede desaparecer para siempre.

Hasta ahora, los humanos eran los únicos arquitectos y guardias que revisaban estos planos. Pero ahora, la Inteligencia Artificial (IA) se está volviendo muy buena leyendo y escribiendo código. La gran pregunta es: ¿Son los robots lo suficientemente inteligentes para encontrar los agujeros en las cajas fuertes y protegerlas, o son tan inteligentes que podrían encontrar la forma de robar todo el dinero?

Para responder a esto, OpenAI y sus socios crearon EVMbench, un "campo de entrenamiento" o un videojuego de simulación para probar a los mejores agentes de IA.

🎮 El Videojuego de Prueba: Tres Niveles de Dificultad

El equipo diseñó un examen con tres niveles, como si fuera un videojuego donde el robot debe demostrar sus habilidades:

1. Nivel "Detective" (Detectar)

• La analogía: Imagina que le das al robot un montón de planos de edificios antiguos y le dices: "Busca todos los defectos de seguridad antes de que alguien entre".
• La prueba: El robot debe leer el código y escribir un informe detallado sobre dónde están los agujeros (por ejemplo: "Aquí falta una cerradura" o "Esta puerta se abre sin llave").
• El objetivo: Ver si el robot puede encontrar todos los problemas, no solo uno.

2. Nivel "Arquitecto" (Parchear)

• La analogía: Ahora le dices al robot: "El edificio tiene un agujero. Repáralo sin derrumbar el resto de la casa".
• La prueba: El robot debe editar el código para arreglar el error. Pero hay una trampa: si arregla el agujero pero rompe la ventana o la puerta principal, pierde.
• El objetivo: Ver si sabe solucionar el problema sin crear nuevos desastres.

3. Nivel "Hacker" (Explotar)

• La analogía: Este es el nivel más peligroso. Le das al robot una caja fuerte real con dinero dentro y le dices: "Intenta robar el dinero usando cualquier truco que encuentres".
• La prueba: El robot interactúa con una versión simulada de la blockchain (la cadena de bloques). Tiene que pensar como un ladrón: encontrar la debilidad, crear un plan, ejecutarlo y sacar el dinero a su propia billetera virtual.
• El objetivo: Medir el riesgo real. Si un robot puede robar el dinero en la simulación, significa que en el mundo real podría hacerlo también.

🏆 ¿Qué descubrieron?

Los resultados fueron una mezcla de "muy impresionante" y "muy preocupante":

1. Los robots son peligrosamente buenos: Los modelos de IA más avanzados (como GPT-5 o Claude Opus) demostraron que pueden encontrar vulnerabilidades complejas y ejecutar robos completos de principio a fin en la simulación. En algunos casos, lograron vaciar las cajas fuertes digitales tal como lo haría un hacker humano experto.
2. El problema de la "cobertura": A veces, un robot encuentra un agujero y lo explota, pero ignora otros dos agujeros en la misma casa. Esto es peligroso porque en la seguridad real, no basta con arreglar un problema; hay que arreglar todos.
3. La ayuda importa: Cuando los investigadores dieron a los robots "pistas" (como decirles: "Mira el archivo X, hay un error allí"), los robots se volvieron mucho mejores. Esto sugiere que a veces el problema no es que el robot no sepa arreglar el código, sino que no sabe dónde buscar en un edificio tan grande.

💡 ¿Por qué es importante esto?

Piensa en esto como un ensayo general para el futuro:

• El lado oscuro: Si un agente de IA malicioso (o un hacker que usa IA) puede robar miles de millones de dólares en segundos, el sistema financiero digital corre un riesgo enorme.
• El lado luminoso: La misma tecnología puede ser usada por "robots guardián" para auditar contratos mucho más rápido y barato que los humanos, encontrando errores que los humanos pasarían por alto.

🚀 Conclusión

EVMbench nos dice que la IA ya tiene el poder de navegar por el mundo financiero digital, tanto para protegerlo como para destruirlo. No es ciencia ficción; es una realidad que ya está aquí.

El mensaje final es claro: Necesitamos medir y vigilar estas habilidades constantemente. Al igual que probamos los frenos de un coche antes de salir a la carretera, ahora debemos probar a la IA en escenarios de seguridad financiera para asegurarnos de que, cuando la usemos para proteger nuestro dinero, sea más fuerte que cualquier ladrón que intente usarla en su contra.

Resumen técnico

Resumen Técnico: EVMbench

1. El Problema

Los contratos inteligentes en blockchains públicas gestionan miles de millones de dólares en activos. La naturaleza inmutable y la ejecución determinista de estos sistemas significan que las vulnerabilidades pueden resultar en pérdidas financieras inmediatas e irreversibles.

A medida que los modelos de IA avanzan en su capacidad para leer, escribir y ejecutar código, surge una preocupación crítica: ¿Hasta qué punto los agentes de IA pueden navegar este ecosistema?

• Riesgo: Agentes suficientemente capaces podrían explotar vulnerabilidades de contratos inteligentes para obtener recursos financieros masivos, similar a cómo actores geopolíticos maliciosos han financiado operaciones a través de hackeos.
• Vacío en la Evaluación: La investigación existente se centra en vulnerabilidades de ciberseguridad tradicionales o en sub-tareas simplificadas. No existe un marco robusto que evalúe el ciclo completo de detección, parcheo y explotación de vulnerabilidades reales en entornos de contratos inteligentes de producción, donde la evaluación debe ser programática y basada en el estado de la cadena de bloques.

2. Metodología: EVMbench

Los autores introducen EVMbench, un marco de evaluación y suite de tareas diseñado para medir la capacidad de los agentes de IA en tres modos distintos, utilizando un entorno de ejecución local de Ethereum (EVM) aislado pero realista.

A. Origen de los Datos

• Vulnerabilidades: Se curaron 117 vulnerabilidades de alta severidad extraídas de 40 auditorías reales realizadas en la plataforma Code4rena y en el proceso de auditoría de la blockchain Tempo.
• Criterio de Selección: Solo se incluyen vulnerabilidades que pueden llevar directamente a la pérdida de fondos de usuarios o de la plataforma.

B. Modos de Evaluación

El benchmark evalúa tres habilidades críticas, cada una con su propia metodología de calificación:

1. Detect (Detección):

   • Objetivo: El agente audita un repositorio de contratos inteligentes y debe generar un informe que identifique todas las vulnerabilidades de alta severidad.
   • Calificación: Se compara el informe del agente con el informe de auditoría "ground truth" (verdad fundamental) utilizando un juez basado en modelos (LLM) para determinar la precisión y la cobertura. También se asigna una recompensa financiera simulada basada en los pagos históricos de Code4rena.

2. Patch (Parcheo):

   • Objetivo: El agente debe editar el código base vulnerable para corregir los fallos sin romper la funcionalidad existente.
   • Calificación: Se ejecutan las pruebas existentes (excluyendo aquellas que dependen de la lógica vulnerable) para asegurar que el código sigue funcionando. Luego, se ejecutan pruebas de explotación ocultas ("exploit tests") para verificar que la vulnerabilidad ya no es explotable.

3. Exploit (Explotación):

   • Objetivo: El agente interactúa con una instancia local de Ethereum a través de un endpoint RPC, utilizando una billetera financiada. Debe realizar un análisis de la cadena, desplegar contratos auxiliares si es necesario y construir transacciones para explotar la vulnerabilidad de extremo a extremo.
   • Calificación: Se utiliza un marco de re-ejecución en Rust. Las transacciones del agente se reproducen en un contenedor de calificación aislado. El éxito se determina verificando cambios en el estado de la cadena (balances de cuentas, eventos emitidos) mediante scripts personalizados.

C. Infraestructura y Seguridad

• Entorno: Los agentes se ejecutan en contenedores Docker aislados (Ubuntu 24.04) sin acceso a internet ni herramientas web.
• Prevención de Trampas: Se utiliza un proxy llamado veto que filtra métodos JSON-RPC no estándar (como anvil_impersonateAccount) para evitar que los agentes manipulen el estado de la cadena directamente en lugar de explotar la lógica del contrato.
• Reproducibilidad: Se utiliza Anvil (parte de Foundry) para instanciar cadenas locales deterministas, permitiendo la re-ejecución exacta de las transacciones para la calificación.

3. Contribuciones Clave

1. EVMbench: El primer "harness" (marco de pruebas) que evalúa integralmente la detección, parcheo y explotación de vulnerabilidades en contratos inteligentes con calificación programática basada en el estado de la cadena.
2. Marco de Re-ejecución en Rust: Desarrollo de herramientas (ploit y veto) que permiten reproducir transacciones de agentes de forma rápida, reproducible y segura contra nodos locales de Ethereum.
3. Dataset Curado: Creación de un conjunto de datos de 117 vulnerabilidades de alta severidad con parches oráculo y scripts de explotación para verificación.
4. Evaluación de Agentes de Vanguardia: Análisis comparativo de múltiples modelos de IA (OpenAI, Anthropic, Google) en todos los modos, proporcionando un análisis cualitativo de sus fallos y estrategias.
5. Código Abierto: Publicación del dataset, el marco de evaluación y las herramientas para fomentar la investigación futura en seguridad de IA.

4. Resultados Principales

Los experimentos se realizaron con modelos de vanguardia como GPT-5.3-Codex, Claude Opus 4.6, Gemini 3 Pro y OpenAI o3.

• Capacidad de Explotación: Los agentes más avanzados (especialmente GPT-5.3-Codex y Claude Opus 4.6) demostraron ser capaces de descubrir y explotar vulnerabilidades de extremo a extremo en instancias de blockchain en vivo.
  • En el modo Exploit, GPT-5.3-Codex alcanzó un 71.0% de éxito.
  • En el modo Patch, GPT-5.3-Codex logró un 41.7% de éxito.
  • En el modo Detect, Claude Opus 4.6 obtuvo la puntuación más alta con un 45.9%.
• El Cuello de Botella es la Detección: Los experimentos con "pistas" (hints) revelaron que la dificultad principal no radica en la capacidad de reparar el código o construir transacciones, sino en descubrir la vulnerabilidad dentro de grandes bases de código. Cuando se proporcionaba información sobre el mecanismo defectuoso, el rendimiento en los modos Patch y Exploit aumentaba drásticamente (hasta un 90% en Patch).
• Cobertura vs. Éxito Aislado: Los modelos a menudo logran puntuaciones altas en auditorías específicas pero fallan en encontrar todas las vulnerabilidades en un mismo repositorio. Esto indica que, aunque pueden ejecutar exploits complejos, su capacidad de revisión exhaustiva bajo restricciones es limitada.
• Impacto Económico: En el modo Detect, los agentes obtuvieron recompensas simuladas significativas (ej. Claude Opus 4.6 promedió ~$37,824), aunque muy por debajo del máximo teórico, lo que subraya que aún les cuesta encontrar las vulnerabilidades más críticas y raras.

5. Significado e Implicaciones

• Medición de Riesgo Real: EVMbench proporciona una métrica cuantitativa y reproducible para medir la capacidad ofensiva de la IA. Dado que los exploits en blockchain se traducen directamente en valor transferible, este benchmark es crucial para evaluar el riesgo de despliegue de agentes de IA autónomos.
• Necesidad de Defensas Proactivas: La capacidad de los agentes para explotar vulnerabilidades en entornos simulados sugiere que, a medida que mejoren, la superficie de ataque en la economía criptográfica aumentará. Esto hace urgente el desarrollo de herramientas defensivas impulsadas por IA.
• Evaluación Holística: El estudio demuestra que evaluar solo la capacidad de "encontrar un bug" es insuficiente. La verdadera medida de la competencia de un agente en seguridad debe incluir su capacidad para comprender el contexto económico, interactuar con el estado de la cadena y ejecutar operaciones complejas de extremo a extremo.
• Futuro de la Auditoría: Los resultados sugieren que la auditoría asistida por IA es viable, pero los modelos actuales aún requieren supervisión humana para garantizar la cobertura completa de vulnerabilidades en sistemas complejos.

En conclusión, EVMbench establece un nuevo estándar para la evaluación de la seguridad cibernética de la IA en el dominio de los contratos inteligentes, revelando que los agentes de vanguardia ya poseen capacidades ofensivas significativas que deben ser monitoreadas y mitigadas activamente.