EVMbench: Evaluating AI Agents on Smart Contract Security

O artigo apresenta o EVMbench, um benchmark que avalia a capacidade de agentes de IA de detectar, corrigir e explorar vulnerabilidades em contratos inteligentes, demonstrando que os modelos atuais conseguem realizar esses ataques de ponta a ponta em ambientes de blockchain reais.

O essencial

Imagine que o mundo das criptomoedas e dos contratos inteligentes (smart contracts) é como uma cidade digital gigante e imutável. Nessa cidade, as pessoas deixam trilhões de dólares em cofres automáticos. Uma vez que o dinheiro entra, ele só sai se as regras do cofre forem seguidas à risca. O problema é que, se um ladrão encontrar uma fechadura defeituosa, ele pode roubar tudo e, como a cidade é "imutável", não há polícia que possa reverter o roubo.

Agora, imagine que acabamos de inventar robôs superinteligentes (os Agentes de IA). Esses robôs são ótimos em ler códigos, escrever programas e encontrar erros. A grande pergunta que os autores deste estudo fizeram foi: "Esses robôs são inteligentes o suficiente para proteger esses cofres, ou eles são perigosos o suficiente para roubá-los?"

Para descobrir a resposta, eles criaram um campo de treinamento e teste chamado EVMbench.

Aqui está como o teste funciona, usando analogias do dia a dia:

1. O Campo de Treino (O que é o EVMbench?)

Pense no EVMbench como uma academia de segurança cibernética com três tipos de exercícios diferentes para os robôs:

• Exercício 1: O Detetive (Detect)

  • A Tarefa: O robô recebe uma pilha de documentos (o código do contrato) e tem que encontrar todas as falhas de segurança, como se fosse um auditor de um banco.
  • O Desafio: Ele precisa achar todas as falhas, não apenas uma. Se ele achar uma, mas deixar passar outra grave, ele perde pontos.
  • Resultado: Os robôs mais avançados conseguiram encontrar cerca de 46% das falhas graves, mas ainda deixaram muitas passarem.

• Exercício 2: O Mecânico (Patch)

  • A Tarefa: Agora, o robô não só precisa achar o problema, mas consertá-lo. Ele deve editar o código para fechar a fechadura defeituosa sem quebrar o cofre (ou seja, sem impedir que as pessoas legítimas façam depósitos e saques).
  • O Desafio: É como tentar consertar um motor de carro enquanto ele está ligado. Se você apertar o parafuso errado, o carro para.
  • Resultado: Os robôs conseguiram consertar cerca de 42% dos problemas, mostrando que sabem "consertar", mas ainda têm dificuldade em achar todos os defeitos primeiro.

• Exercício 3: O Ladrão (Exploit)

  • A Tarefa: Este é o mais perigoso. O robô recebe uma carteira digital com dinheiro falso (mas em um ambiente controlado) e tem que tentar roubar o dinheiro do cofre usando as falhas que encontrou. Ele precisa planejar o golpe, enviar transações e drenar os fundos.
  • O Desafio: É como tentar abrir um cofre em tempo real. Se o robô conseguir transferir o dinheiro para a própria conta, ele passa no teste.
  • Resultado: Aqui está a parte assustadora: Os robôs mais avançados conseguiram roubar dinheiro em 71% dos casos em que foram testados. Eles conseguiram planejar e executar golpes complexos do início ao fim.

2. O Que os Robôs Aprenderam (e o que nos preocupa)

O estudo descobriu algumas coisas importantes:

• Eles são perigosos: Se um robô consegue encontrar uma falha, ele consegue roubá-la. E como o dinheiro em criptomoedas é real, isso significa que, no futuro, robôs podem roubar bilhões de dólares sozinhos.
• Eles são bons, mas não perfeitos: Eles são ótimos em executar o golpe (o "como fazer"), mas ainda têm dificuldade em encontrar todas as falhas em códigos muito grandes (o "onde procurar"). É como ter um ladrão que é um mestre em arrombar portas, mas que às vezes esquece de procurar a janela aberta.
• A importância das dicas: Quando os pesquisadores deram "pistas" aos robôs (dizendo "olhe aqui" ou "o problema é de reentrância"), o desempenho deles melhorou drasticamente. Isso mostra que a IA tem o conhecimento, mas às vezes precisa de ajuda para focar na busca.

3. Por que isso importa para nós?

Imagine que, no passado, para hackear um banco, você precisava de um grupo de hackers humanos trabalhando 24 horas por dia. Agora, com esses robôs, um único sistema de IA pode fazer o trabalho de todo o time, 24 horas por dia, sem dormir, sem cometer erros de cansaço e muito mais rápido.

O estudo conclui que:

1. Precisamos usar esses robôs para proteger nossos cofres (achar e consertar falhas antes dos ladrões).
2. Precisamos ter muito cuidado, porque se esses robôs forem usados por pessoas mal-intencionadas, o risco de perdas financeiras é enorme e imediato.

Em resumo: O EVMbench é um teste de estresse para a inteligência artificial no mundo do dinheiro digital. Ele nos diz que a tecnologia está evoluindo rápido demais: nossos robôs de segurança estão ficando fortes, mas nossos robôs de ladrão estão ficando ainda mais perigosos. O jogo de "gato e rato" na segurança digital nunca foi tão sério.

Resumo técnico

Resumo Técnico: EVMbench – Avaliação de Agentes de IA na Segurança de Contratos Inteligentes

1. O Problema

Os contratos inteligentes em blockchains públicas gerenciam trilhões de dólares em ativos. A imutabilidade e a natureza irreversível desses sistemas significam que vulnerabilidades podem resultar em perdas financeiras massivas e imediatas. Com o avanço das capacidades dos modelos de IA (LLMs) na leitura, escrita e execução de código, surge uma preocupação crítica: quão bem os agentes de IA podem navegar neste ecossistema?

Existem dois lados para essa questão:

1. Defesa: A capacidade da IA de identificar e corrigir vulnerabilidades antes da implantação.
2. Ofensa: O risco de sistemas de IA suficientemente capazes explorarem essas vulnerabilidades para drenar fundos, automatizando ataques cibernéticos em escala.

O problema central é a falta de um benchmark padronizado que avalie o ciclo completo de segurança (descoberta, mitigação e exploração) em ambientes realistas de blockchain, onde a execução é determinística e os incentivos econômicos são claros. Trabalhos anteriores focavam em vulnerabilidades tradicionais de cibersegurança ou em sub-tarefas simplificadas, não capturando a complexidade de interações de estado e incentivos econômicos reais.

2. Metodologia: O Framework EVMbench

Os autores introduzem o EVMbench, um harness (ambiente de teste) e uma suíte de tarefas projetados para medir a capacidade de agentes de IA em detectar, corrigir (patch) e explorar vulnerabilidades críticas em contratos inteligentes.

2.1. Curação de Dados

• Fonte: O conjunto de dados é composto por 117 vulnerabilidades de alta severidade extraídas de 40 auditorias distintas realizadas na plataforma Code4rena e em auditorias internas da blockchain Tempo.
• Critério: Apenas vulnerabilidades que podem levar diretamente à perda de fundos de usuários ou da plataforma foram selecionadas.
• Ambiente: Os agentes operam em contêineres Docker isolados (Ubuntu 24.04) com acesso a ferramentas de desenvolvimento (ex: Foundry), mas sem acesso à internet, simulando um auditor humano.

2.2. Três Modos de Avaliação

O benchmark avalia os agentes em três modos distintos, cada um com métodos de graduação específicos:

1. Detect (Detecção):

   • Objetivo: O agente deve auditar o repositório e gerar um relatório identificando todas as vulnerabilidades de alto risco.
   • Graduação: Um juiz baseado em modelo (LLM) compara o relatório do agente com o relatório de "ground truth" (auditoria humana real). A pontuação é baseada na porcentagem de vulnerabilidades corretamente identificadas e no valor financeiro estimado das recompensas de auditoria.
   • Desafio: Cobertura completa (encontrar todas as falhas, não apenas a primeira).

2. Patch (Correção):

   • Objetivo: O agente deve editar o código-fonte para corrigir as vulnerabilidades encontradas.
   • Graduação: O código modificado é compilado e testado.
     • Os testes originais (que não dependem da lógica vulnerável) devem passar.
     • Testes de exploração ocultos (PoCs) devem falhar após a correção.
   • Desafio: Corrigir a falha sem quebrar a funcionalidade legítima do contrato.

3. Exploit (Exploração):

   • Objetivo: O agente interage com uma instância local da blockchain Ethereum (Anvil) via RPC, usando uma carteira financiada. Deve realizar uma exploração end-to-end.
   • Graduação: Baseada em eventos on-chain e deltas de saldo. O sistema reexecuta as transações do agente em um contêiner de graduação isolado e verifica se o saldo da carteira do agente aumentou (drenando os fundos do contrato vulnerável).
   • Desafio: Construir transações complexas, possivelmente usando flash loans, e interagir com o estado da cadeia corretamente.

2.3. Infraestrutura Técnica

• Reexecução Determinística: Desenvolveram um framework em Rust (ploit) que gerencia a vida útil da cadeia local, implanta contratos e reexecuta as transações do agente para graduação, garantindo reprodutibilidade e prevenindo trapaças.
• Segurança: Uso de um proxy (veto) para bloquear métodos RPC específicos de desenvolvimento (como anvil_impersonateAccount) que permitiriam ao agente manipular o estado da blockchain de forma não realista.

3. Contribuições Principais

1. EVMbench: A primeira avaliação abrangente que mede o ciclo completo de segurança de contratos inteligentes (Detecção, Correção, Exploração) com graduação programática baseada em estado de blockchain.
2. Framework de Reexecução: Uma ferramenta em Rust que permite avaliar explorações em tempo real contra uma blockchain local, garantindo que os resultados sejam verificáveis e seguros contra manipulação.
3. Dataset de Alta Qualidade: Curadoria de 117 vulnerabilidades reais de auditorias competitivas, com patches e exploits de referência (oracle) validados.
4. Análise de Agentes de Fronteira: Avaliação comparativa de modelos de ponta (OpenAI o3, GPT-5, Claude Opus, Gemini) e análise qualitativa de falhas e sucessos.
5. Open Source: Liberação do código, tarefas e ferramentas para fomentar pesquisas futuras em segurança de IA.

4. Resultados Quantitativos e Qualitativos

4.1. Desempenho dos Modelos

Os resultados mostram que os agentes de IA são capazes de descobrir e explorar vulnerabilidades end-to-end, mas com variações significativas dependendo do modo e do modelo:

• Modo Exploit: O modelo GPT-5.3-Codex (executado via CLI Codex) obteve o melhor desempenho, com 71,0% de sucesso em explorações. Isso demonstra que os agentes podem automatizar ataques financeiros complexos.
• Modo Detect: O Claude Opus 4.6 liderou com 45,9% de taxa de detecção.
• Modo Patch: O GPT-5.3-Codex também liderou com 41,7%.
• Correlação com Hints: A performance melhora drasticamente quando são fornecidas "dicas" (hints) sobre onde procurar ou qual mecanismo falhou. Isso sugere que o gargalo principal não é a capacidade de corrigir o código, mas sim a descoberta da vulnerabilidade em repositórios grandes.

4.2. Análise de Casos (Rollouts)

• Sucesso: O artigo detalha um caso onde o GPT-5.2 identificou uma vulnerabilidade de controle de acesso no protocolo NOYA e executou um flash loan para drenar fundos de um vault, transferindo-os para sua própria carteira com sucesso.
• Falhas Comuns:
  • Falta de Cobertura: Agentes muitas vezes encontram uma vulnerabilidade, mas ignoram outras no mesmo código.
  • Falha na Execução: Agentes podem identificar a falha teoricamente, mas falhar ao construir a sequência correta de transações para explorá-la.
  • Ilusão de Sucesso: Em alguns casos, o agente executou transações que falharam ou drenaram tokens errados, mas interpretou erroneamente o resultado como sucesso.

5. Significado e Implicações

O EVMbench revela uma realidade preocupante e importante:

1. Risco Econômico Real: Agentes de IA já possuem a capacidade técnica de explorar vulnerabilidades em contratos reais, convertendo falhas de software em transferências de valor financeiro imediato. Isso alinha-se com cenários de alto risco descritos em frameworks de preparação de IA.
2. Defesa Necessária: A mesma tecnologia que pode atacar é essencial para defender. A capacidade de corrigir vulnerabilidades rapidamente é vital, mas os resultados mostram que a cobertura ainda é incompleta.
3. Mudança de Paradigma na Avaliação: A segurança de contratos inteligentes oferece um ambiente de avaliação único devido à sua natureza determinística e verificável. O EVMbench estabelece um novo padrão para medir a "perigosidade" e a "utilidade" de agentes de IA em contextos econômicos reais.
4. Limitações Atuais: O benchmark ainda é limitado a contratos EVM (Ethereum) e não cobre pontes entre cadeias (cross-chain) ou protocolos de nível de nó, que são vetores de ataque emergentes.

Em conclusão, o EVMbench fornece uma métrica crítica para monitorar o progresso da IA em segurança cibernética financeira, destacando a urgência de desenvolver defesas mais robustas e a necessidade de entender como a automação pode ser usada tanto para proteger quanto para explorar a infraestrutura financeira descentralizada.