Re-Evaluating EVMBench: Are AI Agents Ready for Smart Contract Security?

Este artigo reavalia o benchmark EVMbench, demonstrando que, devido a limitações metodológicas como contaminação de dados e falta de controle de scaffolding, os agentes de IA atuais não são estáveis nem capazes de exploração completa em incidentes reais, indicando que a auditoria automatizada total ainda não é viável e que a colaboração humano-IA permanece essencial.

O essencial

Imagine que o mundo dos contratos inteligentes (o código que roda o dinheiro na blockchain) é como uma fortaleza digital onde bilhões de dólares estão guardados. Para proteger essa fortaleza, existem "guardas de segurança" humanos muito especializados.

Recentemente, surgiu uma notícia empolgante: "A Inteligência Artificial (IA) aprendeu a ser tão boa quanto esses guardas humanos e pode até substituí-los!". Essa notícia veio de um teste chamado EVMbench, que dizia que os robôs conseguiam encontrar falhas de segurança e até "hackear" o sistema com sucesso.

Mas, neste novo artigo, três pesquisadores (do Zhejiang University e da BlockSec) decidiram colocar esse teste na balança e dizer: "Esperem aí. A história é um pouco mais complicada."

Aqui está a explicação do que eles descobriram, usando analogias do dia a dia:

1. O Teste Original Era como um "Exame de Vestibular com Vazamento"

O teste original (EVMbench) usou perguntas de provas antigas que os robôs provavelmente já tinham visto antes de nascerem.

• A Analogia: Imagine que você quer testar se um aluno é inteligente. Você dá a ele um teste com as mesmas perguntas que ele já estudou na internet. Ele tira nota 10! Mas será que ele realmente sabe a matéria ou apenas decorou as respostas?
• O Problema: Os pesquisadores criaram um novo teste com 22 casos reais de hackers que aconteceram depois de os robôs terem sido treinados. Nada sobre esses casos existia quando os robôs foram "ensinados".
• O Resultado: Quando os robôs enfrentaram esses casos novos e reais, eles falharam miseravelmente em completar o trabalho. Eles conseguiam enxergar algumas falhas, mas não conseguiam executar o ataque para roubar o dinheiro (o que é o teste final).

2. A "Ferramenta" Importa Mais que o "Cérebro"

O teste original comparava robôs de diferentes marcas, mas cada um usava a ferramenta de trabalho da sua própria marca (como um carro da Ford usando peças da Ford, e um da Toyota usando peças da Toyota).

• A Analogia: É como testar quem é o melhor piloto de corrida, mas um piloto dirige um carro novo e o outro dirige um carro velho e quebrado. Se o piloto do carro velho ganha, será que ele é um gênio ou apenas o carro dele era melhor para aquela pista?
• O Descoberta: Os pesquisadores mudaram as ferramentas. Eles fizeram o mesmo robô dirigir carros diferentes. Descobriram que a ferramenta (o "andaime" ou scaffold) que o robô usa para trabalhar influencia muito mais o resultado do que a inteligência do próprio robô. Às vezes, um robô "mais simples" com uma ferramenta melhor ganhava de um robô "super inteligente" com uma ferramenta ruim.

3. O Robô é Bom em "Achados", mas Péssimo em "Ação"

O teste original dizia que o maior problema era encontrar a falha. Uma vez achada, o robô conseguiria explorá-la facilmente.

• A Analogia: Imagine um detetive que é ótimo em achar a porta trancada de um cofre (descoberta), mas quando tenta abrir a porta, ele não sabe usar a chave, não sabe quebrar o vidro e nem sabe o que fazer depois de entrar.
• O Resultado: No mundo real, os robôs conseguiam apontar para a porta trancada em cerca de 65% dos casos. Mas, quando tentaram entrar e roubar o dinheiro? 0% de sucesso. Eles travaram. Eles não conseguiam conectar os pontos para criar um plano de ataque complexo e lucrativo.

4. A Conclusão: O Robô é um "Estagiário", não o "Chefe"

O artigo não diz que a IA é inútil. Pelo contrário, ela é muito útil, mas precisa de supervisão.

• Para quem desenvolve apps: Você pode usar o robô como um scanner de segurança prévio. Ele vai pegar os erros óbvios (como uma porta deixada aberta ou uma fechadura enferrujada). Mas não confie 100% nele, porque ele vai deixar passar os erros mais sutis e perigosos.
• Para as empresas de auditoria: O robô não deve substituir o auditor humano. Ele deve ser o primeiro filtro.
  • O Robô: Varre o código inteiro, rápido, achando os erros comuns e óbvios.
  • O Humano: Pega o que o robô achou, filtra os falsos alarmes e usa sua experiência e intuição para encontrar os erros complexos e específicos daquele sistema.

Resumo Final

A ideia de que "robôs vão auditar tudo sozinhos em breve" é um exagero. A IA atual é como um estagiário muito rápido e que lê muito, mas que ainda não tem a experiência de vida para resolver problemas complexos e imprevisíveis do mundo real.

A solução ideal não é "Robô vs. Humano", mas sim "Robô + Humano". O robô faz o trabalho pesado de varrer o terreno, e o humano usa sua sabedoria para garantir que a fortaleza esteja realmente segura.

Resumo técnico

1. Problema e Contexto

Em fevereiro de 2026, o EVMbench (lançado por OpenAI, Paradigm e OtterSec) foi apresentado como o primeiro benchmark em larga escala para agentes de IA na segurança de contratos inteligentes. Seus resultados iniciais foram otimistas: os agentes detectaram até 45,6% das vulnerabilidades e exploraram 72,2% de um subconjunto curado, levando à conclusão de que a "descoberta" era o principal gargalo e que a auditoria totalmente automatizada estava iminente.

No entanto, os autores deste artigo identificam duas limitações críticas no design experimental do EVMbench que podem ter inflado artificialmente o desempenho dos agentes:

1. Escopo de Avaliação Restrito e Confundido: O EVMbench testou apenas 14 configurações de agentes, geralmente pareando cada modelo com seu próprio "scaffold" (ferramenta de suporte) de fornecedor (ex: Claude com Claude Code). Isso confunde o efeito do modelo com o efeito da ferramenta, impedindo conclusões generalizáveis sobre a capacidade do modelo em si.
2. Contaminação de Dados: As 120 vulnerabilidades testadas vieram de relatórios de auditoria do Code4rena publicados antes do lançamento da maioria dos modelos avaliados (especialmente os de 2025/2026). Isso sugere que os modelos podem ter memorizado os dados de treinamento em vez de demonstrar capacidade genuína de descoberta.

2. Metodologia

Os autores realizaram uma reavaliação rigorosa expandindo o escopo e corrigindo as falhas de contaminação:

• Expansão de Configurações: Em vez de 14, foram testadas 26 configurações de agentes, cobrindo quatro famílias de modelos (Claude, GPT, Gemini e GLM) e três scaffolds diferentes (Claude Code, Codex CLI e um scaffold de código aberto chamado OpenCode). Isso permitiu isolar o impacto do scaffold na performance.
• Dataset "Incidents" (Livre de Contaminação): Para superar o problema de memorização, os autores criaram um novo conjunto de dados com 22 incidentes de segurança do mundo real.
  • Todos os incidentes ocorreram após meados de fevereiro de 2026, garantindo que estivessem fora da janela de treinamento de todos os modelos avaliados.
  • Os dados foram extraídos de explorações reais em produção (confirmadas por perdas financeiras na cadeia), sem pistas pré-labeled.
• Tarefas Avaliadas: Focaram-se nas tarefas de Detecção (identificar vulnerabilidades) e Exploração (criar transações lucrativas para explorar a falha). A tarefa de "Correção" (Patch) foi excluída, pois o EVMbench indicou que sua dificuldade deriva quase inteiramente da dificuldade de detecção.
• Validação do Avaliador: O sistema de avaliação baseado em IA (usando GPT-5 como juiz) foi testado contra três modelos juízes diferentes, alcançando 99,2% de precisão e baixa taxa de falsos positivos.

3. Principais Contribuições e Descobertas

A reavaliação gerou três descobertas fundamentais que contradizem as conclusões do EVMbench:

A. Instabilidade dos Resultados

As classificações dos modelos não são estáveis. Mudanças no scaffold, no nível de esforço de raciocínio ou no conjunto de dados alteram drasticamente o ranking.

• Exemplo: O modelo Gemini 3.1 Pro ficou em 2º lugar na detecção no EVMbench (37,5%), mas caiu para o último lugar no dataset de incidentes reais (30,0%).
• O scaffold de código aberto (OpenCode) superou os scaffolds nativos dos fornecedores em 5 de 6 comparações controladas, com ganhos de até 5 pontos percentuais, demonstrando que o EVMbench atribuiu erroneamente ganhos de performance ao modelo em vez da ferramenta.

B. O Gargalo Real é a Exploração, não a Descoberta

O EVMbench concluiu que a descoberta é o gargalo principal. Os resultados deste estudo provam o oposto no cenário real:

• No dataset de incidentes reais, nenhum agente conseguiu realizar uma exploração de ponta a ponta (end-to-end) em nenhum dos 110 pares agente-incidente (0% de sucesso).
• Embora o melhor agente tenha detectado 65% das vulnerabilidades no dataset real, ele falhou completamente em transformar essa descoberta em um ataque lucrativo. Isso indica que a exploração em ambientes de produção complexos é muito mais difícil do que a descoberta.

C. Limitações de Generalização

Os modelos funcionam bem em padrões de vulnerabilidade conhecidos (como falta de controle de acesso ou reentrância simples), mas falham em falhas lógicas complexas, interações entre múltiplos contratos e dependências específicas de protocolos. A performance em benchmarks curados (Code4rena) não é um preditor confiável para o desempenho em incidentes do mundo real.

4. Resultados Quantitativos Chave

Métrica	EVMbench (Benchmark Curado)	Estudo (Dataset de Incidentes Reais)
Melhor Taxa de Detecção	45,6%	65,0% (Claude Opus 4.6)
Melhor Taxa de Exploração	72,2% (em subconjunto)	0% (0/110 tentativas)
Estabilidade de Ranking	Alta (conclusão do EVMbench)	Baixa (mudanças drásticas entre datasets e scaffolds)
Impacto do Scaffold	Ignorado/Confundido	Até +5 pontos percentuais de diferença

5. Significado e Implicações para a Indústria

O artigo desafia a narrativa de que a auditoria totalmente automatizada por IA é iminente. As implicações práticas são:

1. Para Desenvolvedores: Escaneamentos com agentes de IA podem ser úteis como uma verificação pré-lançamento para pegar padrões comuns, mas não devem ser confiados exclusivamente, pois mais da metade das vulnerabilidades pode passar despercebida.
2. Para Empresas de Auditoria: A IA não substitui o auditor humano, mas atua como um filtro de primeira passagem eficaz.
   • Fluxo de Trabalho "Human-in-the-Loop": A abordagem mais prática é onde os agentes lidam com a "largura" (escaneamento de grandes bases de código para padrões comuns), enquanto os auditores humanos fornecem o "profundidade" (conhecimento específico do protocolo, raciocínio adversário e filtragem de falsos positivos).
   • O estudo mostra que, quando os agentes recebem contexto humano (pistas), sua taxa de sucesso na exploração salta de ~62% para ~95%, validando a necessidade da colaboração humana.

Conclusão

Os agentes de IA possuem capacidades reais, mas limitadas. Eles são eficazes para detectar vulnerabilidades conhecidas e respondem bem ao contexto humano, mas não conseguem substituir o julgamento humano em cenários complexos de exploração de contratos inteligentes. O futuro da segurança reside na integração de IA em fluxos de trabalho colaborativos, e não na automação total. Os dados e scripts do estudo estão disponíveis publicamente para reprodutibilidade.