Reentrancy Detection in the Age of LLMs

1. O Problema

A reentrância permanece uma das vulnerabilidades mais críticas nos contratos inteligentes do Ethereum, responsável por perdas estimadas em mais de US$ 900 milhões. No entanto, o ecossistema de ferramentas de detecção atual sofre de uma degradação significativa da confiabilidade (dependability).

• Obsolescência: Muitas ferramentas estáticas e baseadas em aprendizado de máquina (ML) foram desenvolvidas para versões antigas do Solidity (pré-0.8) e não suportam recursos modernos, semântica revisada de erros ou arquiteturas de contratos atualizadas.
• Inconsistência de Definições: Não existe uma definição unificada de reentrância na prática. Diferentes ferramentas utilizam heurísticas incompatíveis (ex: algumas ignoram chamadas de baixo nível com gás limitado, outras tratam delegatecall de forma diferente), levando a resultados contraditórios.
• Viés nos Dados: Conjuntos de dados (datasets) existentes para treinar modelos de ML são frequentemente rotulados por essas mesmas ferramentas defeituosas, propagando erros e ruídos para novos modelos.
• Falta de "Ground Truth" Confiável: A ausência de uma base de verdade manual e consistente impede a avaliação justa da robustez das ferramentas modernas.

2. Metodologia

Os autores adotaram uma perspectiva orientada à confiabilidade, focando em robustez (capacidade de funcionar em versões modernas do Solidity) e confiabilidade (precisão na detecção).

A. Construção de Novos Datasets

Para eliminar o viés das ferramentas antigas, foram criados dois conjuntos de dados manualmente verificados:

1. Aggregated Benchmark: Consolidado a partir de três datasets acadêmicos anteriores (CGT, HuangGai, e um estudo de grande escala). Contém 432 contratos reais compiláveis. Todos os contratos foram reanalisados por três revisores humanos e validados com assistência de LLMs para corrigir rótulos inconsistentes.
2. Reentrancy Scenarios Dataset (RSD): Um conjunto de 143 exemplos mínimos de trabalho (MWEs) criados manualmente. Este dataset é projetado para estressar as ferramentas com casos de borda semânticos, recursos modernos do Solidity 0.8+ (tratamento de erros, modificadores avançados, delegatecall, staticcall) e padrões que quebram as regras sintáticas tradicionais de "Checks-Effects-Interactions" (CEI).

B. Procedimento de Rotulagem Unificado

Os autores definiram um procedimento operacional de três etapas para rotular os dados, independentemente de ferramentas externas:

1. Desdobramento (Unfolding): Expansão de chamadas de função locais, modificadores e herança para obter um fluxo de controle plano.
2. Detecção de Chamadas Externas: Identificação de chamadas externas seguidas por efeitos colaterais (atualizações de estado) que violam o padrão CEI.
3. Comparação de Estado Semântico: Análise se a execução reentrante leva a um estado final diferente da execução sequencial não reentrante. Se os estados divergirem, o contrato é vulnerável.

C. Avaliação Experimental

Foram testados 31 sistemas divididos em três categorias:

• 12 Ferramentas de Análise Estática/Formal: (Ex: Slither, Mythril, Securify, Oyente+, Aderyn).
• 10 Modelos de Aprendizado de Máquina (ML/DL): (Ex: CodeBERT, BiLSTM, Random Forest, SVM).
• 9 Grandes Modelos de Linguagem (LLMs): (Ex: GPT-4o, GPT-4.1, o3-mini, o4-mini, Gemini, e modelos open-source como Qwen e Phi).
• Configuração: Os LLMs foram avaliados em configuração zero-shot (sem treinamento específico), enquanto os modelos de ML foram avaliados com validação cruzada.

3. Principais Contribuições

1. Avaliação de Confiabilidade: O primeiro estudo sistemático a quantificar a degradação da confiabilidade das ferramentas de detecção de reentrância frente à evolução da linguagem Solidity.
2. Novos Benchmarks: Liberação do Aggregated Benchmark (432 contratos reais verificados) e do RSD (143 cenários de estresse), fornecendo um padrão-ouro para futuras pesquisas.
3. LLMs como Alternativa Robusta: Demonstração de que LLMs gerais superam a maioria das ferramentas especializadas em precisão e robustez, sem exigir manutenção de regras.
4. LLMs como Assistentes Humanos: Evidência de que as explicações geradas por LLMs ajudam auditores humanos a identificar casos mal rotulados e ambiguidades, melhorando a qualidade dos conjuntos de dados.

4. Resultados Chave

Desempenho das Ferramentas Tradicionais (Analisadores e ML)

• Alta Taxa de Erros: Muitas ferramentas falharam completamente ao tentar analisar contratos modernos (Solidity 0.8+), apresentando taxas de erro superiores a 50% no dataset RSD.
• Inconsistência: No Aggregated Benchmark, apenas 38 dos 122 contratos reentrantes foram identificados por pelo menos 6 ferramentas diferentes. Há um consenso muito baixo entre as ferramentas.
• Métricas: No Aggregated Benchmark, as melhores ferramentas tradicionais alcançaram um F1-score de 0.87 (Slither). No RSD (cenários difíceis), o desempenho caiu drasticamente, com o melhor analisador atingindo apenas 0.76 de F1.

Desempenho dos LLMs

• Superioridade: Os LLMs superaram consistentemente todas as outras categorias.
  • No Aggregated Benchmark, o modelo o3-mini atingiu um F1-score de 0.96 (zero-shot), superando Slither (0.92) e os melhores modelos de ML.
  • No RSD, o modelo o4-mini alcançou 0.82 de F1, enquanto a maioria das ferramentas tradicionais falhou ou teve desempenho muito inferior.
• Robustez: Diferente dos analisadores estáticos, os LLMs não apresentaram erros de execução (0% de taxa de erro) devido a incompatibilidade de versão do compilador ou sintaxe não suportada.
• Manutenção: Os LLMs não exigem atualizações de regras ou retreinamento para lidar com novas versões do Solidity, oferecendo uma vantagem significativa de custo de manutenção.

Qualidade das Explicações

• As explicações fornecidas pelos LLMs (especialmente o o3-mini) foram cruciais para identificar 9 contratos mal rotulados no dataset inicial que passaram despercebidos por ferramentas tradicionais.
• A avaliação humana indicou que as explicações dos LLMs são mais informativas e pertinentes para auditores do que os logs técnicos das ferramentas estáticas.

5. Significado e Conclusão

O estudo conclui que o ecossistema atual de detecção de reentrância está fraturado e não confiável para contratos modernos. A dependência de ferramentas baseadas em regras sintáticas e datasets rotulados por essas mesmas ferramentas criou um ciclo vicioso de imprecisão.

• Mudança de Paradigma: À medida que o Solidity evolui, as ferramentas estáticas tradicionais não devem mais ser consideradas a "verdade absoluta" (ground truth) para pipelines de segurança ou treinamento de IA.
• O Futuro Híbrido: Os LLMs demonstraram uma robustez semântica superior, mas carecem de garantias formais estritas. O caminho mais promissor para a detecção de dependabilidade em contratos inteligentes reside em abordagens híbridas, combinando as garantias formais das ferramentas estáticas com a adaptabilidade semântica e a capacidade de generalização dos LLMs, apoiadas por datasets verificados manualmente.

Em suma, o artigo alerta que a comunidade de segurança de contratos inteligentes precisa urgentemente atualizar suas ferramentas e metodologias de avaliação para acompanhar a evolução da linguagem, reconhecendo os LLMs não apenas como uma curiosidade, mas como componentes essenciais e superiores para a análise de vulnerabilidades complexas.