Resumo Técnico: SCDBench

Declaração do Problema

A descompilação de contratos inteligentes — o processo de recuperação de código-fonte de alto nível (Solidity) a partir de bytecode da Máquina Virtual Ethereum (EVM) — é crítica para segurança, auditoria e transparência em blockchain. No entanto, mais de 99% dos contratos Ethereum não são verificados, deixando apenas o bytecode acessível. Embora descompiladores tradicionais existam, eles frequentemente produzem representações intermediárias ou pseudocódigo que permanecem difíceis de interpretar para desenvolvedores.

O surgimento de Modelos de Linguagem de Grande Escala (LLMs) oferece um novo paradigma, capaz de gerar Solidity semelhante a código-fonte que pode ser compilado e parecer plausível. Contudo, o campo carece de um benchmark padronizado para avaliar esses modelos. Estudos existentes dependem de conjuntos de dados estreitos, muitas vezes proprietários, métricas inconsistentes e verificações limitadas de consistência semântica. Crucialmente, não há um método rigoroso para determinar se um contrato gerado por LLM é semanticamente equivalente ao bytecode original, pois os modelos podem gerar código que é compilado, mas diverge em comportamento.

Metodologia: SCDBench

Os autores apresentam o SCDBench, um conjunto de dados e metodologia de benchmark projetados para avaliar rigorosamente descompiladores de contratos inteligentes baseados em LLMs.

1. Construção do Conjunto de Dados

O benchmark consiste em 600 contratos Solidity do mundo real amostrados de implantações verificadas no Ethereum (anteriores a 1º de janeiro de 2026).

• Fonte: Derivado de um corpus de 772.736 pares únicos de bytecode-fonte, filtrados para remover quase-duplicatas e variantes de modelos gerados em massa.
• Estratificação: Os contratos são divididos em três níveis de dificuldade (Fácil, Médio, Difícil), com 200 contratos cada. A dificuldade é determinada pelo tamanho do bytecode, tamanho da interface, complexidade do fluxo de controle, operações de armazenamento e recursos de baixo nível do Solidity.
• Pontos de Checagem Semântica: Para permitir reprodutibilidade, o conjunto de dados inclui 227.383 casos de teste semânticos concretos cobrindo 14.553 funções públicas. Esses casos são gerados por meio de princípios de fuzzing diferencial: executando o contrato de verdade (ground-truth) em entradas concretas para registrar resultados (dados de retorno, status de reversão, logs, alterações de estado) para reprodução posterior.

2. Pipeline de Avaliação

O SCDBench emprega um protocolo de avaliação cumulativa de quatro estágios. Um contrato deve passar em cada estágio para prosseguir para o próximo; falha em qualquer estágio conta como falha para todos os estágios subsequentes.

1. Completude de Formato: Verifica se a saída contém configurações de compilador analisáveis, código Solidity autocontido e um nome de contrato-alvo.
2. Compilabilidade: Verifica se o código gerado compila com sucesso em um artefato de destino válido.
3. Recuperação de ABI: Avalia a reconstrução de assinaturas de funções públicas contra a Interface Binária de Aplicação (ABI) de verdade, relatando Precisão, Revocação (Recall) e pontuações F1.
4. Consistência Semântica: O estágio mais rigoroso. Ele reproduz os casos de teste gerados contra o contrato descompilado. Uma função é consistente apenas se todos os casos reproduzidos corresponderem à verdade em relação a dados de retorno, status de reversão, logs e alterações de armazenamento.

3. Configuração Experimental

Os autores avaliaram modelos fechados de fronteira (Claude Opus 4.7, GPT-5.3-Codex) e uma linha de base de pesos abertos (GLM-5) em configuração zero-shot.

• Entrada: Assembly da EVM (renderização textual do bytecode) e dicas opcionais de seletor de função não únicas.
• Variante de Reparo: Foi testada uma configuração de reparo de compilação zero-shot onde os modelos receberam suas próprias mensagens de erro de compilação para tentar uma correção, denotada com um sobrescrito †.
• Raciocínio: O GLM-5 foi testado nos modos "instruct" (sem pensamento) e "high-thinking" (alto pensamento) para avaliar o impacto do raciocínio estendido.

Resultados Principais

A avaliação revela lacunas significativas entre o sucesso sintático (compilação) e a correção semântica.

• Formato e Compilabilidade: Modelos de fronteira geralmente superam linhas de base de pesos abertos. O GPT-5.3-Codex† alcançou a maior taxa de compilação (90,3% no total), seguido pelo Opus 4.7† (69,2%). O reparo zero-shot melhorou significativamente o desempenho em todos os modelos, sugerindo que muitas falhas iniciais eram inconsistências menores no nível do compilador, e não erros fundamentais de descompilação.
• Recuperação de ABI: O GPT-5.3-Codex† alcançou a melhor pontuação micro-F1 (0,896). Embora a precisão tenha sido geralmente alta, a revocação variou, indicando que os modelos frequentemente perderam funções de verdade em vez de alucinar funções extras.
• Consistência Semântica: Isso permanece o principal gargalo.
  • O Opus 4.7† alcançou a maior taxa de consistência semântica (29,4% das funções públicas).
  • O GPT-5.3-Codex† teve o melhor desempenho em contratos "Difíceis" (25,2%), mas ligeiramente inferior no geral (28,0%).
  • Recuperação Perfeita: Mesmo o modelo de melhor desempenho descompilou perfeitamente apenas 42 dos 600 contratos (7,0%). Quase nenhum contrato "Difícil" foi recuperado perfeitamente.
• Impacto do Raciocínio: A configuração "high-thinking" do GLM-5 superou substancialmente sua variante "instruct" em compilação, recuperação de ABI e consistência semântica, sugerindo que o raciocínio estendido auxilia na navegação pela estrutura do bytecode e nas restrições do compilador.

Contribuições Principais

1. Conjunto de Dados: Um benchmark curado e diversificado de 600 contratos do mundo real com bytecode emparelhado, fonte de verdade e mais de 227 mil casos de teste semânticos, estratificados por dificuldade.
2. Metodologia: Um framework de avaliação em estágios que vai além da legibilidade para impor compilabilidade, precisão de ABI e consistência semântica estrita via reprodução diferencial.
3. Insights Empíricos:
   • Modelos de fronteira com capacidades de raciocínio são substancialmente mais fortes do que linhas de base de pesos abertos.
   • O reparo de compilação zero-shot é um passo simples e custo-efetivo que melhora significativamente a qualidade da descompilação.
   • A consistência semântica é o desafio aberto central: Altas taxas de compilação e recuperação de ABI não garantem fidelidade semântica.

Significado

O artigo postula que o SCDBench estabelece um terreno comum para avaliação rigorosa e reprodutível na descompilação de contratos inteligentes. Ao deslocar o foco da plausibilidade sintática para a consistência semântica, o benchmark visa:

• Permitir comparação justa de abordagens emergentes de descompilação.
• Destacar as limitações específicas dos LLMs atuais na preservação da semântica do contrato.
• Acelerar o desenvolvimento de ferramentas confiáveis para segurança e transparência em blockchain, fornecendo um framework padronizado para teste e melhoria.

Os autores concluem que, embora LLMs de fronteira possam produzir código estruturado e compilável, alcançar consistência semântica completa permanece um problema significativo não resolvido, necessitando de pesquisas adicionais em designs de descompiladores agênticos que incorporem reparo guiado por compilador e verificação semântica.