Beyond BLEU: A Semantic Evaluation Method for Code Translation

Resumo Técnico: Além do BLEU: Um Método de Avaliação Semântica para Tradução de Código

Declaração do Problema
A tradução de código, particularmente a descompilação (tradução de binários de baixo nível para representações de nível superior), é uma capacidade central dos Modelos de Linguagem de Grande Escala (LLMs). No entanto, avaliar a correção dessas traduções permanece um desafio significativo. Os padrões de avaliação atuais dependem fortemente de métricas de similaridade sintática como BLEU, CodeBLEU e RUBY. Essas métricas medem a semelhança superficial de strings ou a estrutura da Árvore de Sintaxe Abstrata (AST), mas falham em capturar a semântica do programa.

O artigo identifica duas falhas críticas no uso de similaridade de strings para tarefas que preservam semântica:

1. Falsos Negativos: Programas funcionalmente idênticos podem receber pontuações de similaridade baixas devido a variações sintáticas, escolhas de identificadores ou otimizações do compilador (por exemplo, reordenação de instruções ou dobramento de constantes).
2. Falsos Positivos: Programas com alta similaridade textual podem exibir comportamentos divergentes. Por exemplo, um descompilador pode assemelhar-se sintaticamente à fonte, mas interpretar incorretamente uma instrução (por exemplo, interpretar mal uma instrução lea como um carregamento de memória), levando a erros semânticos apesar de uma pontuação BLEU alta.
   Além disso, as abordagens baseadas em testes existentes exigem a criação manual de casos de teste, o que é trabalhoso e raramente exaustivo.

Metodologia
Para abordar essas limitações, os autores propõem uma metodologia de avaliação escalável inspirada em técnicas de teste de compiladores, utilizando especificamente o Csmith (Yang et al., 2011b). A abordagem desloca o foco da comparação de strings para a validação de equivalência semântica via execução.

O processo envolve as seguintes etapas:

1. Geração de Programas: O Csmith é usado para gerar automaticamente programas C aleatórios e compiláveis que realizam computações arbitrárias e chamadas de função. Isso elimina o esforço manual e permite a criação de conjuntos de avaliação arbitrariamente grandes.
2. Execução de Referência: Os programas C gerados são compilados para binários nos níveis de otimização -O0 e -O3. Durante a execução, esses binários calculam e registram uma soma de verificação CRC sobre valores intermediários.
3. Tradução e Reexecução: Os binários resultantes são processados pelo descompilador em avaliação (por exemplo, um LLM ou ferramenta heurística) para produzir código fonte. Esse código descompilado é então recompilado e executado.
4. Validação Semântica: A soma de verificação do programa reexecutado é comparada com a soma de verificação de referência. Uma incompatibilidade indica um erro semântico na tradução.
5. Definição de Métrica: Os autores introduzem uma Pontuação de Correção Semântica, definida como a proporção de programas traduzidos que produzem somas de verificação correspondentes durante a execução:
   $$\text{Pontuação Semântica} = \frac{\# \text{programas com soma de verificação correta}}{\# \text{programas testados}}$$

Contribuições Principais
O artigo apresenta três contribuições primárias:

1. Uma Nova Metodologia de Avaliação: Um framework baseado em geração automatizada de programas e validação de soma de verificação semântica, aplicável a qualquer linguagem, mas implementado aqui para C.
2. Uma Métrica Direta: A Pontuação de Correção Semântica, que fornece uma medida direta da precisão funcional em vez de semelhança sintática.
3. Evidência Empírica: Uma demonstração de que métricas sintáticas (BLEU) são preditores pobres de precisão funcional em tarefas de tradução de código.

Resultados Experimentais
A metodologia foi aplicada para avaliar o LLMCompiler da Meta (um modelo de 13B parâmetros ajustado para elevação de binários de assembly x86 para bytecode LLVM) contra descompiladores heurísticos de última geração: RetDec e McToll.

• Comparação de Desempenho: O LLMCompiler superou significativamente as abordagens heurísticas. Ele alcançou pontuações de correção semântica de 0,33 (em binários -O0) e 0,63 (em binários -O3). Em contraste, nem o McToll nem o RetDec produziram binários que executaram com sucesso; o McToll falhou ao elevar qualquer binário, e o RetDec produziu binários que falharam na compilação ou travaram em tempo de execução.
• Análise de Correlação: O estudo calculou pontuações BLEU de ida e volta para as saídas do LLMCompiler e comparou-as com os resultados de execução. Os resultados mostraram correlação negligenciável entre as pontuações BLEU e a correção semântica.
  • Para binários -O0, a correlação ponto-biserial ($r$) para BLEU-1 foi de -0,13.
  • Para binários -O3, o preditor mais forte, CodeBLEU, mostrou uma correlação de apenas 0,35.
  • As pontuações médias de similaridade para casos de teste aprovados e reprovados foram quase idênticas, indicando que as distribuições de similaridade sintática se sobrepõem significativamente independentemente da correção funcional.

Significado e Alegações
O artigo alega que métricas sintáticas como BLEU são fundamentalmente inadequadas para avaliar a tradução de código que preserva semântica. As descobertas demonstram que alta similaridade de strings não garante precisão funcional e, inversamente, a precisão funcional não exige alta similaridade de strings.

Os autores posicionam seu trabalho como uma mudança necessária em direção à avaliação baseada em execução. Embora reconheçam limitações — especificamente que o framework está atualmente restrito a programas gerados em C e que o código gerado pode estar fora da distribuição de treinamento dos modelos avaliados — eles afirmam que o framework fornece uma medida valiosa e rigorosa de desempenho. Uma alta pontuação semântica indica forte aplicabilidade e equivalência semântica, sugerindo que modelos robustos devem generalizar além de seus dados de treinamento específicos.