Resumo Técnico: Avaliando o Ajuste Fino e Métricas para Descompilação Neural de Binários Dart AOT

1. Declaração do Problema

A descompilação neural, a tarefa de traduzir código de máquina de volta para código-fonte de alto nível, tem focado tradicionalmente em alvos C e C++. No entanto, linguagens de programação modernas como Dart (usada no Flutter) apresentam desafios únicos devido aos seus pipelines de compilação Ahead-of-Time (AOT), que aplicam otimizações agressivas, como especialização de tipos, inlining de funções e eliminação de código morto. Essas otimizações removem informações semânticas de alto nível, tornando o assembly x86-64 resultante significativamente mais difícil de realizar engenharia reversa do que um C não otimizado.

Além disso, a metodologia de avaliação para descompilação neural permanece subdesenvolvida. Estudos anteriores frequentemente dependem de métricas superficiais como CodeBLEU ou taxas de sucesso de compilação, que podem não se correlacionar com a correção funcional. Existe uma lacuna crítica na compreensão de se o ajuste fino (fine-tuning) de Large Language Models (LLMs) em pares de assembly-source realmente melhora a correção funcional, como o treinamento cross-lingual afeta o desempenho e se as métricas de avaliação padrão predizem de forma confiável a utilidade do código descompilado.

2. Metodologia

2.1 Construção do Dataset

Os autores construíram um novo benchmark, o HumanEval-Dart, composto por 154 funções Dart adaptadas do benchmark HumanEval, cada uma equipada com harnesses de testes unitários abrangentes.

• Dados Naturais: 246 funções Dart extraídas do RosettaCode.
• Dados Sintéticos: 948 pares de funções Dart e 754 pares de funções Swift sintéticas gerados por múltiplos LLMs (GPT-4, Claude, DeepSeek, Qwen).
• Correspondência de Tokens: Para isolar o efeito da escolha da linguagem do volume de dados, os autores criaram dois conjuntos de dados de treinamento com contagens de tokens pareadas dentro de 2%:
  1. Dart+Synthetic: 1.194 pares assembly–Dart.
  2. Dart+Swift: 1.000 pares assembly–source (246 Dart + 754 Swift).
• Nota de Otimização: Os dados de treinamento de Dart usaram binários otimizados via AOT, enquanto os dados de Swift usaram binários não otimizados (-O0), introduzindo um fator de confusão conhecido em relação aos níveis de otimização.

2.2 Design Experimental

O estudo empregou um design fatorial $3 \times 2$, ajustando finamente seis variantes de modelos em três arquiteturas base:

1. Qwen3-4B (4B parâmetros)
2. DeepSeek-R1-0528-Qwen3-8B (8B parâmetros, destilado de raciocínio)
3. Qwen3-8B (8B parâmetros, pré-treinamento padrão)

Cada modelo base foi submetido a fine-tuning usando LoRA com DoRA (Weight-Decomposed Low-Rank Adaptation) em ambos os datasets Dart+Synthetic e Dart+Swift.

2.3 Métricas de Avaliação

O estudo avaliou os modelos usando três métricas complementares:

1. CodeBLEU: Similaridade semântica (correspondência de n-grama, AST e fluxo de dados). Uma implementação customizada para Dart foi desenvolvida.
2. compile@k: Validade sintática (proporção de saídas geradas que compilam).
3. pass@k: Correção funcional (probabilidade de que pelo menos uma de $k$ saídas passe em todos os testes unitários), calculada usando o estimador não enviesado.

2.4 Análise Estatística

Os autores aplicaram testes estatísticos pareados rigorosos para comparar as variantes de fine-tuning contra seus respectivos modelos base:

• Teste exato de McNemar para resultados binários de pass@1 (resolvido vs. não resolvido).
• Intervalos de confiança de Bootstrap para diferenças de média.
• Testes de postos sinalizados de Wilcoxon e testes t para métricas contínuas.

3. Resultados Principais

3.1 Eficácia do Fine-Tuning (RQ1)

Ao contrário da hipótese de que o fine-tuning melhora o desempenho, nenhuma configuração de fine-tuning produziu uma melhoria estatisticamente significativa no pass@k.

• Qwen3-8B (Base mais forte): O fine-tuning causou uma regressão altamente significativa. A variante Dart+Synthetic (v5) caiu de 6,36% para 0,71% de pass@1 ($p < 0,001$), perdendo 22 tarefas e ganhando nenhuma. A variante Dart+Swift (v6) mostrou uma queda catastrófica semelhante.
• Qwen3-4B (Base mais fraca): A variante Dart+Synthetic (v1) mostrou uma tendência direcionada positivamente, mas não significativa (+0,71 pp, $p=0,21$).
• DeepSeek-R1-8B: Não mostrou mudança significativa, apresentando uma leve regressão não significativa.

3.2 Interferência Cross-Lingual (RQ2 & RQ3)

O estudo investigou se o treinamento em código Swift interfere na descompilação de Dart.

• Interferência Dependente de Escala: Em 4B, adicionar dados de treinamento de Swift causou uma degradação significativa no pass@k de Dart ($\Delta = -2,66$ pp, $p < 0,001$).
• Hipótese de Escalonamento: Em 8B, essa interferência tornou-se estatisticamente indistinguível de zero. No entanto, os autores observam que isso é complicado pelo fato de que ambas as variantes de 8B sofreram regressões massivas devido ao próprio fine-tuning, tornando a "equivalência" entre os dois modelos degradados menos significativa.

3.3 Divergência de Métricas (RQ4)

Um achado crítico é a divergência entre métricas de superfície e correção funcional.

• Estudo de Caso (v3): A variante DeepSeek-R1-8B treinada em Dart+Synthetic mostrou melhorias significativas em CodeBLEU (+0,051, $p=0,001$) e compile@1 (+16 pp). No entanto, seu pass@1 regrediu (de 3,90% para 3,12%), embora não significativamente.
• Estudo de Caso (v5): A variante Qwen3-8B mostrou um colapso massivo em pass@1 (de 6,36% para 0,71%) enquanto o CodeBLEU e o compile@k permaneceram relativamente estáveis ou mostraram apenas declínios modestos.
• Conclusão: Modelos podem aprender a produzir código sintaticamente válido e superficialmente similar (alto CodeBLEU) enquanto falham em capturar a lógica subjacente necessária para a execução funcional.

3.4 Análise de Erro e Complexidade

• Comprimento do Assembly: O preditor mais forte da dificuldade da tarefa foi o comprimento da sequência de assembly ($p=0,001$). Existe um "abismo de capacidade" em aproximadamente 200 instruções; a resolubilidade cai de 48% para tarefas <50 linhas para 6% para tarefas >200 linhas.
• Métricas Tradicionais: Métricas tradicion de complexidade de código (complexidade ciclomática, profundidade de aninhamento) mostraram poder preditivo negligenciável.
• Trade-off: O fine-tuning em 4B parâmetros pareceu trocar "alcance" por "confiabilidade". O modelo com fine-tuning (v1) tornou-se mais confiável em sequências de assembly curtas e simples, mas perdeu a capacidade de resolver tarefas complexas que o modelo base ocasionalmente resolvia via raciocínio geral estocástico.

4. Contribuições

1. Benchmark HumanEval-Dart: Um novo benchmark de 154 funções Dart com testes unitários para avaliar a correção funcional na descompilação.
2. Implementação de Dart CodeBLEU: Uma implementação específica para a linguagem de CodeBLEU com análise de AST e fluxo de dados para Dart.
3. Evidência Empírica sobre Fine-Tuning: Um estudo sistemático demonstrando que o ajuste fino de tarefas em modelos de pequeno a médio porte (4B–8B) não garante melhoria funcional e pode causar regressões significativas, particularmente em modelos base mais fortes.
4. Demonstração de Divergência de Métricas: Evidência de que CodeBLEU e compile@k podem melhorar enquanto o pass@k regride, desafiando a dependência de métricas de superfície em tarefas de geração de código.
5. Análise Cross-Lingual: Evidência controlada de que a interferência cross-lingual é significativa em escalas menores, mas atenua com a capacidade do modelo, embora confundida por desalinhamentos de otimização.

5. Significância e Alegações

O artigo posiciona-se como uma análise sistemática de metodologia de avaliação e eficácia de fine-tuning, em vez de um sistema de descompilação pronto para implantação. Os autores enfatizam que os números absolutos de pass@k permanecem baixos em todos os modelos, incluindo sistemas comerciais (Qwen3-Max: 18,38% pass@1).

A principal significância reside nos achados de cautela:

• Rejeição de Métricas de Superfície: O estudo argumenta que CodeBLEU e compile@k são insuficientes como proxies para a correção funcional na descompilação. Um modelo pode parecer melhorar em métricas de superfície enquanto se torna funcionalmente inútil.
• Fine-Tuning Dependente de Capacidade: Os autores propõem uma hipótese (não uma lei confirmada) de que o fine-tuning pode sobrescrever capacidades de raciocínio geral valiosas em modelos mais fortes, levando a regressões catastróficas, enquanto tem efeitos neutros ou levemente positivos em modelos mais fracos.
• Protocolo de Avaliação: O artigo defende o uso de pass@k com testes unitários como a métrica de avaliação primária para descompilação neural e tarefas de geração de código onde a correção funcional é primordial.

Os autores declaram explicitamente que seus achados sobre a "tendência dependente de capacidade" baseiam-se em três arquiteturas e uma configuração de hiperparâmetros, enquadrando-os como observações que geram hipóteses para motivar futuros varreduras de escala, em vez de leis de escalonamento definitivas. Eles também reconhecem a limitação dos desalinhamentos de otimização em seus experimentos cross-linguais, observando que trabalhos futuros com datasets de otimização correspondente são necessários para isolar a interferência linguística dos deslocamentos distributivos.