JMigBench: A Benchmark for Evaluating LLMs on Source Code Migration (Java 8 to Java 11)

Resumo Técnico: JMigBench – Um Benchmark para Avaliação de LLMs em Migração de Código-Fonte (Java 8 para Java 11)

1. O Problema

A evolução contínua de linguagens de programação exige que desenvolvedores migrem bases de código legadas para versões mais recentes para garantir segurança, novas funcionalidades e manutenibilidade. No ecossistema Java, a transição da versão 8 para a 11 é um marco crítico de longo suporte (LTS). Embora a automação seja preferível aos métodos manuais (que são considerados tarefas monótonas e propensas a erros), existem lacunas significativas na pesquisa atual:

• Falta de Benchmarks Específicos: Benchmarks existentes (como HumanEval ou SWE-bench) focam em geração de código ou correção de bugs, não em migração de versão.
• Limitações de Escopo: Benchmarks de migração atuais focam em nível de repositório (compilação e testes), o que dificulta a avaliação granular e detalhada da correção semântica e sintática a nível de função.

2. Metodologia

Os autores propuseram o JMigBench, um benchmark focado no nível de função para avaliar a capacidade de Grandes Modelos de Linguagem (LLMs) em realizar migrações precisas.

• Construção do Dataset: Após uma tentativa inicial de coleta via web scraping (que resultou em dados ruidosos e desequilibrados), os autores criaram um dataset revisado e curado manualmente com auxílio do ChatGPT. O dataset final contém 45 pares de funções (Java 8 vs. Java 11) cobrindo oito categorias de APIs depreciadas ou removidas.
• Modelo Avaliado: O modelo Mistral Codestral, um LLM especializado em código, foi utilizado para realizar as migrações.
• Estratégia de Prompting: Utilizou-se um single-shot prompt com uma instrução de sistema definindo o modelo como um "engenheiro Java sênior", encapsulando o código original em tags XML (<Java>) para evitar confusão estrutural.
• Métricas de Avaliação:
  • RQ1 (Similaridade Lexical e Semântica): Utilização do CodeBLEU para medir o N-gram match (lexical), Syntax match (estrutural) e Dataflow match (fluxo de dados) em comparação com o código "ground truth" (escrito por humanos).
  • RQ2 (Correção da Migração): Uma métrica baseada em palavras-chave para verificar se os termos depreciados do Java 8 foram efetivamente removidos no código gerado.

3. Principais Contribuições

1. Criação do JMigBench: Um benchmark público e refinado de migração de funções Java 8 para Java 11, focado em casos de uso do mundo real.
2. Análise Comparativa: Uma avaliação quantitativa de como o código gerado por LLMs se aproxima do código escrito por especialistas humanos.
3. Insights Empíricos: Identificação das capacidades e limitações críticas dos modelos de linguagem atuais em tarefas de refatoração de linguagem.

4. Resultados

Os resultados indicam que o modelo Codestral possui capacidades parciais, mas não substitui o desenvolvedor humano:

• Similaridade (RQ1): O modelo conseguiu aproximar o código do estado ideal. O CodeBLEU geral subiu de 0.62 (Java 8 original) para 0.63 (código gerado). Houve melhoria na similaridade sintática e de fluxo de dados. No entanto, apenas 11,11% das funções foram migradas de forma idêntica ao código humano (casos triviais de substituição 1:1).
• Correção (RQ2): A taxa de remoção de palavras-chave depreciadas foi de apenas 31,82%.
• Desempenho por Categoria: O modelo teve sucesso em migrações simples (como APIs de Threads e SecurityManager), mas falhou completamente em migrações complexas que exigiam raciocínio avançado, como as APIs de CORBA e JAX-WS, onde nenhuma palavra-chave depreciada foi removida.

5. Significância

O estudo demonstra que, embora os LLMs possam reduzir o esforço humano ao automatizar tarefas repetitivas e triviais, eles ainda carecem de raciocínio profundo para transformações complexas e multi-etapas. O JMigBench estabelece uma base fundamental para o desenvolvimento de futuras ferramentas de migração e para o treinamento de modelos de linguagem mais robustos e consistentes em tarefas de evolução de software.