LegacyTranslate: LLM-based Multi-Agent Method for Legacy Code Translation

Resumo Técnico: LegacyTranslate

1. O Problema

A modernização de grandes sistemas legados (escritos em linguagens como PL/SQL ou COBOL) para plataformas modernas (como Java) é um desafio crítico para empresas, especialmente no setor financeiro. O artigo aborda um caso de estudo específico: a migração de aproximadamente 2,5 milhões de linhas de código PL/SQL para Java em uma instituição financeira europeia.

Os principais desafios identificados são:

• Restrições Arquiteturais: O código migrado não pode apenas ser sintaticamente correto; deve compilar e integrar-se com bibliotecas compartilhadas, APIs internas e convenções arquitetônicas específicas da empresa.
• Falha de Abordagens Diretas: A aplicação direta de Modelos de Linguagem de Grande Escala (LLMs) para tradução de código frequentemente produz resultados que são sintaticamente válidos, mas falham ao compilar ou passar em testes dentro do ambiente de produção, pois os modelos não "conhecem" as APIs internas da organização.
• Falta de Benchmarks: A maioria das avaliações acadêmicas foca em pares de linguagens populares (ex: Python/C++) e em unidades de código pequenas (funções), ignorando a complexidade de migrações de módulos intuais dependentes de frameworks empresariais.

2. Metodologia: LegacyTranslate

O autores propõem o LegacyTranslate, um framework de multi-agentes baseado em LLMs, projetado para realizar traduções de código conscientes de APIs. O sistema decompõe a tarefa de tradução em três agentes coordenados, operando em um fluxo iterativo (ver Figura 1 do artigo):

1. Agente de Tradução Inicial (Initial Translation Agent):

   • Função: Realiza a primeira tradução do código legado (PL/SQL) para o alvo (Java).
   • Mecanismo: Utiliza recuperação aumentada por contexto (RAG). Um recuperador identifica pares semanticamente similares de (PL/SQL, Java) de um conjunto de referência e os insere no prompt do LLM como exemplos few-shot.
   • Saída: Gera um rascunho inicial de código Java.

2. Agente de Ancoragem de API (API Grounding Agent):

   • Função: Alinha o código gerado com as APIs existentes da empresa.
   • Mecanismo: Se o código inicial falha na compilação, este agente consulta uma Base de Conhecimento de APIs (extraída de bibliotecas Java compartilhadas da empresa). O LLM é instruído a selecionar uma lista curta de APIs relevantes que provavelmente faltam ou estão sendo usadas incorretamente no código gerado.
   • Objetivo: Garantir que o código utilize as interfaces e classes corretas definidas pela arquitetura interna.

3. Agente de Refinamento (Refinement Agent):

   • Função: Corrige iterativamente o código.
   • Mecanismo: Utiliza um loop de correção que combina:
     • O código atual.
     • A lista de APIs relevantes selecionadas pelo agente anterior.
     • Mensagens de erro do compilador e feedback dos testes unitários.
   • Processo: O LLM é re-promptado para gerar uma versão melhorada do código. Este ciclo repete-se até que o código compile com sucesso, passe nos testes ou atinja um critério de terminação.

3. Contribuições Principais

1. Framework Multi-Agente: Proposta de uma arquitetura que divide a complexa tarefa de migração de legado em etapas especializadas (tradução, alinhamento de API e refinamento), superando as limitações de prompts únicos.
2. Validação em Cenário Real: Demonstração da eficácia do método em um projeto industrial real (migração de PL/SQL para Java com 2,5M de linhas), preenchendo a lacuna entre pesquisas acadêmicas e necessidades industriais.
3. Análise de Componentes: Evidência empírica de que cada agente contribui significativamente para a qualidade final, destacando que a "ancoragem de API" é crítica para a compilação em ambientes restritos.
4. Avaliação de Capacidade do Modelo: Insights sobre como a escolha do LLM e do recuperador impacta diretamente o sucesso da tradução.

4. Resultados Experimentais

Os experimentos foram realizados em um conjunto de dados interno de 68 pares de código (PL/SQL para Java) com testes unitários reais.

• Desempenho Geral (LegacyTranslate):

  • Taxa de Compilação: 52,9% (o código compila no framework de produção).
  • Taxa de Aprovação de Testes: 33,8% (o código passa nos testes funcionais).
  • Validade Estrutural: 100%.

• Contribuição Individual dos Agentes:

  • Apenas Tradução Inicial (sem APIs/Refinamento): 45,6% de compilação e 30,9% de aprovação de testes.
  • Impacto do Agente de Ancoragem e Refinamento: A adição desses agentes aumentou a taxa de compilação em 8 pontos percentuais e a taxa de aprovação de testes em 3 pontos percentuais.
  • Comparação com Baselines:
    • LLM apenas (sem exemplos): 0% de compilação.
    • LLM + Exemplos Aleatórios: 1,5% de compilação (mostrando que exemplos aleatórios não ajudam a aprender padrões de API).
    • Conclusão: Sem a ancoragem explícita de APIs, quase nenhum código gerado compila no framework alvo.

• Impacto dos Modelos:

  • O modelo Qwen2.5-14B foi o mais eficaz, superando modelos menores (como CodeLlama-13B e CodeGemma-7B), que frequentemente falharam em gerar código compilável devido à falta de capacidade para lidar com prompts longos e contextuais.
  • O recuperador SFR-Mistral (com vetores de 4096 dimensões) superou outros modelos de recuperação, destacando a importância de embeddings de alta dimensão para tarefas de código.

5. Significado e Conclusão

O artigo demonstra que a tradução de código legado para ambientes empresariais modernos não pode ser resolvida apenas com a geração direta de texto por LLMs. A consciência de API e a iteração baseada em feedback de compilação são componentes indispensáveis.

• Insight Chave: A qualidade da recuperação de exemplos e a capacidade do modelo (tamanho) são decisivas para lidar com restrições de nível de framework.
• Aplicabilidade: Embora o estudo foque em PL/SQL para Java, a metodologia é generalizável para outros cenários de migração de linguagens em ambientes corporativos.
• Futuro: Os autores sugerem a necessidade de criar conjuntos de dados públicos realistas para migração de legado e a expansão do framework para outras linguagens e agentes especializados.

Em suma, o LegacyTranslate oferece um roteiro prático e validado para equipes que buscam automatizar a modernização de sistemas legados complexos, garantindo que o código gerado seja não apenas sintaticamente correto, mas também funcionalmente integrado ao ecossistema existente.