Bootstrapping Code Translation with Weighted Multilanguage Exploration

Título: Bootstrapping Code Translation with Weighted Multilanguage Exploration

Autores: Yuhan Wu, Huan Zhang, Wei Cheng, Chen Shen, Jingyue Yang, Wei Hu (Nanjing University, China).

---

1. Problema e Motivação

A tradução de código entre múltiplas linguagens de programação é essencial para a modernização de sistemas legados e interoperabilidade, mas enfrenta dois obstáculos fundamentais:

1. Escassez de Dados Paralelos: A maioria dos métodos supervisionados depende de grandes corpora de código paralelo de alta qualidade (código fonte e sua tradução funcionalmente equivalente), que são raros. Além disso, mesmo quando disponíveis, esses dados raramente vêm acompanhados de casos de teste executáveis alinhados.
2. Desequilíbrio de Otimização (Optimization Imbalance): Ao treinar modelos para traduzir entre várias linguagens simultaneamente (ex: Python $\to$ Java, Python $\to$ C++, Java $\to$ C++), as direções de tradução possuem diferentes níveis de dificuldade. Modelos tendem a se otimizar excessivamente nas direções mais fáceis (onde as recompensas são mais acessíveis), negligenciando as direções mais difíceis, o que leva a um desempenho multilíngue subótimo.

O objetivo do trabalho é desenvolver um método que não dependa de dados paralelos pré-existentes e que equilibre o aprendizado entre todas as direções de tradução.

---

2. Metodologia: BootTrans

Os autores propõem o BootTrans, um método de bootstrapping (inicialização progressiva) que utiliza Reinforcement Learning from Verifiable Rewards (RLVR). A abordagem baseia-se na invariância funcional e na portabilidade de suites de teste.

A. Arquitetura de Dupla Piscina (Dual-Pool Architecture)

Para superar a escassez de dados, o método utiliza uma linguagem pivô rica em recursos (ex: Python) e expande o espaço de treinamento dinamicamente:

• Piscina de Sementes (Seed Pool): Contém o conjunto de dados inicial na linguagem pivô (código + testes). Os testes são traduzidos para as linguagens alvo usando métodos baseados em regras, criando um oráculo de verificação universal.
• Piscina de Exploração (Exploration Pool): Armazena dinamicamente traduções bem-sucedidas geradas pelo próprio modelo durante o processo de rollout (geração de candidatos).
  • O modelo gera traduções para linguagens alvo.
  • Se uma tradução passa em todos os testes, ela é adicionada à Exploration Pool.
  • Em iterações subsequentes, essas traduções validadas podem ser usadas como novas entradas de origem (ex: traduzir de Java para C++ usando código Java que foi gerado e validado anteriormente).
  • Isso permite que o modelo aprenda direções de tradução reversas e cruzadas que não existiam no conjunto de dados original.

B. Mecanismo de Ponderação Consciente da Linguagem (Language-aware Weighting)

Para resolver o desequilíbrio de otimização, o método introduz um mecanismo de ponderação dinâmica:

• Para cada amostra de código fonte, o modelo gera candidatos para todas as linguagens alvo.
• Calcula-se a recompensa acumulada ($R_{i,k}$) para cada direção de tradução $k$.
• Calcula-se a recompensa dos "irmãos" ($R_{i,\neg k}$), que é a soma das recompensas de todas as outras direções de tradução para o mesmo código fonte.
• O peso de otimização ($w_{i,k}$) é definido como:
  $$w_{i,k} = \frac{R_{i,\neg k}}{R_{i,k} + R_{i,\neg k}}$$
• Lógica: Se o modelo performa bem nas linguagens "irmãs" (alta $R_{i,\neg k}$) mas falha na direção alvo $k$ (baixa $R_{i,k}$), o peso $w_{i,k}$ aumenta. Isso força o modelo a focar nos desafios sintáticos ou semânticos da direção mais difícil, equilibrando o aprendizado.

C. Algoritmo de Otimização

O modelo é treinado utilizando o algoritmo GRPO (Group Relative Policy Optimization), maximizando a função de perda ponderada pelos pesos calculados acima, garantindo que o modelo aprenda a funcionalidade correta (passar nos testes) em vez de apenas similaridade superficial.

---

3. Contribuições Principais

1. Bootstrapping de Corpus Multilíngue: Demonstra como utilizar uma única linguagem pivô rica em recursos para criar um corpus de treinamento verificável e expansível para todas as direções de tradução, eliminando a dependência de dados paralelos.
2. Mecanismo de Ponderação Dinâmica: Propõe uma estratégia de reponderação baseada no desempenho relativo entre linguagens "irmãs" para mitigar o viés de otimização em tarefas de tradução mais difíceis.
3. Desempenho Superior: Validou a eficácia do método em traduções entre C++, Java e Python, superando modelos base (LLMs) e métodos de fine-tuning especializados.

---

4. Resultados Experimentais

Os experimentos foram conduzidos nos benchmarks HumanEval-X e TransCoder-Test, focando nas linguagens Python (P), Java (J) e C++ (C).

• Comparação com Modelos Base: O BootTrans superou consistentemente seus modelos base (ex: Qwen3-1.7B, Llama-3.1-8B) em todas as direções de tradução.
  • No HumanEval-X, o BootTrans (baseado em Qwen3-1.7B) alcançou uma melhoria média de 10,37% em relação ao modelo base.
  • Em alguns casos, o BootTrans (com parâmetros menores) superou modelos base de escala muito maior (ex: Qwen3-32B).
• Comparação com SOTA: O método superou outras técnicas de fine-tuning e RL (como CoTran, MultiPL-T, PPOCoder) em benchmarks de tradução.
• Estudos de Ablação:
  • Remover a Exploração (usar apenas a piscina de sementes) causou uma queda média de 4% no desempenho, confirmando que a expansão para direções reversas/cruzadas é crucial.
  • Remover a Ponderação causou uma queda de 2,5%, indicando que o equilíbrio dinâmico é vital para tarefas difíceis (como P $\to$ C).
• Generalização: O método mostrou-se eficaz mesmo com diferentes linguagens pivô (Java, C++) e generalizou bem para linguagens não vistas durante o treinamento (ex: Go, Dlang, Racket) e para tradução de nível de classe (ClassEval-T).

---

5. Significado e Impacto

O trabalho BootTrans representa um avanço significativo na área de tradução de código por IA ao:

• Resolver o Gargalo de Dados: Provar que é possível treinar tradutores de código robustos sem depender de grandes conjuntos de dados paralelos, utilizando apenas testes unitários portáveis.
• Otimização Equilibrada: Introduzir uma solução elegante para o problema de "desequilíbrio de aprendizado" em tarefas multilíngues, garantindo que o modelo não negligencie linguagens ou direções mais complexas.
• Viabilidade Prática: Oferecer um método escalável que pode ser aplicado a qualquer conjunto de linguagens onde existam testes unitários, facilitando a modernização de sistemas legados em diversos ecossistemas tecnológicos.

Em resumo, o BootTrans transforma a tradução de código de um problema dependente de dados massivos para um processo de aprendizado ativo e guiado por execução, onde o modelo "aprende a aprender" expandindo seu próprio conjunto de dados validados.