Bridging the Linguistic Divide: A Survey on Leveraging Large Language Models for Machine Translation

1. Declaração do Problema

A Tradução Automática (TA) evoluiu de sistemas baseados em regras para modelos neurais codificador-decodificador. No entanto, desafios significativos permanecem, particularmente para línguas de baixos recursos, adaptação de domínio (por exemplo, médico, jurídico, financeiro) e consistência no nível do discurso (tradução em nível de documento). Os sistemas tradicionais de TA dependem fortemente de grandes corpora paralelos, que são escassos para muitas línguas. Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam novas capacidades, como aprendizado em contexto e seguimento de instruções, sua aplicação à TA introduz novas complexidades:

• Escassez de Dados: Como traduzir línguas com poucos ou nenhum dado paralelo?
• Confusão Metodológica: Quando usar prompting versus ajuste fino?
• Alucinação e Viés: Os LLMs podem gerar traduções plausíveis, mas incorretas, ou exibir vieses.
• Avaliação: Métricas tradicionais (BLEU) e até mesmo métricas aprendidas (COMET) lutam para capturar a qualidade do discurso, o estilo e a preferência humana, enquanto avaliadores baseados em LLMs introduzem novos vieses.
• Utilização de Contexto: Os LLMs frequentemente falham em utilizar efetivamente o contexto de documentos longos, apesar de suas grandes janelas de contexto.

2. Metodologia da Revisão

Os autores conduziram uma revisão abrangente seguindo um processo estruturado e leve no estilo PRISMA:

• Fontes de Dados: A literatura foi recuperada do Google Scholar, ACL Anthology, arXiv e Google Search.
• Escopo: Artigos publicados a partir de 2022 (o surgimento dos LLMs) foram priorizados.
• Filtragem: Artigos foram excluídos se focassem em línguas ou domínios estreitos sem generalizabilidade. Domínios especializados, como língua de sinais e tradução multimodal, foram excluídos para manter o foco na TA de texto para texto.
• Categorização: A literatura foi organizada em quatro pilares principais:
  1. Geração de Dados Sintéticos.
  2. Metodologias de Tradução (Prompting vs. Ajuste Fino).
  3. Desempenho entre Línguas (LLMs vs. Codificador-Decodificador).
  4. Avaliação e Além do Nível de Frase (Documento/Literário).

3. Contribuições Principais e Achados Técnicos

A. Geração de Dados Sintéticos

• Papel: Crucial para adaptação de domínio e línguas de baixos recursos.
• Técnicas: Tradução reversa, tradução direta e aumento consciente de sentido (por exemplo, LexMatcher para palavras polissêmicas).
• Achados: Os dados sintéticos melhoram o desempenho principalmente ao aumentar a cobertura do sinal paralelo em vez de através de raciocínio explícito. No entanto, sofrem de alucinações e erros de adequação, especialmente em direções de baixos recursos.
• Sinais de Preferência: Trabalhos recentes mostram que gerar pares de preferência sintéticos (usando LLMs para classificar candidatos) via DPO ou RLHF pode melhorar a robustez sem anotação humana, desde que os dados sejam cuidadosamente filtrados.

B. Metodologias de Tradução

A revisão categoriza as abordagens em dois paradigmas principais:

1. Técnicas Baseadas em Prompting:

   • Zero-Shot: Eficaz para línguas de altos recursos, mas frequentemente fica atrás de sistemas de TA especializados (por exemplo, Google Translate) em BLEU, embora a preferência humana possa favorecer os LLMs.
   • Aprendizado em Contexto (ICL): O desempenho geralmente melhora com mais exemplos (até 5-shot), após o que os ganhos diminuem. A seleção de exemplos (similaridade semântica versus aleatória) e a ordenação são críticas; exemplos de alta qualidade e coerentes superam os aleatórios.
   • Prompting Avançado:
     • Cadeia de Pensamento (CoT): Geralmente degrada a qualidade da TA ao impor um raciocínio excessivamente literal.
     • Cadeia de Dicionário: Eficaz para línguas de baixos recursos ao encadear mapeamentos lexicais.
     • Fluxos de Trabalho Agênticos: Debates multiagente e auto-refinamento (por exemplo, TEaR, MAD) melhoram a precisão ao simular processos de correção humana, embora sejam computacionalmente caros.

2. Abordagens de Ajuste Fino:

   • Ajuste Fino Supervisionado (SFT): Fornece resultados estáveis e de alto desempenho, mas arrisca degradar capacidades emergentes dos LLMs (por exemplo, controle de formalidade, seguimento geral de instruções).
   • Ajuste Fino Eficiente em Parâmetros (PEFT): Técnicas como LoRA e QLoRA alcançam desempenho comparável ao ajuste fino completo com significativamente menos parâmetros (frequentemente <1% atualizados).
   • Otimização Baseada em Preferência: Métodos como CPO (Otimização de Preferência Contrastiva) e RLHF alinham os modelos com preferências humanas, frequentemente superando o SFT padrão, especialmente em configurações de baixos recursos onde dados de preferência sintéticos são utilizados.

C. Desempenho entre Línguas

• Línguas de Altos Recursos: LLMs (especialmente GPT-4) são competitivos ou superiores aos sistemas tradicionais de TA em configurações zero-shot.
• Línguas de Baixos Recursos: Modelos tradicionais codificador-decodificador (por exemplo, M2M100 ajustado finamente) consistentemente superam os LLMs. Os LLMs lutam com línguas estruturalmente distantes e configurações extremamente de baixos recursos onde dados paralelos estão ausentes.
• Maldição da Multilinguagem: A escalabilidade para muitas línguas introduz conflitos, particularmente nas direções XX→Inglês. Soluções como Treinamento Consciente de Direção (DAT) e fusão de modelos por grupo estão surgindo para mitigar isso.
• Domínios Especializados: Embora os LLMs lidem bem com terminologia no nível da frase via prompting, a consistência em nível de documento em domínios de alto risco (finanças, medicina) permanece um desafio, frequentemente exigindo adaptação em nível de parâmetro.

D. Avaliação e Além do Nível de Frase

• LLM como Juiz: LLMs mostram forte correlação com julgamentos humanos no nível de sistema, mas são instáveis e enviesados no nível de segmento (sensíveis à formulação do prompt, verbosidade e ordem de entrada).
• Tradução em Nível de Documento: Pontuações altas não garantem o uso efetivo de contexto. Os LLMs são frequentemente insensíveis a informações entre frases, a menos que o contexto seja explicitamente estruturado (por exemplo, via recuperação, rastreamento de estado ou refinamento multiestágio).
• Tradução Literária: Requer modelagem de estilo e discurso. Fluxos de trabalho multiagente e prompting de longo contexto mostram promessa, mas métricas automáticas falham em capturar nuances literárias, necessitando de avaliação humana.

4. Resultados Experimentais (Seção 4.4)

Os autores conduziram um experimento controlado usando o modelo Qwen2.5-1.5B-Instruct no WMT14 (En↔De):

• Prompting vs. Treinamento: O ajuste fino (tanto SFT Completo quanto LoRA) superou significativamente o prompting de poucos exemplos, especialmente para a direção mais difícil En→De.
• Eficiência do LoRA: O LoRA alcançou o melhor equilíbrio, superando o ajuste fino completo em De→En, mas tendo desempenho inferior em En→De.
• Seleção de Exemplos: Nenhuma vantagem consistente foi encontrada para a seleção baseada em similaridade sobre a seleção aleatória nesta configuração, embora o prompting de 3-shot tenha oferecido ganhos marginais sobre o de 1-shot.
• Assimetria de Direção: De→En consistentemente superou En→De em todos os métodos.

5. Significado e Recomendações

Esta revisão posiciona a TA baseada em LLMs não como uma substituição para sistemas tradicionais, mas como uma evolução que desloca o foco da escala pura para qualidade de dados, alinhamento de preferências e utilização de contexto.

Recomendações Principais para Pesquisa Futura:

1. Qualidade do Sinal > Complexidade de Prompting: Para línguas de baixos recursos, dados paralelos/sintéticos de alta qualidade e sinais de preferência produzem melhores resultados do que prompts de raciocínio complexos.
2. Treinamento Baseado em Preferência: Trate a otimização de preferência (CPO, RLHF) como um componente central, não apenas uma etapa post-hoc, para alinhar com julgamentos humanos.
3. Preserve Capacidades Emergentes: Estratégias de ajuste fino devem ser projetadas para evitar o "esquecimento catastrófico" do seguimento geral de instruções e controle estilístico.
4. Avaliação Diversificada: Vá além de métricas únicas. Use relatórios de múltiplas métricas e análise de erros estruturada baseada em LLM, reconhecendo que a avaliação de segmento por LLM é frágil.
5. Modelagem de Contexto Explícita: A TA em nível de documento requer mecanismos explícitos para seleção de contexto e rastreamento de estado, não apenas janelas de contexto mais longas.

Conclusão:
O campo está se movendo em direção a sistemas híbridos que combinam a flexibilidade dos LLMs com supervisão explícita e controle estruturado. O sucesso no futuro depende menos do tamanho do modelo e mais de como efetivamente sinais linguísticos, objetivos de otimização e preferências humanas são integrados.