💬 NLP

Enhancing Document-Level Machine Translation via Filtered Synthetic Corpora and Two-Stage LLM Adaptation

Este artigo propõe uma estratégia de ajuste fino em duas etapas para melhorar a tradução automática de documentos com LLMs, combinando a criação de dados paralelos sintéticos filtrados por métricas de qualidade com o treinamento inicial em recursos de nível de frase para mitigar alucinações e superar a escassez de dados.

Autores originais: Ireh Kim, Tesia Sker, Chanwoo Kim

Publicado 2026-03-24

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ireh Kim, Tesia Sker, Chanwoo Kim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um tradutor muito inteligente, mas que às vezes "alucina" (inventa coisas que não existem no texto original) ou esquece detalhes importantes. Além disso, ele é ótimo traduzindo frases soltas, mas quando precisa traduzir um texto inteiro (como um artigo de jornal), ele perde o fio da meada e não consegue manter a coerência entre os parágrafos.

É exatamente esse o problema que os autores deste artigo tentaram resolver. Eles criaram um método para ensinar esse "tradutor inteligente" (uma Inteligência Artificial chamada LLM) a traduzir documentos inteiros de forma muito melhor.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Problema: Falta de "Alunos" e "Professores"

Para ensinar um tradutor a trabalhar com textos longos, você precisa de muitos exemplos de textos longos traduzidos. O problema é que esses exemplos são raros e caros de conseguir.

A Solução deles: Eles decidiram criar seus próprios exemplos. Pegaram um monte de resumos de notícias (que já têm uma estrutura de texto completo) e pediram para uma IA superinteligente (o "Professor") traduzi-los do inglês para o alemão.
O Risco: Como a IA que criou a tradução é muito criativa, ela pode inventar detalhes que não estavam no original ou esquecer partes importantes. Seria como pedir para um aluno muito imaginativo fazer a lição de casa: ele pode escrever algo bonito, mas que não responde à pergunta do professor.

2. O Filtro: O "Checador de Qualidade"

Para garantir que as traduções criadas pela IA não estejam cheias de erros, eles criaram um sistema de triagem rigoroso, como um filtro de peneira ou um controle de qualidade em uma fábrica.

Eles usaram três ferramentas diferentes para checar a tradução:
1. sacreBLEU: Verifica se as palavras usadas são parecidas com uma tradução de referência (como comparar se o aluno usou as palavras-chave do livro).
2. COMET: Uma ferramenta que tenta "pensar" como um humano para julgar se a tradução faz sentido.
3. LaBSE-CosSim: Uma ferramenta que verifica se o significado é o mesmo, mesmo que as palavras sejam diferentes (como verificar se a ideia central foi mantida).
O Resultado: Se a tradução criada pela IA não passasse nesses três testes, ela era descartada. Só as traduções "perfeitas" (ou quase perfeitas) entravam no conjunto de dados para treinar o modelo final.

3. A Estratégia de Ensino: "Do Básico ao Avançado"

A parte mais genial do trabalho é como eles ensinaram o tradutor. Em vez de jogar o aluno direto no texto difícil, eles usaram uma estratégia de dois estágios, como se fosse a escola:

Estágio 1 (A Escola Primária): Primeiro, eles treinaram o tradutor com milhares de frases soltas (traduções simples). Isso ensinou o modelo a entender a gramática básica e a estrutura das palavras, sem se preocupar com o contexto longo. É como aprender a soletrar e formar frases curtas antes de tentar escrever um romance.
Estágio 2 (A Universidade): Só depois de dominar as frases soltas, eles treinaram o modelo com os documentos inteiros que foram filtrados no passo anterior. Agora que o modelo já sabia "falar" bem, ele pôde aprender a manter a coerência, lembrar de quem é "ele" ou "ela" em parágrafos anteriores e manter o tom do texto.

Por que isso é importante?

Antes desse método, os tradutores baseados em Inteligência Artificial (LLMs) eram ótimos conversando, mas ruins em traduzir documentos longos porque faltavam dados de treino e eles cometiam muitos erros de "alucinação".

Com essa abordagem, os autores conseguiram:

Criar dados onde não existiam (transformando resumos em traduções).
Limpar os dados removendo as traduções ruins (o filtro).
Ensinar de forma gradual (primeiro frases, depois textos longos).

Em resumo: Eles pegaram um tradutor que era bom, mas desastrado com textos longos, deram a ele um "livro de exercícios" criado por eles mesmos (mas muito bem filtrado) e o ensinaram primeiro a andar (frases) antes de correr (documentos). O resultado foi um tradutor muito mais confiável, que não inventa coisas e mantém o sentido de todo o texto.

1. O Problema

O artigo aborda as limitações atuais dos Grandes Modelos de Linguagem (LLMs) na Tradução Automática (TA) em nível de documento. Embora os LLMs superem os sistemas tradicionais codificador-decodificador na modelagem de contexto e fluência, eles enfrentam dois desafios principais:

Escassez de Dados: Existe uma falta de dados paralelos de alta qualidade e em grande escala especificamente para tradução em nível de documento (a maioria dos conjuntos de dados existentes, como News Commentary e Europarl, é focada em nível de sentença).
Alucinações e Omissões: Os LLMs tendem a introduzir informações que não existem no texto original (alucinações) ou omitir informações presentes no original durante a geração. Métricas tradicionais, como o sacreBLEU, muitas vezes não capturam esses erros, levando a uma avaliação enganosa da qualidade da tradução.

2. Metodologia Proposta

Os autores propõem uma abordagem em duas etapas para superar essas barreiras, combinando aumento de dados sintéticos com filtragem rigorosa e uma estratégia de ajuste fino (fine-tuning) escalonada.

A. Aumento de Dados Documentais (Data Augmentation)

Para criar um corpus de tradução em nível de documento, os autores utilizam o conjunto de dados de sumarização CNN/Daily Mail.

Geração Sintética: Um LLM maior (Llama 3.1-8B-Instruct) é usado para traduzir os documentos do inglês para o alemão, preservando a estrutura narrativa e o contexto.
Geração de Referências Pseudo: Para permitir a avaliação baseada em referência, o Google Translate (um sistema de TA tradicional conhecido por menos alucinações) é usado para gerar "referências pseudo" das mesmas fontes.

B. Filtragem Multi-Métrica

Para mitigar alucinações e omissões nos dados sintéticos gerados, aplica-se um processo de filtragem rigoroso utilizando três métricas distintas:

sacreBLEU: Mede a sobreposição de n-gramas com a referência pseudo.
COMET: Uma métrica aprendida baseada em referência que prevê julgamentos humanos de qualidade.
LaBSE-CosSim: Uma métrica sem referência que calcula a similaridade cosenoidal entre os embeddings semânticos da fonte e da tradução (usando o modelo LaBSE). Isso é crucial para detectar alucinações sem depender de uma tradução de referência perfeita.

Os dados são filtrados com base em limiares (thresholds) empíricos para cada métrica, descartando exemplos de baixa qualidade.

C. Estratégia de Ajuste Fino em Duas Etapas (Two-Stage Fine-Tuning)

O modelo alvo (Llama-3.2-1B-Instruct) é adaptado através de um processo sequencial:

Etapa 1 (Nível de Sentença): O modelo é ajustado primeiro em grandes conjuntos de dados de TA em nível de sentença (News Commentary v16 e Europarl v7). Isso estabelece uma base sólida de tradução e reduz a propensão a erros básicos.
Etapa 2 (Nível de Documento): O modelo é então ajustado no corpus de documentos filtrado e aumentado. Isso permite que o modelo aprenda a utilizar o contexto entre sentenças para gerar traduções coerentes em nível de documento, minimizando alucinações.

3. Contribuições Chave

Pipeline de Aumento de Dados: Uma metodologia eficaz para transformar dados de sumarização em dados de tradução documental de alta qualidade usando LLMs.
Filtragem Híbrida: A demonstração de que a combinação de métricas baseadas em referência (sacreBLEU, COMET) e sem referência (LaBSE-CosSim) é superior para filtrar alucinações em dados sintéticos.
Estratégia de Treinamento: A validação de que o ajuste fino em duas etapas (sentença $\rightarrow$ documento) é superior ao treinamento direto apenas em dados documentais, especialmente quando os dados documentais são sintéticos.

4. Resultados Experimentais

Os experimentos foram conduzidos na tarefa de tradução Inglês-Alemão (En $\rightarrow$ De).

Comparação de Estratégias: O modelo com ajuste fino em duas etapas superou consistentemente o modelo treinado apenas em dados documentais (não filtrados) em todas as métricas (sacreBLEU, COMET, LaBSE-CosSim e média geométrica).
- Exemplo: O sacreBLEU subiu de 11,24 (apenas documento) para 15,07 (duas etapas).
Impacto da Filtragem: A filtragem dos dados aumentados melhorou significativamente o desempenho.
- A combinação de sacreBLEU + COMET ou sacreBLEU + LaBSE-CosSim mostrou-se mais eficaz do que usar apenas COMET e LaBSE-CosSim juntos, indicando que a sobreposição léxica (sacreBLEU) complementa a avaliação semântica.
Configuração Ótima: A melhor configuração global foi alcançada com dados filtrados por sacreBLEU $\ge$ 35, COMET $\ge$ 0,75 e LaBSE-CosSim $\ge$ 0,85.
- Neste cenário, o modelo alcançou: sacreBLEU de 15,96, COMET de 0,701 e LaBSE-CosSim de 0,860.

5. Significado e Conclusão

O trabalho demonstra que é viável utilizar LLMs para tradução em nível de documento mesmo sob restrições de recursos e escassez de dados reais. A combinação de:

Geração de dados sintéticos via LLM;
Filtragem rigorosa multi-métrica para eliminar alucinações;
Uma estratégia de adaptação em duas etapas;

...permite superar as limitações de alucinação e omissão típicas dos LLMs. Os resultados sugerem que essa abordagem pode ser generalizada para outros pares de idiomas e domínios, oferecendo um caminho prático para a adoção de LLMs em aplicações de tradução profissional onde a coerência do documento é crítica.