Towards Reliable Machine Translation: Scaling LLMs for Critical Error Detection and Safety

Título: Rumo a uma Tradução Automática Confiável: Escalando LLMs para Detecção de Erros Críticos e Segurança

1. Problema e Motivação

A Tradução Automática (TA) é fundamental para o acesso à informação e comunicação global, mas sistemas avançados ainda cometem erros de significado críticos. Diferente de erros superficiais (como gramática ou fluência), esses erros incluem:

• Distorções factuais.
• Inversão de intenção (ex: mudar um aviso de segurança para uma recomendação).
• Viés social ou introdução de toxicidade.

Métricas tradicionais de TA (como BLEU, METEOR e COMET) falham em capturar essas distorções semânticas profundas. A maioria dos sistemas existentes de Detecção de Erros Críticos (CED) baseia-se em modelos codificadores (encoder-only) como XLM-R ou ModernBERT, que possuem limitações na generalização entre domínios e no raciocínio de longo contexto. O artigo propõe investigar se os Grandes Modelos de Linguagem (LLMs) instruídos e escalados podem superar essas limitações para garantir sistemas multilíngues mais seguros e justos.

2. Metodologia

O estudo propõe um quadro de trabalho para CED formulado como uma tarefa de classificação binária: dado um par de sentenças (Fonte $S$ e Tradução $T$), o modelo deve classificar se a tradução é ERR/BAD (contém erro crítico) ou NOT/OK (preserva o significado).

• Arquiteturas Avaliadas:
  • Baselines (Codificadores): BERT-base, ModernBERT, mmBERT e XLM-R-large.
  • LLMs Decodificadores (Instruídos): GPT-4o, GPT-4o-mini, LLaMA-3.1-8B, LLaMA-3.3-70B e modelos GPT-OSS (20B e 120B).
• Regimes de Adaptação:
  1. Zero-shot: Instrução concisa sem exemplos.
  2. Few-shot: Adição de 5-8 exemplos balanceados para aprendizado em contexto.
  3. Prompt Tuning: Variantes de prompts otimizados especificamente para cada família de modelos (P2-P4) para melhorar o alinhamento de rótulos.
  4. Fine-tuning (Ajuste Fino): Adaptação eficiente de parâmetros (LoRA) usando o framework Unsloth em aproximadamente 171.511 pares de tradução.
  5. Votação em Comitê: Uso de ensembles (tamanho 3) para aumentar a robustez e reduzir a variância.
• Datasets:
  • WMT-21 e WMT-22: Conjuntos de dados massivos e desbalanceados (muitas traduções corretas, poucas com erros).
  • SynCED-EnDe 2025: Conjunto balanceado (4.000 OK / 4.000 ERR) com perturbações sintéticas validadas manualmente.
• Métricas de Avaliação:
  • MCC (Coeficiente de Correlação de Matthews): Métrica principal, robusta a desbalanceamento de classes.
  • F1-Score: Calculado separadamente para as classes de erro (ERR) e não-erro (NOT).

3. Contribuições Principais

1. Primeiro Estudo de Escala Cross-Modelo: Apresenta a primeira análise sistemática de como o tamanho do modelo e o alinhamento por instrução afetam a detecção de erros críticos em TA.
2. Comparação Empírica Abrangente: Avalia regimes zero-shot, few-shot e fine-tuning através de múltiplas famílias de modelos e benchmarks de tradução.
3. Implicações Sociais: Posiciona a detecção de erros não apenas como um desafio técnico, mas como uma salvaguarda necessária para sistemas de IA multilíngue justos, responsáveis e seguros, especialmente em contextos de alto risco (saúde, direito, finanças).

4. Resultados Chave

• Superioridade dos LLMs Instruídos: Modelos decodificadores instruídos superaram consistentemente os baselines de codificadores (como XLM-R e ModernBERT), especialmente quando combinados com estratégias de adaptação.
• Impacto do Ajuste Fino (Fine-tuning):
  • Modelos ajustados finamente (especialmente GPT-4o-mini e LLaMA-3.1-8B) alcançaram os melhores resultados, superando todos os baselines.
  • O GPT-4o-mini ajustado atingiu um MCC de 0.92-0.94 e F1 de 0.94-0.96 nos conjuntos de teste, demonstrando que modelos de tamanho médio, quando bem ajustados, podem rivalizar com modelos muito maiores.
• Benefício do Few-shot e Prompt Tuning:
  • O regime few-shot (P1) estabilizou as previsões e melhorou significativamente a recuperação da classe minoritária (erros), ensinando modelos menores a focar em mudanças de significado.
  • O Prompt Tuning (P2-P4) melhorou o alinhamento, embora tenha causado leve queda em modelos muito grandes que já possuíam forte alinhamento interno.
• Robustez via Votação: A votação em comitê (3 gerações) reduziu a variância e corrigiu flutuações individuais, aumentando a estabilidade, especialmente em dados mais ruidosos (WMT-21).
• Desempenho por Dataset: O dataset SynCED-EnDe 2025 (curado e balanceado) apresentou resultados mais altos e estáveis, enquanto o WMT-21 (mais sutil e desbalanceado) foi mais desafiador, exigindo maior sensibilidade dos modelos.

5. Significado e Conclusão

O trabalho demonstra que a escalabilidade e o alinhamento por instrução são fatores determinantes para a confiabilidade da TA.

• Segurança e Confiança: A detecção precisa de erros críticos é essencial para prevenir desinformação, riscos à segurança pública e danos linguísticos.
• Eficiência: Não é necessário depender exclusivamente de modelos massivos; modelos de tamanho médio (como 8B-20B) com ajuste fino e ensembles simples oferecem soluções confiáveis, justas e custo-efetivas.
• Visão IR-for-Good: O estudo enquadra a detecção de erros como um componente vital para sistemas de recuperação de informação transparentes e socialmente responsáveis, permitindo que jornalistas, ONGs e instituições validem conteúdo multilíngue antes da disseminação.

Em suma, o artigo estabelece que a integração de LLMs instruídos e ajustados finamente no pipeline de tradução é um passo crucial para garantir a integridade e a equidade na comunicação global automatizada.