Beyond Scalar Scores: Reinforcement Learning for Error-Aware Quality Estimation of Machine Translation

Resumo Técnico: Além de Pontuações Escalares: Aprendizado por Reforço para Estimativa de Qualidade Consciente de Erros em Tradução Automática

Definição do Problema
A Estimativa de Qualidade (QE) é crítica para avaliar saídas de Tradução Automática (MT) sem traduções de referência, uma necessidade para implantações em larga escala no mundo real. Embora os Grandes Modelos de Linguagem (LLMs) tenham avançado a avaliação de MT, eles enfrentam desafios significativos em cenários de baixos recursos. Os atuais avaliadores baseados em LLM frequentemente exibem uma correlação menor com julgamentos humanos para idiomas de baixos recursos em comparação com idiomas de altos recursos. Além disso, as abordagens de QE existentes dependem predominantemente de pontuações de qualidade escalares (ex: Avaliação Direta ou escores DA). Esses sinais escalares carecem de informações contextuais explícitas sobre os erros de tradução específicos que impulsionam o julgamento, limitando a capacidade do modelo de raciocinar sobre o porquê de uma tradução ser ruim. Métodos de anotação mais detalhados, como Métricas de Qualidade Multidimensionais (MQM) ou Anotação de Extensão de Erro (ESA), fornecem contexto de erro, mas são dispendiosos, exigem vasta expertise do anotador e são difíceis de escalar. Existe uma lacuna na literatura para um framework de QE que utilize efetivamente sinais leves e conscientes de erros para melhorar o desempenho em ambientes de escassez de recursos.

Metodologia
Os autores propõem o ALOPE-RL (Aprendizado Adaptativo e Otimização para Estimativa de Qualidade baseada em Política com Aprendizado por Reforço), um framework de aprendizado por reforço baseado em política projetado para treinar adaptadores eficientes para QE.

1. Criação de Dataset (Inglês $\rightarrow$ Malaiala):

   • Os autores introduzem o primeiro dataset de nível de segmento para Inglês $\rightarrow$ Malaiala (En$\rightarrow$Ml), um par de idiomas severamente escasso em recursos.
   • O dataset compreende 5.000 instâncias nos domínios de Finanças, Notícias e Jurídico.
   • Crucialmente, inclui Observações de Qualidade de Tradução (TQR): comentários curtos em linguagem natural livre de anotadores humanos descrevendo tipos de erro (ex: Não Traduzido, Adição, Erro de Tradução, Erro de Fluência) e extensões errôneas. Isso serve como um sinal de supervisão fraca que é mais flexível e menos cognitivamente exigente do que a marcação de extensão no estilo MQM.
   • Explicações Sintéticas: Usando TQR, o segmento de origem e o alvo, os autores geraram explicações detalhadas sintéticas (categorias de erro e descrições) usando modelos de raciocínio fortes (DEEPSEEK-V3 e GEMINI-2.5-pro) para servir como referências de verdade fundamental para o cálculo da recompensa.

2. Framework ALOPE-RL:

   • Otimização de Política: O framework trata o QE como um problema de otimização de política usando Otimização de Política Relativa de Grupo (GRPO). A política ($\pi_\theta$) gera respostas estruturadas contendo um escore DA, categorias de erro e uma explicação em linguagem natural.
   • Sistema de Recompensa de Múltiplos Componentes: O modelo é treinado usando uma soma ponderada de seis componentes de recompensa:
     • Recompensa de Pontuação Exata ($R_{exact}$): Penaliza a distância entre as pontuações previstas e as de ouro (gold) DA.
     • Recompensa de Bin de Pontuação ($R_{bin}$): Incentiva as previsões a caírem na faixa de pontuação correta (bin).
     • Recompensa de Tipo de Erro ($R_{err}$): Utiliza o índice Jaccard para medir a similaridade entre as categorias de erro previstas e as de ouro.
     • Recompensa de Descrição ($R_{desc}$): Utiliza o F1 do BERTScore para avaliar a similaridade semântica entre as descrições previstas e as sintéticas.
     • Recompensa de Comprimento ($R_{len}$): Recompensa descrições dentro de uma contagem de palavras alvo (60–140 palavras).
     • Recompensa de Formato ($R_{fmt}$): Garante a adesão a um esquema XML estrito.
   • Eficiência: O sistema é projetado para restrições de baixos recursos, utilizando LLMs compactos ($\le$4B de parâmetros: QWEN3-4B, GEMMA-3-4B, LLAMA-3.2-3B) ajustados com LoRA (Low-Rank Adaptation) e quantização de 4 bits. O treinamento é realizado em datasets pequenos ($\le$5K instâncias).

3. Extensão para Outros Idiomas:

   • O framework também foi testado em Inglês $\rightarrow$ Tâmil, Inglês $\rightarrow$ Marati e Inglês $\rightarrow$ Hindi. Como o TQR não estava disponível para esses pares, os autores utilizaram Tags de QE ao Nível de Palavra (WTAG) (rótulos binários OK/BAD derivados de alinhamentos de pós-edição) como um sinal de supervisão fraca alternativo para testar a generalização.

Principais Contribuições

• Novo Dataset: Introdução do primeiro dataset de QE de nível de segmento para Inglês $\rightarrow$ Malaiala, apresentando escores DA anotados por humanos e Observações de Qualidade de Tradução (TQR).
• Framework Inovador: Desenvolvimento do ALOPE-RL, um framework de RL baseado em política que integra supervisão fraca consciente de erros (TQR) para treinar LLMs compactos.
• Desempenho: Demonstração de que a incorporação de TQR como entrada contextual melhora significamente o desempenho de QE baseado em LLM, permitindo que modelos pequenos superem baselines maiores.
• Eficiência: Alcance de resultados estado da arte usando modelos compactos ($\le$4B de parâmetros) e dados limitados, provando a viabilidade de aprendizado de política consciente de erros sob orçamentos de computação e dados restritos.

Resultados

• Desempenho em En$\rightarrow$Ml: O ALOPE-RL alcançou uma correlação de Spearman ($\rho$) de 0,571 no dataset En$\rightarrow$Ml usando GEMMA-3-4B com "Core rewards" (focando em escore e tipo de erro). Isso superou:
  • Baselines robustos baseados em encoder (COMETKIWI: $\rho$=0,474; XCOMET-XL: $\rho$=0,352).
  • Baselines de LLM maiores (DEEPSEEK-V3: $\rho$=0,474).
  • Variantes de Ajuste Fino de Instrução (IFT) do mesmo modelo ($\rho$=0,525).
• Impacto do TQR: Modelos treinados com TQR consistentemente alcançaram correlações mais altas do que aqueles treinados com WTAG ou sem sinais fracos. O TQR provou ser particularmente eficaz para línguas drávidas (Malaiala, Tâmil), enquanto o WTAG foi menos eficaz ou introduziu ruído para línguas indo-arianas (Marati, Hindi), provavelmente devido a diferenças morfológicas.
• Ablação de Recompensa: A configuração de "Core rewards" (Pontuação + Tipo de Erro + Formato) rendeu melhores resultados do que a configuração "All rewards", sugerindo que recompensas semânticas complexas (Descrição/Comprimento) podem introduzir ruído que difunde o sinal de recompensa para a previsão de DA.

Significância e Alegações
O artigo afirma que o aprendizado consciente de erros e baseado em política é um caminho viável e eficiente para QE em cenários de baixos recursos. Ao ir além dos escores escalares para incorporar observações de erro em linguagem natural livre (TQR), os autores demonstram que:

1. O Contexto Importa: Fornecer contexto de erro explícito permite que os LLMs raciocinem sobre a qualidade da tradução de forma mais eficaz do que depender apenas de pontuações numéricas.
2. Eficiência: Um QE de alto desempenho não requer necessariamente datasets massivos ou modelos gigantes; modelos compactos e quantizados ajustados com RL podem superar baselines maiores e ávidos por dados.
3. Escalabilidade: O TQR oferece um meio-termo prático entre a simplicidade dos escores escalares e a complexidade da anotação de erro detalhada, tornando-se um sinal escalável para melhorar sistemas de QE.

Os autores concluem que sua abordagem aborda com sucesso as limitações dos atuais avaliadores de LLM em cenários de baixos recursos, aproveitando a supervisão fraca em linguagem natural para impulsionar a otimização da política.