Resumo Técnico: MTQE.en-he

Definição do Problema

A Estimativa de Qualidade de Tradução Automática (MTQE) é um componente crítico em pipelines de Tradução Automática (MT), permitindo que sistemas aceitem saídas de alta qualidade e sinalizem aquelas de baixa qualidade para revisão humana. Embora a MTQE tenha sido extensamente estudada para pares de idiomas de alto recurso, o Hebraico apresenta desafios específicos. Ele é classificado como uma língua de recurso médio, com significativamente menos recursos anotados do que o Inglês. Além disso, a rica morfologia do Hebraico cria condições semelhantes ao aprendizado de baixo recurso, complicando a tradução e a estimativa de qualidade eficazes. Antes deste trabalho, não havia um benchmark publicamente disponível especificamente para o par de idiomas Inglês-Hebraico em MTQE, apesar da existência de conjuntos de teste de Hebraico-Inglês em tarefas compartilhadas do WMT.

Metodologia

Construção do Conjunto de Dados (MTQE.en-he)

Os autores introduzem o MTQE.en-he, o primeiro benchmark de MTQE Inglês-Hebraico publicamente disponível.

• Fonte: O conjunto de dados compreende 959 segmentos de Inglês derivados do corpus WMT24++, cobrindo quatro domínios: literário, notícias, social e fala.
• Tradução: As traduções para o Hebraico foram geradas usando o Google Translate.
• Anotação: Três especialistas humanos com proficiência de nível nativo em ambos os idiomas e ampla experiência em fluxo de trabalho de tradução anotaram os segmentos.
• Pontuação: As anotações foram realizadas usando Avaliação Direta (DA) em uma escala de 0 a 100, seguindo as diretrizes padrão do WMT QE. O ground truth para avaliação é a média das pontuações dos três anotadores.
• Estatísticas: O conjunto de dados exibe uma distribuição de pontuação alta (73% dos segmentos pontuados com 70 ou mais) e comprimentos de segmento curtos (59% abaixo de 30 palavras). A concordância entre anotadores (correlação de Pearson de um anotador versus a média dos outros) foi, em média, de 0,5337.

Benchmarks de Linha de Base (Baselines)

O artigo avalia três abordagens distintas no conjunto de dados completo:

1. Prompting de ChatGPT: Duas estratégias de prompting foram testadas: "freestyle" (julgamento aberto) e "guidelines" (incorporando instruções completas de anotação).
2. TransQuest: Duas versões foram avaliadas: um modelo multilíngue (qualquer-para-qualquer) e um modelo de Inglês-para-qualquer (en-any).
3. CometKiwi: Um modelo capaz de predição de qualidade simultânea em nível de sentença e de palavra.

Experimentos de Fine-Tuning

O conjunto de dados foi particionado em fatias de treinamento (300), validação (100) e teste (559) usando amostragem estratificada para manter a distribuição de pontuação. Os autores realizaram o fine-tuning do TransQuest e do CometKiwi por 50 passos (5 épocas) usando quatro métodos:

• Fine-Tuning Completo (FullFT): Atualizando todos os parâmetros do modelo.
• LoRA (Low-Rank Adaptation): Congelando o modelo base e aprendendo atualizações de baixo rank para as camadas de atenção e feed-forward.
• BitFit: Realizando o fine-tuning apenas nos termos de viés (bias) e na camada de classificação de cabeça (aprox. 0,2% dos parâmetros).
• FTHead: Realizando o fine-tuning apenas na cabeça de classificação.

Todos os métodos utilizaram hiperparâmetros idênticos (tamanho de lote 32, taxa de aprendizado 3e-5, 10% de warmup com decaimento linear).

Ensembling

Os autores também testaram uma abordagem de ensemble, calculando a média das pontuações preditas dos modelos. Eles selecionaram o prompt "freestyle" do ChatGPT para o ensemble baseado na Navalha de Occam (preferindo soluções mais simples).

Principais Resultados

Desempenho da Linha de Base

No conjunto de dados completo (n=959), o CometKiwi emergiu como a linha de base única mais forte, com uma correlação de Pearson de 0,4828 e Spearman de 0,5456. O TransQuest (en-any) seguiu com 0,4327 de Pearson, enquanto o ChatGPT (freestyle) alcançou 0,4266 de Pearson.

• Limitações: Tanto o TransQuest quanto o CometKiwi falharam em prever pontuações de 0,91 ou superiores, mesmo quando o ground truth estava na faixa de "excelente ou perfeita" (31% do conjunto de dados). O ChatGPT exibiu uma tendência de repetir pontuações específicas, criando bandas horizontais nos gráficos de dispersão.

Melhorias via Ensembling

O uso de ensemble dos três modelos (ChatGPT-freestyle, TransQuest e CometKiwi) rendeu o melhor desempenho de modelo único, superando a melhor linha de base individual (CometKiwi) em 6,4 pontos percentuais em Pearson (0,5472 vs. 0,4828) e 5,6 pontos percentuais em Spearman (0,6014 vs. 0,5456).

Resultados do Fine-Tuning

• Full Fine-Tuning: O FullFT falhou em melhorar o TransQuest e degradou o desempenho do CometKiwi em 2 a 3 pontos percentuais. A análise revelou sinais de overfitting e colapso de distribuição (onde a distribuição de saída do modelo tornou-se inconsistente ou plana).
• Métodos de Eficiência de Parâmetros: LoRA, BitFit e FTHead melhoraram com sucesso tanto o TransQuest quanto o CometKiwi em 2 a 3 pontos percentuais em ambas as correlações de Pearson e Spearman no conjunto de teste.
  • CometKiwi + LoRA: Alcançou 0,4670 de Pearson (subindo de 0,4495).
  • TransQuest + LoRA: Alcançou 0,4445 de Pearson (subindo de 0,4205).
• Estabilidade: Ao contrário do FullFT, os métodos de eficiência de parâmetros demonstraram curvas de aprendizado estáveis e mudanças de distribuição modestas e consistentes.

Significância e Alegações

O artigo reivindica três novidades primárias:

1. Primeiro Conjunto de Dados Público: É o primeiro conjunto de dados lançado publicamente para MTQE Inglês-Hebraico, preenchendo uma lacuna de recursos para este par de idiomas de recurso médio.
2. Benchmarking de Novos Paradigmas: Estabelece linhas de base utilizando prompting de ChatGPT e ensemble de modelos para este par de idiomas específico.
3. Fine-Tuning de Eficiência de Parâmetros: Demonstra que, para este cenário de baixo recurso, atualizações completas do modelo são propensas ao overfitting, enquanto métodos de eficiência de parâmetros (LoRA, BitFit, FTHead) treinam de forma estável e geram melhorias mensuráveis.

Os autores posicionam o MTQE.en-he como uma ferramenta para permitir pesquisas futuras em sistemas de idiomas de baixo recurso. Eles explicitam limitações, incluindo o uso de um único motor de tradução (Google Translate), a dependência de pontuações DA em vez das métricas superiores de MQM devido a restrições orçamentárias, e o tamanho modesto do conjunto de dados, que limita o número de amostras de baixa pontuação. O trabalho visa inspirar pesquisas adicionais em geração de dados sintéticos, transferência translinguística e calibração para melhorar a qualidade da predição para o par Inglês-Hebraico e similares.