Large Language Models as Annotators for Machine Translation Quality Estimation

Resumo Técnico: LLMs como Anotadores para QE de Tradução

1. Problema e Motivação

A Estimativa de Qualidade de Tradução Automática (MQE ou QE) é crucial para avaliar a qualidade de traduções sem depender de uma referência humana (métodos reference-free). Métricas modernas, como o COMET, que são ajustadas (fine-tuned) em dados de julgamento humano, alcançaram desempenho comparável a métricas baseadas em referência.

No entanto, os Modelos de Linguagem Grandes (LLMs), como o GPT-4, demonstraram desempenho excepcional em tarefas de QE ao gerar anotações diretamente via prompting. O principal obstáculo para sua aplicação direta é o alto custo e a lentidão da inferência, tornando-os impraticáveis para uso em tempo real ou em larga escala.

O problema central: Como aproveitar a capacidade de raciocínio e anotação detalhada dos LLMs para melhorar métricas de QE aprendidas (como o COMET), sem incorrer nos custos contínuos de inferência do LLM?

2. Metodologia

Os autores propõem uma abordagem onde os LLMs são utilizados para gerar anotações sintéticas (estilo MQM - Multidimensional Quality Metrics) que servem como dados de treinamento para um modelo COMET mais leve e eficiente.

O processo de desenvolvimento seguiu quatro etapas principais:

• Simplificação do Esquema MQM:

  • Em vez de usar a taxonomia MQM completa e complexa, os autores simplificaram o esquema para categorias de nível superior: Accuracy (Precisão), Fluency (Fluência), Terminology (Terminologia), Style (Estilo) e Locale Convention (Convenção Local).
  • Adicionou-se a subcategoria Omissão (Omission), crucial para detectar conteúdo faltante.
  • Redução dos níveis de severidade para dois: Major (Grave) e Minor (Leve).

• Desenvolvimento do Prompt (PPbMQM):

  • Criou-se um prompt baseado em padrões (Prompt-Pattern-based-MQM ou PPbMQM) utilizando técnicas de engenharia de prompt (Persona, Reflexão e Automatizador de Saída).
  • Zero-shot vs. Few-shot: Inicialmente testaram zero-shot (sem exemplos), mas perceberam que os LLMs eram excessivamente críticos e cometiam erros de classificação de tipos de erro.
  • Evolução para Few-shot: Adicionaram exemplos (few-shot) explicando detalhadamente as categorias de erro (incluindo Omissão e erros de Fluência como "comma splice").
  • Mapeamento de Severidade: Para controlar a severidade, em vez de pedir apenas "Major/Minor", o prompt solicitou uma escala de 1 a 5. Os autores descobriram que os LLMs tendem a ser muito rigorosos; portanto, implementaram um filtro onde apenas erros com pontuação 3 (mapeado para Minor) ou superior (4-5, mapeado para Major) eram considerados, descartando pontuações 1-2.

• Geração de Dados e Treinamento:

  • Utilizaram o modelo GPT-4o (selecionado por estabilidade e desempenho superior ao LLaMA 3 e GPT-3.5) para gerar anotações em pares de idiomas Chinês-Inglês (zh-en) e Inglês-Alemão (en-de).
  • Treinaram modelos COMET-QE usando essas anotações sintéticas e compararam o desempenho com modelos treinados em anotações humanas (Gold Standard).

3. Contribuições Chave

1. Prompt PPbMQM: Introdução de um método sistemático de few-shot prompting restrito às categorias principais do MQM, otimizado para gerar dados de treinamento consistentes.
2. Análise de Viés de Severidade: Demonstração de que os LLMs são inerentemente mais críticos que humanos. A proposta de usar uma escala de severidade (1-5) seguida de um limiar de filtragem (threshold) provou ser essencial para alinhar as anotações sintéticas com o julgamento humano.
3. Validação de Dados Sintéticos: Evidência de que treinar métricas de QE (COMET) com dados gerados por LLMs resulta em desempenho competitivo, especialmente em segmentos de baixa qualidade.

4. Resultados

• Correlação Humano-LLM: As anotações geradas pelo GPT-4o (PPbMQM) apresentaram alta correlação com anotações humanas.
• Desempenho do Modelo COMET:
  • Os modelos COMET treinados com dados sintéticos (PPbMQM) alcançaram desempenho comparável ou superior aos modelos treinados com dados humanos em pares de idiomas zh-en e en-de.
  • Melhoria em Segmentos de Baixa Qualidade: Em segmentos com qualidade inferior (onde há mais erros), os modelos treinados com dados sintéticos superaram consistentemente os modelos treinados com dados humanos em todas as métricas (Pearson, Spearman e Kendall).
  • Isso sugere que a consistência das anotações do LLM (que evita a baixa concordância inter-avaliadores comum em tarefas linguísticas finas) beneficia o aprendizado do modelo COMET.
• Métricas de Span: O modelo GPT-4o conseguiu identificar com precisão os spans de erro e seus tipos, superando o LLaMA 3 em estabilidade de API e consistência.

5. Significado e Implicações

• Viabilidade Econômica: O trabalho demonstra que é possível usar LLMs caros apenas uma vez para gerar um conjunto de dados de treinamento robusto, permitindo o uso de modelos de QE leves (como COMET) em produção, reduzindo drasticamente os custos de inferência.
• Expansão para Baixos Recursos: A abordagem abre caminho para treinar métricas de QE para pares de idiomas de baixos recursos, onde anotações humanas MQM são escassas ou inexistentes.
• Padronização de Avaliação: O método sugere que a simplificação do MQM (focando em categorias principais e omissão) é suficiente para tarefas de QE, alinhando-se com tendências recentes (como a substituição do MQM pelo ESA em algumas tarefas WMT).
• Limitações: Os autores alertam para riscos de vazamento de dados (se os dados de teste estiverem no treinamento do LLM) e a necessidade de testar em mais domínios e pares de idiomas.

Em resumo, o artigo estabelece um pipeline eficiente onde LLMs atuam como "super-avaliadores" para criar dados de treinamento, permitindo que modelos de QE tradicionais alcancem desempenho de ponta com custos operacionais significativamente reduzidos.