When the Gold Standard Isn't Necessarily Standard: Challenges of Evaluating the Translation of User-Generated Content

Enunciado do Problema
A avaliação da tradução automática (TA) de Conteúdo Gerado pelo Utilizador (CGU) apresenta um desafio único, pois o CGU é caracterizado por linguagem não padrão frequente, incluindo erros ortográficos, gírias, repetições de caracteres, emojis e alternância de código. Ao contrário do texto tradicional, não existe uma única forma "correta" de traduzir essas características; uma "boa" tradução depende inteiramente do nível de padronização desejado na saída. As práticas atuais de avaliação frequentemente assumem um único padrão de ouro, contudo, as traduções de referência humanas para CGU variam significativamente na forma como tratam fenómenos não padrão. Essa variabilidade torna a avaliação automática baseada em referência (AR) pouco fiável, uma vez que as métricas podem penalizar escolhas estilísticas válidas que se desviam da estratégia de normalização de uma referência específica. Além disso, não está claro se os grandes modelos de linguagem (LLMs) podem ser efetivamente orientados a aderir a diretrizes de tradução específicas e se as métricas atuais podem avaliar com justiça essas saídas aderentes às diretrizes.

Metodologia
Os autores abordam duas questões de investigação: (1) O que constitui uma "boa" tradução de CGU? e (2) Como pode a tradução de CGU ser avaliada de forma justa?

1. Análise de Taxonomia e Diretrizes: O estudo analisa quatro conjuntos de dados paralelos de CGU (RoCS-MT, FooTweets, MMTC e PFSMB) cobrindo as traduções Inglês-Francês, Inglês-Alemão e Francês-Inglês. Os autores extraem diretrizes de tradução humanas desses conjuntos de dados para derivar uma taxonomia de doze fenómenos não padrão (por exemplo, gramática, ortografia, alongamento de palavras, capitalização, abreviações informais, hashtags, linguagem obscena) e cinco ações de tradução:

   • NORMALIZAR: Corrigir ou omitir características não padrão para produzir linguagem padrão.
   • COPIAR: Preservar a característica exatamente como está.
   • TRANSFERIR: Mapear a característica para uma forma não padrão equivalente na língua de destino.
   • OMITIR: Ignorar a característica totalmente.
   • CENSURAR: Substituir linguagem ofensiva por termos mais suaves.
     A análise revela que estes conjuntos de dados representam um espectro de padronização, sendo o RoCS-MT o mais normalizador e o PFSMB o mais orientado para a preservação.

2. Configuração Experimental: Os autores avaliam seis LLMs ajustados por instrução (Gemma-2-9B, Granite-4.1-8B, LLaMA-3.1-8B, Mistral-0.3-7B, Qwen-2.5-7B e Tower-0.2-7B) e uma linha de base codificador-decodificador (NLLB-3B). Os modelos são testados sob três condições de prompt:

   • Sem diretrizes: Tradução zero-shot padrão.
   • Diretrizes correspondentes: Prompts contendo as diretrizes específicas do conjunto de dados de destino.
   • Diretrizes não correspondentes: Prompts contendo diretrizes de um conjunto de dados diferente.

3. Avaliação: A qualidade da tradução é avaliada utilizando métricas baseadas em referência (COMET-22, BLEU) e métricas sem referência (COMET-Kiwi). Adicionalmente, é realizada uma avaliação humana no RoCS-MT e no PFSMB, onde os anotadores comparam as saídas padrão com as saídas orientadas por diretrizes com base na qualidade global e na aderência às diretrizes.

Principais Resultados

• Sensibilidade às Diretrizes: Os LLMs são altamente sensíveis a instruções de tradução explícitas. Para a maioria dos modelos (Gemma, Granite, Mistral, Qwen), fornecer diretrizes específicas do corpus melhora significativamente as pontuações COMET quando as diretrizes correspondem à filosofia subjacente do conjunto de dados.
• Comportamento do Modelo:
  • LLaMA-3.1-8B recusa frequentemente traduzir conteúdo considerado ofensivo ou explícito, um comportamento exacerbado por diretrizes que instruem a preservação de linguagem obscena.
  • Tower-0.2-7B mostra sensibilidade mínima às diretrizes, tendendo a manter o seu estilo de tradução inerente independentemente dos prompts.
  • Gemma-2-9B e outros adaptam com sucesso o seu estilo para corresponder às diretrizes, embora ocasionalmente liguem com a composabilidade de instruções conflitantes (por exemplo, normalizar a ortografia enquanto se transferem repetições de caracteres).
• Limitações das Métricas: As métricas baseadas em referência (COMET, BLEU) são implicitamente conscientes do estilo; recompensam saídas que se alinham com as diretrizes da referência e penalizam incompatibilidades. Em contraste, a métrica sem referência COMET-Kiwi exibe um viés em direção a saídas padronizadas, atribuindo pontuações mais baixas a traduções orientadas para a preservação, mesmo quando estas se alinham com as diretrizes pretendidas.
• Avaliação Humana: Os anotadores humanos preferem geralmente as saídas geradas com diretrizes correspondentes em relação às saídas padrão, particularmente para conjuntos de dados orientados para a preservação como o PFSMB (76% de preferência por qualidade, 90% por aderência). O acordo entre as preferências humanas e as métricas automáticas é moderado a substancial, embora as métricas permaneçam influenciadas pelo nível de padronização favorecido pela configuração de avaliação.

Significado e Contribuições
O artigo argumenta que o "padrão de ouro" para a tradução de CGU não é absoluto, mas dependente do contexto, variando de abordagens altamente normalizadoras a abordagens orientadas para a preservação. Os autores demonstram que uma avaliação justa exige que tanto os modelos como as métricas estejam conscientes das diretrizes de tradução específicas que regem o conjunto de dados.

As principais contribuições incluem:

1. Uma taxonomia unificada de fenómenos não padrão e ações de tradução derivada de conjuntos de dados existentes.
2. Evidência empírica de que os LLMs podem ser orientados a seguir diretrizes de tradução específicas, mas que o seu desempenho e as pontuações de avaliação resultantes dependem altamente do alinhamento entre o prompt, o modelo e o estilo de referência.
3. Um apelo por diretrizes claras durante a criação de conjuntos de dados e o desenvolvimento de frameworks de avaliação controláveis e conscientes das diretrizes. Os autores sugerem que a avaliação futura deve utilizar métricas sem referência ou métricas baseadas em referência com múltiplas versões de referência abrangendo diferentes níveis de padronização, em vez de confiar numa única referência que pode não representar o estilo de tradução desejado.