Do Evaluation Metrics Detect Errors in Classical Chinese to English Translations?

Resumo Técnico: As Métricas de Avaliação Detectam Erros em Traduções de Chinês Clássico para Inglês?

Definição do Problema
Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado uma proficiência surpreendente na tradução de línguas históricas como o Chinês Clássico (wenyanwen), sua integração nos fluxos de trabalho das humanidades digitais é dificultada pela falta de métodos de avaliação confiáveis. As métricas de avaliação automática atuais são avaliadas primariamente em línguas modernas e podem não se generalizar para as características linguísticas e culturais únicas do Chinês Clássico. Essas características incluem extrema concisão, dependência de contexto, presença generalizada de anáfora zero (sujeitos/objetos omitidos) e polissemia onde o significado é determinado pelo discurso, em vez da morfologia. Consequentemente, as métricas existentes correm o risco de negligenciar erros sutis e dependentes de contexto que distorcem o significado histórico enquanto parecem fluentes ou, inversamente, penalizar variações parafrásticas legítimas, essenciais para a interpretação acadêmica.

Metodologia
Os autores introduzem um framework de diagnóstico para sondar a sensibilidade das métricas de avaliação de tradução automática (MT) a tipos específicos de erro e variações aceitáveis na tradução de Chinês Clássico para Inglês.

• Construção de Dados: Os textos de origem foram extraídos do Chinese Text Project (CTP), com as traduções de James Legge servindo como referências humanas de alta qualidade. As traduções de linha de base foram geradas usando o GPT-4o-mini. Uma análise de memorização confirmou que os resultados não foram impulsionados pela sobreposição de dados de treinamento.
• Taxonomia de Erros: Através da inspeção filológica especializada dos outputs dos LLMs, os autores definiram oito categorias de erro relevantes para o uso acadêmico:
  1. Tradução indesejada para o Chinês Moderno.
  2. Objeto omitido.
  3. Sujeito omitido.
  4. Tradução lexical incorreta.
  5. Substituição/atribuição incorreta de pronome.
  6. Realização incorreta de tempo verbal.
  7. Substituição de título ou cargo.
  8. Substituição por sentido moderno (substituir um sentido clássico por um moderno).
     Adicionalmente, três categorias de variações aceitáveis foram definidas: formatação de nomes, anotação de nomes e segmentação de sentenças/paráfrase menor.
• Geração de Perturbações: Um pipeline semiautomático gerou "pares mínimos" para cada tradução de linha de base. Esses pares consistiam na tradução original e uma variante minimamente editada, introduzindo exatamente um erro ou variação alvo. Este processo envolveu edições baseadas em regras, reescritas via LLM e verificação manual por especialistas treinados tanto em Chinês Moderno quanto em Clássico.
• Configuração de Avaliação: O estudo avaliou um conjunto de métricas através de três famílias:
  • Sobreposição de Superfície: BLEU, chrF.
  • Métricas Neurais Aprendidas: COMET-22, XCOMET, MetricX24 (e suas variantes de Estimativa de Qualidade).
  • LLM-as-a-Judge: GEMBA (usando instruções DA e MQM).
    As métricas foram testadas em configurações baseadas em referência (src+ref+hyp, ref+hyp) e sem referência (src+hyp).
• Análise Estatística: Os autores empregaram um modelo de efeitos mistos lineares (LME) para analisar os deltas de pontuação padronizados ($\delta^*$) entre as traduções originais e perturbadas. Esta abordagem permitiu a quantificação da sensibilidade da métrica através de diferentes tipos de erro, ao mesmo tempo em que contabilizou observações repetidas do mesmo segmento de origem.

Principais Resultados

• Validade Geral: Todas as métricas distinguiram com sucesso traduções razoáveis de erros catastróficos (ex: palavras embaralhadas ou traduções não relacionadas).
• Sensibilidade ao Erro:
  • Desajuste de Idioma: A maioria das métricas baseadas em referência penalizou corretamente traduções que inadvertidamente produziram Chinês Moderno em vez de Inglês. No entanto, o MetricX24 e o XCOMET-QE falharam em detectar isso em configurações sem referência.
  • Omissões: Métricas neurais (COMET, XCOMET, MetricX24) detectaram adequadamente sujeitos e objetos omitidos. Em contraste, métricas de superfície (BLEU, chrF) e variantes do GEMBA frequentemente falharam em penalizar essas omissões, às vezes atribuindo uma pontuação maior à tradução errônea do que à original.
  • Substituições Semânticas: Nenhuma métrica detectou de forma confiável a realização incorreta de tempo verbal ou a substituição de títulos/cargos. Para a substituição por sentido moderno, apenas o MetricX24-Ref detectou o erro de forma confiável. Para tradução lexical incorreta, as variantes XCOMET e MetricX24 tiveram bom desempenho, enquanto o COMET e as métricas de superfície falharam.
  • Erros de Pronome: As variantes do MetricX24 mostraram a maior sensibilidade à substituição de pronomes, enquanto o GEMBA mostrou apenas sensibilidade moderada.
• Variações Aceitáveis: Quase todas as métricas toleraram variações aceitáveis (formatação de nomes, anotações, segmentação), com exceção do BLEU, que penalizou a formatação de nomes. A segmentação de sentenças foi o tipo de variação mais tolerado.
• Melhor Desempenho: O MetricX24 emergiu como o melhor desempenho geral, exibindo a maior sensibilidade a erros na maioria das categorias. No entanto, ainda apresentou pontos cegos em relação à substituição de sentido moderno (em configurações sem referência) e erros de tempo verbal.
• Análise Temporal: Foi encontrada uma interação significativa entre o desempenho da métrica e o período histórico do texto de origem (Pré-Qin/Han vs. Pós-Han). Contudo, os autores observam que o subconjunto Pós-Han era pequeno (6,4% dos dados), levando a uma maior variância e redução do poder estatístico para esse grupo específico.

Significância e Alegações
O artigo afirma que, embora as métricas neurais superem as linhas de base de sobreposição de superfície, nenhuma métrica única captura de forma confiável a gama completa de distinções relevantes para a avaliação acadêmica do Chinês Clássico. Os achados destacam que as métricas atuais possuem pontos cegos específicos em relação a erros que distorcem o significado histórico (ex: tempo verbal, títulos e substituições de sentido moderno), que são críticos para estudiosos que carecem de proficiência na língua de origem.

Os autores posicionam seu framework de diagnóstico como uma contribuição primária. Ao utilizar pares mínimos fundamentados por especialistas, eles fornecem um método escalável para converter o julgamento especializado em sinais de avaliação sem exigir anotação manual massiva. Eles argumentam que o progresso neste domínio depende não apenas de melhores métricas, mas também de melhores recursos de avaliação que visem sistematicamente distinções semânticas sutis, frequentemente sub-representadas em benchmarks padrão. O trabalho visa apoiar a tradução acadêmica assistida por IA confiável e avançar a compreensão de como as métricas de avaliação se generalizam para contextos historicamente e culturalmente distintos.