Resumo Técnico: Revisitando a Confiabilidade de Métricas para Avaliação Granular de Tradução Automática e Sumarização em Línguas Indianas

Declaração do Problema

Embora as métricas automáticas sejam os principais motores de progresso na Tradução Automática (MT) e na Sumarização de Texto (TS), seu desenvolvimento e validação têm sido focados quase exclusivamente em línguas de altos recursos, como o inglês e o alemão. Isso cria uma lacuna significativa para as línguas indianas, faladas por mais de 1,5 bilhão de pessoas, onde a confiabilidade e a universalidade das práticas de avaliação atuais permanecem não verificadas. As pesquisas existentes sobre línguas indianas frequentemente dependem de conjuntos estreitos de métricas, carecem de análise granular em múltiplas dimensões de qualidade e frequentemente negligenciam fatores críticos, como o impacto de valores atípicos (outliers) e a robustez da métrica sob perturbações controladas. Consequentemente, a implantação de sistemas de MT e TS para línguas indianas ocorre muitas vezes sem evidência empírica da eficácia das métricas.

Metodologia

Para abordar essas lacunas, os autores introduzem o ITEM (Indian Text Evaluation Metrics Testbed), um benchmark de larga escala projetado para avaliar sistematicamente o alinhamento de 29 métricas automáticas com julgamentos humanos.

Construção do Conjunto de Dados

O benchmark abrange seis grandes línguas indianas: Hindi, Bengali, Marathi e Gujarati (família Indo-Ariana), além de Tamil e Telugu (família Dravidiana).

• Fontes: Os dados de sumarização foram amostrados do corpus XLSum (notícias da BBC), enquanto os dados de tradução foram extraídos do FLORES-200.
• Geração: As saídas foram geradas usando três modelos complementares: dois LLMs proprietários de última geração (Cohere Command R+, GPT-4o mini) e dois modelos de código aberto focados em línguas indianas (IndicBART, IndicTrans2).
• Anotação: Falantes nativos avaliaram as amostras através de dimensões granulares. Para MT, as dimensões foram Adequação e Fluência. Para TS, as dimensões foram Fidelidade (Faithfulness), Foco, Cobertura e Coerência.
• Controle de Qualidade: Um processo rigoroso envolvendo anotadores especialistas e um método de detecção de valores atípicos baseado em Desvio Absoluto da Mediana (MAD) garantiu a confiabilidade dos dados. O conjunto de dados final compreende 5.175 amostras (2.571 para sumarização, 2.604 para tradução) após a filtragem por alto acordo entre anotadores.

Estrutura de Avaliação

O estudo avalia 29 métricas em quatro categorias:

1. Sobreposição Lexical/N-grama: BLEU, ROUGE (48 variantes), METEOR, ChrF++, etc.
2. Baseadas em Embedding: BERTScore (144 variantes usando IndicBERT, mBERT, XLM-R), MoverScore, LaBSE, LASER.
3. Aprendidas por Redes Neurais: BLEURT, COMET, xCOMET.
4. Baseadas em LLM: GPTScore, MetricX-24, GEMBA, e avaliações diretas usando GPT-4.1, LLaMA-3.3, DeepSeek V3 e Gemini 2.5.

A avaliação abrange:

• Alinhamento: Correlações de Pearson entre pontuações de métricas e julgamentos humanos em níveis de segmento e de sistema.
• Sensibilidade a Outliers: Análise de como a remoção de valores atípicos (definidos como $|z| > 3.5$ usando MAD) afeta as correlações.
• Robustez: Teste da resiliência da métrica contra perturbações controladas, incluindo paráfrase, substituição/deleção de entidades, negação, reordenação sintática (shuffling) e ruído lexical.

Resultados Principais

1. Alinhamento de Métricas com Julgamentos Humanos

• Dominância dos LLMs: Avaliadores baseados em LLM (especificamente DeepSeek-V3 e GPT-4.1) demonstraram o mais forte alinhamento com julgamentos humanos tanto em nível de segmento quanto de sistema, superando métricas tradicionais e aprendidas por redes neurais.
• Forças Específicas por Tarefa:
  • Na Sumarização de Texto, as métricas foram mais eficazes ao capturar fidelidade de conteúdo (Fidelidade, Foco, Cobertura), mas tiveram dificuldades com a Coerência.
  • Na Tradução Automática, as métricas refletiram melhor a Fluência, sendo que a Adequação foi razoavelmente capturada, mas propriedades semânticas mais finas permaneceram menos confiáveis.
• Configurações Ótimas: Entre as métricas tradicionais, o ROUGE-2 (recall, sem stopwords) teve o melhor desempenho para TS, enquanto o BLEU-3 liderou para MT. Para métricas baseadas em embeddings, o IndicBERT (camada 8) foi o ideal para TS, e o LaBSE para MT.

2. Impacto de Outliers

• Outliers influenciam significativamente as correlações entre métrica e humano. A remoção de outliers geralmente reduziu as correlações para Fidelidade e Foco em TS, sugerindo inflação prévia, enquanto melhorou as correlações para Cobertura em alguns casos.
• Métricas baseadas em embeddings (ex: LASER, BARTScore) mostraram alta sensibilidade a outliers, enquanto avaliadores neurais e baseados em LLM demonstraram maior resiliência.

3. Variações Específicas de Língua

• O Telugu consistentemente alcançou as pontuações de correlação mais altas em todas as tarefas.
• O Marathi (em TS) e o Hindi (em MT) ocuparam as posições mais baixas. Notavelmente, o Hindi, apesar de ser uma língua de altos recursos, foi avaliado de forma menos confiável por LLMs do que línguas de menores recursos como Tamil e Telugu, contradizendo as suposições de desempenho superior em configurações de altos recursos.

4. Robustez a Perturbações

• Ruído Estrutural: O embaralhamento (shuffling - perturbação da ordem das palavras) foi o fator mais disruptivo para as métricas de MT, causando quedas acentuadas nas correlações de Adequação e Fluência.
• Ruído Semântico: A truncagem de frases-chave teve o maior impacto negativo nos métricas de TS em relação à Fidelidade e Cobertura.
• Sensibilidade Linguística: Tamil e Telugu mostraram alta sensibilidade a perturbações de negação, enquanto o Hindi foi o mais vulnerável no geral e o Gujarati o mais resiliente.
• Robustez da Métrica: O COMET mostrou robustez a variações que preservam o significado (paráfrase, sinônimos), mas limitações sob perturbações estruturais e de alteração de sentido.

Significância e Contribuições

O artigo afirma fornecer o primeiro framework de avaliação unificado e de alta resolução para ambos MT e TS em línguas indianas que vai além de pontuações globais únicas. Suas principais contribuições são:

1. Benchmark ITEM: Um conjunto de dados lançado publicamente cobrindo seis grandes línguas indianas com anotações granulares para MT e TS.
2. Análise Abrangente de Métricas: Uma avaliação sistemática de 29 métricas em diversas configurações, identificando que avaliadores baseados em LLM oferecem atualmente o alinhamento mais confiável com o julgamento humano.
3. Insights sobre Outliers e Robustez: O estudo destaca o impacto anteriormente negligenciado de valores atípicos nas medidas de correlação e fornece evidência empírica das vulnerabilidades das métricas sob perturbações linguísticas específicas (ex: embaralhamento, negação) em línguas indianas.
4. Orientação para Design Futuro: As descobertas sugerem que o design de métricas futuras para línguas indianas deve considerar o equilíbrio entre fidelidade de conteúdo e qualidade linguística, e priorizar a robustez contra ruído estrutural, particularmente para línguas com ordens de palavras flexíveis e morfologia complexa.

Os autores concluem que, embora os avaliadores baseados em LLM sejam atualmente os mais confiáveis, sua dependência de sistemas proprietários e de alto consumo de recursos exige o desenvolvimento de alternativas transparentes, eficientes e robustas para o ecossistema das línguas indianas.