💻 computer science

IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages

Este artigo apresenta o IndicQE-APE, um benchmark consolidado que agrega 126.754 instâncias em nove pares de línguas índicas com anotações multifacetadas para avaliar e comparar o desempenho de LLMs e métricas COMET em tarefas de estimativa de qualidade e pós-edição automática.

Autores originais: Diptesh Kanojia, Archchana Sindhujan, Sourabh Deoghare, Daria Sokova, Shenbin Qian, Girish Koushik, Tharindu Ranasinghe, Constantin Orăsan, Chrysoula Zerva, Ricardo Rei, Frédéric Blain, André F. T. Ma

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Diptesh Kanojia, Archchana Sindhujan, Sourabh Deoghare, Daria Sokova, Shenbin Qian, Girish Koushik, Tharindu Ranasinghe, Constantin Orăsan, Chrysoula Zerva, Ricardo Rei, Frédéric Blain, André F. T. Martins, Marco Turchi, Matteo Negri, Rajen Chatterjee, Anoop Kunchukuttan, Mitesh M. Khapra, Pushpak Bhattacharyya

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Quando um computador traduz uma frase de um idioma para outro, como sabemos se o resultado é bom? Durante décadas, a resposta padrão era comparar a saída da máquina com uma versão escrita por humanos do mesmo texto. Se os dois coincidissem de perto, a máquina estava indo bem. Mas este método encontra um obstáculo ao lidar com idiomas que possuem menos recursos digitais, como os muitos idiomas falados no subcontinente indiano. Nesses casos, muitas vezes não existe uma tradução humana perfeita para usar como régua. Em vez disso, os pesquisadores devem confiar na "estimativa de qualidade", uma forma de pontuar uma tradução baseando-se apenas no texto original e no palpite da máquina, sem uma referência. Ainda mais desafiador é a "pós-edição automática", onde um computador tenta corrigir seus próprios erros para aproximar o texto dos padrões humanos. Por anos, os dados para essas tarefas em idiomas indianos estiveram espalhados por diferentes projetos, tornando difícil treinar sistemas que funcionem bem de forma abrangente ou compará-los de forma justa.

Um novo estudo traz ordem a esse caos ao criar um recurso único e massivo chamado INDICQE-APE. Os pesquisadores reuniram e unificaram dados de várias grandes competições internacionais de tradução abrangendo quatro anos, combinando-os com um conjunto de dados recém-criado para Inglês para Malayalam. O resultado é uma coleção de quase 127.000 exemplos cobrindo nove pares de idiomas diferentes. O que torna esta coleção única é que cada exemplo carrega múltiplos tipos de feedback humano simultaneamente: uma pontuação de quão boa é a tradução, uma versão do texto que um humano editou para corrigir erros e até notas explicando o que deu errado. Isso permite que os pesquisadores testem quão bem os computadores podem julgar a qualidade e quão bem podem corrigir seu próprio trabalho usando exatamente o mesmo conjunto de frases.

A equipe usou este novo benchmark para testar uma variedade de sistemas modernos de inteligência artificial, incluindo grandes modelos de linguagem e ferramentas de pontuação especializadas. Eles descobriram uma falha surpreendente na forma como esses sistemas são avaliados atualmente. Embora muitos modelos sejam excelentes em classificar traduções dentro de um único par de idiomas — distinguindo uma tradução de Hindi de uma ruim — eles frequentemente falham em ser comparáveis entre diferentes idiomas. Uma pontuação de 80 para uma tradução de Hindi não significa a mesma coisa que uma pontuação de 80 para uma tradução de Tamil. Na verdade, para alguns dos modelos mais poderosos testados, as pontuações na verdade se movem na direção errada ao comparar diferentes idiomas, tornando impossível criar um único ranking que classifique o desempenho de forma justa entre todos os pares.

Os pesquisadores também investigaram o que torna uma tradução particularmente difícil para um computador avaliar. Eles categorizaram os dados em quatro tipos de dificuldade, como segmentos onde os anotadores humanos discordaram da pontuação, ou onde a tradução exigiu muita edição. Eles descobriram que a maioria dessas categorias não tornou a tarefa realmente mais difícil para o computador uma vez que levaram em conta o idioma e a qualidade geral do texto. No entanto, um tipo específico de dificuldade se destacou: segmentos onde a impressão geral da tradução parecia boa, mas as palavras individuais estavam claramente erradas, ou vice-versa. Quando uma tradução enviava um sinal misto — parecendo boa à primeira vista, mas falhando nos detalhes — todos os sistemas testados tiveram dificuldade em classificá-la corretamente. Isso sugere que o maior desafio para a tecnologia atual não é apenas a complexidade da língua, mas a contradição entre o panorama geral e os pequenos detalhes.

Além de testar ferramentas existentes, os pesquisadores tentaram construir novos sistemas leves para ver se poderiam melhorar os resultados. Eles descobriram que simplesmente ler os estados matemáticos internos de um modelo de linguagem de grande escala congelado poderia prever a qualidade quase tão bem quanto pedir ao modelo para escrever uma pontuação. Eles também treinaram um pequeno complemento para um avaliador de tradução padrão, que teve um desempenho tão bom quanto as ferramentas muito maiores e pré-fabricadas. Essas descobertas sugerem que a chave para uma melhor estimativa de qualidade não reside em construir modelos maiores, mas em entender melhor como ler os sinais já presentes nos dados.

O estudo também lançou luz sobre a prática da pós-edição automática. Quando os pesquisadores pediram aos computadores para corrigir textos traduzidos por máquina, os resultados foram contraintuitivos. Em três de quatro pares de idiomas, a tradução automática original, não editada, estava na verdade mais próxima do padrão humano do que a versão que o computador tentou corrigir. Isso aconteceu porque os computadores tendiam a fazer mudanças que afastavam o texto do estilo específico dos editores humanos, mesmo que a nova versão fosse gramaticalmente correta. Os editores humanos muitas vezes faziam mudanças muito mínimas, e os computadores, tentando ser úteis, corrigiam excessivamente. Isso revela uma lacuna crítica: os sistemas atuais ainda não estão prontos para substituir editores humanos porque ainda não entendem a natureza sutil e conservadora da edição humana nesses idiomas.

Em última análise, este trabalho fornece um mapa muito mais claro do cenário da tradução automática para os idiomas indianos. Mostra que, embora a tecnologia tenha feito grandes progressos na compreensão de idiomas individuais, ela ainda carece da capacidade de julgar a qualidade de forma justa entre diferentes línguas. O novo benchmark serve como um campo de teste rigoroso que expõe essas fraquezas, particularmente a confusão causada por sinais mistos nas traduções e a dificuldade de combinar estilos de edição humana. Ao consolidar anos de dados dispersos em um recurso coerente, os pesquisadores deram ao campo uma base sólida para construir, garantindo que o progresso futuro seja medido contra um padrão que é tanto abrangente quanto honesto sobre onde a tecnologia se encontra atualmente.

Resumo Técnico: INDICQE-APE

Definição do Problema

A avaliação sem referência de tradução automática (MT) para línguas indicas e outras línguas de baixos recursos enfrenta dois desafios compostos: fragmentação de dados e inconsistência de métricas de avaliação.

Fragmentação de Dados: Dados de Estimativa de Qualidade (QE) e de Pós-Edição Automática (APE) para línguas indicas estão dispersos em lançamentos separados de tarefas compartilhadas do WMT (2020–2024) e outros recursos. Esses conjuntos de dados possuem esquemas, divisões e proveniências incompatíveis, impedindo o treinamento e a avaliação unificados entre tarefas e pares de línguas.
Inconsistência de Métricas: As avaliações existentes frequentemente dependem de uma única métrica escalar aprendida. O comportamento dessas métricas através de diferentes línguas raramente é verificado, levando à suposição de que a precisão dentro de uma língua implica comparabilidade translinguística, o que este artigo contesta.

Metodologia: O Benchmark INDICQE-APE

Os autores introduzem o INDICQE-APE, um benchmark consolidado projetado para unificar esses recursos fragmentados e permitir uma medição rigorosa.

Construção de Dados

Escopo: O benchmark consolida 126.754 instâncias em nove pares de línguas direcionais (Inglês para {Hindi, Marathi, Tamil, Telugu, Gujarati, Malayalam} e {Estoniano, Nepali, Sinhala} para Inglês).
Alinhamento: Ao contrário de lançamentos anteriores onde os tipos de rótulos eram distribuídos em arquivos diferentes, o INDICQE-APE alinha até quatro tipos de rótulos no mesmo segmento:
1. Avaliação Direta (DA): Pontuações Z-normalizadas de 0–100 baseadas nas diretrizes FLORES.
2. Pós-Edição Humana (PE): Correções humanas usadas como referência para APE.
3. Tags de Nível de Palavra: Tags OK/BAD derivadas do alinhamento MT-para-PE (suplementadas por tags derivadas onde as tags reais estão ausentes).
4. Explicações: Observações de Qualidade de Tradução Humana (para Inglês-Malayalam) e descrições de erros geradas por modelos.
Proveniência e Higiene: Cada instância é etiquetada com sources e cadence_id. O conjunto de dados passa por deduplicação via UIDs de hash de conteúdo e divisão estrita de fontes disjuntas para evitar vazamento entre treino e teste.
Conjunto de Teste Estratificado por Dificuldade: Em vez de amostrar de uma cauda de treinamento, o conjunto de teste é construído para ser estratificado em quatro eixos de dificuldade:
- A1 (Desacordo de Anotadores): Alta desvio padrão nos escores dos anotadores.
- A2 (Esforço de Edição): Alta Taxa de Erro de Token (TER) entre MT e pós-edição.
- A3 (Erro de Palavra): Alta densidade de tags BAD ou categorias de erro específicas.
- A4 (Conflito de Sinal): Segmentos onde os escores holísticos de DA e os sinais de erro ao nível de token (ex: baixo TER) conflitam (ex: um escore baixo com edições mínimas, ou um escore alto com erros densos).

Protocolo de Avaliação

O artigo faz o benchmarking de:

QE: Seis Large Language Models (LLMs) com prompting e três métricas da família COMET (CometKiwi-DA, CometKiwi-XL, XCOMET-XL) na correlação de nível de segmento com o DA humano.
APE: Três sistemas (sarvam-m, sarvam-t, tiny-aya) no desempenho de pós-edição, medido contra pós-edições humanas usando métricas de superfície (char-TER, chrF++) e métricas sem referência.
Estudos de Modelagem:
1. Sondagem de Camadas (Layer Probing): Treinar uma cabeça de regressão nos estados ocultos congelados de LLMs ajustados por instrução para prever a qualidade.
2. Regressão COMET: Treinar uma cabeça de regressão leve em um codificador COMET para prever o DA, analisando o impacto da inicialização do codificador, características e funções de perda.

Principais Resultados

1. Comparabilidade Translinguística vs. Precisão Intra-língua

O estudo constata que a precisão dentro de uma língua não garante a comparabilidade translinguística.

Offsets por Língua: As métricas exibem offsets por língua ( $a_\ell$ em $m(x) = a_\ell + b_\ell q(x)$ ). Para o CometKiwi-XL, a métrica com melhor desempenho dentro das línguas, este offset correlaciona-se negativamente com a qualidade ($-0.442$).
Artefatos de Agrupamento (Pooling): Agrupar pares de línguas em uma única métrica de correlação infla os escores artificialmente ao capturar diferenças de média entre os pares em vez da ordenação intra-par. O CometKiwi-XL perde 0.117 em correlação quando os pares são agrupados, enquanto outras métricas permanecem estáveis.
Conclusão: Escores brutos de tais métricas não são comparáveis entre diferentes pares de línguas; os rankings devem fazer a média das correlações dentro de cada par em vez de agrupar segmentos.

2. Eixos de Dificuldade e Desempenho do Sistema

Conflito de Sinal (A4): Quando comparado a um grupo de controle de segmentos com o mesmo escore de distribuição de humanos do mesmo par de línguas, apenas o eixo "Conflito de Sinal" (A4) degrada consistentemente o desempenho do sistema. Segmentos onde os sinais holísticos e de nível de token conflitam são classificados pior do que segmentos com o mesmo escore sem esse conflito.
Outros Eixos: Os eixos definidos por desacordo de anotadores (A1) ou esforço de edição (A2) não mostram um efeito significativo uma vez que a compressão do intervalo de escore é controlada.
Custos de Prompting: O prompting de poucos disparos (4-shot) degrada o desempenho para modelos menores ( $\le$ 3.4B de parâmetros), reduzindo tanto a correlação quanto a conformidade do formato de saída. Modelos maiores (ex: GPT-5.5, aya-expanse-32B) são mais robustos.

3. Achados de Pós-Edição Automática (APE)

O Baseline "Não Fazer Nada": Em três dos quatro pares avaliados, a Tradução Automática (MT) não editada supera todos os sistemas de pós-edição quando medida por métricas de superfície (char-TER, chrF++) contra a pós-edição humana.
Viés de Referência: Isso ocorre porque as pós-edições são reparos conservadores da MT. Métricas de superfície contra pós-edições medem o "esforço de reparo residual" em vez da qualidade absoluta. Sistemas que retraduzem do zero (ex: sarvam-t) afastam-se da pós-edição conservadora e pontuam pior, apesar de possivelmente terem maior qualidade.
Visão Sem Referência: Métricas sem referência (CometKiwi) classificam os sistemas de pós-edição acima da MT não editada, destacando a discrepância entre a avaliação baseada em referência e a sem referência em APE.

4. Insights de Modelagem

Sondagem de Camadas: Sinais de qualidade em LLMs congelados são melhor lidos de camadas intermediárias (ex: camada -20 em um modelo de 24 camadas), superando o prompting do mesmo modelo.
Cabeças de Regressão: Para treinar uma cabeça de regressão em um codificador COMET, a inicialização do codificador é o fator dominante. O pré-treinamento sem referência (CometKiwi) supera significamente o pré-treinamento baseado em referência ou sem pré-treinamento. A engenharia de atributos (características de atenção, razões de comprimento) fornece ganhos negligenciáveis em comparação com a escolha do codificador.

Significância e Alegações

O artigo alega fornecer o primeiro recurso unificado para QE e APE de línguas indicas que suporta o treinamento e a avaliação entre tarefas e pares sobre uma base única. Suas principais contribuições são:

Benchmark INDICQE-APE: Um conjunto de dados de 126.754 instâncias com rótulos multimodais alinhados, proveniência verificada e um conjunto de teste estratificado por dificuldade.
Medição de QE Sem Referência: Demonstrar que a correlação dentro de uma língua e a comparabilidade translinguística são propriedades distintas. Alerta que os escores brutos das métricas atuais não podem ser comparados entre pares de línguas devido aos offsets por língua.
Identificação de Casos Difíceis: Mostrar que o "conflito de sinal" (desacordo entre escores holísticos e erros de nível de token) é o principal eixo de dificuldade que desafia consistentemente os sistemas, enquanto o desacordo de anotadores e o esforço de edição são menos críticos quando o escore é controlado.
Baselines de APE: Estabelecer que a MT não editada frequentemente vence os sistemas de pós-edição sob métricas baseadas em referência devido à natureza conservadora das pós-edições, necessitando de um baseline de "não fazer nada" para uma avaliação válida de APE.

Os autores concluem que, embora o benchmark permita novas direções (sondagem de estados ocultos, cabeças de regressão leves), desafios significativos permanecem, particularmente no tratamento de línguas aglutinantes com marcação de nível de palavra e na resolução de casos onde os escores humanos e as evidências de superfície discordam.