💬 NLP

Contrastive ESA: Human Evaluation of Multiple Translations at Once

O artigo introduz o Contrastive Error Span Annotation (cESA), um protocolo de avaliação humana que avalia múltiplas traduções simultaneamente para reduzir o ruído e o tempo do anotador, ao mesmo tempo em que produz pontuações de qualidade absolutas para classificações de modelos interpretáveis.

Autores originais: Vilém Zouhar, Roman Grundkiewicz, Sara Rajaee, Parker Riley, Martin Popel, Rachel Bawden, Philipp Koehn, Marine Carpuat, Tom Kocmi

Publicado 2026-07-30

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vilém Zouhar, Roman Grundkiewicz, Sara Rajaee, Parker Riley, Martin Popel, Rachel Bawden, Philipp Koehn, Marine Carpuat, Tom Kocmi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um juiz em um enorme show de talentos, mas em vez de cantores, você está julgando traduções de histórias de uma língua para outra. Durante anos, a maneira padrão de fazer isso era entregar ao juiz uma única tradução, pedir que ele a avaliasse isoladamente e, depois, passar para a próxima. É como pedir a alguém para avaliar uma maçã sem ver nenhuma outra maçã para comparar. O problema? Isso é exaustivo, caro e surpreendentemente bagunçado. Quando você olha para apenas uma coisa sozinha, seu cérebro se cansa, seu humor muda e suas notas podem variar muito. Este é o mundo da "Avaliação de Tradução Automática", um campo dedicado a descobrir o quão bem os computadores podem traduzir línguas humanas. O objetivo é simples: encontrar o melhor tradutor de IA para que possamos confiar nele em tarefas do mundo real. Mas, para fazer isso, os humanos têm que atuar como os árbitros, e as antigas regras de arbitragem estavam tornando o jogo lento e as pontuações pouco confiáveis.

Entra um grupo de pesquisadores que decidiu mudar as regras do jogo. Eles introduziram um novo protocolo chamado Contrastive Error Span Annotation (cESA). Em vez de mostrar ao juiz uma tradução por vez, eles colocam três (ou mais) traduções lado a lado na mesma tela. É como dar ao juiz uma cesta de maçãs em vez de uma única fruta. De repente, detectar uma maçã machucada torna-se muito mais fácil porque você pode ver as maçãs brilhantes e perfeitas logo ao lado. Os pesquisadores descobriram que este método de "visualização em grupo" não apenas tornou os juízes mais rápidos; tornou-os mais consistentes e precisos. Eles descobriram que mostrar três traduções de uma vez era o ponto ideal, economizando cerca de 31% do tempo enquanto, de fato, melhorava a qualidade das pontuações. Eles também verificaram para garantir que ver as outras traduções não enganasse os juízes para serem injustos e descobriram que o viés era tão pequeno que não importava. Em resumo, eles provaram que, quando você permite que os juízes comparem opções juntas, todos obtêm um resultado melhor, mais rápido e mais justo.

A Forma Antiga: A Maçã Solitária

Por muito tempo, a maneira padrão de testar tradutores de IA foi a "avaliação pontual" (pointwise evaluation). Imagine que você está corrigindo uma pilha de redações. No método antigo, você pegaria uma redação, a leria, daria uma nota, a colocaria de lado e então pegaria a próxima sem nunca olhar para trás. Você poderia dar 85 para a primeira redação porque ela pareceu boa, mas depois poderia dar 90 para a segunda, mesmo que ela fosse na verdade pior, apenas porque você estava cansado ou porque a primeira foi muito ruim. Isso é chamado de "ruído de anotador". É como tentar julgar a temperatura de uma xícara de café tocando-a uma vez, em uma sala fria, sem um termômetro. O artigo observa que este método sofre de alto "ruído de anotador" e é muito custoso, pois você precisa de tantos juízes para obter uma média confiável.

A Nova Forma: A Cesta de Frutas

Os autores, liderados por Vilém Zouhar e colegas, propuseram um novo método chamado cESA. Em vez de olhar para uma tradução no vácuo, o anotador vê múltiplas traduções do mesmo texto de origem ao mesmo tempo. Pense nisso como uma abordagem de "cesta de frutas". Se você vê uma maçã levemente machucada ao lado de uma perfeita, você nota o machucado muito mais rápido do que se estivesse olhando para a maçã machucada sozinha.

Neste novo sistema, o juiz olha para um texto de origem (como uma frase de uma história) e vê, digamos, três traduções de diferentes modelos de IA para ela, lado a lado. O juiz então:

Marca "intervalos de erro" específicos (as palavras exatas que estão erradas).
Decide se o erro é "maior" (um erro grande) ou "menor" (um deslize pequeno).
Dá uma pontuação de 0% a 100% baseada em uma escala clara.

O artigo explica que isso funciona devido a um conceito psicológico chamado "avaliação conjunta vs. separada". Quando você vê as coisas juntas, pode detectar erros em uma tradução comparando-as com as outras. Isso também ajuda você a entender o "espaço de possíveis traduções", tornando seu julgamento mais objetivo. Além disso, você não precisa reler o texto de origem repetidamente para cada tradução, o que economiza um tempo enorme.

O Experimento: Testando a Cesta de Frutas

Para ver se este novo método realmente funcionava, os pesquisadores realizaram um experimento massivo usando traduções de inglês para japonês. Eles testaram 12 modelos de IA diferentes (incluindo grandes nomes como Gemini, Claude e DeepSeek) usando um conjunto de dados de 97 segmentos de notícias, redes sociais e vídeos.

Eles compararam a forma antiga (mostrando uma tradução por vez) com a nova forma (mostrando 1, 2, 3 ou 4 traduções por vez). Aqui está o que descobriram:

Velocidade: O novo método foi significativamente mais rápido. Ao mostrar três modelos de uma vez (o "ponto ideal"), o tempo médio para anotar um segmento caiu de 77,8 segundos para 53,7 segundos. Isso é uma redução de 31% no tempo por item.
Qualidade: As pontuações foram mais estáveis. Os pesquisadores mediram a "concordância entre anotadores" (quanto dois juízes diferentes concordavam) e a "concordância intra-anotador" (quanto o mesmo juiz concordava consigo mesmo em uma segunda tentativa). O novo método mostrou maior concordância, o que significa que os juízes foram mais consistentes.
O Número Mágico: Eles testaram mostrar 1, 2, 3 e 4 modelos de uma vez. Descobriram que mostrar 3 modelos era o melhor equilíbrio. Passar de 1 para 2 modelos economizou muito tempo, mas adicionar um 4º modelo não economizou muito mais tempo e, na verdade, deixou a tela um pouco muito cheia. Três era o número perfeito para manter os juízes satisfeitos e eficientes.

Abordando os "E se": Os Juízes São Tendenciosos?

Os pesquisadores estavam preocupados que talvez ver as outras traduções enganasse os juízes. Eles perguntaram: "Se uma tradução realmente ruim estiver ao lado de uma boa, a boa parecerá boa demais? Ou se uma excelente estiver ao lado de uma ruim, a ruim parecerá ruim demais?"

Eles realizaram testes para verificar dois tipos de viés:

Viés de Posição: A tradução à esquerda recebe uma pontuação melhor do que a da direita? Os dados mostraram quase nenhuma diferença baseada na posição.
Viés de Entorno: Ver uma "isca" (uma tradução muito ruim ou muito boa) altera a pontuação das outras? Eles encontraram um efeito minúsculo: se um modelo estava ao lado de um modelo muito mais forte, sua pontuação caía cerca de 0,5 pontos em média. No entanto, os autores observam que isso é muito pequeno comparado às diferenças reais entre os modelos (que podem ser de 10 ou 20 pontos), de modo que não importa. É como se um corredor terminasse 10 segundos atrás do vencedor, não importa se ele terminou 0,5 segundo mais devagar porque estava ao lado de um campeão mundial.

O Veredito

O artigo conclui que o cESA é uma maneira melhor de julgar tradutores de IA. É mais rápido, mais barato e produz pontuações mais confiáveis. Os autores sugerem que qualquer pessoa que faça avaliação humana de traduções deve mudar para mostrar três modelos por vez. Eles até criaram uma ferramenta simples (chamada Pearmut) que qualquer pessoa pode usar para executar este novo protocolo, completa com tutoriais e diretrizes.

No fim, o artigo sugere que, ao permitir que os juízes comparem maçãs em uma cesta em vez de uma por uma, obtemos uma imagem muito mais clara de qual IA é verdadeiramente a melhor. É uma mudança simples na forma como olhamos para o trabalho, mas torna todo o processo de julgar máquinas muito mais inteligente e amigável aos seres humanos.

Resumo Técnico: cESA Contrastivo: Avaliação Humana de Múltiplas Traduções Simultâneas

Definição do Problema

A avaliação humana atual de tradução automática (MT) baseia-se predominantemente na avaliação pontual (pointwise), onde anotadores avaliam uma única tradução isoladamente em relação a um texto de origem. Esse paradigma sofre com alto ruído de anotadores e custos significativos, pois a falta de contexto comparativo torna difícil detectar erros sutis ou calibrar pontuações absolutas de forma consistente. Embora métodos contrastivos (classificação ou comparação lado a lado) existam, eles frequentemente falham em escalar para a avaliação de nível de documento ou exigem correções estatísticas pós-hoc complexas (ex: modelagem Bayesiana) para derivar métricas de qualidade absolutas, tornando os rankings finais dos modelos latentes e difíceis de interpretar.

Metodologia: Anotação de Intervalos de Erro Contrastiva (cESA)

Os autores propõem a Anotação de Intervalos de Erro Contrastiva (cESA), um protocolo projetado para apresentar múltiplas traduções do mesmo documento de origem simultaneamente aos anotadores.

Protocolo Central

Apresentação Simultânea: Os anotadores visualizam $k$ traduções do mesmo documento de origem lado a lado em uma única tela.
Marcação de Erros: Os anotadores marcam intervalos de erro dentro de cada tradução, classificando-os como menores ou maiores.
Pontuação Absoluta: Diferente de sistemas puramente de classificação (ranking), o protocolo utiliza o cESA para que os anotadores atribuam uma pontuação de qualidade absoluta de 0% a 100% a cada tradução.
Âncoras de Pontuação: O protocolo utiliza âncoras de pontuação detalhadas (ex: 85–100% para "Muito Bom", 0–20% para "Não aceitável") e uma escala discretizada (passos de 5%) para guiar o julgamento.
Revisão Iterativa: Os anotadores podem navegar de volta para telas anteriores para atualizar as anotações caso novos padrões de erro sejam descobertos, abordando uma limitação das ferramentas padrão.

Design Experimental

Os autores validaram o cESA através de duas campanhas de avaliação humana utilizando dados de tradução Inglês→Japonês da tarefa compartilhada WMT25 (97 segmentos, 38 documentos, domínios diversos incluindo notícias, redes sociais e vídeo):

Escala Pequena: Comparou o ESA padrão contra o cESA com $k=1$ (saída única) para isolar o efeito da melhoria nos guias e na interface.
Escala Grande: Avaliou 12 modelos (incluindo 10 sistemas de MT e 1 referência humana) com diferentes números de saídas simultâneas ( $k \in \{1, 2, 3, 4\}$ ).
Métricas: O estudo mediu o tempo de anotação, concordância intra-anotador (consistência do mesmo anotador), concordância inter-anotador (consistência entre diferentes anotadores) e estabilidade (robustez do ranking de modelos em subconjuntos de dados).

Principais Resultados

Eficiência e Qualidade

Redução de Tempo: A configuração ideal, cESA com $k=3$ , reduziu o tempo de anotação por segmento em 31% em comparação ao ESA pontual padrão (53,7s vs 77,8s).
Redução de Ruído: O cESA ( $k=3$ ) demonstrou menor discordância inter-anotador (Erro Médio Absoluto de 17,0 vs 20,0 para o ESA padrão) e maior estabilidade nos rankings de modelos.
Retornos Decrescentes: Aumentar $k$ além de 3 não gerou novos ganhos de tempo e degradou levemente as métricas de qualidade, sugerindo que $k=3$ é o equilíbrio ideal.

Análise de Viés

Os autores investigaram potenciais vieses introduzidos pela exibição de múltiplas saídas:

Viés de Posição: Embaralhar a ordem dos modelos na tela mitigou efetivamente o viés de posição; não foram encontradas diferenças distributivas significativas baseadas na posição da tela.
Viés de Similaridade: A presença de saídas de modelos similares não distorceu significativamente as pontuações (tamanho do efeito $\approx -0,2$ pontos).
Viés de Qualidade (Efeito Decoy): A presença de um modelo mais forte na mesma tela causou um viés descendente leve e consistente nas pontuações dos modelos mais fracos (aprox. -0,5 pontos em média). No entanto, os autores observam que este efeito é negligenciável em comparação com as lacunas reais de desempenho entre os modelos e é aliviado pela randomização da seleção de modelos por tela.

Calibração

O estudo descobriu que mostrar múltiplos modelos juntos melhora a calibração dentro da tela. A distribuição das pontuações permanece consistente entre as configurações, mas a variância das pontuações para o mesmo modelo entre diferentes telas diminui, indicando que o contexto compartilhado ajuda os anotadores a aplicar a rubrica de pontuação de forma mais consistente.

Principais Contribuições

Definição de Protocolo: Introdução do cESA, um protocolo padronizado que combina a profundidade da marcação de intervalos de erro com a eficiência da avaliação contrastiva, mantendo pontuações absolutas.
Escalabilidade: Demonstração de que a avaliação contrastiva pode ser escalada para tarefas de nível de documento com múltiplos modelos sem exigir correções de ranking pós-hoc complexas.
Validação Empírica: Evidência em larga escala mostrando que o cESA reduz custos e ruído de anotação, enquanto melhora a concordância e a estabilidade em comparação ao ESA pontual padrão.
Ferramental: Lançamento de uma implementação na plataforma de anotação Pearmut, permitindo implantação com configuração mínima com tutoriais em 18 pares de idiomas.

Significância e Alegações

O artigo afirma que o cESA representa um avanço no estado da arte para a avaliação humana de MT. Ao aproveitar os benefícios psicológicos da avaliação conjunta (encontrar erros em uma tradução auxilia na descoberta de erros em outras), o protocolo permite julgamentos mais consistentes e eficientes.

Crucialmente, os autores asseguram que o cESA produz julgamentos de qualidade absolutos que permitem rankings de modelos não paramétricos simples e interpretáveis (ex: via médias de pontuação) sem a necessidade de modelos paramétricos latentes como o TrueSkill. O artigo conclui que, para profissionais de avaliação, mostrar três saídas de modelos ( $k=3$ ) simultaneamente oferece o melhor compromisso entre velocidade, qualidade e carga de trabalho do anotador. As pontuações coletadas podem ser usadas diretamente como médias para comparação de modelos, desde que os pequenos vieses identificados sejam compreendidos como negligenciáveis no contexto das lacunas típicas de desempenho dos modelos.