The Translation Tax Is Not a Scalar: A Counterfactual Audit of English-Source Cue Inheritance in Chinese Multilingual Benchmarks

Resumo Técnico: O Imposto de Tradução Não é um Escalar

Declaração do Problema
A avaliação de Modelos de Linguagem de Grande Escala (LLMs) em cenários multilíngues frequentemente depende de benchmarks traduzidos (por exemplo, MMMLU, Belebele, XCOPA). Uma suposição predominante, denominada "Imposto de Tradução", postula que benchmarks traduzidos inflacionam artificialmente as pontuações dos modelos porque estes exploram pistas residuais de origem em inglês preservadas através da tradução, em vez de demonstrar compreensão genuína da língua. No entanto, a literatura carece de quantificação rigorosa desse efeito. Preocupações existentes sobre artefatos de tradução (por exemplo, Artetxe et al., 2020) e lacunas de representatividade (por exemplo, Sitaram, 2025; Wu et al., 2025) sugerem que as variações de pontuação induzidas pela tradução são complexas, contudo nenhum estudo único decomôs sistematicamente essas variações em inflação impulsionada por pistas versus degradação semântica através de múltiplas estratégias de estimativa.

Metodologia
Este artigo realiza uma auditoria contrafactual de benchmarks de inglês para chinês utilizando uma abordagem de triangulação com quatro estimadores distintos para isolar o "Imposto de Tradução" (IT). O estudo utiliza um subconjunto estratificado de 228 itens do MMMLU e 100 itens do Belebele, avaliados em nove modelos (Grupo A: vanguarda centrada em inglês; Grupo B: otimizado para chinês; Grupo C: multilíngue de código aberto).

1. Estimador E1 (Tradução Reversa): Mede a lacuna de pontuação entre itens originais em inglês e itens que fizeram um percurso de ida e volta através do chinês de volta ao inglês. Isso serve como um proxy para resíduo de pistas estruturais, mas é reconhecido como um limite superior ruidoso devido ao ruído da tradução reversa e à perda de naturalidade.
2. Estimador E2 (Anotação Nativa Bilíngue): Uma tentativa de calibração onde anotadores pontuam itens quanto à identificabilidade de pistas, resíduo cultural e resíduo sintático. Neste estudo, isso foi executado como uma calibração de rubrica de 30 itens com um único anotador usando um LLM, servindo como verificação da cobertura da rubrica e não como um estimador humano completo.
3. Estimador E3 (Controle NÃO-Tradução INCLUDE): Compara o desempenho no MMMLU chinês traduzido contra o INCLUDE chinês, um conjunto de dados obtido nativamente de exames regionais. Isso fornece uma comparação de validade externa, embora careça de correspondência ao nível do item.
4. Estimador E4 (Teste de Estresse de Naturalização por LLM Correspondente): Um contrafactual onde o conteúdo do item (resposta, opções, semântica) é mantido fixo enquanto a forma superficial em chinês é reescrita por um LLM para ser mais "natural". Este é o único estimador que varia a naturalidade superficial enquanto mantém o conteúdo fixo. Uma etapa metodológica crítica envolveu corrigir um erro na construção do prompt (rótulos de escolha duplicados) na execução inicial, o que alterou significativamente os resultados.

Principais Resultados
O estudo conclui que o Imposto de Tradução não é uma correção escalar uniforme, mas um conjunto de riscos de validade dependentes do estimador e do item.

• E1 (Tradução Reversa): As estimativas pontuais são pequenas (variando de 0,000 a +0,047). Embora cinco das seis células modelo-benchmark mostrassem estimativas positivas, os intervalos de confiança para a maioria incluíam zero. A única célula que excluiu estreitamente o zero (MMMLU/gpt-5.4-mini) foi identificada como frágil ao analisador. A bootstrap agrupada por cluster de itens produziu um pequeno efeito médio positivo (+0,022, IC 95% [0,001, 0,044]), sugerindo que um pequeno imposto de tradução existe, mas é altamente sensível à validade do analisador.
• E2 (Anotação): A execução de calibração não encontrou correlação entre as pontuações de pistas e os ganhos de desempenho ao nível do item. O modelo gpt-4o mostrou uma correlação negativa, e os dados foram dominados por pontuações empatadas, tornando este estimador inconclusivo para exploração de pistas nesta escala.
• E3 (Controle INCLUDE): Modelos centrados em inglês (Grupo A) mostraram lacunas próximas de zero entre o MMMLU traduzido e o INCLUDE nativo. Modelos otimizados para chinês (Grupo B) mostraram resultados mistos: dois modelos (deepseek-chat, qwen-max) performaram significativamente pior no MMMLU traduzido do que no INCLUDE nativo, enquanto um terceiro (glm-4.5) mostrou uma lacuna positiva. Isso sugere que interações entre famílias de modelos podem existir, mas são confundidas por diferenças de domínio (acadêmico vs. exame regional).
• E4 (Naturalização): Após corrigir o erro no prompt, o estudo não encontrou nenhuma interação estatisticamente significativa entre famílias de modelos. A alegação do rascunho anterior de uma forte interação foi um artefato do erro combinado com a fragilidade do analisador do glm-4.5. No entanto, um efeito dose-resposta persistiu: itens com alto "resíduo de tradução" (onde os modelos anteriormente falharam em chinês, mas tiveram sucesso em inglês) mostraram um ganho de desempenho quando naturalizados (+0,103), enquanto itens de baixo resíduo não mostraram ganho (-0,015).

Significância e Alegações
O artigo argumenta que o "Imposto de Tradução" não pode ser tratado como um único valor escalar a ser subtraído das pontuações de benchmarks. Em vez disso, os riscos de validade são heterogêneos:

1. Dependência do Estimador: Diferentes proxies produzem magnitudes e direções de efeito distintas.
2. Dependência do Item: O imposto está concentrado em itens específicos com alto resíduo de tradução, não distribuído uniformemente através do benchmark.
3. Dependência do Modelo: Embora efeitos agregados de família de modelo estivessem em grande parte ausentes ou confundidos pela adequação ao domínio, a fragilidade do analisador e a sensibilidade ao prompt desempenham um papel crítico nas pontuações observadas.

Os autores concluem que benchmarks traduzidos introduzem riscos de validade que são melhor compreendidos como um conjunto de condições e não como uma penalidade fixa. Eles disponibilizam uma lista de verificação de relatórios para futuros artigos sobre benchmarks traduzidos, enfatizando a necessidade de divulgar o escopo do estimador, a fragilidade do analisador e contrastes de subgrupos. O estudo não afirma ter medido diretamente o Imposto de Tradução "latente", mas fornece uma estrutura para identificar quando e onde pistas de tradução podem inflacionar artificialmente as pontuações.