The Translation Tax Is Not a Scalar: A Counterfactual Audit of English-Source Cue Inheritance in Chinese Multilingual Benchmarks

Resumen Técnico: El Impuesto de Traducción No es un Escalar

Enunciado del Problema
La evaluación de Modelos de Lenguaje Grandes (LLM) en entornos multilingües depende frecuentemente de benchmarks traducidos (por ejemplo, MMMLU, Belebele, XCOPA). Una suposición predominante, denominada "Impuesto de Traducción", postula que los benchmarks traducidos inflan artificialmente las puntuaciones de los modelos porque estos explotan pistas residuales de la fuente en inglés preservadas a través de la traducción, en lugar de demostrar una comprensión genuina del idioma. Sin embargo, la literatura carece de una cuantificación rigurosa de este efecto. Las preocupaciones existentes sobre artefactos de traducción (por ejemplo, Artetxe et al., 2020) y brechas de representatividad (por ejemplo, Sitaram, 2025; Wu et al., 2025) sugieren que los desplazamientos de puntuación inducidos por la traducción son complejos, pero ningún estudio ha descompuesto sistemáticamente estos desplazamientos en inflación impulsada por pistas versus degradación semántica a través de múltiples estrategias de estimación.

Metodología
Este artículo realiza una auditoría contrafactual de benchmarks de inglés a chino utilizando un enfoque de triangulación con cuatro estimadores distintos para aislar el "Impuesto de Traducción" (IT). El estudio utiliza un subconjunto estratificado de 228 ítems de MMMLU y 100 ítems de Belebele, evaluados en nueve modelos (Grupo A: frontera centrada en inglés; Grupo B: optimizado para chino; Grupo C: multilingüe de código abierto).

1. Estimador E1 (Traducción Inversa): Mide la brecha de puntuación entre los ítems originales en inglés y los ítems que hacen un viaje de ida y vuelta a través del chino de vuelta al inglés. Esto sirve como un proxy para el residuo de pistas estructurales, pero se reconoce como un límite superior ruidoso debido al ruido de la traducción inversa y la pérdida de naturalidad.
2. Estimador E2 (Anotación Nativa Bilingüe): Un intento de calibración donde los anotadores puntúan los ítems en cuanto a identificabilidad de pistas, residuo cultural y residuo sintáctico. En este estudio, esto se ejecutó como una calibración de rúbrica de un solo anotador con 30 ítems utilizando un LLM, sirviendo como una verificación de la cobertura de la rúbrica en lugar de un estimador humano completo.
3. Estimador E3 (Control de No Traducción INCLUDE): Compara el rendimiento en MMMLU chino traducido frente a INCLUDE Chinese, un conjunto de datos obtenido nativamente de exámenes regionales. Esto proporciona una comparación de validez externa, aunque carece de emparejamiento a nivel de ítem.
4. Estimador E4 (Prueba de Estrés de Naturalización de LLM Emparejada): Un contrafactual donde el contenido del ítem (respuesta, opciones, semántica) se mantiene fijo mientras la forma superficial en chino es reescrita por un LLM para ser más "natural". Este es el único estimador que varía la naturalidad superficial manteniendo fijo el contenido. Un paso metodológico crítico implicó corregir un error en la construcción del prompt (etiquetas de opción duplicadas) en la ejecución inicial, lo que alteró significativamente los resultados.

Resultados Clave
El estudio encuentra que el Impuesto de Traducción no es una corrección escalar uniforme, sino un conjunto de riesgos de validez dependientes del estimador y del ítem.

• E1 (Traducción Inversa): Las estimaciones puntuales son pequeñas (oscilando entre 0.000 y +0.047). Aunque cinco de las seis celdas de modelo-benchmark mostraron estimaciones positivas, los intervalos de confianza para la mayoría incluían cero. La única celda que excluía estrechamente cero (MMMLU/gpt-5.4-mini) fue identificada como frágil para el analizador. El agrupamiento de ítems con bootstrapping arrojó un efecto promedio positivo pequeño (+0.022, IC 95% [0.001, 0.044]), lo que sugiere que existe un impuesto de traducción menor pero es altamente sensible a la validez del analizador.
• E2 (Anotación): La ejecución de calibración no encontró correlación entre las puntuaciones de pistas y las ganancias de rendimiento a nivel de ítem. El modelo gpt-4o mostró una correlación negativa, y los datos estuvieron dominados por puntuaciones empatadas, lo que hace que este estimador sea inconcluyente para la explotación de pistas a esta escala.
• E3 (Control INCLUDE): Los modelos centrados en inglés (Grupo A) mostraron brechas cercanas a cero entre MMMLU traducido e INCLUDE nativo. Los modelos optimizados para chino (Grupo B) mostraron resultados mixtos: dos modelos (deepseek-chat, qwen-max) tuvieron un rendimiento significativamente peor en MMMLU traducido que en INCLUDE nativo, mientras que un tercero (glm-4.5) mostró una brecha positiva. Esto sugiere que pueden existir interacciones familiares de modelos, pero están confundidas por diferencias de dominio (académico vs. examen regional).
• E4 (Naturalización): Después de corregir el error del prompt, el estudio no encontró ninguna interacción significativa estadísticamente entre familias de modelos. La afirmación del borrador anterior sobre una fuerte interacción fue un artefacto del error combinado con la fragilidad del analizador de glm-4.5. Sin embargo, persistió un efecto dosis-respuesta: los ítems con alto "residuo de traducción" (donde los modelos fallaron previamente en chino pero tuvieron éxito en inglés) mostraron una ganancia de rendimiento al naturalizarse (+0.103), mientras que los ítems de bajo residuo no mostraron ganancia (-0.015).

Significancia y Afirmaciones
El artículo argumenta que el "Impuesto de Traducción" no puede tratarse como un único valor escalar que se reste de las puntuaciones de los benchmarks. En cambio, los riesgos de validez son heterogéneos:

1. Dependencia del Estimador: Diferentes proxies producen diferentes magnitudes y direcciones del efecto.
2. Dependencia del Ítem: El impuesto se concentra en ítems específicos con alto residuo de traducción, no se distribuye uniformemente a través del benchmark.
3. Dependencia del Modelo: Si bien los efectos agregados de familias de modelos estuvieron mayormente ausentes o confundidos por la adecuación del dominio, la fragilidad del analizador y la sensibilidad del prompt juegan un papel crítico en las puntuaciones observadas.

Los autores concluyen que los benchmarks traducidos introducen riesgos de validez que se entienden mejor como un conjunto de condiciones en lugar de una penalización fija. Publican una lista de verificación de informes para futuros artículos sobre benchmarks traducidos, enfatizando la necesidad de divulgar el alcance del estimador, la fragilidad del analizador y los contrastes de subgrupos. El estudio no afirma haber medido directamente el Impuesto de Traducción "latente", sino que proporciona un marco para identificar cuándo y dónde las pistas de traducción pueden inflar artificialmente las puntuaciones.