The Translation Tax Is Not a Scalar: A Counterfactual Audit of English-Source Cue Inheritance in Chinese Multilingual Benchmarks

Résumé technique : La taxe de traduction n'est pas un scalaire

Énoncé du problème
L'évaluation des modèles de langage de grande taille (LLM) dans des contextes multilingues repose fréquemment sur des benchmarks traduits (par exemple, MMMLU, Belebele, XCOPA). Une hypothèse prédominante, qualifiée de « taxe de traduction », postule que les benchmarks traduits gonflent artificiellement les scores des modèles parce que ceux-ci exploitent des indices résiduels de la source anglaise préservés par la traduction, plutôt que de démontrer une véritable compréhension de la langue. Cependant, la littérature manque d'une quantification rigoureuse de cet effet. Les préoccupations existantes concernant les artefacts de traduction (par exemple, Artetxe et al., 2020) et les écarts de représentativité (par exemple, Sitaram, 2025 ; Wu et al., 2025) suggèrent que les variations de scores induites par la traduction sont complexes, pourtant aucune étude unique n'a systématiquement décomposé ces variations en inflation pilotée par les indices versus dégradation sémantique à travers plusieurs stratégies d'estimation.

Méthodologie
Cet article mène un audit contrefactuel des benchmarks de l'anglais vers le chinois en utilisant une approche de triangulation avec quatre estimateurs distincts pour isoler la « taxe de traduction » (TT). L'étude utilise un sous-ensemble stratifié de 228 éléments issus de MMMLU et de 100 éléments issus de Belebele, évalués sur neuf modèles (Groupe A : modèles de pointe centrés sur l'anglais ; Groupe B : modèles optimisés pour le chinois ; Groupe C : multilingues open-source).

1. Estimateur E1 (Traduction inverse) : Mesure l'écart de score entre les éléments anglais originaux et les éléments ayant fait l'objet d'un aller-retour via le chinois pour revenir à l'anglais. Cela sert de proxy pour le résidu d'indices structurels, mais est reconnu comme une borne supérieure bruitée en raison du bruit de la traduction inverse et de la perte de naturel.
2. Estimateur E2 (Annotation bilingue native) : Une tentative de calibration où des annotateurs notent les éléments selon l'identifiabilité des indices, le résidu culturel et le résidu syntaxique. Dans cette étude, cela a été exécuté comme une calibration de rubric à un seul annotateur sur 30 éléments utilisant un LLM, servant de vérification de la couverture du rubric plutôt que d'estimateur humain complet.
3. Estimateur E3 (Contrôle NON-TRADUCTION) : Compare les performances sur le MMMLU chinois traduit avec INCLUDE Chinese, un ensemble de données provenant nativement d'examens régionaux. Cela fournit une comparaison de validité externe, bien qu'il manque un appariement au niveau de l'élément.
4. Estimateur E4 (Test de stress de naturalisation LLM apparié) : Un contrefactuel où le contenu de l'élément (réponse, options, sémantique) est maintenu fixe tandis que la forme de surface chinoise est réécrite par un LLM pour être plus « naturelle ». C'est le seul estimateur qui fait varier le naturel de surface tout en maintenant le contenu fixe. Une étape méthodologique critique a consisté à corriger un bug de construction de prompt (étiquettes de choix dupliquées) dans la première exécution, ce qui a considérablement modifié les résultats.

Résultats clés
L'étude révèle que la taxe de traduction n'est pas une correction scalaire uniforme, mais un ensemble de risques de validité dépendants de l'estimateur et de l'élément.

• E1 (Traduction inverse) : Les estimations ponctuelles sont faibles (variant de 0,000 à +0,047). Bien que cinq des six cellules modèle-benchmark aient montré des estimations positives, les intervalles de confiance pour la plupart incluaient zéro. La seule cellule excluant étroitement zéro (MMMLU/gpt-5.4-mini) a été identifiée comme fragile au niveau de l'analyseur. Le bootstrapping groupé par éléments a produit une moyenne d'effet positive faible (+0,022, IC 95 % [0,001, 0,044]), suggérant qu'une taxe de traduction mineure existe mais est hautement sensible à la validité de l'analyseur.
• E2 (Annotation) : L'exécution de calibration n'a trouvé aucune corrélation entre les scores d'indices et les gains de performance au niveau de l'élément. Le modèle gpt-4o a montré une corrélation négative, et les données étaient dominées par des scores à égalité, rendant cet estimateur non concluant quant à l'exploitation des indices à cette échelle.
• E3 (Contrôle INCLUDE) : Les modèles centrés sur l'anglais (Groupe A) ont montré des écards proches de zéro entre le MMMLU traduit et l'INCLUDE natif. Les modèles optimisés pour le chinois (Groupe B) ont montré des résultats mitigés : deux modèles (deepseek-chat, qwen-max) ont performé significativement moins bien sur le MMMLU traduit que sur l'INCLUDE natif, tandis qu'un troisième (glm-4.5) a montré un écart positif. Cela suggère que des interactions entre familles de modèles peuvent exister mais sont confondues par des différences de domaine (académique vs examen régional).
• E4 (Naturalisation) : Après la correction du bug de prompt, l'étude n'a trouvé aucune interaction statistiquement significative entre les familles de modèles. L'affirmation de la version préliminaire d'une forte interaction était un artefact du bug combiné à la fragilité de l'analyseur de glm-4.5. Cependant, un effet dose-réponse a persisté : les éléments à fort « résidu de traduction » (où les modèles échouaient précédemment en chinois mais réussissaient en anglais) ont montré un gain de performance lors de la naturalisation (+0,103), tandis que les éléments à faible résidu n'ont montré aucun gain (-0,015).

Signification et revendications
L'article soutient que la « taxe de traduction » ne peut pas être traitée comme une valeur scalaire unique à soustraire des scores de benchmark. Au lieu de cela, les risques de validité sont hétérogènes :

1. Dépendance à l'estimateur : Différents proxies produisent des grandeurs et des directions d'effet différentes.
2. Dépendance à l'élément : La taxe est concentrée sur des éléments spécifiques à fort résidu de traduction, et non distribuée uniformément sur l'ensemble du benchmark.
3. Dépendance au modèle : Bien que les effets agrégés au niveau de la famille de modèles aient été largement absents ou confondus par l'adéquation au domaine, la fragilité de l'analyseur et la sensibilité aux prompts jouent un rôle critique dans les scores observés.

Les auteurs concluent que les benchmarks traduits introduisent des risques de validité qui sont mieux compris comme un ensemble de conditions plutôt que comme une pénalité fixe. Ils publient une liste de contrôle de rapport pour les futurs articles sur les benchmarks traduits, soulignant la nécessité de divulguer la portée de l'estimateur, la fragilité de l'analyseur et les contrastes de sous-groupes. L'étude ne prétend pas avoir mesuré directement la taxe de traduction « latente » mais fournit un cadre pour identifier quand et où les indices de traduction peuvent artificiellement gonfler les scores.