💬 NLP

Quantifying the Impact of Translation Errors on Multilingual LLM Evaluation

Ce papier examine la fiabilité des évaluations de modèles de langage multilingues en démontrant que les erreurs de traduction dans les benchmarks traduits par machine contribuent de manière significative aux baisses de précision et que les méthodes de détection automatique d'erreurs montrent un accord non négligeable avec les annotations humaines.

Auteurs originaux : Klaudia-Doris Thellmann, Bernhard Stadler, Michael Färber, Jens Lehmann

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Klaudia-Doris Thellmann, Bernhard Stadler, Michael Färber, Jens Lehmann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un enseignant tentant de noter une classe d'élèves parlant différentes langues. Vous possédez un test célèbre rédigé en anglais (la « Référence Or »). Pour évaluer la maîtrise de l'espagnol, du français ou de l'allemand par vos élèves, vous prenez ce test en anglais, le faites passer par une machine de traduction, et distribuez les versions traduites à vos élèves.

La grande question que pose cet article est : Que se passe-t-il si la machine de traduction commet des erreurs ?

Les auteurs, une équipe de chercheurs, ont découvert que ces erreurs de traduction ne sont pas de simples coquilles ; elles sont comme des nids-de-poule sur la route qui peuvent faire chuter même les élèves les plus brillants, même s'ils connaissaient parfaitement la réponse en anglais.

Voici une analyse de leurs résultats utilisant des analogies simples :

1. Le « Correcteur Robot » contre l'Expert Humain

Les chercheurs voulaient savoir : pouvons-nous faire confiance à d'autres modèles d'IA pour repérer ces nids-de-poule de traduction, ou avons-nous besoin d'un expert humain ?

L'Expérience : Ils ont pris un ensemble de questions de test traduites et ont demandé à quatre « Correcteurs Robots » différents (des modèles d'IA comme GPT-5.2, Mistral, etc.) de souligner exactement où la traduction était erronée. Ils ont comparé le travail des robots à une « Référence Or » créée par des linguistes humains professionnels.
Le Résultat : Les robots étaient corrects, mais pas parfaits. Un robot, GPT-5.2, était le meilleur pour trouver les nids-de-poule, s'accordant avec les experts humains environ la moitié du temps. Les autres robots étaient beaucoup moins précis.
La Contrainte : Les robots étaient souvent confus quant à où l'erreur commençait et se terminait. C'est comme deux personnes essayant de dessiner un cercle autour d'une tache sur une chemise ; elles peuvent s'accorder sur l'existence d'une tache, mais l'une dessine un tout petit cercle autour du centre, tandis que l'autre dessine un énorme cercle englobant toute la manche.

2. La « Source du Problème » (Qui est à blâmer ?)

Parfois, la question du test en anglais elle-même est étrange ou confuse. Parfois, la traduction l'aggrave. Les chercheurs voulaient savoir : L'élève échoue-t-il parce que la question en anglais était mauvaise, ou parce que la traduction l'a gâchée ?

L'Analogie : Imaginez un problème de mathématiques qui dit « Si une voiture parcourt 50 miles en 2 heures... »
- Problème Source : La question en anglais est brisée et dit « Si une voiture parcourt 50 miles en 2 pommes... » (L'original est absurde).
- Problème de Traduction : L'anglais est correct, mais le traducteur remplace « miles » par « kilomètres » et « heures » par « minutes », rendant les mathématiques impossibles à résoudre.
La Découverte : Les chercheurs ont constaté que les erreurs de traduction sont les véritables fauteurs de trouble. Même lorsque la question en anglais était parfaite et résoluble, la version traduite faisait que les élèves IA donnaient la mauvaise réponse environ 6 à 11 points de pourcentage de plus simplement à cause des erreurs de traduction.

3. La « Chute de Score » contre le « Classement »

C'est la partie la plus surprenante. Les chercheurs ont demandé : Si nous réparions magiquement toutes les erreurs de traduction, le classement des modèles d'IA changerait-il ?

L'Analogie : Imaginez une course où chaque coureur démarre 10 mètres derrière la ligne de départ à cause d'une erreur de traduction.
- Le Résultat : Si vous faites avancer tout le monde de 10 mètres (en réparant la traduction), tout le monde va plus vite. Le coureur qui était en 1re place reste en 1re place. Le coureur en 10e place reste en 10e place. L'ordre des gagnants ne change pas.
- Le Problème : Cependant, les temps sont tous faux. Vous pensez que le gagnant a couru une course de 10 secondes, mais il a en réalité couru une course de 9 secondes. Vous sous-estimez la véritable capacité de chacun.
La Conclusion : Les erreurs de traduction agissent comme un poids uniforme attaché à chaque modèle d'IA. Elles tirent le score de tout le monde vers le bas de manière égale. Ainsi, bien que le « Classement » (qui est n°1) reste le même, les scores réels sont biaisés et trop bas. Nous disons au monde : « Cette IA n'est intelligente qu'à 80 % », alors qu'elle pourrait en réalité être intelligente à 85 %, simplement parce que le test a été mal traduit.

Résumé de la Conclusion

L'article conclut que l'utilisation de benchmarks traduits par machine pour tester l'IA est risquée.

Les robots ne sont pas encore parfaits pour repérer les erreurs de traduction.
Les erreurs de traduction provoquent de véritables baisses mesurables de performance (environ 6 à 11 points de précision en moins).
Les classements des modèles d'IA sont stables (le gagnant reste le gagnant), mais les scores sont injustement bas.

C'est comme juger un concours de cuisine où les ingrédients auraient été traduits depuis une autre langue. Le meilleur chef pourrait toujours gagner, mais les juges pourraient penser que la nourriture a un goût pire qu'elle ne l'est réellement, car la recette a été légèrement déformée par la traduction.

Résumé technique : Quantification de l'impact des erreurs de traduction sur l'évaluation des LLM multilingues

Énoncé du problème

Les benchmarks traduits par machine constituent la norme pour évaluer les capacités multilingues des modèles de langage de grande taille (LLM). Cependant, la qualité de ces traductions est souvent négligée, introduisant des « artefacts de traduction » qui compromettent la fiabilité et la comparabilité des résultats d'évaluation. Bien que des travaux antérieurs aient établi que les erreurs de traduction peuvent biaiser les benchmarks interlingues (par exemple, XNLI, MMLU), les études existantes reposent souvent sur une inspection manuelle de petits échantillons ou sur des heuristiques grossières (par exemple, les rapports de longueur de phrase) qui manquent de précision pour identifier les types et les emplacements spécifiques des erreurs. De plus, il reste incertain dans quelle mesure les outils automatisés de détection d'erreurs au niveau des segments (tels que les LLM agissant comme juges ou des modèles d'estimation de la qualité) s'alignent sur les annotations humaines d'experts concernant des traductions de benchmarks naturellement survenues, et dans quelle mesure les erreurs de traduction du côté cible entraînent spécifiquement des baisses de précision par rapport aux anomalies du côté source.

Méthodologie

Les auteurs comblent ces lacunes par une approche à trois volets impliquant l'annotation humaine, la localisation automatisée des segments et la modélisation statistique des performances.

1. Annotation humaine et par LLM des segments (sous-ensemble EU20)

L'étude utilise un sous-ensemble de la suite de benchmarks EU20, comprenant des traductions DeepL de MMLU, ARC, HellaSwag, GSM8K et TruthfulQA vers 20 langues de l'UE.

Référence humaine : Des linguistes professionnels ont annoté manuellement 225 segments répartis sur neuf langues cibles (germaniques, romanes, ouraliennes, slaves, baltes) en utilisant un protocole basé sur les segments, inspiré de MQM. Les annotateurs ont identifié les segments d'erreur, attribué une sévérité (Majeure/Mineure) et distingué les erreurs d'Exactitude (fidélité) des erreurs de Fluence/Style.
Annotation automatisée : Quatre LLM adaptés par instruction (GPT-5.2, GPT-4o-mini, LLaMA-4, Mistral-Large) et une ligne de base d'estimation de la qualité consciente des segments (xCOMET-XXL) ont été sollicités pour générer des segments d'erreur de style MQM sur les mêmes données.
Métriques : L'accord a été mesuré à l'aide d'un appariement glouton 1:1 avec des coefficients de chevauchement basés sur la position (OC) et la similarité Dice 3-gramme basée sur les chaînes (SIM). Des métriques de chevauchement de caractères sans seuil (Char-F1) et l'alpha d'unitisation de Krippendorff ont également été utilisés pour évaluer la robustesse.

2. Méta-évaluation (Span-ACESRef)

Pour compléter les données naturelles EU20, les auteurs ont construit Span-ACESRef, une projection épurée de l'ensemble de données SPAN-ACES. Cette ressource isole des phénomènes d'erreur uniques et ciblés en mappant les modifications entre des traductions « bonnes » et « incorrectes » sur une référence humaine. Cet ensemble de données (1 407 éléments) permet une évaluation contrôlée de la précision de la localisation des segments, distinguant les métriques d'appariement « classiques » (correspondance exacte) et « tolérantes » (flexibilité des limites).

3. Analyse de l'impact sur les performances

Les auteurs ont lié les annotations d'erreurs au niveau des segments aux performances des LLM en aval en utilisant une régression logistique.

Données : Un sous-ensemble apparié de 651 paires élément-langue (4 993 observations) issues de MMLU, ARC et GSM8K.
Variables : Indicateurs binaires pour les Erreurs côté cible (T) et les Problèmes côté source (S).
Contrôles : Les modèles ont contrôlé si le modèle d'évaluation avait résolu l'original en anglais ( $y_{EN}$ ), ainsi que des effets fixes pour la langue, l'ensemble de données et le modèle d'évaluation lui-même.
Analyse : Des effets marginaux moyens (AME) ont été calculés pour estimer la baisse de précision en points de probabilité associée aux erreurs de traduction. Une analyse contrefactuelle ( $T=0$ ) a été réalisée pour déterminer si la suppression des erreurs de traduction modifierait les classements relatifs des systèmes.

Contributions clés

Accord humain-LLM sur les segments : L'article publie une référence MQM professionnelle au niveau des segments pour un sous-ensemble EU20 et évalue les annotateurs automatisés par rapport à celle-ci. GPT-5.2 démontre le plus haut accord avec les annotations humaines (F1 moyen OC Span de 0,55), surpassant les autres LLM et la ligne de base xCOMET-XXL.
Validation de Span-ACESRef : Les auteurs introduisent Span-ACESRef comme un benchmark contrôlé pour la localisation des segments. Les résultats indiquent que, bien que les scores d'appariement classique soient faibles, les scores d'appariement tolérant sont nettement plus élevés, suggérant que de nombreux désaccords sont des quasi-ratés de limites plutôt que des échecs complets de détection.
Impact quantifié sur les performances : En utilisant une régression logistique avec des contrôles en anglais, l'étude isole l'impact des erreurs de traduction. Les erreurs côté cible sont systématiquement associées à des baisses de précision de 6 à 8 points de pourcentage (pp) dans le modèle complet et de 6 à 11 pp lorsqu'elles sont restreintes aux éléments solubles en anglais.

Résultats

Qualité de l'annotation : GPT-5.2 est l'annotateur automatisé le plus performant, bien que l'accord absolu avec les humains reste non négligeable (F1 ~0,55). Les autres modèles (Mistral-Large, GPT-4o-mini, LLaMA-4) montrent un accord significativement plus faible. xCOMET-XXL se comporte mieux que les petits LLMs mais moins bien que GPT-5.2.
Erreurs source vs cible : Les anomalies côté source (S) montrent une association négative plus faible et moins stable avec la précision par rapport aux erreurs côté cible (T). L'effet des erreurs de traduction persiste même après contrôle des problèmes source et de la correction en anglais.
Magnitude de l'impact : Une traduction contenant au moins une erreur annotée est associée à une perte significative de précision. Par exemple, en utilisant les annotations de GPT-5.2, la perte globale estimée est d'environ 4,3 pp dans le modèle complet et 5,6 pp dans le sous-ensemble soluble en anglais.
Stabilité du classement : L'analyse contrefactuelle révèle que, bien que les erreurs de traduction abaissent significativement les scores absolus, elles se comportent comme une pénalité relativement uniforme à travers les systèmes. Par conséquent, les classements relatifs des systèmes (ordres des tableaux de classement) restent très stables ( $\rho$ de Spearman $\approx 1,0$ ) même lorsque les erreurs de traduction sont hypothétiquement supprimées.

Importance et affirmations

L'article affirme que les tableaux de classement traduits peuvent rester stables dans leur ordre relatif tout en sous-estimant simultanément la performance multilingue absolue. La présence d'erreurs de traduction introduit un biais systématique à la baisse dans la précision mesurée qui n'est pas simplement un artefact des problèmes côté source.

Les auteurs soulignent que, si les pratiques d'évaluation actuelles peuvent préserver le classement des modèles, les estimations de performance absolue sont biaisées. Cela suggère que la communauté ne peut pas se fier uniquement aux benchmarks traduits par machine pour une quantification précise des performances sans tenir compte de la qualité de la traduction. Le travail plaide pour l'intégration de l'analyse des erreurs au niveau des segments dans les protocoles de publication des benchmarks afin de mieux comprendre et atténuer ces biais.

Les auteurs restent modestes quant à leurs affirmations, notant que leurs résultats sont corrélationnels et spécifiques aux benchmarks sélectionnés, aux systèmes de traduction automatique et aux LLM évalués. Ils reconnaissent des limites telles que la rareté des références annotées au niveau des segments de haute qualité pour les langues à ressources limitées et la subjectivité inhérente à la définition des limites des segments.