Round-Trip Translation Reveals What Frontier Multilingual Benchmarks Miss

1. Problématique

Les benchmarks multilingues actuels utilisés pour évaluer les modèles de langage de pointe (Frontier LLMs), tels que MT-AIME24 (raisonnement mathématique multilingue) et INCLUDE (questions à choix multiples sur des connaissances générales), ne mesurent pas fidèlement les capacités multilingues réelles.

Les auteurs démontrent que ces benchmarks sont en réalité des proxies pour :

• La capacité de raisonnement mathématique (pour MT-AIME24).
• La rappel de faits factuels (pour INCLUDE).

Preuves principales :

• Les variantes "Thinking" (avec chaîne de pensée) surpassent massivement les variantes "Instruct" sur ces benchmarks, mais performant souvent moins bien sur des tâches réelles multilingues (comme évalué sur LMArena).
• L'analyse des erreurs montre que les modèles échouent principalement à cause de lacunes logiques ou factuelles, et non parce qu'ils ne comprennent pas la question dans la langue cible. De plus, les modèles raisonnent presque systématiquement en anglais en interne, même lorsque la question est posée dans une autre langue.
• Il existe une corrélation négative ou nulle entre les scores de ces benchmarks et les préférences réelles des utilisateurs sur LMArena (corrélation de Spearman $\rho \approx -0.09$ pour MT-AIME24 et $\rho \approx -0.26$ pour INCLUDE).

2. Méthodologie

Pour résoudre ce problème, les auteurs proposent une approche alternative basée sur la traduction aller-retour (Round-Trip Translation) et introduisent un nouveau benchmark nommé Lost in Translation (LiT).

A. Le Benchmark LiT

• Structure : 1 600 échantillons répartis sur 8 séquences linguistiques couvrant des langues à ressources élevées, moyennes et faibles (ex: Japonais $\to$ Coréen $\to$ Chinois $\to$ Russe $\to$ Anglais).
• Contenu : Les textes sont divisés en trois catégories de complexité linguistique :
  1. Résumés (20%) : Humanités et STEM (tests de nuance argumentative et précision terminologique).
  2. Pragmatique (60%) : Sémantique de base, cohérence du discours, contenu implicite, inférence pragmatique et interaction sociale.
  3. Informel (20%) : Argot, idiomes et changements de registre.
• Évaluation : Utilisation d'un cadre MQM (Multidimensional Quality Metrics) automatisé via un modèle LLM juge (Grok 4.1 Fast). Le score principal est le pourcentage de traductions atteignant un score MQM $\ge$ 80 (seuil de qualité "prête à l'emploi").
• Avantages : Ne nécessite pas de traductions de référence humaines (évitant la contamination des données), est évolutif et teste directement la génération naturelle (NLG).

B. Analyse Comparative

Les auteurs comparent les performances des modèles sur LiT avec :

1. Les benchmarks existants (MT-AIME24, INCLUDE).
2. Les évaluations humaines réelles sur LMArena (Chatbot Arena).
3. Une analyse des erreurs pour déterminer si les échecs sont linguistiques ou logiques/factuels.

3. Contributions Clés

1. Démonstration de l'échec des benchmarks actuels : Preuve empirique que les gains sur les benchmarks multilingues standards reflètent l'amélioration du raisonnement ou des connaissances en anglais, et non la compétence linguistique multilingue.
2. Introduction de LiT : Un benchmark robuste, sans référence humaine, conçu spécifiquement pour évaluer la préservation du sens et la fluidité dans des scénarios de génération multilingue complexes.
3. Validation par la traduction aller-retour : Démonstration que la traduction aller-retour, souvent critiquée historiquement, est robuste avec les modèles neuronaux modernes et sert de proxy fiable pour la qualité de génération.
4. Analyse des modes d'échec : Identification de l'effondrement des performances sur les langues à faibles ressources et de la détérioration de la qualité des modèles "Thinking" sur les textes informels.

4. Résultats Principaux

A. Corrélation avec les préférences humaines

Le benchmark LiT présente une corrélation quasi parfaite avec les classements Elo de LMArena ($\rho = 0.94$), contrairement aux benchmarks de raisonnement qui montrent une corrélation négative. Cela indique que LiT mesure ce que les utilisateurs réels valorisent : la fluidité et la fidélité sémantique.

B. Effondrement sur les langues à faibles ressources

• Langues à ressources élevées : La plupart des modèles de pointe obtiennent des scores MQM > 80.
• Langues à faibles ressources (Afrique, Amérique du Sud) : Une chute catastrophique des performances est observée.
  • Exemple : Sur les séquences africaines et sud-américaines, Gemini-3-Flash maintient un score moyen de 59,2, tandis que le deuxième meilleur modèle (Gemma-4-31B) chute à 32,0, et des modèles comme Qwen3-235B tombent à 0,2.
  • Cela révèle que de nombreux modèles prétendant être "multilingues" produisent des sorties inutilisables pour des milliards de locuteurs de langues à faibles ressources.

C. Impact du "Reasoning" (Chaîne de pensée)

• Les modèles "Thinking" surperforment les modèles "Instruct" sur les benchmarks de raisonnement (AIME, INCLUDE).
• Cependant, sur LiT, les modèles "Thinking" sous-performent souvent sur les textes informels et pragmatiques. Ils ont tendance à suivre les instructions de manière rigide, reproduisant des erreurs intermédiaires ou des formulations maladroites au lieu de les corriger, ce qui nuit à la fluidité naturelle.

D. Robustesse de la méthode

L'analyse de robustesse (idiomes, ambiguïtés, registres) confirme que LiT capture bien les faiblesses linguistiques réelles. Les modèles ne parviennent pas à corriger les erreurs de traduction intermédiaire, ce qui valide l'utilité de la traduction aller-retour pour détecter les lacunes de compréhension profonde.

5. Signification et Implications

Ce travail remet en question la façon dont l'écosystème des LLM évalue le progrès multilingue.

• Changement de paradigme : Il faut abandonner les benchmarks basés sur le QCM ou le raisonnement mathématique traduit pour évaluer la compétence linguistique.
• Équité linguistique : Les résultats soulignent un fossé majeur entre les langues à ressources élevées (anglais, chinois, etc.) et les langues à faibles ressources, où les modèles actuels échouent souvent de manière critique.
• Guide pour le développement : Les développeurs doivent optimiser leurs modèles pour la préservation sémantique et la fluidité culturelle (via des méthodes comme LiT) plutôt que pour maximiser les scores sur des tâches de raisonnement qui ne reflètent pas l'usage réel.
• Méthodologie future : L'approche "LLM-as-a-Judge" avec traduction aller-retour offre une solution scalable, économique et précise pour évaluer les capacités de génération multilingue sans dépendre de données humaines coûteuses.

En résumé, l'article plaide pour une évaluation qui mesure la compétence de génération croisée réelle, car les benchmarks actuels masquent l'incapacité des modèles à servir efficacement les locuteurs non anglophones.