💬 NLP

Do Chinese models speak Chinese languages?

Cette étude révèle que, malgré la diversité du paysage linguistique chinois, les principaux LLM à poids ouverts chinois présentent des profils de performance multilingue étonnamment similaires à ceux des modèles occidentaux — excellant dans les langues mondiales majeures comme le mandarin, le français et l'allemand, tout en échouant souvent à prendre en charge des langues minoritaires comme le kazakh et l'ouïghour — suggérant que les pratiques d'évaluation mondiales et les ressources d'entraînement partagées favorisent une homogénéisation des capacités linguistiques au détriment des priorités localisées.

Auteurs originaux : Andrea W Wen-Yi, Unso Eun Seo Jo, David Mimno

Publié 2026-05-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andrea W Wen-Yi, Unso Eun Seo Jo, David Mimno

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le monde de l'Intelligence Artificielle comme une immense compétition culinaire mondiale. Des chefs (les développeurs de modèles) de différents pays tentent de créer le « Pot Universel des Langues » ultime, capable de comprendre et de parler toutes les langues de la Terre.

Ce document pose une question précise : Les chefs chinois, dont la cuisine regorge d'ingrédients locaux diversifiés, cuisinent-ils réellement avec eux ? Ou suivent-ils simplement la même recette que les chefs des États-Unis et d'Europe ?

Voici la synthèse de leurs découvertes, illustrée par des analogies simples :

1. Le Cadre : Une Cuisine Diversifiée vs Un Menu Mondial

La Chine est comme une immense cuisine où 1,4 milliard de personnes parlent mandarin, en plus de centaines d'autres dialectes locaux et de langues minoritaires (comme l'ouïghour, le tibétain et le kazakh). On pourrait s'attendre à ce que les chefs chinois disposent d'un avantage spécial : un accès facile à ces ingrédients locaux.

Cependant, il y a un piège. Pour gagner la compétition et acquérir une renommée mondiale, les chefs sont jugés par un panel de critiques parlant principalement anglais et utilisant des grilles d'évaluation basées sur l'anglais (les benchmarks). Si vous voulez être reconnu comme un chef de premier plan, vous devez faire en sorte que votre plat plaise à ces juges anglophones.

2. L'Expérience : Dégustation des Plats

Les chercheurs ont dégusté des plats préparés par 6 chefs chinois (comme Qwen, Yi et DeepSeek) et 4 chefs occidentaux (comme Llama et Mistral). Ils les ont testés sur 21 « langues » différentes, allant des grandes langues comme le français et l'allemand aux langues minoritaires chinoises locales.

Ils ont utilisé trois méthodes différentes pour évaluer la nourriture :

Le Test de Traduction : Le modèle peut-il traduire une phrase de l'anglais vers une autre langue sans perdre la saveur (le sens) ?
Le Test de Lecture : Le modèle peut-il lire une histoire dans une langue étrangère et y répondre correctement ?
Le Jeu des Noms : Le modèle peut-il examiner un texte et dire correctement : « Ceci est écrit en kazakh » ou « Ceci est écrit en tibétain » ?

3. Les Résultats : L'« Exception Mandarine »

Les résultats ont été étonnamment uniformes, avec une grande exception.

L'Effet « Clone » : Pour presque toutes les langues testées (français, allemand, japonais, coréen, etc.), les modèles chinois et les modèles occidentaux ont performé de manière presque identique. C'est comme si les deux groupes de chefs suivaient exactement le même livre de recettes mondial. L'article a trouvé une corrélation de 93 % entre eux. Si un modèle occidental était bon en français, le modèle chinois l'était aussi. Si un modèle occidental avait des difficultés avec une langue minoritaire, le modèle chinois avait tout autant de difficultés.
Le Super-pouvoir du Mandarin : La seule fois où les chefs chinois ont véritablement éclipsé les occidentaux, c'était avec le mandarin chinois. Parce qu'ils avaient un meilleur accès aux données en mandarin et s'y étaient concentrés, leur « plat mandarin » était nettement plus savoureux que la version des chefs occidentaux.
Le Point Aveugle des Langues Minoritaires : Voici la partie triste. Malgré l'accès aux ingrédients locaux, les modèles chinois étaient aussi mauvais que les modèles occidentaux pour gérer les langues minoritaires chinoises (comme l'ouïghour et le kazakh). En fait, de nombreux modèles chinois ne pouvaient même pas reconnaître qu'un texte était écrit en ouïghour ou en kazakh. Ils traitaient ces langues locales comme si elles n'existaient pas, tout comme les modèles occidentaux.

4. Pourquoi Cela S'est-il Produit ?

L'article suggère deux raisons principales :

La Pression de la « Grille d'Évaluation Mondiale » : Pour devenir célèbres et obtenir des financements, les développeurs chinois sont obsédés par la victoire aux benchmarks mondiaux. Ces benchmarks sont majoritairement en anglais ou dans les grandes langues européennes. Ainsi, au lieu d'utiliser leur accès unique aux données chinoises locales pour construire un modèle véritablement diversifié, ils ont optimisé leurs modèles pour qu'ils paraissent performants sur le tableau d'affichage mondial.
La Politique « Mandarin d'Abord » : Bien que la Chine ait une histoire de tentative de protection de ses nombreuses langues, les politiques récentes se sont concentrées sur la promotion du mandarin comme langue unique et unificatrice pour tout le pays. Les développeurs d'IA semblent suivre cette tendance : ils privilégient le mandarin (la « super-langue ») et ignorent le reste.

La Conclusion

L'article conclut que, malgré le paysage linguistique unique de la Chine et le potentiel de construire un modèle qui parle véritablement à sa population diversifiée, les modèles chinois sont devenus « homogénéisés ».

Ils sont essentiellement des copies carbone des modèles occidentaux, avec une petite amélioration : ils parlent un peu mieux le mandarin. Ils n'ont pas utilisé leur position unique pour sauver ou rehausser les centaines d'autres langues parlées à l'intérieur des frontières de la Chine. Au lieu de cela, ils cuisinent tous le même plat mondial, laissant les saveurs locales et minoritaires sur l'étagère.

Résumé technique : Les modèles chinois parlent-ils les langues chinoises ?

Énoncé du problème
Le développement rapide des grands modèles de langage (LLM) en Chine a établi le pays comme une force de premier plan dans le domaine de l'intelligence artificielle. Cependant, une tension critique existe pour les développeurs de modèles chinois : ils doivent naviguer dans le compromis entre la satisfaction d'une population intérieure linguistiquement diversifiée (parlant le mandarin, des centaines de dialectes et des langues minoritaires) et l'optimisation pour des benchmarks mondialement visibles qui sont principalement en anglais. Bien que la Chine ait une histoire de politiques linguistiques allant du pluralisme à l'assimilation, et que les réglementations récentes en matière d'IA mettent l'accent sur la diversité des données, il reste incertain de savoir si les LLM à poids ouverts développés en Chine privilégient la diversité linguistique locale ou s'alignent sur les pressions de benchmarking mondial. Plus précisément, il est inconnu si les modèles chinois possèdent des capacités supérieures en mandarin et en langues minoritaires chinoises par rapport aux modèles développés en Occident, ou s'ils présentent un profil de performance multilingue homogénéisé similaire à celui de leurs homologues occidentaux.

Méthodologie
Les auteurs ont mené une étude comparative de 10 LLM à poids ouverts : 6 développés par des organisations chinoises (Qwen2.5, Yi-1.5, variantes de DeepSeek-R1, InternLM3, Baichuan2) et 4 modèles développés en Occident (Llama-3, Mistral, OLMo-2, Gemma-2). Tous les modèles ont été limités à une échelle de 7 à 9 milliards de paramètres pour garantir une comparaison équitable. L'étude a évalué la performance multilingue sur 21 variantes linguistiques, catégorisées en chinois mandarin, dialectes han chinois, langues minoritaires chinoises (jingpho, tibétain de Lhassa, ouïghour, mongol, kazakh), langues d'Asie du Nord-Est, langues d'Asie du Sud-Est et langues européennes.

L'évaluation a utilisé trois expériences distinctes :

Parité informationnelle (IP) : En utilisant le benchmark de traduction automatique FLORES+, les auteurs ont mesuré l'efficacité de la représentation de l'information dans les langues cibles par rapport à l'anglais. L'IP est calculée comme le rapport entre la vraisemblance négative (NLL) du texte de référence et celle du texte cible.
Compréhension de lecture automatique (MRC) : En utilisant le jeu de données Belebele, les auteurs ont évalué la précision de la compréhension de lecture à choix multiples en zéro-shot sur 17 langues.
Identification de la langue : En utilisant le Corpus multilingue des langues minoritaires de Chine (MC2), les auteurs ont testé la capacité des modèles à identifier quatre langues minoritaires chinoises spécifiques (tibétain, mongol, kazakh, ouïghour) à partir d'échantillons de texte.

Contributions clés

Test d'hypothèses : L'article propose et teste quatre hypothèses concernant les priorités des développeurs chinois : l'hypothèse nulle (l'optimisation pour les benchmarks mondiaux conduit à une parité avec les modèles occidentaux), l'hypothèse mandarin (priorisation du mandarin uniquement), l'hypothèse pluraliste (soutien large à toutes les langues locales) et l'hypothèse régionale (soutien aux principales langues asiatiques).
Étalonnage empirique : L'étude fournit une comparaison quantitative granulaire des LLM chinois et occidentaux sur un ensemble diversifié de langues, y compris des langues minoritaires sous-représentées souvent omises dans les benchmarks standards.
Analyse des politiques : Le travail relie les métriques de performance technique aux politiques linguistiques historiques et actuelles de la Chine, analysant comment les incitations politiques et économiques façonnent les priorités de développement de l'IA.

Résultats

Corrélation élevée : La performance multilingue des modèles développés en Chine et de ceux développés en Occident est fortement corrélée ( $r \approx 0,93$ pour l'IP et $r \approx 0,99$ pour la MRC). Les profils de performance sont presque identiques dans la plupart des catégories linguistiques, suggérant que les modèles chinois ne surpassent pas significativement les modèles occidentaux dans les langues locales non mandarin.
Supériorité du mandarin : La seule exception à cette homogénéisation est le mandarin chinois. Les modèles développés en Chine surpassent systématiquement leurs homologues occidentaux tant en parité informationnelle qu'en compréhension de lecture automatique pour le mandarin (simplifié et traditionnel).
Déficiences des langues minoritaires : Contrairement à l'hypothèse pluraliste, les modèles chinois performent mal sur les langues minoritaires chinoises, échouant souvent à identifier des langues comme le kazakh et l'ouïghour. Leur performance sur ces langues est comparable, voire parfois inférieure, à celle des modèles occidentaux.
Performance régionale : Les modèles chinois performent bien sur les langues européennes (français, allemand) et les principales langues asiatiques (japonais, coréen), reflétant les forces des modèles occidentaux plutôt que de montrer des avantages régionaux uniques.
Ajustement par instruction : Les modèles ajustés par instruction surpassent généralement les modèles de base, mais l'écart de performance entre les modèles chinois et occidentaux reste constant, indépendamment de l'ajustement.

Signification et affirmations
L'article soutient que l'homogénéisation observée dans la performance multilingue indique que les développeurs de modèles chinois optimisent principalement pour les pratiques de benchmarking mondial et les ressources d'entraînement partagées plutôt que pour répondre aux besoins linguistiques spécifiques de la population intérieure diversifiée de la Chine. Les résultats soutiennent l'hypothèse mandarin (les modèles chinois sont meilleurs en mandarin mais pas dans les autres langues locales) et ne parviennent pas à rejeter l'hypothèse nulle (forte corrélation avec les modèles occidentaux).

Les auteurs interprètent ces résultats comme une preuve que les pressions de benchmarking mondial et les ressources de données partagées exercent une « pression de normalisation » sur l'entraînement des LLM, conduisant à des profils de performance similaires à travers des contextes politiques et culturels distincts. Cela suggère que le soutien linguistique actuel dans les LLM est le résultat de priorités et de compromis plutôt qu'une issue inévitable du développement. L'article met en lumière les implications pour les décideurs politiques et les développeurs, notant que sans intervention spécifique, le mouvement de l'« IA souveraine » pourrait entraîner des coûts environnementaux et une homogénéisation culturelle sans apporter de valeur unique pour la diversité linguistique locale. Les auteurs appellent à des travaux futurs pour investiguer les facteurs structurels et institutionnels qui sous-tendent ces priorités et pour explorer les opportunités permettant aux développeurs de tirer parti de leur accès unique aux données locales afin de différencier leurs modèles.