💬 NLP

No Optimal Language Set Exists for Multilingual Instruction Tuning: Insights from a Linguistically-Informed Study

Cet article évalue systématiquement les stratégies de sélection de langues fondées sur la linguistique pour l'ajustement fin de l'instruction multilingue et conclut qu'il n'existe pas d'ensemble de langues universellement optimal, car la performance dépend fortement des tâches et des modèles spécifiques, l'ajout de plus de langues déclenchant souvent la malédiction de la multilingüalité.

Auteurs originaux : Gürkan Soykan, Gözde Gül Şahin

Publié 2026-07-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gürkan Soykan, Gözde Gül Şahin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez le monde de l'intelligence artificielle comme une immense bibliothèque affamée. Ces dernières années, des scientifiques ont appris à ces cerveaux numériques à suivre des instructions, non pas dans une seule langue comme l'anglais, mais dans des dizaines, voire des centaines. C'est ce qu'on appelle l'« ajustement d'instructions multilingue » (multilingual instruction tuning). Voyez cela comme la formation d'un nouvel employé qui doit parler aux clients de tous les pays de la Terre. L'objectif est de rendre l'employé assez intelligent pour comprendre une requête en français, répondre en swahili et expliquer une blague en japonais, le tout sans s'embrouiller.

Cependant, il y a un piège. La bibliothèque dispose d'un espace d'étagage limité (puissance de calcul) et d'un temps de formation limité pour l'employé. Si vous essayez d'entasser chaque langue dans le programme de formation, l'employé pourrait être submergé et commencer à oublier comment bien parler chacune d'entre elles. C'est ce qu'on appelle la « malédiction de la multilinguité ». À cause de cela, de nombreux chercheurs se sont demandé : existe-t-il une « recette magique » pour choisir le groupe de langues parfait ? Peut-être que si nous choisissons des langues qui sont géographiquement dispersées, ou des langues qui sonnent très différemment les unes des autres, nous pourrions créer un employé super intelligent qui travaille parfaitement pour tout le monde, partout. C'est une idée porteuse d'espoir : trouver le mélange parfait, et vous obtenez l'IA la plus performante possible.

Cet article, intitulé « No Optimal Language Set Exists for Multilingual Instruction Tuning », se rend dans le laboratoire pour tester précisément cet espoir. Les chercheurs, Gürkan Soykan et Gözde Gül Şahin, ont mis en place une série d'expériences pour voir s'ils pouvaient trouver cette recette magique. Ils ont pris trois types différents de modèles d'IA (pensez à trois stagiaires différents avec des styles d'apprentissage différents) et ont essayé de les enseigner en utilisant diverses stratégies « fondées sur la linguistique ». Ces stratégies étaient comme différentes façons de choisir une équipe : une équipe était choisie en fonction de l'endroit où les langues sont parlées sur une carte (Géographie), une autre en fonction de la manière dont les langues sont construites grammaticalement (Typologie), et d'autres selon la similitude de leurs significations ou la façon dont elles sont apprises par les ordinateurs. Ils ont comparé ces choix intelligents à un choix « aléatoire » simple, comme tirer des noms dans un chapeau.

Les résultats ont été un coup de théâtre. Les auteurs ont découvert qu'il n'existe pas de « meilleure » équipe de langues qui gagne à tous les coups. Ce n'est pas comme trouver une clé universelle qui ouvre toutes les portes. Au contraire, le meilleur choix dépendait entièrement du modèle d'IA spécifique que vous entraîniez et de la tâche spécifique que vous lui demandiez de faire. Pour un modèle, choisir des langues basées sur la géographie fonctionnait très bien ; pour un autre, choisir selon la grammaire était préférable. Parfois, les choix « intelligents » faisaient en réalité moins bien qu'un simple choix aléatoire de langues !

L'étude a également découvert une limite difficile. Lorsqu'ils ajoutaient davantage de langues au mélange d'entraînement, les performances de l'IA ne s'amélioraient pas indéfiniment. Une fois qu'ils atteignaient un certain point — autour de 13 ou 14 langues — les performances commençaient en fait à chuter. C'est comme essayer de manger à un buffet : les premières assiettes sont délicieuses, mais si vous continuez à empiler plus de nourriture sur votre assiette, vous finirez par être trop rassasié pour apprécier quoi que ce soit. Cela a confirmé la « malédiction de la multilinguité » : avec une quantité fixe de temps d'entraînement, ajouter trop de langues nuit à la capacité de l'IA à bien les apprendre toutes.

De plus, les chercheurs ont découvert que ce qui fonctionne pour un modèle d'IA peut être terrible pour un autre. Une stratégie qui rend un modèle plus intelligent pourrait rendre un autre modèle plus stupide. Ils ont également remarqué que, parfois, enseigner à l'IA dans une seule langue (comme le vietnamien) était tout aussi bon, ou même meilleur, que de l'enseigner dans un mélange de plusieurs langues, selon le modèle.

En fin de compte, l'article suggère que la recherche d'un ensemble de langues unique et parfait est une impasse. Il n'y a pas de solution universelle. La meilleure approche semble être un peu plus prudente : choisir un groupe diversifié d'environ 10 à 15 langues est généralement un pari sûr, mais il faut être prêt à tester différentes combinaisons pour chaque nouveau modèle et chaque nouvelle tâche. Les auteurs avertissent que simplement moyenner les scores à travers différents tests peut être trompeur, cachant le fait qu'une stratégie peut être excellente pour un travail mais terrible pour un autre. Ainsi, bien que nous ne puissions pas trouver de recette magique, nous savons que le fait d'être réfléchi sur la manière dont nous choisissons nos langues — et de savoir quand arrêter d'en ajouter — est la clé pour construire une IA multilingue meilleure et plus utile.

Résumé technique : Il n'existe pas d'ensemble de langues optimal pour l'ajustement d'instructions multilingue

Énoncé du problème

L'ajustement d'instructions multilingue (MIT - Multilingual Instruction Tuning) vise à améliorer les performances translinguistiques des grands modèles de langage (LLM), mais fait face à trois défis majaux : la malédiction de la multilinguicité (où la performance par langue diminue à mesure que la capacité du modèle est partagée entre davantage de langues), la rareté des données et les coûts de calcul élevés. Une hypothèse prédominante suggère qu'une sélection minutieuse d'un sous-ensemble de langues linguistiquement diversifié devrait produire des modèles universellement supérieurs, qui généralisent mieux à travers les tâches et les langues qu'une sélection aléatoire ou un ajustement monolingue. Cependant, des travaux antérieurs n'ont pas investigué systématiquement si les stratégies de sélection fondées sur la linguistique produisent une stratégie de MIT universellement optimale sous des budgets de calcul fixes.

Méthodologie

Les auteurs mènent une évaluation systématique de diverses stratégies de sélection de langues par rapport à une référence aléatoire à travers trois familles de modèles et cinq benchmarks multilingues.

Jeu de données : L'étude utilise Bactrian-X, un jeu de données d'instructions parallèles multilingues contenant 3,4 millions de paires instruction-réponse dans 52 langues.
Configuration expérimentale :
- Contrôle du budget : Suivant Chen et al. (2023a), le budget total d'entraînement est fixé à 67 000 instances par expérience. Pour les sous-ensembles de 14 langues, cela équivaut à environ 4 786 instances par langue.
- Stratégies de sélection : Les auteurs sélectionnent des sous-ensembles de 14 langues en utilisant le partitionnement $k$ $k$ -moyennes ( $k=14$ $k = 14$ ) sur différents espaces de caractéristiques :
  - GEO : Vecteurs géographiques.
  - TYPO : Vecteurs typologiques.
  - SEM : Plongements de typologie sémantique.
  - LEARN : Vecteurs de langues appris.
  - FAM : Une langue par famille de langues.
  - RND : Sélection aléatoire (référence).
  - ALL : Toutes les 52 langues (utilisé pour tester les limites du budget).
- Modèles : Trois familles de modèles sont ajustées par instruction via LoRA :
  - mGPT-1.3B
  - mT5-XL-3.7B
  - BLOOM (variantes 1.7B, 3B et 7B)
- Évaluation : Les modèles sont évalués en zero-shot sur cinq benchmarks : XNLI, PAWS-X, XCOPA, XStoryCloze et XWinograd.
- Rigueur statistique : Chaque configuration est exécutée avec trois graines aléatoires (seeds). La significativité est évaluée via des tests t appariés, avec des tailles d'effet mesurées par le $d_z$ de Cohen.

Résultats clés

1. Absence de stratégie optimale universelle

La conclusion centrale est qu'aucune stratégie de sélection de langues ne surpasse systématiquement les autres à travers tous les modèles et toutes les tâches.

La performance est hautement dépendante de la tâche et du modèle. Par exemple, la stratégie GEO est en tête pour BLOOM-7B sur XStoryCloze, tandis que TYPO obtient la meilleure moyenne pour BLOOM-7B globalement. FAM est la plus performante en moyenne pour mT5-xl, et GEO ou TYPO dominent pour mGPT sur les tâches de NLU.
Les améliorations par rapport à la référence aléatoire (RND) sont souvent non statistiquement significatives. Des gains significatifs ont été observés uniquement dans des combinaisons spécifiques modèle-tâche (ex: GEO vs RND pour mGPT sur XNLI), mais ceux-ci ne se sont pas généralisés.
Dans certaines configurations, les sous-ensembles fondés sur la linguistique ont été significativement moins performants que la référence aléatoire, indiquant qu'une sélection informée peut être contre-productive.

2. La malédiction de la multilinguicité réapparaît

Augmenter le nombre de langues au-delà d'un seuil modeste déclenche une dégradation des performances.

Pour BLOOM-7B, la performance culmine à 13–14 langues et décline systématiquement à mesure que le nombre de langues augmente jusqu'à 52 (le réglage "ALL").
Le réglage "ALL" n'a jamais atteint la meilleure performance moyenne pour aucun des modèles testés, confirmant que sous un budget de calcul fixe, maximiser le nombre de langues est préjudiciable.

3. Généralisation dépendante du modèle

La généralisation translinguistique vers des langues non vues (langues présentes dans les benchmarks mais non dans le sous-ensemble d'entraînement) varie considérablement selon l'architecture du modèle.

Bien que les sous-ensembles fondés sur la linguistique aient généralement amélioré le modèle de base pour mGPT, mT5-xl et BLOOM-3B, les résultats ont divergé pour les modèles BLOOM plus grands (7B), où seuls deux des cinq sous-ensembles ont progressé par rapport au modèle de base.
Cela suggère une interaction non triviale entre la composition du corpus de pré-entraînement et la sélection du sous-ensemble ; une stratégie efficace pour la distribution de pré-entraînement d'un modèle peut être néfaste pour un autre.

4. Taille du modèle et compétition monolingue

Effets d'échelle : Le classement des stratégies change à mesure que l'échelle du modèle augmente. Par exemple, GEO excelle aux échelles 3B et 7B, tandis que FAM commence fort à 1.7B mais décline. Aucune stratégie ne reste uniformément la meilleure à mesure que l'échelle augmente.
Monolingue vs Multilingue : Dans une étude de cas sur le vietnamien, l'ajustement monolingue (67k exemples) arrive premier pour mT5 et second pour mGPT, rivalisant avec les meilleurs sous-ensembles multilingues. Cela remet en question l'hypothèse selon laquelle les sous-ensembles multilingues sont toujours préférables.

5. Le rôle du chevauchement (overlap)

L'étude analyse le chevauchement entre les corpus de pré-entraînement, les sous-ensembles d'entraînement et les langues d'évaluation.

BLOOM présente un faible chevauchement entre son corpus de pré-entraînement et les langues d'évaluation de XNLI (8/15), et la plupart des sous-ensembles informés ont obtenu des scores nettement inférieurs à la référence aléatoire sur XNLI pour BLOOM-7B.
mGPT couvre 14/15 des langues de XNLI dans son pré-entraînement, et les sous-ensembles informés y ont obtenu des scores significativement plus élevés.
Cependant, le chevauchement seul ne dicte pas les résultats ; GEO a amélioré significativement XStoryCloze sur les deux modèles malgré un faible partage de langues d'évaluation, suggérant que les ensembles de langues des benchmarks s'intersectent peu, rendant l'optimalité universelle structurellement impossible.

Signification et implications

L'article soutient que le domaine doit s'éloigner de la recherche d'un ensemble de langues "taille unique" optimal pour l'ajustement d'instructions multilingue.

Avertissement méthodologique : Rapporter des scores agrégés uniques à travers les tâches et les modèles est profondément trompeur. Une stratégie qui semble supérieure en agrégat peut être nettement moins performante sur des tâches spécifiques (ex: FAM avait la meilleure moyenne pour mT5-xl mais le pire score sur XNLI). Les auteurs exhortent la communauté à rapporter des décompositions par tâche et par modèle avec des intervalles de confiance et à éviter de généraliser à partir de benchmarks limités.
Conséquence pratique : Bien qu'il n'existe pas d'optimum universel, la sélection fondée sur la linguistique (particulièrement GEO et TYPO) tend à être une option par défaut plus sûre que la sélection aléatoire, surtout à des échelles de modèles plus grandes. Pour les praticiens, l'idée clé est de viser 10 à 15 langues linguistiquement diverses plutôt que de maximiser le nombre de langues, car l'ajout de plus de langues au-delà de ce seuil déclenche la malédiction de la multilinguicité sous des budgets fixes.
Résultats négatifs comme guide : L'absence d'un vainqueur universel est attribuée à trois facteurs cumulatifs : le décalage du corpus de pré-entraînement, les contraintes d'alignement tâche-langue et la sensibilité aux graines (seeds). Ces conclusions mettent en garde contre les prescriptions universelles simples pour la curation de données en MIT et soulignent la nécessité d'une évaluation spécifique à la tâche et au modèle avec un rapport statistique approprié.

Les auteurs concluent que, bien que la sélection fondée sur la linguistique surpasse généralement la sélection aléatoire en moyenne, la complexité des interactions entre l'architecture du modèle, les données de pré-entraînement et les exigences des tâches empêche l'existence d'un ensemble de langues optimal unique pour tous les scénarios.