💬 NLP

Similarity All The Way Up: Multilingual Generalization in LLMs Relies on Language-Level Similarity Structures

Cet article démontre que les grands modèles de langage généralisent mieux à travers les langues lorsque leurs représentations latentes capturent avec précision les structures de similitude hiérarchiques des familles de langues, telles que l'arbre indo-européen, cet alignement structurel étant directement corrélé à une amélioration des performances sur les bancs d'essai multilingues comme XNLI.

Auteurs originaux : Supantho Rakshit, Adele Goldberg, Henry Conklin

Publié 2026-08-14

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Supantho Rakshit, Adele Goldberg, Henry Conklin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot comment comprendre le monde. Vous ne lui donnez pas seulement un dictionnaire ; vous le laissez lire des millions de livres, de sites web et d'histoires. Avec le temps, le robot commence à construire une carte mentale de la façon dont les choses sont liées les unes aux autres. Dans le monde de l'informatique, on appelle cela un « Grand Modèle de Langage » (LLM). Considérez ces modèles comme des cerveaux numériques super intelligents qui ont lu presque tout ce qui se trouve sur Internet. Mais voici la partie délicate : la majeure partie de ce qu'ils ont lu est en anglais. Quand vous leur demandez de parler une langue qu'ils n'ont pas beaucoup vue, comme le swahili ou l'islandais, ils trébuchent souvent.

Les scientifiques se demandent depuis longtemps pourquoi cela se produit. Une idée clé de la psychologie suggère que nos cerveaux (et les ordinateurs intelligents) apprennent en remarquant des similitudes. Si vous savez ce qu'est un « chien », vous pouvez deviner ce qu'est un « loup » parce qu'ils se ressemblent et agissent de la même manière. C'est ce qu'on appelle la « généralisation ». Plus votre carte mentale regroupe les choses similaires, mieux vous êtes capable de deviner les nouvelles choses. Mais cette règle s'applique-t-elle à des langues entières ? Ces cerveaux numériques organisent-ils secrètement les langues comme un arbre généalogique organise les parents ? C'est la grande question à laquelle ce document cherche à répondre.

La grande réunion de famille des langues

Imaginez une immense fête invisible où chaque langue de la famille indo-européenne (un groupe énorme comprenant l'anglais, l'espagnol, l'hindi et le russe) est invitée. Dans le monde réel, nous savons que ces langues sont liées comme des cousins, des frères et sœurs ou des parents éloignés. Certaines, comme l'espagnol et l'italien, sont comme des jumeaux qui ont grandi dans la même maison. D'autres, comme l'anglais et l'hindi, sont des cousins éloignés qui ne se sont pas vus depuis des milliers d'années.

Les chercheurs de ce document voulaient voir si les Grands Modèles de Langage (LLM) connaissent secrètement cet arbre généalogique. Ils n'ont pas demandé aux modèles : « Hé, est-ce que ces langues sont liées ? ». Au lieu de cela, ils ont observé les « pensées » des modèles (leur mathématique interne) pour voir comment ils regroupaient les langues entre elles. C'est comme observer un invité à la fête et voir à côté de qui il se tient. Si le modèle place l'espagnol et l'italien proches l'un de l'autre, mais les garde loin de l'hindi, cela montre qu'il comprend les connexions familiales sans même qu'on lui ait explicitement enseigné.

La découverte : Les modèles possèdent une carte secrète

L'équipe a testé 12 modèles d'IA différents, allant des plus anciens aux plus récents et plus puissants. Ils ont nourri les modèles de milliers de phrases dans 38 langues différentes. Ensuite, ils ont utilisé un tour de magie mathématique pour cartographier la façon dont les modèles « ressentaient » chaque langue.

Le résultat fut surprenant et délicieux : les modèles avaient accidentellement construit une carte qui ressemblait presque exactement au véritable arbre généalogique des langues.

Tout comme un généalogiste dessinant un arbre généalogique, les modèles ont naturellement regroupé les langues dans les mêmes sous-familles : les langues germaniques (comme l'anglais et l'allemand) se sont rassemblées ; les langues romanes (comme le français et l'espagnol) ont formé leur propre cercle ; et les langues slaves (comme le russe et le polonais) sont restées groupées. Les modèles n'avaient pas besoin d'un professeur pour leur dire : « Ce sont des langues romanes ». Ils l'ont compris par eux-mêmes, simplement en lisant les données.

Pourquoi certains modèles sont meilleurs à la fête

Mais voici le rebondissement : tous les modèles ne sont pas égaux. Les chercheurs ont trouvé un lien direct entre la capacité d'un modèle à organiser sa carte linguistique et sa performance lors d'un test difficile appelé XNLI (un test où le modèle doit deviner si une phrase prouve, contredit ou n'a aucun rapport avec une autre phrase dans une langue différente).

Voyez cela comme ceci : si un élève possède un cahier de notes désordonné et brouillon où il mélange tous ses faits historiques, il aura du mal à répondre à une question d'examen. Mais si son cahier est parfaitement organisé par sujet, il peut trouver la réponse instantanément. Le document a révélé que les modèles qui organisaient correctement leur « cahier de notes linguistique » (en gardant les langues similaires proches les unes des autres) étaient bien meilleurs pour résoudre les problèmes du test.

Plus précisément, les modèles qui ont été entraînés sur des données provenant de nombreuses langues différentes (modèles multilingues) ont fait un bien meilleur travail pour dessiner cet arbre généalogique que les modèles entraînés principalement sur l'anglais. C'est comme si les modèles multilingues possédaient une carte plus grande et plus claire, tandis que les modèles uniquement anglophones essayaient de naviguer avec un croquis flou et incomplet.

Le piège de l'« écriture » et autres surprises

On pourrait supposer que les modèles regroupent les langues simplement selon leur apparence sur papier (leur alphabet ou leur script). Par exemple, auraient-ils pu penser que l'hindi et l'ourdou sont similaires juste parce qu'ils utilisent tous deux l'écriture devanagari ? Le document affirme que non. Bien que la façon dont les mots sont écrits (l'orthographe) ait un petit effet, ce n'est pas la raison principale. Les modèles étaient assez intelligents pour voir que l'hindi et l'ourdou sont des cousins linguistiques, même s'ils utilisent des écritures différentes, et que le persan (qui utilise une écriture arabe) est en fait lié aux langues du nord de l'Inde, et non aux langues arabes. Les modèles regardaient la structure de la langue, et non seulement la police de caractères.

Cependant, les modèles n'étaient pas parfaits. Ils se sont parfois un peu emmêlés avec des langues « orphelines » comme le grec, le gallois et l'albanais. Dans certains modèles, le grec et le gallois ont été associés étrangement, même s'ils ne sont pas étroitement liés. Cela suggère que, bien que les modèles soient excellents pour voir la vue d'ensemble, ils trébuchent parfois sur les branches uniques et isolées de l'arbre généalogique.

Quand ont-ils appris cela ?

Les chercheurs ont également observé les modèles pendant leur entraînement, comme on observe un bébé apprendre à marcher. Ils ont découvert que les modèles commençaient à organiser les langues en ces groupes familiaux très tôt dans leur entraînement — après seulement 100 étapes d'apprentissage. Cela suggère que comprendre « qui est lié à qui » est l'une des premières choses qu'un modèle de langage intelligent apprend, avant même de s'attaquer aux détails précis des mots.

L'essentiel à retenir

Ce document suggère que le secret de la réussite d'un modèle de langage n'est pas seulement de mémoriser plus de mots ; c'est de construire une bonne carte mentale de la façon dont les langues se rapportent les unes aux autres. Lorsqu'un modèle comprend que l'espagnol et l'italien sont des cousins proches, et que l'anglais et l'allemand sont des frères et sœurs, il devient bien meilleur pour traduire des idées de l'un à l'autre.

Il s'avère que ces cerveaux numériques sont étonnamment doués en histoire. Ils n'ont pas eu besoin d'un manuel pour apprendre l'arbre généalogique indo-européen ; ils avaient juste besoin de lire le monde, et les schémas ont émergé d'eux-mêmes. Et plus ils deviennent performants pour dessiner cette carte, plus ils deviennent performants pour parler toutes les langues qui s'y trouvent.

Résumé Technique : La similitude à tous les niveaux

Énoncé du problème
Bien que les modèles de langage de grande taille (LLM) fassent preuve de capacités impressionnantes dans diverses tâches, leur capacité de généralisation — particulièrement de manière multilingue vers les langues à faibles ressources en dehors de l'anglais — reste mal comprise. Les modèles actuels éprouvent souvent des difficultés avec les langues peu attestées dans les données d'entraînement. L'article postule que cette limitation découle des structures représentationnelles apprises par les LLM. S'appuyant sur les sciences cognitives, les auteurs soutiennent que la généralisation réussie dépend de la géométrie sous-jacente des espaces de similitude (Shepard, 1957 ; Tenenbaum & Griffiths, 2001). Plus précisément, l'article examine si les LLM apprennent implicitement les structures de similitude hiérarchiques des langues naturelles (par exemple, l'arbre phylogénétique des langues indo-européennes) et si la fidélité de ces structures apprises est corrélée à la performance du transfert translingue.

Méthodologie
L'étude analyse la géométrie représentationnelle de 12 LLM à travers cinq familles (BERT, RoBERTa, mT5, XLM et Pythia), incluant des variantes monolingues et multilingues.

Données et Arbre de Référence : L'analyse se concentre sur 38 langues indo-européennes vivantes réparties en cinq sous-familles (romanes, germaniques, indo-aryennes, slaves, baltes) et des langues indépendantes. Un « Arbre de Référence » est construit à l'aide de l'arbre de Crédibilité Maximale de Clade (MCC) bayésien de Heggarty et al. (2023), qui estime la similitude hiérarchique basée sur des jugements lexicaux de cognats. Cela sert de vérité terrain pour les relations linguistiques.
Extraction de Représentation : Pour chaque modèle, les auteurs estiment la densité conditionnelle des représentations linguistiques dans l'espace d'embedding. En utilisant un estimateur de densité douce (Conklin, 2025), ils discrétisent les états cachés continus en un codebook via une softmax pondérée par la température. Cela génère une distribution conditionnelle spécifique à la langue $P(\hat{Z}|\text{langue})$ pour chaque couche.
Calcul de Distance : Des divergences de Jensen-Shannon (JS) par paires sont calculées entre les distributions de langues à travers toutes les couches pour créer une matrice de distance. Le regroupement UPGMA est appliqué à cette matrice pour induire un dendrogramme représentant la structure de similitude interne du modèle.
Métriques d'Alignement : Trois métriques sont utilisées pour comparer le dendrogramme induit par le modèle par rapport à l'Arbre de Référence :
- Corrélation Cophenétique (CC) : Mesure la préservation des relations de distance par paires (ajustement global).
- Kernel de Chemin (Path Kernel) : Mesure les chemins racines-feuilles partagés, capturant l'imbrication hiérarchique globale (ex: appartenance à une sous-famille).
- Kernel de Sous-arbre (Subtree Kernel) : Mesure les regroupements locaux exacts et la topologie (test le plus strict).
Corrélation de Performance : Les scores d'alignement sont corrélés avec la performance du modèle sur le benchmark XNLI (Inférence de Langage Naturel Translingue), qui mesure les capacités de transfert zero-shot.

Résultats Clés

Récupération Implicite de la Phylogénie : Les LLM récupèrent implicitement la structure hiérarchique de la famille des langues indo-européennes. Les modèles regroupent les langues appartenant à la même sous-famille (ex: germaniques, romanes) de manière étroite dans l'espace de représentation sans supervision explicite.
Corrélation avec la Performance : Il existe une corrélation positive significative entre le degré d'alignement de la représentation du modèle avec l'Arbre de Référence et la précision XNLI du modèle. Plus précisément, la Corrélation Cophenétique ( $\rho=0,81$ ) et le Kernel de Chemin ( $\rho=0,79$ ) montrent des relations positives fortes avec la performance. Le Kernel de Sous-arbre ne présente pas de corrélation significative ( $\rho=0,38$ ), suggérant que la capture des structures de sous-familles larges et de haut niveau est plus critique pour la généralisation que l'appariement des relations de plus proches voisins exactes.
Impact des Données d'Entraînement : Les modèles multilingues (mBERT, XLM-Roberta) s'alignent de manière significative plus étroitement avec l'Arbre de Référence que leurs homologues monolingues (BERT, RoBERTa), malgré des architectures identiques.
Émergence Temporelle : L'analyse des checkpoints du modèle Pythia révèle que les structures de similitude au niveau de la langue commencent à émerger tôt dans le pré-entraînement (dès l'étape de gradient 100), s'alignant sur les théories de la différenciation progressive où les distinctions larges sont apprises avant les propriétés subtiles.
Orthographe vs Linguistique : Bien que la tokenisation soit sensible aux scripts (ex: cyrillique vs latin), la parenté linguistique demeure le signal dominant. Par exemple, l'hindi et l'ourdou (scripts différents) sont correctement groupés, tandis que le persan (script arabe) ne migre pas vers le cluster sémitique malgré le chevauchement des scripts.

Signification et Revendications
L'article affirme étendre le cadre théorique de la généralisation pilotée par la similitude du niveau des mots et des concepts au niveau de l'ensemble des langues.

Extension Théorique : Il démontète que l'organisation géométrique des représentations, un principe central en sciences cognitives et modèles connexionnistes, s'étend aux LLM multilingues.
Pouvoir Prédictif : L'étude établit que la fidélité de la structure de similitude linguistique interne d'un modèle est un prédicteur de sa capacité de généralisation translingue. Les modèles qui représentent les langues similaires de manière similaire généralisent mieux.
Mécanisme de Transfert : Les résultats suggèrent que la performance multilingue repose sur la capacité du modèle à aligner les concepts sémantiques apparentés à travers les langues en récupérant la structure de similitude hiérarchique de la famille de langues, plutôt que de simplement partager du vocabulaire.

Les auteurs maintiennent un champ d'application modeste, notant que bien que les résultats soient robustes pour les langues indo-européennes, des erreurs systématiques (telles que des appariements inattendus du grec et du gallois) méritent une investigation plus approfondie. Ils ne proposent pas de nouveaux algorithmes d'entraînement, mais offrent plutôt une lentille de diagnostic pour comprendre comment la géométrie représentationnelle conduit la généralisation multilingue.