💬 NLP

Multilinguality of Large Language Models From a Structural Perspective

Cet article étudie le multilinguisme des grands modèles de langage à travers une analyse de la structure des représentations, révélant que les langues à faibles ressources sont structurellement plus distinctes de l'anglais que les langues à ressources élevées et moyennes, et que le post-entraînement spécifique à la langue modifie ces structures tout en maintenant les relations interlinguistiques.

Auteurs originaux : Haruki Sakajo, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Haruki Sakajo, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme une immense bibliothèque à plusieurs étages où chaque livre représente une langue différente. Pendant longtemps, les chercheurs ont tenté de comprendre comment cette bibliothèque organise ses livres. La plupart des études précédentes examinaient la bibliothèque en observant les mots individuels (ou « tokens ») sur les étagères, en se demandant : « À quel point le mot "chat" en anglais est-il similaire au mot "chat" en japonais ? »

Ce document, cependant, adopte une approche différente. Au lieu de regarder les mots individuels, les auteurs examinent la structure entière de la bibliothèque elle-même. Ils se demandent : « Comment l'ensemble du bâtiment est-il agencé ? Est-ce que la section anglaise et la section japonaise semblent appartenir au même style architectural, ou sont-elles construites sur des plans totalement différents ? »

Voici une décomposition de leurs découvertes en utilisant des analogies simples :

1. Le problème de l'observation des mots uniquement

Considérez un tokenizer (l'outil qui découpe le texte en mots) comme une paire de ciseaux. En anglais, les ciseaux découpent le texte en petits morceaux bien nets. Dans d'autres langues, les ciseaux peuvent découper le texte en gros blocs ou en morceaux minuscules et fragmentés. Parce que les « morceaux » sont de tailles différentes, comparer les mots un par un revient à essayer de comparer un tas de briques LEGO à un tas de sable. Vous verrez peut-être qu'ils sont tous deux de la « matière », mais vous passerez à côté de la manière dont ils sont construits.

2. Le nouvel outil : « L'examen structurel par rayons X »

Les auteurs ont utilisé un outil appelé STRUCTLENS. Imaginez qu'il s'agit d'une machine à rayons X qui ne se contente pas de regarder les briques, mais qui scanne tout le squelette de la bibliothèque. Il construit un « arbre généalogique » pour chaque langue, montant comment les différentes parties d'une phrase se connectent entre elles au fur et à mesure que le modèle les traite.

Ils ont mesuré la distance entre ces arbres généalogiques. Si l'arbre de l'anglais ressemble beaucoup à celui de l'allemand, la distance est faible. Si l'arbre de l'anglais ne ressemble en rien à celui d'une langue à faibles ressources (comme le jinghpaw), la distance est énorme.

3. Découvertes clés

La fracture entre langues « riches » et « pauvres »
L'étude a révélé une division claire dans l'organisation de la bibliothèque :

Langues à hautes et moyennes ressources (Les quartiers « riches ») : Les langues comme l'allemand, le japonais, le chinois et l'indonésien sont comme des quartiers bien connectés. Même si elles sont différentes, la structure interne de la bibliothèque les traite de manière très similaire. Elles partagent un plan architectural commun.
Langues à faibles ressources (Les villages « reculés ») : Les langues disposant de moins de données (comme l'aranés, le guarani et le jinghpaw) sont structurellement très différentes de l'anglais. Elles sont comme des villages reculés avec un style de construction totalement différent. Même si le modèle peut les « lire », la façon dont il les traite en interne est fondamentalement distincte de sa façon de traiter l'anglais.

Le pière de la « similitude cosinus »
Les auteurs ont découvert qu'une mesure couramment utilisée par les scientifiques (appelée « similitude cosinus ») est comparable à l'observation de la couleur moyenne d'un tableau.

Si vous mélangez de la peinture rouge et bleue, la moyenne peut paraître violette.
Si vous mélangez du rouge et du bleu avec un ratio différent, la moyenne peut aussi paraître violette.
Le Piège : La « vue moyenne » du modèle pour l'anglais et le japonais peut sembler très similaire (similitude cosinus élevée), laissant croire que le modèle les comprend tous deux de la même manière.
La Réalité : La « distance structurelle » (les rayons X) révèle que le motif de la peinture est totalement différent. Le modèle organise les mots japonais selon un schéma interne totalement différent de celui des mots anglais, même si la « moyenne » semble identique.

L'effet de l'« entraînement spécialisé » (Post-entraînement)
Les chercheurs ont également observé ce qui se passe lorsqu'on prend un modèle général et qu'on lui donne un entraînement supplémentaire spécifique pour une langue (comme le japonais).

L'analogie : Imaginez un entrepreneur généraliste qui construit des maisons pour tout le monde. Si vous l'engagez pour construire un type spécifique de maison japonaise, il deviendra très doué pour les détails de cette maison (le toit, les portes coulissantes).
Le constat : Le modèle devient meilleur en japonais, et la structure interne de la section japonaise devient plus raffinée et unique. Cependant, la distance entre la section japonaise et la section anglaise reste exactement la même. Le modèle n'a pas changé la façon dont il relie le japonais à l'anglais ; il a simplement poli la section japonaise elle-même.

Résumé

En résumé, cet article soutient que pour comprendre réellement comment l'IA gère les différentes langues, nous ne pouvons pas nous contenter de compter les mots ou de regarder les similitudes moyennes. Nous devons observer le squelette structurel de la pensée de l'IA.

Ils ont conclu que :

Les langues familières (données abondantes) partagent une « architecture » interne similaire.
Les langues peu familières (faibles données) possèdent une architecture interne totalement différente, même si le modèle peut techniquement les lire.
L'entraînement spécialisé améliore la structure interne d'une langue spécifique, mais ne change pas nécessairement la façon dont cette langue se rapporte aux autres dans l'esprit du modèle.

Cela aide à comprendre que, bien que les modèles d'IA deviennent multilingues, ils traitent toujours les langues « riches » et les langues « pauvres » de manières fondamentalement différentes au plus profond de leur « cerveau ».

Résumé technique : Multilinguisme des grands modèles de langage d'un point de vue structurel

Énoncé du problème

Bien que les grands modèles de langage (LLM) aient démontré des capacités multilingues grâce au pré-entraînement sur des corpus multilingues et à un post-entraînement continu, les analyses existantes de ce multilinguisme sont principalement limitées au niveau du jeton (ou sous-mot). Des travaux antérieurs ont utilisé des outils tels que la Logit Lens pour interpréter les états cachés comme des symboles ou ont analysé la géométrie des représentations de jetons. Cependant, cette approche centrée sur le jeton ne parvient pas à capturer les propriétés structurelles intrinsèques du langage, telles que les diverses caractéristiques morphosyntaxiques. De plus, comme les tokenizer varient considérablement d'une langue à l'autre, la granularité sémantique des unités minimales traitées par les LLM est incohérente, ceant la capacité de l'analyse au niveau du jeton à comprendre de manière holistique comment les LLM représentent et traitent plusieurs langues.

Méthodologie

Pour remédier à ces limites, cette étude propose une perspective structurelle sur les représentations multilingues, allant au-delà de l'analyse au niveau du jeton pour examiner l'organisation de séquences d'entrée entières.

1. Analyse structurelle via STRUCTLENS
Les auteurs utilisent STRUCTLENS (Sakajo et al., 2026), une méthode qui dérive des structures d'arbre à partir des distances L2 par paires entre les représentations de jetons au sein des flux résiduels des modèles Transformer.

Construction de l'arbre couvrant : Pour chaque couche $\ell$ et chaque langue, la méthode construit un arbre couvrant maximal basé sur la similitude inter-jetons. La matrice d'adjacence $A$ est définie par l'inverse de la distance L2 entre les états cachés $h^{(\ell)}_i$ et $h^{(\ell)}_j$ .
Mesure de la distance structurelle : Pour comparer les structures internes de différentes langues, l'étude calcule la distance d'édition d'arbre (TED - Tree Edit Distance) entre les arbres couvrants de deux langues. Cette distance est normalisée par la longueur de l'entrée la plus grande afin d'assurer une comparaison équitable entre les langues ayant des longueurs de séquence de jetons différentes. Le coût de réétiquetage est fixé à zéro pour se concentrer strictement sur les différences structurelles plutôt que sur les divergences lexicales.

2. Configuration expérimentale

Modèles : L'étude évalue à la fois des modèles pré-entraînés multilingues (Gemma3 4B PT, Qwen3 8B Base) et un modèle centré sur l'anglais monolingue (Olmo3 7B Base). Elle inclut également des modèles spécifiques à une langue post-entraînés (Qwen3 Swallow 8B CPT pour le japonais) pour analyser les effets du pré-entraînement continu.
Langues : Un ensemble diversifié de langues est sélectionné, incluant des langues à ressources élevées/moyennes (anglais, allemand, japonais, chinois, indonésien) et des langues à faibles ressources (aranais, guarani, jinghpaw).
Jeux de données : Des paires de phrases de traduction parallèles issues de FLORES+ et des données correspondantes en jinghpaw sont utilisées.
Métriques comparatives : Pour contextualiser les découvertes structurelles, l'étude mesure également des métriques non structurelles : la perplexité, la performance de traduction automatique (BLEU, chrF, TER), la similitude cosinus des représentations moyennes et la distance L2.

Contributions clés et résultats

1. La distance structurelle révèle un regroupement basé sur les ressources
L'étude montre que la distance structurelle (TED) distingue les langues en fonction de la disponibilité des ressources d'une manière que la similitude cosinus ne permet pas de saisir.

Modèles multilingues : Dans les modèles multilingues (Gemma3, Qwen3), les langues à hautes et moyennes ressources forment un groupe avec des structures internes relativement uniformes et une faible distance structurelle par rapport à l'anglais. En revanche, les langues à faibles ressources présentent des distances structurelles nettement plus élevées par rapport à l'anglais.
Modèles monolingues : Le modèle monolingue Olmo3 7B Base présente une séparation distincte entre l'anglais et toutes les autres langues, avec des distances structurelles élevées de manière généralisée, reflétant son entraînement centré sur l'anglais.
Contraste avec la similitude cosinus : Alors que la similitude cosinus entre l'anglais et d'autres langues reste élevée et uniforme à travers les couches dans les modèles multilingues (suggérant des centroïdes sémantiques abstraits alignés), la distance structurelle révèle des différences relationnelles internes significatives. Cela indique que si le « centre » de l'espace de représentation peut être aligné, la topologie interne des relations entre jetons diffère selon la familiarité avec la langue.

2. Impact du post-entraînement spécifique à une langue
L'étude examine comment le post-entraînement spécifique à une langue (pré-entraînement continu sur des données de la langue cible) modifie les structures du modèle.

Différenciation de la langue cible : Le post-entraînement sur le japonais (Qwen3 Swallow 8B CPT) modifie considérablement la distance structurelle interne du japonais, le rendant distinct de son état pré-entraîné.
Préservation des relations inter-langues : Crucialement, bien que la structure interne de la langue cible change, la distance structurelle entre les langues (par exemple, entre l'anglais et le japonais, ou l'anglais et le chinois) reste largement invariante. Cela suggère que le post-entraînement affine l'organisation structurelle interne d'une langue spécifique sans perturber les relations structurelles globales établies lors du pré-entraînement.

3. Influence des caractéristiques linguistiques
Parmi les langues à faibles ressources, la distance structurelle est corrélée à la similitude linguistique avec l'anglais. L'aranais, qui est typologiquement plus proche de l'anglais, présente une distance structurelle plus faible que le jinghpaw, qui est plus éloigné. Cela suggère que la similitude linguistique facilite l'alignement structurel dans l'espace de représentation, même pour les langues à faibles ressources.

Signification et affirmations

L'article affirme qu'une perspective de structure de représentation fournit des mesures de similitude linguistique qui ne sont pas capturées par les métriques conventionnelles basées sur les jetons ou les centroïdes.

Vue holistique : Les résultats démontrent que les LLM organisent les séquences d'entrée selon des motifs structurels propres à chaque langue qui évoluent à travers les couches Transformer.
Familiarité vs Non-familiarité : La distance structurelle sert de métrique de « familiarité » pour le modèle. Les modèles multilingues présentent une haute similitude structurelle entre les langues familières (hautes ressources) mais divergent considérablement pour les langues non familières (faibles ressources).
Mécanisme d'adaptation : L'étude révèle que le post-entraînement spécifique à une langue opère en modifiant l'organisation structurelle interne de la langue cible tout en préservant les relations structurelles mondiales entre les langues.

Les auteurs concluent que cette perspective structurelle est essentielle pour comprendre comment les LLM traitent plusieurs langues, soulignant que les modèles distinguent les langues familières des langues non familières à travers leur organisation structurelle interne, et que le post-entraînement permet d'améliorer les performances dans des langues spécifiques sans effacer les relations multilingues apprises lors du pré-entraînement.