💬 NLP

The Latin Substrate: How Language Models Represent and Mediate Script Choice

Cet article révèle que les grands modèles de langage médient le choix de l'écriture par le biais de représentations latentes partagées et de mécanismes agnostiques de la langue, présentant une asymétrie structurelle où les écritures non latines sont contrôlées par des composantes spécifiques des couches tardives tandis que l'écriture latine émerge comme un substrat par défaut, privilégié et diffus.

Auteurs originaux : Daniil Gurgurov, Alan Saji, Katharina Trinley, Josef van Genabith, Simon Ostermann

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniil Gurgurov, Alan Saji, Katharina Trinley, Josef van Genabith, Simon Ostermann

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un grand modèle de langage (LLM) comme un traducteur multilingue massif qui a lu presque tout ce qui a été écrit dans le monde. Mais voici le twist : ce traducteur a une langue de « base » préférée pour réfléchir : l'alphabet latin (l'alphabet A, B, C utilisé en anglais, français, espagnol, etc.).

Cet article étudie la manière dont ce traducteur gère les langues qui utilisent des systèmes d'écriture différents, comme le hindi (qui utilise le devanagari), l'arabe ou le russe (cyrillique). Les chercheurs ont découvert que le modèle ne passe pas simplement d'un script à l'autre comme si l'on basculait un interrupteur. Au lieu de cela, il suit une rue à sens unique très spécifique.

Voici la décomposition de leurs découverturs en utilisant des analogies simples :

1. Le « intermédiaire caché » (Romanisation latente)

Lorsque vous demandez au modèle de traduire un mot du malayalam (une langue de l'Inde) vers le devanagari, vous pourriez vous attendre à ce qu'il passe directement de « malayalam » à « devanagari ».

Cependant, les chercheurs ont examiné l'intérieur du « cerveau » du modèle, couche par couche, et ont découvert quelque chose de surprenant. Avant d'écrire les lettres finales en devanagari, le modèle pense brièvement en lettres latines.

L'analogie : Imaginez que vous essayez d'expliquer une idée complexe à un ami qui parle une langue différente. Vous ne changez pas de langue instantanément ; vous pensez d'abord au concept dans votre propre langue, vous l'écrivez peut-être même dans votre propre script pour vous assurer de bien comprendre le sens, puis vous le traduisez ensuite dans le script de votre ami.
La découverte : Le modèle fait cela automatiquement. Il convertit l'entrée en une version « latinisée » dans ses couches intermédiaires avant de produire finalement le script cible. Il traite le latin comme un pont universel.

2. La « rue à sens unique » (Asymétrie directionnelle)

L'article a révélé un déséquilibre majeur dans la façon dont le modèle gère ces scripts.

Aller vers le latin (Non-latin → Latin) : C'est facile et direct. Le modèle possède une « porte » ou un interrupteur compact et spécifique qui s'active pour produire du texte latin. C'est comme une sortie d'autoroute dédiée.
Aller vers le non-latin (Latin → Non-latin) : C'est désordonné et diffus. Pour produire du hindi, de l'arabe ou du russe, le modèle n'utilise pas un seul interrupteur. Il repose plutôt sur des centaines de signaux minuscules et faibles, dispersés partout dans le réseau, travaillant de concert.
L'analogie : Pensez au cerveau du modèle comme à une ville.
- Le script latin est le centre-ville. Il est immense, ouvert et présent partout. Arriver au centre-ville est facile car on peut y arriver de n'importe quelle direction.
- Les scripts non-latins sont des quartiers spécialisés. Pour s'y rendre, il faut un tunnel spécifique et étroit (une « porte »). Si vous essayez de quitter le centre-ville pour aller dans un quartier, vous devez naviguer sur un chemin complexe et sinueux qui dépend de nombreuses routes différentes. Si vous bloquez une route, vous pourrez toujours arriver, mais si vous bloquez le tunnel spécifique, vous ne pourrez plus entrer du tout.

3. Le « volant » (Contrôler le script)

Les chercheurs ont tenté de « diriger » le modèle en utilisant les mathématiques. Ils ont calculé un vecteur (une direction) simple qui représente « Passer au latin » ou « Passer au script natif ».

Le résultat : Ils ont découvert qu'ils pouvaient pousser le modèle à produire du latin ou un script non-latin spécifique en modifiant simplement sa logique interne dans la bonne direction.
Le bémol : La « poussée » fonctionnait parfaitement pour transformer n'importe quel texte non-latin en latin. Mais transformer du texte latin en un script non-latin spécifique était plus difficile et moins stable. C'est comme avoir un volant qui tourne la voiture vers la gauche (vers le latin) de manière très fluide, mais tourner à droite (vers un script non-latin spécifique) nécessite une poussée beaucoup plus forte et précise.

4. Les « gardiens universels » (Localisation mécaniste)

La partie la plus excitante est que les chercheurs ont trouvé les « interrupteurs » exacts (les têtes d'attention spécifiques) responsables de cela.

La découverte : Ils ont trouvé un petit groupe d'environ 5 « travailleurs » (neurones/têtes) spécifiques, enfouis profondément dans le modèle, qui agissent comme les gardiens des scripts non-latins.
La magie : Ces travailleurs sont agnostiques à la langue. Si vous prenez les « gardiens » entraînés sur le hindi et l'arabe et que vous les utilisez sur le russe, le japonais ou le grec, ils fonctionnent toujours ! Ils ne se soucient pas de savoir de quelle langue non-latine il s'agit ; ils savent simplement comment faire passer le modèle du « mode latin » au « mode non-latin ».
L'analogie : Imaginez un vigile à l'entrée d'un club. Ce vigile ne se soucie pas de savoir si vous portez un sari, un kimono ou un kilt. Il vérifie simplement votre identité pour voir si vous êtes autorisé à entrer dans la « section VIP non-latine ». Une fois à l'intérieur, le vigile vous laisse passer, peu importe votre tenue.

Résumé

L'article conclut que les grands modèles de langage possèdent un biais privilégié envers le script latin.

Le latin est le « foyer » par défaut et confortable du modèle, où l'information est stockée et traitée de manière large.
Les scripts non-latins sont accédés via une « porte » spécialisée et compacte qui repose sur ce fondement latin.

Le modèle ne traite pas tous les scripts comme égaux ; il traite le latin comme le substrat universel (la fondation) et construit tout le reste par-dessus, en utilisant des mécanismes localisés et spécifiques.

Résumé technique : Le substrat latin dans les grands modèles de langage

Énoncé du problème

De nombreuses langues sont écrites en plusieurs systèmes d'écriture (par exemple, le hindi en devanagari et en latin, le serbe en cyrillique et en latin). Bien que les modèles de langage multilingues (LLM) puissent générer un contenu linguistique équivalent à travers ces différents systèmes orthographiques, les mécanismes internes qui assurent la médiation de la variation scripturale restent mal compris. Des travaux antérieurs suggèrent que les représentations sont partiellement partagées entre les scripts, avec des phénomènes tels que la « romanisation latente » observés où les couches intermédiaires représentent transitoirement l'information sous forme latine. Cependant, il n'est pas clair comment les LLM acheminent l'information entre les scripts, s'ils s'appuient sur des représentations latentes partagées, et si des composants architecturaux spécifiques sont responsables de la sélection du script.

Méthodologie

Les auteurs emploient une approche multidimensionnelle combinant l'analyse de représentation, le pilotage linéaire (linear steering) et la localisation mécaniste sur quatre LLM open-source optimisés pour l'instruction (Llama-3.1-8B/70B et Aya-Expanse-8B/32B), avec un accent particulier sur le hindi et l'arabe.

Analyse de sortie par couche (Logit Lens) : En utilisant la technique du logit lens, les auteurs décodent les activations des couches intermédiaires pour observer la distribution du prochain jeton (next-token) lors de tâches de translittération. Ils quantifient la « fraction latente » — la proportion de pas de temps où des sous-jetons romanisés apparaissent dans la prédiction top-1 — pour détecter des représentations latines intermédiaires.
Analyse de représentation :
- Séparabilité : Ils mesurent la séparabilité des scripts à l'aide de sondes linéaires, de la similitude cosinus et de ratios de discriminant de Fisher sur les états cachés moyennés (mean-pooled) de phrases natives versus romanisées.
- Pilotage (Steering) : Ils construisent des vecteurs de pilotage linéaire ( $v_{nat2lat}$ et $v_{lat2nat}$ ) basés sur la différence entre les représentations cachées moyennes des classes de scripts. Ces vecteurs sont appliqués au flux résiduel pour tester si l'identité du script peut être inversée tout en préservant la sémantique.
- Généralisation : Les vecteurs de pilotage dérivés du hindi et de l'arabe sont appliqués à des langues non vues (ex: russe, japonais, thaï) pour tester l'existence d'axes de script agnostiques à la langue.
Analyse mécaniste (Activation Patching) : Les auteurs utilisent le patch de l'activation contrefactuelle (counterfactual activation patching) pour localiser les têtes d'attention spécifiques qui assurent la médiation causale du choix du script. En échangeant les activations entre des exécutions natives et latines, ils mesurent le changement des log-odds de produire des jetons de script natif versus de script latin. Ils valident ces résultats par des interventions ciblées (mise à zéro ou patching de sous-ensembles de têtes spécifiques) sur des prompts de test.

Résultats clés

1. Romanisation latente

Lors des tâches de translittération, les modèles présentent systématiquement une romanisation latente. Dans les couches médianes à supérieures (par exemple, les couches 20–40 de Llama-3.1-8B), le modèle aligne transitoirement ses prédictions internes avec des sous-jetons romanisés avant de se décider pour le script cible final. Cela suggère que le script latin agit comme un pont de représentation intermédiaire partagé lors de la transformation de script.

2. Asymétrie de représentation et pilotage

Séparabilité : L'information scripturale devient de plus en plus séparable à travers les couches, avec l'émergence de clusters distincts pour différents scripts principalement dans le tiers supérieur du réseau.
Pilotage linéaire : Une simple direction de pilotage linéaire peut inverser le script de sortie du modèle tout en préservant largement le contenu sémantique.
Asymétrie directionnelle : L'effet de pilotage est asymétrique. Convertir le non-latin vers le latin ($lat2lat$) est hautement fiable et nécessite une force d'intervention moindre. Inversement, convertir le latin vers le non-latin ($nat2lat$) est moins stable et entraîne souvent des sorties dérivant vers divers scripts non latins plutôt que vers un script cible unique. Cela implique que le latin occupe une région « diffuse » dans l'espace de représentation, tandis que les scripts non latins forment des clusters plus serrés et plus distincts.

3. Localisation mécaniste d'une « porte de médiation de script »

Porte non-latine compacte : L'analyse causale révèle que la génération de scripts non latins est médiée par un ensemble petit et compact de têtes d'attention de couches tardives (ex: L30H20, L30H23, L26H7 dans Llama-3.1-8B). Le patching de seulement cinq de ces têtes suffit à inverser le script de sortie du latin vers un script natif (ex: devanagari) avec un taux de réussite élevé.
Génération latine diffuse : En revanche, la génération de script latin ne repose pas sur un circuit spécifique et localisé. Au lieu de cela, elle émerge de contributions diffuses et de faible magnitude provenant de nombreuses têtes. Supprimer la « porte non-latine » fait que le modèle revient par défaut à une sortie latine pour une partie des prompts, suggérant que le latin est le substrat de repli (fallback) du modèle.
Agnosticisme linguistique : Les têtes identifiées sont transférables à des langues et des systèmes d'écriture sans rapport. Les têtes identifiées via le hindi ou l'arabe redirigent avec succès les scripts de sortie en russe (cyrillique), marathi (devanagari), urdu (perso-arabe), grec et japonais, indiquant un mécanisme de routage de script agnostique à la langue.

Signification et affirmations

L'article affirme fournir la première analyse unifiée de la manière dont les LLM représentent et assurent la médiation de multiples scripts en interne. La conclusion centrale est que le script latin fonctionne comme un substrat privilégié pour les représentations de surface des langues dans les LLM.

Substrat privilégié : Le modèle organise la variation de script autour de représentations latentes partagées alignées avec le latin. Les sorties non latines sont produites via un mécanisme de routage dédié, identifiable et compact (la « porte »), tandis que les sorties latines émergent des voies de traitement par défaut et diffuses du réseau.
Insight mécaniste : Ce travail identifie un ensemble spécifique et transférable de têtes d'attention qui contrôlent causalement le choix du script, démontant que le routage de script est implémenté par des composants agnostiques à la langue plutôt que par des voies de traitement entièrement séparées pour chaque script.
Implications pour la compréhension : Ces découvertes suggèrent que la dominance du script latin dans les données de pré-entraînement a façonné la géométrie interne des LLM, créant une architecture asymétrique où le latin est l'« état fondamental » (ground state) et où les scripts non latins nécessitent un partitionnement (gating) actif et localisé pour être générés.

Les auteurs notent des limites, notamment l'accent mis sur des modèles open-source spécifiques et des langues ayant des conventions de romanisation établies, reconnaissant que les modèles entraînés sur des distributions de données différentes ou les modèles fermés pourraient présenter des mécanismes qualitativement différents.