Vocabulary shapes cross-lingual variation of word-order learnability in language models

1. Problématique et Contexte

Les langues humaines présentent une diversité typologique remarquable, notamment en ce qui concerne la flexibilité de l'ordre des mots. Certaines langues (comme le tchèque ou le finnois) permettent un ordre des mots relativement libre grâce à un marquage morphologique (cas), tandis que d'autres (comme l'anglais ou le français) reposent sur un ordre des mots fixe pour exprimer les relations syntaxiques.

La question centrale de l'article est la suivante : Toutes les langues sont-elles également difficiles à apprendre pour les modèles de langage (LLM) ? Si non, pourquoi certaines langues résistent-elles mieux aux perturbations de l'ordre des mots que d'autres ?

Les recherches antérieures souffrent de deux limitations majeures :

1. Perturbation au niveau des sous-mots : De nombreuses études perturbent l'ordre des mots en mélangeant des sous-mots (tokenization), ce qui brise l'intégrité morphologique des mots et confond la complexité morphologique avec la structure syntaxique.
2. Méthodes de mélange hétérogènes : L'utilisation de méthodes de mélange discrètes et non standardisées rend difficile la comparaison des résultats et le contrôle précis de la force de la perturbation.

2. Méthodologie

Les auteurs proposent une approche contrôlée pour isoler l'impact de l'ordre des mots sur la « facilité d'apprentissage » (learnability) computationnelle.

A. Création de langues synthétiques

• Corpus : Utilisation du corpus Europarl (discours parlementaires européens) pour 10 langues européennes couvrant divers types morphologiques (analytiques, fusionnels, agglutinants) et flexibilités d'ordre (fixe vs libre).
• Perturbation déterministe : Au lieu de mélanger des sous-mots, les auteurs mélangent des mots entiers pour préserver l'intégrité morphologique et le vocabulaire original.
• Modèle de Mallows : Pour générer un spectre continu de variantes d'ordre des mots, ils utilisent le modèle de permutation de Mallows.
  • Un paramètre continu $\theta$ contrôle la régularité de l'ordre.
  • $\theta \to \infty$ : Ordre original.
  • $\theta = 0$ : Ordre totalement irrégulier (chaque permutation est équiprobable).
  • $\theta < 0$ : Aversion à l'ordre original, jusqu'à l'inversion complète de la phrase ($\theta \to -\infty$).
  • Cette méthode garantit que l'entropie globale du texte (hors modèle) reste constante, isolant ainsi l'effet de la structure séquentielle.

B. Entraînement et Évaluation

• Modèles : Entraînement de modèles de langage autoregressifs légers (architecture Transformer, ~50M de paramètres) à partir de zéro sur chaque variante synthétique.
• Métrique : La surprise (surprisal) du modèle, définie comme le logarithme négatif de la probabilité prédite du prochain token. Une surprise plus élevée indique une difficulté d'apprentissage accrue.
• Analyse : Comparaison de la variation de surprise ($\Delta S$) entre les langues fixes et libres, et corrélation avec des métriques de vocabulaire (couverture de Zipf, longueur des phrases, complexité morphologique).

3. Résultats Clés

A. Impact de l'irrégularité de l'ordre des mots

• L'irrégularité croissante de l'ordre des mots augmente systématiquement la surprise du modèle, réduisant ainsi la facilité d'apprentissage.
• Symétrie de l'inversion : Contrairement à ce que l'on pourrait penser, l'inversion complète des phrases ($\theta < 0$) n'affecte la facilité d'apprentissage que très faiblement par rapport au mélange aléatoire ($\theta = 0$). Les modèles sont peu sensibles aux violations des corrélations typologiques introduites par l'inversion, suggérant une invariance relative à ce type de perturbation.

B. Échec de la typologie binaire

• La distinction binaire classique entre « langues à ordre libre » et « langues à ordre fixe » ne suffit pas à expliquer les différences interlinguistiques.
• Les deux groupes se chevauchent considérablement en termes de robustesse aux perturbations ($\Delta S$), bien qu'ils diffèrent dans leur surprise de base ($S_{orig}$).

C. Le rôle déterminant du vocabulaire

• La structure du vocabulaire (statistiques de mots et de sous-mots) est un prédicteur bien plus puissant de la robustesse à l'ordre des mots que la typologie binaire.
• Couverture de Zipf : Les langues à ordre libre ont tendance à avoir une couverture de vocabulaire plus lente (plus de mots rares), ce qui est corrélé à une plus grande robustesse aux perturbations.
• Complexité morphologique : Pour expliquer la robustesse aux ordres très irréguliers, des métriques de complexité morphologique (fertilisation, longueur des mots, nombre de types) sont nécessaires.
• Taille du vocabulaire : L'augmentation de la taille du vocabulaire réduit l'écart de performance entre les langues, suggérant que les limitations de capacité du modèle et la rareté des sous-mots jouent un rôle crucial.

4. Contributions Principales

1. Méthodologie de perturbation contrôlée : Introduction d'une méthode de mélange déterministe au niveau des mots entiers utilisant le modèle de Mallows, permettant de dissocier l'ordre des mots de la morphologie et de l'entropie globale.
2. Preuve de l'importance du vocabulaire : Démonstration que la structure du vocabulaire (couverture, complexité) est le moteur principal de la variation interlinguistique dans la facilité d'apprentissage de l'ordre des mots, surpassant les classifications typologiques grossières.
3. Nuance sur l'inversion : Mise en évidence du fait que les modèles de langage sont étonnamment insensibles à l'inversion complète des phrases, contrairement à leur sensibilité aux mélanges locaux ou globaux.
4. Analyse comparative : Fourniture d'une analyse systématique sur 10 langues européennes, comblant le vide laissé par les études précédentes souvent limitées à l'anglais ou utilisant des perturbations de sous-mots.

5. Signification et Implications

Ce travail remet en question l'idée que les modèles de langage apprennent toutes les langues de manière égale. Il suggère que la « difficulté » d'une langue pour un modèle n'est pas intrinsèquement liée à sa flexibilité syntaxique (ordre libre vs fixe), mais plutôt à la manière dont son vocabulaire et sa morphologie interagissent avec la structure séquentielle.

• Pour la linguistique computationnelle : Cela indique que les métriques simples basées sur le vocabulaire (comme la couverture de Zipf) sont des indicateurs plus fiables de la complexité d'apprentissage que les catégories typologiques traditionnelles.
• Pour l'architecture des modèles : Les résultats soulignent l'importance de la tokenisation et de la gestion du vocabulaire. Les modèles pourraient être désavantagés par des langues riches en morphologie complexe si leur capacité à apprendre des sous-mots rares est limitée.
• Pour la cognition : Bien que l'étude se concentre sur les modèles computationnels, elle offre des hypothèses sur les biais d'apprentissage inhérents aux systèmes de traitement du langage, suggérant que la robustesse à l'ordre des mots est une propriété émergente de l'interaction entre le lexique et la syntaxe.

En conclusion, la structure du vocabulaire émerge comme un facteur clé déterminant la facilité avec laquelle les modèles de langage peuvent apprendre et généraliser les structures d'ordre des mots, offrant une perspective plus nuancée que les classifications typologiques binaires.