💬 NLP

A Typologically Grounded Evaluation Framework for Word Order and Morphology Sensitivity in Multilingual Masked LMs

Cette étude propose un cadre d'évaluation typologiquement fondé utilisant des perturbations syntaxiques et morphologiques pour démontrer que les modèles de langage masqués multilingues comme mBERT et XLM-R dépendent fortement de l'ordre des mots et des formes flexionnelles, car leur précision s'effondre considérablement face au brouillage des tokens ou à la substitution des lemmes dans les langues à morphologie riche.

Auteurs originaux : Anna Feldman, Libby Barak, Jing Peng

Publié 2026-03-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Anna Feldman, Libby Barak, Jing Peng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Grand Défi : Comment les robots comprennent-ils les langues ?

Imaginez que vous avez deux super-intelligences artificielles (appelées mBERT et XLM-R) qui ont lu des millions de livres dans 100 langues différentes. Elles sont très fortes pour deviner le mot manquant dans une phrase (comme un jeu de "Trouve le mot").

Mais les chercheurs se posent une question cruciale : Comment font-elles pour deviner ?

Est-ce qu'elles se fient uniquement à l'ordre des mots (comme en anglais ou en chinois, où la place du mot est fixe) ?
Ou est-ce qu'elles utilisent la forme des mots (les terminaisons, les cas, comme en russe ou en allemand, où la grammaire change la fin du mot pour indiquer son rôle) ?

C'est un peu comme demander : "Pour savoir qui a mangé la pomme, est-ce que le robot regarde qui est assis à gauche de la table, ou est-ce qu'il regarde qui porte un tablier ?"

🧪 L'Expérience : Le "Test de Stress"

Pour répondre, les chercheurs ont créé un laboratoire de chaos. Ils ont pris des phrases dans 5 langues (Anglais, Chinois, Allemand, Espagnol, Russe) et ont joué aux perturbateurs avec les robots.

Ils ont appliqué quatre types de "chocs" :

Le Chaos Total (Full Scrambling) : Ils ont mélangé tous les mots de la phrase comme un jeu de cartes jeté au sol.
- Résultat : Les robots sont devenus complètement perdus. Leur capacité à deviner le mot est tombée à presque zéro, peu importe la langue. C'est comme si on leur avait enlevé leur boussole.
Le Chaos Partiel (Part Scrambling) : Ils ont mélangé les mots importants (noms, verbes) mais ont laissé les petits mots de liaison (le, la, de, et) à leur place.
- Résultat : Les robots ont un peu mieux géré, mais ils ont quand même beaucoup perdu de leurs moyens. Les petits mots ne suffisent pas à les sauver.
Le Swap Chef-Serviteur (Head-Dependent) : Ils ont échangé un mot principal avec un mot qui dépend de lui (par exemple, échanger le sujet et le verbe).
- Résultat : Très perturbant, surtout pour l'anglais.
Le "Nettoyage Grammatical" (+L) : C'est l'astuce la plus intéressante. Ils ont remplacé tous les mots par leur "forme de base" (le lemme).
- Exemple : Au lieu de dire "Les scientifiques ont analysé les livres hier", ils disent "Le scientifique analyser le livre hier". Ils ont retiré toutes les terminaisons (le temps, le pluriel, la conjugaison).
- L'idée : Si le robot est fort en grammaire, il devrait réussir même sans les terminaisons, car le sens de base est là.

📊 Ce qu'ils ont découvert (Les Résultats)

Voici les leçons principales, expliquées simplement :

1. L'Ordre est le Roi (et la Reine)
Peu importe la langue, dès qu'on brise l'ordre des mots, les robots s'effondrent. Même en russe ou en allemand, où la grammaire (les terminaisons) devrait permettre de comprendre la phrase même si les mots sont éparpillés, les robots ne s'en sortent pas. Ils sont trop dépendants de la position des mots.

Analogie : C'est comme si un chef cuisinier ne pouvait plus cuisiner si les ingrédients n'étaient pas rangés dans le bon ordre sur le comptoir, même s'il connaît parfaitement la recette.

2. La grammaire ne sauve pas le robot
Quand on a retiré les terminaisons grammaticales (l'expérience +L), les robots n'ont pas gagné en force. Au contraire, ça les a souvent rendus plus faibles.

Le cas du Chinois : Comme le chinois n'a pas de terminaisons complexes, le "nettoyage" n'a rien changé. Le robot a continué à fonctionner comme avant.
Le cas de l'Allemand/Russe : Là où la grammaire est riche, le robot a perdu encore plus de points. Il semble qu'il n'utilise pas vraiment la grammaire pour compenser le désordre ; il compte trop sur l'ordre des mots.

3. Les robots ne sont pas tous pareils
Le robot mBERT et le robot XLM-R ne réagissent pas exactement de la même façon, surtout pour le chinois. Cela montre qu'il faut être prudent quand on dit "l'intelligence artificielle" : chaque modèle a ses propres habitudes.

💡 La Conclusion en une phrase

Ces robots intelligents sont en réalité de très mauvais linguistes : ils sont devenus des experts pour mémoriser l'ordre des mots, mais ils sont très fragiles quand cet ordre est perturbé. Ils n'ont pas vraiment appris à comprendre la "structure" profonde de la langue (la grammaire) pour s'en sortir quand le désordre arrive.

En résumé : Si vous voulez qu'un robot comprenne vraiment une langue, il ne suffit pas de lui montrer des phrases dans le bon ordre. Il faut lui apprendre à comprendre la logique interne des mots, pas juste leur place sur la ligne.

Titre : Un cadre d'évaluation ancré dans la typologie pour la sensibilité à l'ordre des mots et à la morphologie dans les modèles de langage masqués multilingues

1. Problématique

Les modèles de langage multilingues basés sur des transformateurs (comme mBERT et XLM-R) démontrent des performances élevées à travers différentes langues. Cependant, il reste flou de savoir quelles indices linguistiques guident réellement leurs prédictions.

Le conflit : Les langues diffèrent radicalement dans la façon dont elles encodent les relations grammaticales. Les langues à ordre fixe (ex. : Anglais, Chinois) reposent sur une séquence stricte, tandis que les langues à morphologie riche ou à ordre libre (ex. : Russe, Allemand, Espagnol) utilisent la flexion (cas, accords) pour permettre une plus grande souplesse syntaxique.
Le risque : Si les modèles multilingues dépendent principalement de l'ordre linéaire des mots, ils risquent d'être biaisés vers des structures de type anglais, ce qui désavantage les langues morphologiquement riches. À l'inverse, s'ils exploitent la morphologie, ils devraient être plus résilients face à la perturbation de l'ordre des mots.
Objectif : Évaluer dans quelle mesure les encodeurs multilingues actuels s'appuient sur l'ordre des mots par rapport à la morphologie, et déterminer si ces indices sont redondants ou complémentaires.

2. Méthodologie

Les auteurs proposent un cadre d'évaluation diagnostique utilisant des perturbations appliquées au moment de l'inférence (sans réentraînement des modèles).

Modèles et Données :

Modèles : mBERT (110M paramètres) et XLM-R (270M paramètres).
Langues : Anglais (EN), Chinois (ZH), Allemand (DE), Espagnol (ES), Russe (RU). (Le turc est mentionné en annexe mais souffre d'effets de plancher).
Données : Arbres syntaxiques Universal Dependencies (UD) pour garantir la comparabilité structurelle.

Protocole de Perturbation :
Avant toute transformation, un mot de contenu est masqué ([MASK]) dans chaque phrase. Les perturbations sont ensuite appliquées :

Perturbations de l'ordre des mots (basées sur UD) :
- Full (Complet) : Permutation aléatoire de tous les mots (hors ponctuation). Test de la dépendance pure à la position.
- Part (Partiel) : Permutation des mots de contenu (noms, verbes, etc.) tout en gardant les mots fonctionnels (articles, prépositions) fixes.
- Head (Tête) : Échange systématique d'une tête syntaxique (selon UD) avec l'un de ses dépendants, visant à perturber les ancres prédicat-argument tout en conservant le reste de la structure.
Substitution de Lemme (+L) :
- Remplacement de tous les tokens de la phrase (y compris le contexte et la cible masquée) par leur lemme UD. Cela permet de tester si le modèle peut utiliser la morphologie (forme de surface) pour deviner le lemme cible, même si l'ordre est perturbé.

Évaluation :

Métrique principale : Précision de reconstruction exacte au niveau du mot (Top-1).
Métrique secondaire : Précision Top-5 (le mot cible figure-t-il parmi les 5 meilleures prédictions ?).
Mesures dérivées :
- Sensibilité ( $S$ ) : Perte relative de performance par rapport à la condition originale.
- Interaction ( $I$ ) : Mesure de la non-additivité des effets (combinaison de la perturbation de l'ordre + substitution de lemme). Une interaction positive suggère que les indices se chevauchent (redondance) plutôt que de s'additionner.

3. Contributions Clés

Cadre d'évaluation typologique : Première évaluation systématique comparant la sensibilité à l'ordre et à la morphologie sur cinq langues typologiquement diverses avec le même protocole.
Perturbations dépendantes de la structure : Introduction d'une condition "Head" basée sur les arbres UD, plus fine que les simples mélanges aléatoires, pour cibler spécifiquement les relations syntaxiques.
Diagnostic de normalisation lemmatique (+L) : Utilisation de la substitution de lemme au niveau de la phrase pour isoler l'apport de la morphologie de surface.
Ressources ouvertes : Publication des scripts de perturbation, des listes de phrases équilibrées et des résultats bruts pour assurer la reproductibilité.

4. Résultats Principaux

A. Dominance de l'ordre des mots

Effondrement sous perturbation complète : La permutation complète (Full) fait chuter la précision au niveau du mot près de zéro pour tous les modèles et toutes les langues.
Top-5 : Même en autorisant 5 candidats, le mot "gold" (correct) disparaît presque toujours de la liste des meilleures prédictions sous perturbation complète.
Conclusion : Les modèles multilingues sont extrêmement dépendants de l'ordre linéaire des mots.

B. Impact de la morphologie et du +L

Pas de compensation : La substitution de lemme (+L) ne compense jamais la perte d'ordre. Dans les langues à morphologie riche (DE, ES, RU), la précision chute fortement avec +L, indiquant que le modèle ne parvient pas à utiliser la morphologie pour reconstruire le mot si l'ordre est brisé.
Cas du Chinois : L'effet +L est négligeable (le lemme est souvent identique à la forme de surface), ce qui confirme que les légères variations observées sont des artefacts de tokenisation et non une véritable exploitation morphologique.

C. Interactions et Redondance

Effets sous-additifs : Dans les langues DE, ES, RU, l'interaction ( $I$ ) entre la perturbation de l'ordre et la substitution de lemme est positive. Cela signifie que le dommage combiné est moindre que la somme des dommages individuels.
Interprétation : L'ordre des mots et la forme morphologique sont des indices partiellement redondants (qui se chevauchent) plutôt que complémentaires. Lorsque l'un est détruit, l'autre ne peut pas sauver la prédiction, mais leur combinaison ne crée pas de synergie supplémentaire.

D. Différences Linguistiques

Anglais : Très sensible aux perturbations "Head" (échange tête-dépendant), cohérent avec son ordre SVO fixe et sa morphologie légère.
Allemand : Moins affecté par les perturbations structurées que l'anglais, probablement grâce à un étayage par les mots fonctionnels et la morphologie de cas, bien que la précision chute toujours drastiquement sous permutation complète.
Russe/Espagnol : Restent très sensibles à l'ordre malgré leur richesse morphologique.

5. Signification et Implications

Biais des modèles actuels : Les encodeurs multilingues (mBERT, XLM-R) agissent principalement comme des "ouvriers de la position" (positional workhorses). Ils ne généralisent pas bien la syntaxe basée sur la morphologie lorsque l'ordre linéaire est perturbé.
Limites de la robustesse : La simple présence de morphologie riche dans les données d'entraînement ne suffit pas à rendre le modèle robuste aux désordres syntaxiques.
Voies futures :
- Développer des objectifs d'entraînement qui réduisent la dépendance à l'ordre absolu (ex. : objectifs de désordre ou invariants à l'ordre).
- Créer des têtes de prédiction conscientes de la morphologie pour exploiter explicitement la structure flexionnelle.
- Améliorer les protocoles d'évaluation pour inclure des mélanges basés sur les constituants et des lignes de base humaines.

En résumé, cette étude démontre que, malgré leur capacité à traiter plusieurs langues, les modèles de langage actuels restent fondamentalement ancrés dans la structure linéaire des phrases, peinant à exploiter la morphologie comme indice syntaxique autonome lorsque l'ordre des mots est rompu.