💬 NLP

Neither Here Nor There: Cross-Lingual Representation Dynamics of Code-Mixed Text in Multilingual Encoders

En utilisant l'hindi et l'anglais comme étude de cas, cette recherche révèle que les encodeurs multilingues traitent le texte codé-mélangé de manière asymétrique via un sous-espace sémantique dominé par l'anglais, et propose une nouvelle méthode d'alignement post-entraînement qui améliore simultanément la cohérence avec les deux langues constitutives et les performances en aval.

Auteurs originaux : Debajyoti Mazumder, Divyansh Pathak, Prashant Kodali, Jasabanta Patro

Publié 2026-03-23

📖 4 min de lecture☕ Lecture pause café

CC0 1.0

Auteurs originaux : Debajyoti Mazumder, Divyansh Pathak, Prashant Kodali, Jasabanta Patro

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🌍 Le Problème : Le "Bazar" des Langues

Imaginez que vous avez un traducteur automatique très intelligent (un modèle d'IA comme mBERT ou XLM-R). Ce traducteur a lu des millions de livres en anglais, en hindi, et dans d'autres langues. Il est excellent pour comprendre l'anglais pur ou le hindi pur.

Mais la vie réelle est différente. Dans des pays comme l'Inde, les gens parlent souvent un mélange des deux : l'anglais et l'hindi mélangés dans la même phrase. On appelle cela du "code-mixing" (ou "Hinglish").

Exemple : "Batman mujhe pta hai, il était humble." (Batman, je sais, il était humble).

Le problème ? Les chercheurs savaient que ces modèles pouvaient traduire ce mélange, mais ils ne savaient pas comment l'IA le comprenait à l'intérieur de sa "tête". Est-ce qu'elle voit une phrase anglaise ? Une phrase hindi ? Ou quelque chose de totalement nouveau et confus ?

🔍 L'Expérience : La Carte au Trésor

Les chercheurs ont créé un trésor linguistique (une base de données) avec trois versions de la même phrase :

La version Anglaise.
La version Hindi (écrite en alphabet indien).
La version Mélange (Hindi écrit avec des lettres anglaises + Anglais).

Ils ont ensuite demandé à l'IA : "Si je te donne la version mélange, est-ce que tu penses qu'elle ressemble plus à l'anglais ou au hindi ?"

🧐 Ce qu'ils ont découvert (Les surprises)

L'IA est un peu perdue au milieu :
Quand l'IA voit une phrase mélangée, elle ne la place pas bien ni dans le coin "Anglais", ni dans le coin "Hindi". C'est comme si elle flottait dans un no man's land (ni ici, ni là-bas). Elle ne sait pas vraiment à quelle famille elle appartient.
L'effet "Miroir" (Le compromis) :
Les chercheurs ont essayé d'entraîner l'IA spécifiquement sur ces phrases mélangées pour qu'elle soit plus forte.
- Résultat : L'IA est devenue super forte pour relier le mélange à l'anglais.
- Mais le prix à payer : Elle a oublié comment relier l'anglais au hindi pur ! C'est comme si, en apprenant à parler avec un accent, elle avait oublié comment parler correctement l'une ou l'autre langue pure.
L'anglais est le "Chef", le hindi est le "Secrétaire" :
En regardant de très près (grâce à des outils de "rayons X" sur le cerveau de l'IA), ils ont vu que l'IA comprend le mélange principalement grâce à l'anglais. L'anglais est le chef d'orchestre.
Cependant, le hindi (surtout quand il est écrit en alphabet indien) apporte des indices supplémentaires qui aident l'IA à être moins incertaine. C'est comme si le chef avait besoin du secrétaire pour vérifier les détails et ne pas faire d'erreur.

💡 La Solution : Le "Pont Trilingue"

Au lieu de laisser l'IA flotter dans le vide, les chercheurs ont inventé une nouvelle méthode d'entraînement. Imaginez que vous avez trois amis (Anglais, Hindi, Mélange) qui parlent des choses différentes mais qui veulent se comprendre.

Au lieu de les forcer à se rapprocher deux par deux, ils ont créé un jeu de "pont" :

Ils ont dit à l'IA : "Tu dois faire en sorte que la phrase en Anglais, la phrase en Hindi et la phrase Mélange soient toutes les trois très proches dans ton cerveau, comme trois amis qui se tiennent par la main en cercle."

🚀 Le Résultat : Un monde plus harmonieux

Grâce à cette nouvelle méthode (qu'ils appellent l'alignement trilingue) :

L'IA ne perd plus ses repères. Elle comprend que le mélange est à la fois anglais ET hindi.
Elle ne fait plus de compromis : elle reste bonne en anglais, bonne en hindi, ET bonne en mélange.
Concrètement : Quand on l'utilise pour détecter des haines ou analyser des sentiments sur les réseaux sociaux (où le mélange est très courant), elle fait beaucoup moins d'erreurs et comprend mieux le contexte.

🎯 En résumé

Cette étude nous apprend que pour que l'IA comprenne vraiment les langues mélangées, il ne faut pas juste lui donner plus de données. Il faut lui apprendre à relier les points entre les trois versions (Anglais, Hindi, Mélange) pour qu'elles forment un tout cohérent, plutôt que de laisser l'IA choisir un camp et oublier l'autre.

C'est comme apprendre à un enfant qu'il peut être à la fois un bon joueur de football et un bon musicien, sans qu'il ait à choisir l'un ou l'autre pour réussir.

1. Problématique

Le mélange de codes (code-mixing), phénomène où les locuteurs combinent plusieurs langues dans une même phrase (ex. : Hinglish, mélange d'hindi et d'anglais), est omniprésent dans les sociétés multilingues. Bien que les modèles de langage multilingues (MLM) basés sur des encodeurs (comme mBERT et XLM-R) soient largement utilisés pour analyser ce type de texte, leur fonctionnement interne reste mal compris.

Les auteurs identifient un vide de connaissance critique :

Comment les encodeurs multilingues représentent-ils le texte mixte par rapport à ses langues constitutives (anglais et hindi) ?
Ces représentations sont-elles bien ancrées dans les espaces sémantiques des langues pures ?
L'adaptation continue (continued pre-training) sur des données mixtes améliore-t-elle la compréhension ou dégrade-t-elle l'alignement entre les langues pures ?

2. Méthodologie

A. Construction du Corpus Trilingue

Pour analyser ces dynamiques, les auteurs ont construit un corpus unifié et parallèle composé de 21 139 triplets de phrases alignées :

Anglais (EN) : Phrase monolingue.
Hindi (HI) : Phrase monolingue en script Devanagari.
Code-Mixed (CM) : Phrase mélangeant hindi (en script romain) et anglais (Hinglish).
Ce corpus a été créé en fusionnant plusieurs jeux de données existants (CM-En Parallel, PHINC, LinCE) et en générant les traductions manquantes via Google Translate et IndicTrans2, vérifiées pour assurer la cohérence.

B. Modèles Évalués

L'étude compare plusieurs familles d'encodeurs :

Modèles de base : mBERT et XLM-R (pré-entraînés sur des corpus multilingues standards).
Modèles adaptés au code-mixing : Variants « Hing » (Hing-mBERT, Hing-RoBERTa) pré-entraînés sur des corpus Hinglish.
Variants mixtes : Modèles pré-entraînés sur des données incluant à la fois le script Devanagari et le script romain.

C. Outils d'Analyse et d'Interprétabilité

Les auteurs utilisent une approche mécaniste pour étudier les représentations internes :

CKA (Centered Kernel Alignment) : Pour mesurer la similarité des espaces de représentation entre les couches du réseau.
Récupération de phrases parallèles : Un protocole de retrieval (dot-product) pour évaluer la cohérence structurelle entre les langues.
Saliency (Importance des tokens) : Utilisation du score d'importance relative (RI) pour déterminer si le modèle se fie davantage aux tokens anglais ou hindi.
Réduction de l'incertitude (Entropie) : Analyse de la façon dont les représentations monolingues (EN, HI) expliquent l'incertitude des représentations mixtes (CM).

D. Proposition : Alignement Post-Entraînement Trilingue

Pour corriger les déséquilibres observés, les auteurs proposent une nouvelle étape de post-entraînement avec un objectif d'alignement trilingue.

Objectif : Minimiser la distance cosinus entre les représentations [CLS] de phrases parallèles en Anglais, Hindi et Code-Mixé.
Formule : $L = L_{base} + \lambda \cdot L_{align}$ , où $L_{align}$ force les trois langues à occuper des régions proches dans l'espace d'embedding partagé.
Métrique proposée : Le CLAS (Cross-Lingual Alignment Score), qui mesure l'alignement bidirectionnel moyen tout en pénalisant les biais directionnels et les variances entre les paires de langues.

3. Résultats Clés

Dynamiques de Représentation

Ancrage faible : Dans les modèles standards, les représentations du texte mixte (CM) sont faiblement ancrées à la fois à l'anglais et au hindi, occupant un sous-espace périphérique.
Compromis (Trade-off) : L'adaptation continue sur des données mixtes améliore considérablement l'alignement Anglais ↔ Code-Mixé, mais dégrade l'alignement Anglais ↔ Hindi (qui était fort dans les modèles de base).
Asymétrie sémantique : Les modèles traitent le texte mixte principalement à travers un espace sémantique dominé par l'anglais. Le hindi en script Devanagari fournit des signaux complémentaires qui réduisent l'incertitude de la représentation, mais n'est pas le vecteur principal de compréhension.
Influence du script : La conservation du script Devanagari pour le hindi lors de l'adaptation améliore l'alignement avec le texte mixte, suggérant que les caractéristiques orthographiques jouent un rôle crucial au-delà du simple chevauchement lexical.

Impact de l'Alignement Trilingue Proposé

Amélioration de l'équilibre : L'ajout de l'objectif d'alignement trilingue restaure l'alignement Anglais-Hindi tout en maintenant un bon alignement Anglais-Code-Mixé.
Scores CLAS : Les modèles alignés montrent une augmentation significative du score CLAS (ex. : mBERT passe de 14,20 à 50,97), indiquant un alignement bidirectionnel plus équilibré et moins de biais directionnel.
Gains en tâches en aval : Sur les tâches de classification (analyse de sentiments et détection de discours haineux), les modèles alignés trilingue démontrent une cohérence interlinguale supérieure. Ils sont plus robustes lorsqu'ils sont entraînés sur une langue et testés sur une autre (ex. : entraînement sur du hindi, test sur du code-mixé).

4. Contributions Principales

Corpus Trilingue : Création d'un jeu de données parallèle unique (EN-HI-CM) permettant une analyse systématique de l'alignement interlingual.
Analyse Mécaniste : Première étude détaillée montrant que l'adaptation au code-mixing déplace la géométrie des représentations vers l'anglais, au détriment de l'alignement avec les langues pures, et que le hindi natif agit comme un signal complémentaire de réduction d'incertitude.
Méthode d'Alignement : Introduction d'une étape de post-entraînement simple mais efficace qui aligne simultanément les trois langues, résolvant le compromis observé.
Métrique CLAS : Proposition d'une nouvelle métrique pour évaluer la qualité équilibrée de l'alignement interlingual.

5. Signification et Conclusion

Cette étude démontre que les modèles multilingues standards ne traitent pas le texte mixte comme une fusion équilibrée de ses langues constitutives, mais plutôt comme une extension de l'anglais, avec le hindi jouant un rôle secondaire de support.

L'apport majeur réside dans la preuve que l'ancrage explicite des représentations mixtes dans leurs langues constitutives (via un alignement trilingue supervisé) améliore non seulement la compréhension théorique du modèle, mais aussi ses performances pratiques sur des tâches réelles. Cela suggère que pour les modèles destinés aux communautés multilingues, il est crucial de maintenir un équilibre entre l'adaptation aux spécificités du mélange de codes et la préservation des relations sémantiques entre les langues pures.

Les auteurs notent certaines limites, notamment la taille du corpus (21k échantillons) et l'utilisation de traductions automatiques, ouvrant la voie à des travaux futurs sur des corpus plus vastes et des modèles décodeurs (LLM).