Multilingual LLMs Struggle to Link Orthography and Semantics in Bilingual Word Processing

Cette étude révèle que les grands modèles de langage multilingues, bien qu'efficaces pour traiter les cognats, éprouvent des difficultés majeures à désambiguïser les homographes interlinguaux en privilégiant les similarités orthographiques au détriment de la compréhension sémantique, ce qui se traduit par des performances inférieures aux bases aléatoires et une absence d'approche unifiée face aux ambiguïtés croisées.

L'essentiel

🧠 Le Dilemme des Robots Polyglottes : Quand les Mots se Trompent de Langue

Imaginez que vous apprenez une nouvelle langue. Vous rencontrez un mot qui s'écrit exactement comme un mot dans votre langue maternelle, mais qui veut dire quelque chose de totalement différent. C'est le cas du mot "Gift" :

• En anglais, c'est un cadeau.
• En allemand, c'est du poison.

Pour un humain bilingue, le cerveau est comme un chef d'orchestre très expérimenté. Même si la partition (l'écriture) est la même, le chef écoute le contexte (la phrase) pour savoir s'il doit jouer une mélodie joyeuse (cadeau) ou terrifiante (poison).

Les chercheurs de l'IIT Delhi ont voulu voir si les Intelligences Artificielles (IA) modernes, ces "cerveaux numériques" appelés LLM (comme les modèles de la famille LLaMA ou Mistral), font la même chose. Leurs résultats sont surprenants et un peu inquiétants.

---

1. Le Jeu des "Jumeaux" et des "Imposteurs"

Pour tester les IA, les chercheurs ont créé trois types de jeux de mots :

• Les "Jumeaux Heureux" (Cognates) : Des mots qui s'écrivent pareil et veulent dire la même chose dans deux langues.

  • Exemple : "Blind" (aveugle) en anglais et "Blind" en allemand.
  • Résultat : Les IA sont excellentes là-dessus. C'est facile pour elles, comme reconnaître un ami dans la foule.

• Les "Étrangers" (Non-cognates) : Des mots qui veulent dire la même chose mais s'écrivent différemment.

  • Exemple : "Chien" (français) et "Dog" (anglais).
  • Résultat : Les IA font des erreurs, mais c'est logique, ils ne se ressemblent pas visuellement.

• Les "Imposteurs" (Homographes Interlinguaux) : C'est là que ça se corse. Des mots qui s'écrivent pareil mais veulent dire des choses opposées.

  • Exemple : "Gift" (cadeau/poison).
  • Résultat catastrophique : Les IA sont très mauvaises pour distinguer le cadeau du poison. Elles tombent souvent dans le piège.

2. L'Analogie du "Visage" vs. L'Âme

Pourquoi les IA échouent-elles avec les "imposteurs" ?

Imaginez que vous voyez un inconnu qui a exactement le même visage que votre meilleur ami.

• L'IA, c'est comme un détective qui ne regarde que les photos d'identité. Elle dit : "Tiens, ce visage ressemble à celui de mon ami, donc c'est lui !" Elle se fie uniquement à l'orthographe (le visage).
• L'humain, c'est comme un ami qui connaît l'histoire. Il dit : "Attends, ce type porte un manteau rouge et il est dans un bar allemand... ce n'est pas mon ami, c'est un imposteur !" L'humain utilise le contexte (la phrase) pour comprendre le sens.

Les chercheurs ont découvert que les IA oublient presque toujours le contexte. Elles sont tellement obsédées par la forme du mot (l'orthographe) qu'elles ignorent le sens de la phrase qui l'entoure. Même si la phrase dit clairement "Il a mangé du poison", l'IA, voyant le mot "Gift", continue de penser "cadeau" parce que le mot ressemble trop à son entraînement en anglais.

3. La Magie (ou le manque de magie) de la "Terre"

Un autre point crucial de l'étude : les IA ne savent pas vraiment ce que les mots veulent dire.

Pour un humain, le mot "pomme" est lié à une image réelle, un goût, une texture. C'est ce qu'on appelle l'ancrage dans le monde réel.
Pour une IA, le mot "pomme" est juste une suite de statistiques. Elle a vu le mot "pomme" apparaître souvent après "je mange", donc elle devine que ça va ensemble.

L'étude montre que :

• Les IA sont capables de dire si deux mots se ressemblent (orthographe).
• Mais elles sont incapables de dire avec certitude ce que ces mots signifient vraiment, même si on leur demande.
• C'est comme si elles savaient lire les lettres, mais pas comprendre l'histoire.

4. Le Biais de l'Anglais : Le "Chef d'Orchestre" qui ne parle qu'une langue

Les chercheurs ont aussi remarqué quelque chose de très étrange : l'IA traite tout en anglais, même quand on lui parle en français ou en allemand.

C'est comme si vous demandiez à un traducteur de vous expliquer une histoire en italien, mais qu'il pensait en anglais en permanence.

• Si le mot est en anglais, l'IA comprend bien le contexte.
• Si le mot est en espagnol, français ou allemand, l'IA panique un peu. Elle essaie de traduire mentalement le mot en anglais pour le comprendre, et souvent, elle se trompe de sens parce que le contexte de la phrase originale est perdu dans la traduction mentale.

En Résumé : Ce que cela nous apprend

Cette étude nous dit que nos IA multilingues actuelles sont comme des étudiants brillants en grammaire, mais nuls en compréhension profonde.

• Elles excellent quand les mots sont "faciles" (les jumeaux heureux).
• Elles échouent lamentablement quand les mots sont piégeux (les imposteurs), car elles se fient trop à l'apparence visuelle et pas assez au sens.
• Elles n'ont pas de "monde réel" en tête pour vérifier si ce qu'elles disent a du sens.

La leçon pour le futur : Pour que nos robots parlent vraiment comme des humains, il ne suffit pas de leur donner plus de livres à lire. Il faut leur apprendre à écouter le contexte, à comprendre les nuances et à ne pas se fier uniquement à l'apparence des mots. Sinon, ils risquent de vous offrir un "cadeau" alors qu'ils vous donnent du "poison" ! 🎁☠️

Résumé technique

1. Problématique et Contexte

L'article examine les capacités des grands modèles de langage (LLM) multilingues à traiter le vocabulaire bilingue, en se concentrant sur l'interaction complexe entre l'orthographe et la sémantique. Bien que les LLM aient atteint des performances quasi humaines en compréhension grammaticale, leur capacité à gérer le lexique intégré des locuteurs bilingues reste peu explorée.

Les auteurs s'intéressent spécifiquement à trois catégories de mots :

• Les cognats : Mots partageant une orthographe et un sens similaires dans deux langues (ex. : blind en anglais et blind en allemand).
• Les non-cognats : Mots ayant le même sens mais des formes orthographiques différentes (ex. : pot en anglais et olla en espagnol).
• Les homographes interlinguaux : Mots partageant une forme orthographique mais ayant des sens différents selon la langue (ex. : gift signifiant « présent » en anglais mais « poison » en allemand).

Le problème central est de déterminer si les LLMs, comme les humains, bénéficient d'un effet de facilitation pour les cognats et subissent une interférence pour les homographes, ou s'ils reposent uniquement sur des similarités orthographiques superficielles au détriment de la compréhension sémantique.

2. Méthodologie

Les auteurs ont conçu une étude comparative impliquant cinq LLMs multilingues open-source : BLOOMZ, LLaMA-2, LLaMA-3, LLaMA-3.1 et Mistral. Les expériences couvrent trois paires de langues : Anglais-Espagnol, Anglais-Français et Anglais-Allemand.

L'étude repose sur trois tâches expérimentales novatrices, inspirées des tâches de décision lexicale (LDT) utilisées en psycholinguistique humaine :

1. Tâche de désambiguïsation de paires de mots :

   • Le modèle doit déterminer si une paire de mots (un mot anglais et un mot d'une autre langue) a le même sens (Vrai) ou des sens différents (Faux).
   • Les paires incluent des cognats, des non-cognats et des homographes interlinguaux.
   • L'analyse inclut une mesure de la surcharge de tokens (token overlap) pour quantifier la similarité orthographique au niveau des sous-mots.

2. Tâche de jugement sémantique :

   • Le modèle doit sélectionner le sens correct d'un mot parmi deux options (un sens correct et un sens incorrect).
   • Pour les homographes, le sens incorrect correspond au sens de la langue partenaire.
   • Cette tâche vise à évaluer la capacité du modèle à stocker et récupérer le sens sémantique réel, indépendamment de l'orthographe.

3. Tâche de contrainte sémantique en contexte (Phrases incongruentes) :

   • Le modèle doit analyser des phrases où le contexte (la langue de la phrase) est incongruent avec le mot cible (un homographe interlingual).
   • Les phrases sont générées avec une contrainte sémantique faible (le contexte ne prédit pas fortement le mot) ou forte (le contexte prédit fortement le mot).
   • Le modèle doit identifier la langue du mot, son sens, et déterminer si la phrase a du sens. L'évaluation a été réalisée manuellement par des linguistes pour le modèle LLaMA-3.1.

3. Résultats Clés

Les résultats révèlent des écarts significatifs entre le traitement des LLMs et le traitement cognitif humain :

• Facilitation des cognats vs Échec des homographes :

  • Les modèles excellent dans la désambiguïsation des cognats (précision > 90% pour certains modèles comme Mistral et LLaMA-3), confirmant un effet de facilitation basé sur la similarité orthographique.
  • En revanche, ils échouent lamentablement sur les homographes interlinguaux, obtenant souvent des scores inférieurs au hasard (ex. : ~25-30% pour LLaMA-3). Cela indique une forte dépendance à l'orthographe : le modèle associe le mot à la langue dominante (souvent l'anglais) et ignore le sens spécifique de la langue cible.

• Découplage Orthographe-Sémantique :

  • Une analyse de l'entropie conditionnelle montre qu'il n'y a aucune corrélation entre la capacité d'un modèle à désambiguïser une paire de mots (tâche 1) et sa capacité à récupérer le sens correct (tâche 2).
  • Cela suggère que les modèles utilisent des signaux orthographiques pour la désambiguïsation de paires, mais ne possèdent pas une compréhension sémantique profonde liée à ces mots.

• Traitement contextuel et biais linguistique :

  • Dans les phrases incongruentes, les modèles tendent à privilégier le sens de la langue du contexte (souvent l'anglais) plutôt que celui du mot cible, même lorsque la contrainte sémantique est forte.
  • Pour les homographes non-anglais, le modèle utilise le sens anglais dans 60-70% des cas, même lorsque le contexte suggère le sens non-anglais.
  • Les modèles montrent une asymétrie marquée : ils gèrent mieux les homographes anglais dans un contexte non-anglais que l'inverse, révélant un biais vers l'anglais comme langue pivot interne.

• Impact de la similarité orthographique :

  • Les paires de mots identiques orthographiquement sont plus difficiles à traiter pour les homographes que les paires partiellement identiques, confirmant que la densité du voisinage orthographique nuit à la désambiguïsation sémantique chez les LLMs, contrairement à la facilitation observée pour les cognats.

4. Contributions Principales

1. Évaluation systématique du lexique bilingue : L'article fournit l'une des premières évaluations approfondies des LLMs sur des tâches de traitement lexical bilingue comparables aux études psycholinguistiques humaines (cognats, non-cognats, homographes).
2. Preuve de l'absence de liaison orthographe-sémantique : Les auteurs démontrent que les LLMs ne parviennent pas à lier de manière fiable la forme orthographique à la représentation sémantique dans un contexte bilingue, contrairement aux modèles cognitifs humains (comme le modèle BIA+).
3. Analyse des biais de contexte : L'étude met en évidence comment les LLMs utilisent le contexte linguistique pour « corriger » ou ignorer le sens d'un mot, révélant une incapacité à raisonner dans des contextes non-anglais dominants.
4. Ressources ouvertes : Le jeu de données (mots, définitions, phrases à contrainte sémantique) et le code source ont été rendus publics pour faciliter la recherche future.

5. Signification et Conclusion

Cette étude remet en question l'idée que les LLMs multilingues possèdent une compréhension linguistique profonde et intégrée. Les résultats suggèrent que :

• Les LLMs fonctionnent davantage comme des « perroquets stochastiques » qui exploitent des corrélations statistiques et orthographiques plutôt que des représentations sémantiques ancrées dans le monde réel.
• L'absence de « grounding » (ancrage référentiel) dans l'entraînement des LLMs empêche la formation d'un lexique intégré fluide, rendant difficile la gestion des ambiguïtés interlinguales.
• Pour développer des systèmes d'IA interactifs multilingues robustes, il est nécessaire d'améliorer la capacité des modèles à désambiguïser les mots en fonction du contexte sémantique plutôt que de se fier uniquement aux similarités de surface.

En résumé, bien que les LLMs imitent la performance humaine sur des tâches de surface, ils échouent à reproduire les mécanismes cognitifs fondamentaux du traitement lexical bilingue, en particulier la capacité à naviguer entre des formes identiques mais des sens divergents.