Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages

Cette étude révèle que, contrairement aux locuteurs humains, les modèles de langage préentraînés peinent à distinguer les mots d'emprunt du vocabulaire natif dans dix langues, ce qui souligne un biais systémique ayant des implications critiques pour le développement d'outils NLP destinés aux langues minoritaires.

L'essentiel

🕵️‍♂️ Les Détectives de Mots : Les IA sont-elles "Aveugles" aux Mots Empruntés ?

Imaginez que les langues sont comme de grandes cuisines familiales. Au fil du temps, on y ajoute des ingrédients venus d'ailleurs : du curry indien, du chocolat suisse ou du sushi japonais. Ces ingrédients sont les mots empruntés (ou loanwords). Parfois, ils sont si bien intégrés qu'on ne se rend même plus compte qu'ils ne sont pas d'origine locale.

Des chercheurs de l'Université de Zurich se sont demandé une chose très simple : Les intelligences artificielles (les "cerveaux" des chatbots) sont-elles capables de repérer ces ingrédients importés ?

Pour répondre, ils ont organisé un grand concours culinaire avec 10 langues différentes (du chinois au kurde, en passant par le français et le russe). Voici ce qu'ils ont découvert, expliqué avec des images simples.

---

1. Le Problème : L'IA est un Touriste Perdu

Les chercheurs ont donné aux IA une mission : "Lis cette phrase et surligne tous les mots qui viennent d'une autre langue."

Le résultat ? C'est un désastre.
Même avec des instructions très claires, les IA ont eu beaucoup de mal. C'est comme si vous demandiez à un touriste de repérer dans un marché local quels fruits sont locaux et lesquels sont importés, et qu'il confondait tout.

• L'analogie du "Puriste" : On s'attendait à ce que les IA soient des "puristes" linguistiques, capables de dire : "Ah, ce mot 'franchise' en portugais, c'est un emprunt !"
• La réalité : Les IA sont en fait des "aveugles aux emprunts". Elles ne voient pas la différence entre un mot natif et un mot importé. Elles préfèrent même souvent les mots empruntés, comme si elles étaient plus à l'aise avec les termes internationaux que avec les mots traditionnels de la langue.

2. L'Expérience : Deux Approches pour Apprendre

Les chercheurs ont testé deux méthodes pour voir si on pouvait "éduquer" ces IA :

• Méthode A : Le Questionnaire (Prompting)
  Ils ont juste demandé aux IA (comme ChatGPT ou Gemini) de faire le travail sans les entraîner.

  • Résultat : C'était comme demander à quelqu'un qui ne connaît pas la cuisine de deviner les ingrédients. Les IA ont obtenu de très mauvais scores (moins de 50 % de réussite). Elles confondaient tout.

• Méthode B : L'École de Cuisine (Fine-tuning)
  Ils ont pris des modèles d'IA et les ont fait "répéter" des milliers de fois avec des exemples de phrases où les mots empruntés étaient déjà surlignés. C'est comme donner un manuel de cuisine à l'IA.

  • Résultat : Là, ça a beaucoup mieux marché ! Les scores sont montés à 85 %. L'IA a appris à reconnaître les motifs.
  • Mais attention : Même après l'école, l'IA n'est pas parfaite. Elle fait encore des erreurs de débutant.

3. Les Pièges où l'IA Trébuche

Même les IA "entraînées" tombent dans des pièges très humains. Les chercheurs ont trouvé trois grandes catégories d'erreurs :

• 🎭 Le Confusion entre "Étranger" et "Visiteur" (Code-switching)
  Imaginez quelqu'un qui parle français mais qui dit soudainement "C'est vraiment cool" en anglais.

  • L'erreur de l'IA : Elle pense souvent que "cool" est un mot français emprunté. En réalité, c'est juste un visiteur (un code-switching) qui passe la porte. L'IA ne comprend pas la nuance entre un mot qui est devenu français et un mot qu'on utilise juste pour faire joli.

• 🏷️ Les Noms Propres (Les Étoiles)
  Si vous dites "J'ai vu la NASA", l'IA pense souvent que "NASA" est un mot emprunté.

  • La réalité : C'est juste un nom propre (comme un nom de personne). L'IA a du mal à distinguer un nom de marque d'un mot de vocabulaire courant.

• 🔬 Les Mots Scientifiques (Les Anciens)
  Des mots comme "nitrates" ou "philosophie" viennent du latin ou du grec. Ils sont vieux, mais ils sont parfaitement intégrés.

  • L'erreur : L'IA se dit : "Tiens, ça vient du latin, donc c'est un emprunt récent !" alors que pour un locuteur natif, c'est un mot aussi français que "pomme". L'IA regarde l'histoire du mot, mais pas comment il est utilisé aujourd'hui.

4. La Conclusion : Pourquoi est-ce important ?

Cette étude nous apprend une chose fondamentale : Les IA ne sont pas des linguistes. Elles sont très fortes pour répéter des patterns, mais elles ne comprennent pas la "vie" de la langue.

C'est un problème pour deux raisons :

1. Pour les langues minoritaires : Si une langue est sous la pression d'une langue dominante (comme l'anglais), il est crucial de savoir quels mots sont vraiment locaux et lesquels sont des emprunts pour préserver l'identité de la langue. Si l'IA ne sait pas faire la différence, elle risque d'effacer l'histoire de ces langues.
2. Pour l'avenir : Tant que les IA ne sauront pas distinguer un mot natif d'un mot emprunté, elles ne pourront pas vraiment "parler" toutes les langues avec finesse. Elles resteront des touristes qui parlent un peu, mais sans comprendre la culture profonde.

En résumé : Les IA sont comme des enfants très brillants qui ont lu tous les dictionnaires du monde, mais qui n'ont jamais joué dans la cour de récréation avec les locuteurs natifs. Ils connaissent les mots, mais ils ne comprennent pas encore qui les utilise, pourquoi et comment ils s'intègrent vraiment dans la vie quotidienne.

Résumé technique

1. Problématique et Contexte

Le phénomène d'emprunt lexical (l'adoption de mots d'une langue à une autre) est omniprésent dans l'histoire des langues. Bien que les linguistes distinguent clairement les mots empruntés du vocabulaire natif, les communautés bilingues et les langues minoritaires subissent souvent une pression lexicale de la part de langues dominantes, accélérant le changement linguistique.

Le problème central abordé par cet article est l'incapacité des systèmes de Traitement Automatique du Langage (TAL/NLP) modernes à identifier correctement les mots empruntés. Des études antérieures (notamment sur le jeu de données ConLoan) ont montré que les modèles de langage (LLM) et les systèmes de traduction automatique neuronale (NMT) présentent un biais systématique en faveur des mots empruntés par rapport à leurs équivalents natifs, les jugeant souvent plus naturels ou probables. Cependant, une question critique restait en suspens : les modèles peuvent-ils identifier explicitement un mot comme étant un emprunt lorsqu'on leur demande de le faire ?

2. Méthodologie

Les auteurs ont évalué la capacité de différents modèles à identifier les emprunts lexicaux sur un jeu de données contrastif multilingue (ConLoan) couvrant 10 langues typologiquement diverses : chinois, français, allemand, grec, islandais, italien, kurde du nord, portugais, russe et espagnol.

L'évaluation a été menée selon deux approches complémentaires :

A. Évaluation des Grands Modèles de Langage (LLM)

Trois modèles ont été testés : Gemini-2.5-Flash-Lite, GPT-4.1 et Meta-Llama-3-8B-Instruct.

• Configuration : Tests en zero-shot (sans exemples) et few-shot (avec deux exemples dans la langue cible).
• Variations de prompts : Trois niveaux de définition des emprunts ont été testés pour voir l'impact des connaissances internes du modèle :
  1. Minimal : Instruction simple sans définition.
  2. Étymologique : Définition basée sur l'histoire du borrowing (Haspelmath & Tadmor, 2009).
  3. Basé sur l'usage : Définition focalisée sur l'usage conventionnel par les monolingues (distinction clé entre emprunt et code-switching).
• Format de sortie : Les modèles devaient retourner des listes Python de chaînes de caractères (les mots empruntés).

B. Évaluation des Encodeurs Multilingues

Quatre encodeurs pré-entraînés ont été évalués : mBERT, XLM-RoBERTa (versions base et large), et ELECTRA-base multilingue.

• Configuration :
  • Zero-shot : Utilisation des modèles comme extracteurs de caractéristiques figés, avec une règle heuristique pour mapper les états cachés aux tags BIO (Begin, Inside, Outside).
  • Fine-tuning : Entraînement d'une tête de classification de tokens sur 80 % des données, avec validation sur 20 %.

Métriques d'évaluation

Les performances ont été mesurées via la précision, le rappel et le F1-score (au niveau des spans d'entités, pas des tokens individuels). Pour les LLM, deux protocoles ont été utilisés :

• Strict : Correspondance exacte des spans.
• Relaxed : Décomposition des spans multi-mots en tokens individuels pour compenser les difficultés des LLM à maintenir la cohérence des phrases.

3. Résultats Clés

Performance des LLM (Zero/Few-shot)

• Performance globale faible : Tous les modèles ont obtenu des scores F1 inférieurs à 0,70, avec une moyenne générale autour de 0,40 à 0,46.
• Meilleur modèle : Gemini a obtenu les meilleurs résultats (F1 moyen de 0,466), suivi par OpenAI (0,41) et Llama (0,23).
• Impact des prompts : L'ajout d'exemples (few-shot) a eu des effets mitigés. Pour le prompt le plus détaillé (Prompt 3), les performances ont parfois baissé.
• Anomalie Llama : Sous le prompt 2 en few-shot, Llama a presque échoué (F1 proche de 0) car les exemples fournis ont perturbé son format de sortie, générant du texte libre au lieu de listes structurées, ce qui a été interprété comme des prédictions vides par l'évaluateur.
• Variations linguistiques : Les modèles performent mieux sur le chinois, le français et l'italien, et beaucoup moins bien sur l'allemand, l'islandais et le portugais (probablement dû à la morphologie riche et à l'intégration des emprunts).

Performance des Encodeurs (Zero-shot vs Fine-tuning)

• Échec du Zero-shot : Les modèles pré-entraînés non ajustés ont obtenu des scores catastrophiques (F1 moyen < 0,02), confirmant qu'ils ne possèdent pas cette capacité intrinsèquement.
• Succès du Fine-tuning : L'ajustement fin a entraîné une amélioration drastique, avec des scores F1 moyens variant de 0,648 (ELECTRA) à 0,851 (XLM-RoBERTa Large).
• Meilleur modèle : XLM-RoBERTa Large fine-tuné a atteint le score le plus élevé (0,8513), surpassant largement les LLM.
• Avantage pour les langues à faible ressource : Le fine-tuning a particulièrement aidé les langues comme le kurde du nord, l'islandais et le chinois, faisant passer leurs scores de quasi-zéro à plus de 0,7.

4. Analyse des Erreurs

L'analyse qualitative des erreurs de classification révèle des limites structurelles :

1. Confusion Emprunt / Code-switching : Les modèles peinent à distinguer un mot intégré (emprunt) d'un simple changement de code (ex: "really" en kurde). Ils ont tendance à sur-étiqueter les changements de code comme des emprunts, ou inversement, à ignorer des mots couramment utilisés en contexte monolingue (ex: "deal" en français).
2. Entités Nommées et Noms Propres : Les acronymes et noms de pays (ex: NASA, PISA) sont souvent faussement identifiés comme des emprunts en raison de leur apparence orthographique étrangère.
3. Vocabulaire Scientifique et Greco-Latin : Les termes techniques (ex: "nitrates", "filosofia") posent un défi. Les modèles fine-tunés les sous-détectent (car morphologiquement intégrés), tandis que les LLM les sur-détectent (basés uniquement sur l'étymologie), manquant la nuance de l'intégration synchronique.

5. Contributions et Signification

Contributions principales :

• Évaluation systématique : Première évaluation large de la capacité des LLM et des encodeurs à identifier explicitement les emprunts lexicaux sur 10 langues.
• Preuve de l'aveuglement : Confirmation que les modèles pré-entraînés sont "aveugles" à la distinction emprunt/natif sans ajustement spécifique, et que même avec des instructions explicites, les LLM échouent à distinguer les deux.
• Benchmark de performance : Démonstration que le fine-tuning est indispensable pour cette tâche, avec des modèles comme XLM-R Large atteignant des performances élevées, mais sans résoudre le problème de la nuance sémantique.

Signification pour le TAL et la préservation linguistique :

• Biais des modèles : Les résultats confirment que les NLP modernes renforcent les biais vers les langues dominantes en privilégiant les emprunts, ce qui peut accélérer l'érosion des vocabulaires natifs.
• Outils pour les langues minoritaires : Pour développer des outils de préservation linguistique efficaces, il est crucial de pouvoir identifier et distinguer les emprunts. Les modèles actuels, bien que performants après fine-tuning, manquent encore de compréhension contextuelle profonde (intention du locuteur, intégration sociolinguistique).
• Futur travail : La tâche n'est pas résolue. Il est nécessaire de développer des modèles capables de gérer un continuum d'intégration lexicale et de comprendre les dimensions pragmatiques au-delà de la forme orthographique.

En conclusion, bien que le fine-tuning permette d'atteindre des scores élevés de détection, les modèles actuels restent "aveugles" aux subtilités sociolinguistiques qui distinguent un emprunt intégré d'un simple code-switching ou d'un nom propre, limitant leur utilité pour des applications sensibles à la préservation linguistique.