💬 NLP

Digital Linguistic Bias in Spanish: Evidence from Lexical Variation in LLMs

Cette étude examine les biais linguistiques numériques dans les grands modèles de langage (LLM) en évaluant leur capacité à reconnaître les variations lexicales géographiques du espagnol, révélant des disparités systématiques dans la représentation des différents dialectes.

Auteurs originaux : Yoshifumi Kawasaki

Publié 2026-02-11

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yoshifumi Kawasaki

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Test de l'Accent Virtuel : Nos IA parlent-elles vraiment toutes les langues ?

Imaginez que vous invitiez un nouvel étudiant étranger dans votre groupe d'amis. Il est extrêmement cultivé, il a lu tous les livres de la bibliothèque et il semble savoir tout sur tout. Mais quand vous commencez à discuter de choses simples — comme appeler une voiture « bagnole », « caisse » ou « auto » — vous remarquez quelque chose de bizarre : il répond toujours de la même façon, comme s'il venait d'un seul et même quartier, ignorant les nuances de vos régions respectives.

C'est exactement ce que les chercheurs de l'Université de Tokyo ont voulu vérifier avec les Intelligences Artificielles (IA) comme ChatGPT.

Le problème : Le "Monoculture" numérique

L'espagnol est une langue immense, parlée par plus de 500 millions de personnes. Un Mexicain, un Argentin et un Espagnol ne disent pas la même chose pour désigner un objet du quotidien. C'est ce qu'on appelle la variation lexicale.

Le souci, c'est que les IA sont entraînées en "aspirant" tout l'Internet. Or, Internet n'est pas équilibré : certains pays produisent énormément de données, d'autres beaucoup moins. Les chercheurs craignent que l'IA ne finisse par créer un "Biais Linguistique Numérique" : une sorte de version "standardisée" et un peu fade de l'espagnol, qui effacerait la richesse des accents et des mots locaux.

L'expérience : L'IA comme "Informateur Virtuel"

Pour tester cela, les chercheurs ont transformé l'IA en un enquêteur de terrain. Ils lui ont posé plus de 900 questions de type sondage, en utilisant une base de données d'experts (appelée VARILEX).

Ils lui ont demandé, par exemple :

« Est-ce qu'en Espagne, on utilise le mot "coche" pour une voiture ? » (Oui/Non)
« Quels mots utiliseriez-vous au Mexique pour désigner une voiture ? » (Choix multiples)

Les résultats : Un élève brillant, mais un peu "aveugle"

Les résultats sont fascinants et révèlent deux choses importantes :

L'IA a des "zones de confort" : Elle est très douée pour l'espagnol d'Espagne, du Mexique ou de l'Argentine. Elle reconnaît bien ces variétés.
Le mystère du Chili : C'est la grande surprise de l'étude. Même si le Chili produit beaucoup de contenu sur Internet, l'IA est totalement perdue face au vocabulaire chilien ! C'est comme si, malgré tous les livres qu'elle a lus, elle n'arrivait pas à saisir l'âme du langage local.

La grande leçon : La quantité ne fait pas la qualité

On pourrait croire que pour que l'IA apprenne mieux, il suffit de lui donner "plus de données" (plus de textes de chaque pays). Mais l'étude prouve que ce n'est pas si simple.

Ce n'est pas seulement une question de quantité de texte, mais de la nature de ce texte. Si l'IA ne lit que des textes très formels ou standardisés, elle passera à côté de la vraie vie, des expressions de la rue et de la diversité culturelle.

En résumé

Cette étude nous avertit : si nous voulons que les IA soient de bons compagnons pour tout le monde, nous ne devons pas seulement les nourrir de données, nous devons veiller à ce qu'elles apprennent la diversité. Sinon, nous risquons de construire un monde numérique où toutes les voix finissent par se ressembler, perdant ainsi la couleur et la saveur de nos cultures locales.

Résumé Technique : Biais Linguistique Numérique en Espagnol

Problématique

L'étude examine l'étendue du biais linguistique numérique (DLB - Digital Linguistic Bias) au sein des grands modèles de langage (LLM). Bien que l'espagnol soit parlé par plus de 520 millions de personnes, il présente une immense variation lexicale selon les régions géographiques. Le problème central est que les LLM sont entraînés sur des données web massives qui ne sont pas réparties de manière équitable entre les régions, privilégiant souvent des variétés standardisées ou hégémoniques. L'auteur cherche à savoir si les LLM parviennent à capturer cette diversité dialectale ou s'ils échouent à représenter certaines variétés, créant ainsi une inégalité de représentation numérique.

Méthodologie

L'auteur traite les LLM comme des « informateurs virtuels » pour sonder leurs connaissances dialectales.

Base de données de référence : L'étude utilise VARILEX, une base de données experte et de grande envergure documentant la variation lexicale dans 21 pays hispanophones. Elle comprend 934 items lexicaux et 9 057 variantes.
Formats de questions (Protocoles de sondage) :
- Format Oui/Non (YNQF) : Le modèle doit répondre par Sí ou No à la question de savoir si un variant spécifique est prédominant dans un pays donné.
- Format Choix Multiple (MCQF) : Le modèle doit sélectionner tous les variants qu'un informateur utiliserait typiquement pour un concept donné parmi une liste d'options.
Modèles évalués : L'étude se concentre sur la famille GPT, en testant spécifiquement gpt-4o, gpt-5.1 et gpt-5.2 via API.
Métriques d'évaluation :
- Pour le format Oui/Non : Le score F1 (avec une analyse de l'écart par rapport à une ligne de base $\Delta F1$ pour corriger les biais de distribution des étiquettes).
- Pour le choix multiple : Le coefficient de Jaccard ajusté ( $J_{adj}$ ), une mesure de chevauchement entre l'ensemble des réponses du modèle et l'ensemble de référence, corrigée pour tenir compte de la probabilité de coïncidence par pur hasard.

Contributions Clés

Évaluation à grande échelle : Une analyse fine et systématique de la variation lexicale géographique dans les LLM, dépassant les études précédentes limitées en nombre d'items.
Cadre méthodologique hybride : Création d'un pont entre la dialectologie traditionnelle (méthodes de sondage) et l'évaluation des LLM.
Preuves empiriques du DLB : Mise en évidence que la performance des modèles n'est pas uniforme et ne dépend pas uniquement de la quantité de données disponibles en ligne.

Résultats Principaux

Performance inégale : Les modèles reconnaissent avec une grande précision les variantes associées à l'Espagne, à la Guinée équatoriale, au Mexique/Amérique centrale et à la région du Rio de la Plata (Argentine, Uruguay, Paraguay).
Le cas critique du Chili : Le variant chilien s'avère particulièrement difficile à distinguer pour les modèles, affichant les scores les plus bas dans les deux formats de questions.
Déconnexion avec le volume de données : Contrairement à l'hypothèse commune selon laquelle "plus de données = meilleure performance", l'étude montre qu'il n'y a aucune corrélation significative entre le volume de ressources numériques d'un pays et la précision du modèle. Par exemple, la Guinée équatoriale performe bien malgré un faible volume de données, tandis que le Chili performe mal malgré une empreinte numérique importante.
Évolution des modèles : Les modèles plus récents (gpt-5.x) montrent une légère amélioration dans le respect des instructions et la reconnaissance dialectale par rapport à gpt-4o.

Signification et Implications

Cette recherche démontre que la simple augmentation de la quantité de données web ne suffit pas à résoudre le biais linguistique numérique. La représentation des dialectes dans les LLM est influencée par des facteurs plus complexes tels que la similitude lexicale entre régions, les pressions de standardisation et la composition des corpus.

L'étude souligne la nécessité de méthodes plus directes pour garantir l'équité linguistique, comme le fine-tuning sur des corpus riches en dialectes, afin d'éviter que les LLM ne contribuent à l'érosion de la diversité linguistique réelle dans l'espace numérique.