💬 NLP

How do datasets, developers, and models affect biases in a low-resourced language?: The Case of the Bengali Language

Cet article démontre empiriquement que les modèles d'analyse des sentiments pour la langue bengalie, à faible ressources, présentent des biais persistants fondés sur le genre, la religion et la nationalité, indépendamment du fait qu'ils soient construits sur des architectures multilingues ou monolingues, mettant en lumière comment la combinaison de jeux de données diversifiés et de modèles préentraînés peut introduire des incohérences qui exacerbent l'injustice épistémique dans les systèmes sociotechniques.

Auteurs originaux : Dipto Das, Shion Guha, Bryan Semaan

Publié 2026-05-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dipto Das, Shion Guha, Bryan Semaan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot à comprendre les sentiments humains (comme le bonheur, la tristesse ou la colère) en lui montrant des milliers de phrases écrites en bengali. Vous voulez que le robot soit équitable envers tout le monde, qu'il s'agisse d'un homme ou d'une femme, d'un hindou ou d'un musulman, ou qu'il vienne du Bangladesh ou de l'Inde.

Ce document est comme un « bulletin de notes » pour 38 versions différentes de ce robot. Les chercheurs se sont demandé : Où le robot tire-t-il son injustice ? Est-ce des livres qu'il a lus (les jeux de données), du professeur qui l'a enseigné (les développeurs), ou du cerveau avec lequel il a été construit (le modèle pré-entraîné) ?

Voici la décomposition de leurs résultats à l'aide d'analogies simples :

1. La Configuration : Le Robot, La Bibliothèque et Les Professeurs

Les Robots (Modèles) : Les chercheurs ont commencé avec deux « cerveaux de base ». L'un était un généraliste (mBERT) qui connaît 104 langues mais n'est expert dans aucune d'elles. L'autre était un spécialiste (BanglaBERT) qui ne connaît que le bengali et a été entraîné spécifiquement sur des livres bengalis.
Les Bibliothèques (Jeux de données) : Ils ont trouvé 19 collections différentes de phrases bengalies (jeux de données) sur Internet. Imaginez ces collections comme des bibliothèques différentes. Certaines bibliothèques étaient remplies de nouvelles, d'autres de publications sur les réseaux sociaux, et d'autres de romans.
Les Professeurs (Développeurs) : Ces bibliothèques ont été organisées par différentes personnes. Les chercheurs ont tenté de découvrir qui étaient ces professeurs (leur genre, leur religion et leur nationalité) pour voir si les biais personnels des professeurs étaient transmis aux robots.

2. L'Expérience : Le « Test de Goût »

Les chercheurs ont soumis les robots à un « test de goût » spécial. Ils leur ont fait avaler des paires de phrases qui signifiaient exactement la même chose mais utilisaient des mots différents pour signaler l'identité.

Exemple : Une phrase utilisait un mot pour « eau » courant en Inde, et l'autre utilisait un mot pour « eau » courant au Bangladesh.
L'Objectif : Si le robot est équitable, il devrait attribuer la même « note de sentiment » aux deux phrases. S'il attribue une note élevée (positive) à l'une et une note basse (négative) à l'autre, il est biaisé.

3. Les Résultats : Qu'ont-ils Découvert ?

A. Les Robots sont Biaisés (L'Effet de « Chambre d'Écho »)
L'étude a révélé que la plupart des robots étaient injustes.

Genre : 61 % des robots préféraient les phrases concernant les hommes à celles concernant les femmes. Seuls 24 % préféraient les femmes.
Religion : 61 % des robots favorisaient les identités musulmanes, tandis que 24 % favorisaient les identités hindoues.
Nationalité : 50 % des robots préféraient les identités bangladaises, tandis que 26 % préféraient les identités indiennes.

B. Les Professeurs n'ont pas Importé (Le « Fantôme dans la Machine »)
Vous pourriez penser : « Si le professeur est un homme, le robot sera sexiste. » Les chercheurs ont vérifié cela, mais ils n'ont trouvé aucun lien clair.

Bien que la plupart des créateurs de jeux de données fussent des hommes, des musulmans et originaires du Bangladesh, les robots ne copiaient pas simplement leurs biais spécifiques.
La Conclusion : Le biais ne provenait pas de la personne spécifique qui a tapé les données. Il provenait de l'interaction entre les données et le cerveau du robot.

C. Le Cerveau Compte Plus que la Bibliothèque (Le « Spécialiste vs Généraliste »)
C'était la découverte la plus surprenante.

Le Robot Spécialiste (BanglaBERT) était généralement plus équitable et moins biaisé que le Robot Généraliste (mBERT).
L'Analogie : Imaginez qu'un robot généraliste est comme un touriste qui tente de comprendre une culture en lisant quelques brochures touristiques dans de nombreuses langues. Il saisit les bases mais manque les nuances. Le robot spécialiste est comme un local qui a grandi en parlant la langue ; il comprend mieux les différences culturelles subtiles.
Cependant, aucune bibliothèque n'était parfaite. Même les meilleurs jeux de données comportaient des biais dans certains domaines. Si un jeu de données était équitable concernant le genre, il pouvait être injuste concernant la religion.

4. La Grande Image : C'est une Réaction en Chaîne

Le document soutient que le biais n'est pas simplement un « bug » dans un morceau de code. C'est une réaction en chaîne.

Imaginez cela comme un relais.
Le premier coureur (le modèle pré-entraîné) commence avec certains biais inhérents.
Le deuxième coureur (le jeu de données) ajoute sa propre touche.
Lorsqu'ils se passent le témoin (l'affinement), le résultat final est un mélange des deux.
Parfois, un « bon » jeu de données peut corriger un « mauvais » modèle. Parfois, un « mauvais » jeu de données peut ruiner un « bon » modèle.

5. Pourquoi Cela Compte (L'« Injustice Épistémique »)

Les auteurs utilisent un terme sophistiqué appelé Injustice Épistémique. En termes simples, cela signifie que le robot discrédite injustement la voix de certaines personnes.

Si un robot pense qu'une phrase écrite par une personne bangladaise est « négative » simplement parce qu'elle a utilisé un mot local spécifique pour « eau », le robot dit : « Ta façon de parler est fausse ou mauvaise. »
C'est injuste car cela traite la langue d'un groupe comme la « norme » et les autres comme « incorrectes », renforçant ainsi les anciennes divisions sociales.

Résumé

Le document conclut que pour corriger les biais dans les langues à ressources limitées comme le bengali, nous ne pouvons pas simplement blâmer les personnes qui ont créé les données. Nous devons examiner l'ensemble du système :

N'utilisez pas uniquement des modèles universels : Les modèles spécialisés (comme BanglaBERT) semblent mieux gérer la culture locale que les modèles généraux.
Aucun jeu de données n'est parfait : Chaque bibliothèque comporte certains biais, nous devons donc faire attention à celui que nous choisissons.
La combinaison est la clé : Le biais provient de la façon dont le modèle et les données se mélangent, et non pas seulement de l'un ou de l'autre.

Les chercheurs appellent à davantage de « audits » (contrôles et équilibres) pour s'assurer que ces outils numériques ne blessent pas accidentellement les communautés qu'ils sont censés servir.

Résumé technique : Comment les jeux de données, les développeurs et les modèles influencent les biais dans une langue à ressources limitées

Énoncé du problème
Les systèmes sociotechniques, en particulier dans le domaine du traitement automatique des langues (TAL), présentent fréquemment des biais fondés sur l'identité qui marginalisent des groupes sociaux spécifiques. Bien que les audits algorithmiques soient devenus une méthode standard pour détecter ces biais, les recherches existantes se concentrent principalement sur les contextes occidentaux et les langues à ressources abondantes. Cela laisse les langues à ressources limitées, telles que le bengali (parlé par plus de 260 millions de personnes), sous-étudiées. Les communautés bengalies font face à des forces historiques et coloniales complexes qui façonnent les identités de genre, religieuses (hindoues contre musulmanes) et nationales (bangladaises contre indiennes). Ces identités s'expriment souvent à la fois explicitement et implicitement à travers des normes linguistiques, telles que les variations dialectales (Bangal contre Ghoti) et les choix lexicaux.

Le problème central abordé est le « sophisme de la fonctionnalité de l'IA », où l'on suppose que les systèmes fonctionnent correctement sur la base de leurs performances sur des benchmarks, masquant ainsi la manière dont les biais émergent de l'interaction de multiples composants techniques. Plus précisément, il existe un manque de compréhension concernant la façon dont la combinaison de modèles pré-entraînés, de jeux de données d'affinage et des profils démographiques des développeurs de jeux de données façonne collectivement le biais dans les modèles d'analyse de sentiments en aval (BSA) pour le bengali.

Méthodologie
Les auteurs ont mené un audit algorithmique complet impliquant 38 modèles d'analyse de sentiments affinés. La méthodologie s'est déroulée en quatre étapes clés :

Identification des jeux de données et enquête auprès des développeurs : Les chercheurs ont identifié 19 jeux de données d'analyse de sentiments en bengali (BSA) via Google Dataset Search. Ils ont contacté les développeurs de ces jeux de données pour recueillir des informations démographiques (genre, religion, nationalité) via une enquête en ligne, obtenant des réponses pour 12 jeux de données. Pour protéger l'anonymat, les jeux de données ont été anonymisés (D1–D19).
Sélection des modèles et affinage : Deux modèles de langage pré-entraînés ont été sélectionnés : mBERT (un modèle multilingue entraîné sur 104 langues) et BanglaBERT (un modèle spécifiquement pré-entraîné sur des corpus bengalis). Chacun des 19 jeux de données BSA a été utilisé pour affiner les deux modèles, aboutissant à 38 modèles affinés distincts.
Évaluation des biais : Les auteurs ont utilisé le Jeu de données d'évaluation des biais d'identité en bengali (BIBED), qui contient des paires de phrases sémantiquement identiques mais différant par des marqueurs d'identité (genre, religion, nationalité) soit explicitement (mentions directes), soit implicitement (normes linguistiques, dialectes, termes de parenté).
Analyse statistique : L'audit a employé des comparaisons statistiques pour évaluer les biais :
- Classification nominale : Utilisation du test du $\chi^2$ pour évaluer la relation entre les catégories d'identité et la classification des sentiments (positif/négatif/neutre).
- Scores de sentiment : Utilisation de tests t appariés ou de tests des rangs signés de Wilcoxon pour comparer les scores moyens de sentiment (de 0 à 1) attribués à différents groupes d'identité.
- Quantification : Calcul du Taux de classification positive (PCR) pour mesurer la parité démographique et de la Métrique de comparaison par paires (PCM) pour quantifier la différence moyenne des scores de sentiment entre les paires d'identités.

Contributions clés

Audit empirique du TAL à ressources limitées : Cette étude fournit l'un des premiers audits systématiques de l'analyse de sentiments en bengali, allant au-delà des outils déployés pour retracer les origines des biais dans l'ensemble du pipeline (jeux de données, développeurs, modèles).
Analyse des interactions : Elle remet en question l'idée que le biais réside uniquement dans les modèles ou les jeux de données, démontrant comment le biais émerge de l'interaction entre les architectures pré-entraînées et les données d'affinage.
Démographie des développeurs vs biais des modèles : Elle examine la corrélation entre les profils démographiques des développeurs de jeux de données et le biais des modèles, une dimension souvent négligée dans les audits techniques.
Comparaison méthodologique : L'article compare l'efficacité de différents tests statistiques et métriques (scores nominaux vs scores continus) pour détecter des biais subtils dans des contextes à ressources limitées.

Résultats
L'étude a produit plusieurs résultats significatifs concernant la distribution et les sources des biais :

Prévalence des biais : La majorité des 38 modèles affinés ont présenté des biais significatifs.
- Genre : 61 % des modèles ont attribué des scores de sentiment plus élevés aux identités masculines, tandis que 24 % favorisaient les identités féminines.
- Religion : 61 % des modèles favorisaient les identités musulmanes (ou les styles linguistiques associés), tandis que 24 % favorisaient les identités hindoues.
- Nationalité : 50 % des modèles favorisaient les identités bangladaises, contre 26 % favorisant les identités indiennes.
Démographie des développeurs : Bien que la plupart des développeurs de jeux de données s'identifient comme étant de sexe masculin, musulmans et bangladais, les tests statistiques (valeurs p > 0,05) ont révélé aucune relation significative entre les profils démographiques des développeurs et la direction du biais dans les modèles résultants.
Interaction modèle-jeu de données :
- Avantage spécifique à la langue : BanglaBERT a généralement produit des modèles affinés moins biaisés que le modèle multilingue mBERT, suggérant que le pré-entraînement spécifique à la langue offre un avantage d'atténuation.
- Instabilité des jeux de données : Aucun jeu de données n'était exempt de biais. Les jeux de données qui performaient bien dans une dimension d'identité présentaient souvent des biais substantiels dans d'autres.
- Déplacements contextuels : Le même jeu de données pouvait induire des biais dans des directions opposées selon le modèle de base utilisé (par exemple, D1 induisait un biais féminin avec mBERT mais un biais masculin avec BanglaBERT).
Sensibilité des métriques : L'étude a révélé que l'analyse des scores de sentiment continus identifiait significativement plus de modèles biaisés (par exemple, 85 % pour le genre) que l'analyse des catégories de sentiments nominales (24 % pour le genre), soulignant l'importance d'utiliser des métriques numériques pour des audits rigoureux.

Importance et affirmations
L'article affirme que l'atteinte de l'équité dans les systèmes de TAL est complexe et ne peut être résolue en sélectionnant simplement un modèle ou un jeu de données spécifique. Au lieu de cela, le biais est un produit de l'infrastructure sociotechnique, incluant la réutilisation de modèles pré-entraînés et la recomposition de jeux de données.

Les auteurs présentent leurs résultats à travers le prisme de l'injustice épistémique, soutenant que les technologies linguistiques peuvent systématiquement discréditer le témoignage des groupes marginalisés en leur attribuant des scores de sentiment plus faibles ou en interprétant mal leurs normes linguistiques. Ils soutiennent que, bien que les modèles multilingues (mBERT) offrent une généralisation, ils exacerbent souvent les désavantages pour les langues à ressources limitées en confondant des dialectes et des styles distincts.

L'étude plaide pour une décolonisation du TAL en reconnaissant la sous-représentation des voix diversifiées dans la création de jeux de données et en appelant à un « alignement en arrière » — évaluer et gouverner les systèmes pour éviter d'exacerber les risques de désalignement — plutôt que de se fier uniquement à un entraînement d'alignement en avant, qui peut être irréalisable en raison de la pénurie de données. Enfin, les auteurs soulignent la nécessité d'audits algorithmiques dans les contextes à ressources limitées pour favoriser la transparence, traiter les désalignements de valeurs et promouvoir des réglementations de l'IA plus inclusives.