💬 NLP

GECOBench: A Gender-Controlled Text Dataset and Benchmark for Quantifying Biases in Explanations

Cet article présente GECOBench, un ensemble de données et un cadre d'évaluation contrôlés par le genre qui démontre comment l'ajustement fin de modèles pré-entraînés comme BERT, particulièrement en réentraînant les couches d'incorporation, atténue considérablement le biais de genre dans les attributions de caractéristiques générées par les méthodes d'IA explicable.

Auteurs originaux : Rick Wilming, Artur Dox, Hjalmar Schulz, Marta Oliveira, Benedict Clark, Stefan Haufe

Publié 2026-01-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rick Wilming, Artur Dox, Hjalmar Schulz, Marta Oliveira, Benedict Clark, Stefan Haufe

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous ayez un robot très intelligent et cultivé nommé BERT. BERT a lu des millions de livres, de sites web et d'articles (comme Wikipédia) pour apprendre à nous parler et à nous comprendre. Parce qu'il a tant lu, il a aussi absorbé les préjugés et les stéréotypes cachés présents dans ces vieux textes. Par exemple, il pourrait inconsciemment penser que le mot « médecin » va avec « il » et « infirmière » avec « elle », même si ces mots ne sont pas réellement la raison d'une décision.

Maintenant, imaginez que vous demandiez à BERT d'expliquer pourquoi il a pris une décision spécifique. Il pointe certains mots et dit : « J'ai choisi cela à cause de ces mots ! » C'est ce qu'on appelle l'IA explicable (XAI). Le problème est le suivant : BERT dit-il la vérité, ou se contente-t-il de pointer les mots qui correspondent à ses vieux stéréotypes ?

Cet article présente un nouvel outil appelé GECOBench pour tester si les explications de l'IA sont honnêtes, spécifiquement concernant le genre.

Le jeu du « Changement de Genre » (Jeu de données GECO)

Pour tester BERT, les chercheurs ont créé un terrain de jeu spécial appelé GECO. Voyez cela comme un jeu de « texte à trous » mais avec une règle stricte : On ne change que les pronoms.

Ils ont pris une phrase comme :

« Elle aime passer du temps avec son chat préféré. »

Ensuite, ils ont créé deux jumeaux identiques de cette phrase, en changeant uniquement les mots genrés :

Version masculine : « Il aime passer du temps avec son chat préféré. »
Version non-binaire : « Iel aime passer du temps avec son chat préféré. » (Note : Dans le texte original, c'est "They/their" qui est utilisé pour le neutre).

Tout le reste — le chat, l'action d'aimer, le temps passé — reste exactement le même.

Pourquoi est-ce un jeu ?
Dans ce jeu, la seule raison pour laquelle la réponse change de « Masculin » à « Féminin » est le pronom. Si une IA regarde la phrase et dit : « Je sais que cela concerne une femme à cause du mot "chat" », elle se trompe. Le « chat » est un leurre ; c'est une distraction. Le seul indice « véritable » est le pronom.

Parce que les chercheurs ont construit les phrases de cette manière, ils connaissent la Vérité de Terrain (Ground Truth) : l'IA doit pointer le pronom pour être correcte. Si elle pointe le chat, l'explication est un mensonge (ou du moins, biaisée).

Le « Détecteur de Vérité » (GECOBench)

Les chercheurs ont utilisé ce jeu de données pour construire un cadre de test appelé GECOBench. Ils ont soumis ces phrases à BERT et lui ont demandé : « Quels mots vous ont fait décider ? »

Ils ont ensuite comparé la réponse de BERT par rapport à la « Vérité de Terrain » (le pronom). Ils ont utilisé un système de notation appelé Précision de Masse (Mass Accuracy).

Score Parfait : L'IA pointe uniquement le pronom.
Score Faible : L'IA pointe le pronom et d'autres mots sans rapport (comme « chat » ou « cuisine »), ou manque totalement le prome.

Ce qu'ils ont découvert

Les chercheurs ont testé BERT dans différents « modes d'entraînement » pour voir comment corriger ses mauvaises explications :

Le BERT « Gelé » : Ils ont laissé BERT utiliser son cerveau pré-entraîné sans rien changer.
- Résultat : Les explications étaient désordonnées. BERT continuait de pointer des mots stéréotypés (comme « cuisine » ou « voiture ») au lieu de se concentrer uniquement sur le pronom. Il était biaisé.
Le BERT « Ajusté » (Fine-Tuned) : Ils ont réentraîné des parties spécifiques du cerveau de BERT sur leurs nouvelles phrases de « Changement de Genre ».
- Résultat : Lorsqu'ils ont réentraîné la couche d'embedding (la partie du cerveau qui comprend le sens de base des mots), les explications se sont nettement améliorées. BERT a enfin appris à ignorer les stéréotypes et à se concentrer uniquement sur le pronom.

La grande conclusion :
Même si un modèle donne la bonne réponse (par exemple, identifier correctement « Il » comme masculin), son explication peut toujours être mensongère si elle repose sur de vieux biais. L'article montre que vous ne pouvez pas simplement faire confiance à l'explication d'une IA ; vous devez vérifier si elle pointe les bons indices.

La référence de base « Pattern »

Les chercheurs ont également comparé BERT à une méthode mathématique simple et classique appelée la Variante de Motif (Pattern Variant). Cette méthode n'a pas un « cerveau » rempli de biais ; elle regarde simplement la mathématique de la façon dont les mots apparaissent.

Surprise : La méthode mathématique simple était en fait meilleure pour trouver la « vérité » que l'IA complexe dans de nombreux cas. Cela prouve que la complexité de l'IA faisait obstacle à l'honnêteté.

Résumé

Le Problème : Les modèles d'IA donnent souvent des explications qui semblent bonnes mais qui sont en réalité basées sur des biais cachés (comme les stéréotypes de genre).
La Solution : Un nouveau jeu de données (GECO) où la seule chose qui change est le genre, créant une « vérité » que l'IA doit suivre.
Le Résultat : En réentraînant la compréhension des mots par l'IA (les embeddings), nous pouvons forcer l'IA à donner des explications honnêtes qui se concentrent sur les indices réels, et non sur les stéréotypes.

L'article conclut que ceci est une première étape. C'est comme enseigner à un élève à arrêter de deviner en fonction de stéréotypes et à commencer à regarder les preuves réelles. Bien que ce test spécifique concerne le genre, la méthode peut être utilisée pour vérifier si une IA est honnête sur n'importe quel sujet.

Résumé Technique : GECOBench : Un jeu de données textuelles et un benchmark contrôlés par le genre pour quantifier les biais dans les explications

Énoncé du Problème

Les grands modèles de langage pré-entraînés (PLM), tels que BERT, sont entraînés sur de vastes corpus contenant des biais sociétaux inhérents, notamment des stéréotypes de genre. Bien que l'on sache que ces biais affectent les poids du modèle et le comportement des prédictions, il reste incertain dans quelle mesure ils se propagent dans les attributions de caractéristiques générées par les méthodes d'IA explicable (XAI). Plus précisément, il manque des cadres rigoureux, centrés sur les données, pour évaluer si les méthodes XAI identifient correctement les caractéristiques qui pilotent une prédiction ou si elles mettent par inadvertance en évidence des corrélations biaisées et non causales présentes dans les données de pré-entraînement. Les benchmarks actuels reposent souvent sur des métriques de « fidélité » ou sur des rationalisations annotées par des humains, qui peuvent ne pas s'aligner sur les associations statistiques ou l'importance réelle des caractéristiques, rendant difficile l'évaluation objective de la justesse des explications en présence de biais.

Méthodologie

1. Le jeu de données GECO

Les auteurs introduisent GECO, un jeu de données textuelles contrôlées par le genre, conçu pour fournir des attributions de caractéristiques de vérité terrain pour les tâches de classification de genre.

Construction : Les phrases sont extraites de pages Wikipédia correspondant à des romans classiques (via le projet Gutenberg).
Manipulation : Chaque phrase est générée en trois variantes grammaticales de genre : Masculin ( $x^M$ $x^{M}$ ), Féminin ( $x^F$ $x^{F}$ ) et Non-binaire ( $x^{NB}$ $x^{N B}$ ).
- Manipulation du sujet uniquement ( $D_S$ ) : Seuls les pronoms sujets grammaticaux sont modifiés (ex: « Elle » $\to$ « Il »). Cela crée une tâche plus difficile où le modèle doit distinguer le genre du sujet de celui de l'objet.
- Manipulation de tous les genres ( $D_A$ ) : Tous les mots liés au genre (pronoms, possessifs et noms genrés comme « Tante » $\to$ « Oncle ») sont modifiés.
Vérité de terrain (Ground Truth) : Par construction, les mots modifiés sont les seules caractéristiques discriminantes. Par conséquent, la carte d'attribution de la vérité de terrain est binaire : 1 pour les mots modifiés, 0 pour tous les autres. Cela permet l'évaluation objective de savoir si une méthode XAI met en évidence les caractéristiques statistiquement associées (Propriété d'Association Statistique - SAP).
Vérification du biais : Les auteurs vérifient que le jeu de données lui-même est sans biais à l'aide d'une métrique de cooccurrence, garantissant que les écarts dans les explications du modèle découlent des biais de pré-entraînement du modèle et non des données.

2. Le cadre GECOBench

GECOBench est un cadre d'évaluation quantitative appliqué au jeu de données GECO pour évaluer la performance de la XAI.

Modèles : Le cadre évalue le modèle pré-entraîné BERT sous quatre paradigmes d'entraînement distincts pour isoler l'impact de différentes couches architecturales :
1. BERT-C : Seule la couche de classification est ré-entraînée ; les couches d'Embedding et d'Attention sont fixes.
2. BERT-CE : Les couches d'Embedding et de Classification sont ré-entraînées à partir de zéro ; l'Attention est fixe.
3. BERT-CEf : Les couches d'Embedding et de Classification sont affinées (fine-tuned) ; l'Attention est fixe.
4. BERT-CEfAf : Les couches d'Embedding, d'Attention et de Classification sont toutes les trois affinées.
- Baselines : Un modèle BERT zero-shot (BERT-ZS) et un modèle d'attention à une seule couche classique (OLA-CEA) entraîné à partir de zéro sur GECO (exempt de biais de pré-entraînement) sont utilisés pour la comparaison.
Méthodes XAI évaluées : L'étude applique diverses méthodes d'attribution post-hoc, incluant des approches basées sur le gradient (Saliency, InputXGradient, DeepLift, Guided Backpropagation, Integrated Gradients) et des méthodes de substitut (LIME, Kernel SHAP, Gradient SHAP).
Métrique d'évaluation : La métrique de Précision de Masse (Mass Accuracy - MA) est utilisée pour quantifier la justesse. La MA mesure le chevauchement entre les scores d'attribution normalisés et le masque binaire de vérité de terrain, pénalisant les faux positifs (mise en évidence de mots qui ne sont pas la vérité de terrain) tout en étant robuste aux faux négatifs (omission de certains mots de la vérité de terrain).
Quantification du biais : Les auteurs définissent la Précision de Masse Relative (Relative Mass Accuracy - RMA) pour mesurer l'écart de performance de l'explication par rapport à une baseline zero-shot, quantifiant ainsi le « biais d'explication ».

Contributions Clés

Jeu de données GECO : Un nouveau jeu de données contrôlé par le genre avec des attributions de caractéristiques de vérité de terrain au niveau du mot, permettant l'évaluation objective de la justesse de la XAI basée sur l'association statistique.
GECOBench : Un flux de travail de benchmarking rigoureux pour quantifier comment les biais de pré-entraînement affectent les attributions de caractéristiques et comment les stratégies d'affinage atténuent ces biais.
Analyse empirique du biais dans les explications : L'article démontre que les méthodes d'attribution de caractéristiques sont sensibles aux biais de pré-entraînement et que la justesse de ces explications dépend fortement des couches du modèle qui sont affinées.

Résultats

Performance des explications (RQ1)

Difficulté du jeu de données : La performance sur le jeu de données de sujet uniquement ( $D_S$ ) est généralement plus faible que sur le jeu de données de tous les genres ( $D_A$ ) pour toutes les méthodes, probablement en raison du nombre réduit de jetons (tokens) discriminants.
Comparaison des méthodes : Integrated Gradients, LIME et Gradient SHAP surpassent systématiquement les autres méthodes et la baseline aléatoire.
Comparaison avec les baselines : La Variante de Motif (une méthode indépendante du modèle basée sur la covariance entrée-cible) sert de limite supérieure de performance. Bien qu'aucune méthode n'atteigne le score de la Variante de Motif, Integrated Gradients et Gradient SHAP performent bien dans le régime de transfert d'apprentissage.
Modèle sans biais : Le modèle OLA-CEA (entraîné à partir de zéro sans pré-entraînement) présente une performance d'explication nettement plus élevée pour toutes les méthodes, confirmant que les biais de pré-entraînement dégradent la qualité de l'explication.

Atténuation du biais (RQ2)

Dépendance aux couches : Il existe une dépendance claire entre la performance de l'explication et le nombre de couches affinées.
Impact de l'Embedding : Les modèles où la couche d'embedding est ré-entraînée ou affinée (BERT-CE, BERT-CEf) montrent l'amélioration la plus significative de la justesse de l'explication par rapport aux modèles où les embeddings sont fixes (BERT-C).
Biais résiduel : Même lorsque la précision de classification est constante à travers différents régimes d'entraînement, les modèles avec des embeddings fixes conservent des biais résiduels qui impactent négativement la justesse des attributions de caractéristiques. L'affinage des embeddings est montré comme étant la stratégie la plus efficace pour atténuer ces biais.
Observations spécifiques : Dans certains cas, les méthodes XAI sur des modèles biaisés mettent en évidence des mots non pertinents (ex: « Bella » au lieu du pronom « elle ») en raison des associations de pré-entraînement, alors que les modèles sans biais se concentrent correctement sur les pronoms modifiés.

Signification et Revendications

L'article affirme que GECOBench fournit le premier cadre principled, centré sur les données, pour évaluer la justesse des attributions de caractéristiques en NLP, en abordant spécifiquement la tension entre les explications centrées sur le modèle et celles centrées sur les données.

Propagation du biais : L'étude établit que les biais dans les corpus de pré-entraînement ne se limitent pas aux sorties de prédiction, mais imprègnent également les explications générées par la XAI.
La justesse comme indicateur de biais : Les auteurs soutiennent que la justesse des attributions de caractéristiques du point de vue des données (spécifiquement l'adhérence à la SAP) est indicative des biais sous-jacents du modèle.
Stratégie d'atténuation : Les résultats suggèrent que le simple affinage de la tête de classification est insuffisant pour obtenir des explications sans biais ; il est nécessaire de ré-entraîner ou d'affiner les couches d'embedding pour atténuer l'influence des biais de pré-entraînement sur les attributions de caractéristiques.
Portée : Les auteurs positionnent ce travail comme une première étape vers une évaluation systématique du biais dans la XAI. Ils reconnaquent des limites, telles que la simplification du genre par l'altération des pronoms et l'accent mis sur les associations statistiques univariées, mais soulignent que le cadre réussit à isoler et quantifier l'impact du biais sur la justesse de l'explication dans un cadre contrôlé.

L'article conclut qu'une certaine prudence est de mise lors de l'utilisation des méthodes XAI pour le débogage de modèles ou des tâches en aval (comme l'analyse de sentiment) sur des modèles pré-entraînés, car les attributions biaisées peuvent mettre en évidence des jetons liés au genre de manière spécieuse plutôt que des caractéristiques sémantiquement pertinentes.