💬 NLP

Is She Even Relevant? When BERT Ignores Explicit Gender Cues

Ce papier révèle qu'un modèle BERT néerlandais entraîné à partir de zéro développe des biais de genre persistants et forts privilégiant le masculin, qui l'emportent sur les indices contextuels explicites, démontrant que ses représentations apprises sont insuffisamment dynamiques pour encoder correctement les informations de genre anti-stéréotypées, malgré la présence d'une marque morphologique de genre évidente dans la langue.

Auteurs originaux : Jonas Klein, Chiara Manna, Eva Vanmassenhove

Publié 2026-05-11

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jonas Klein, Chiara Manna, Eva Vanmassenhove

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Un robot incapable de désapprendre les stéréotypes

Imaginez que vous enseignez à un robot à comprendre le langage humain en lui montrant des millions de livres. Vous voulez que le robot soit assez intelligent pour comprendre que lorsque quelqu'un dit « Elle est plombière », le robot doit savoir que la plombière est une femme, même si le robot a principalement vu des plombiers masculins dans ses livres d'entraînement.

Ce document pose une question simple : Le robot écoute-t-il réellement le mot « Elle », ou l'ignore-t-il simplement pour s'en tenir à ses vieilles habitudes ?

Les chercheurs ont construit une version d'un modèle d'intelligence artificielle célèbre (appelé BERT) à partir de zéro, mais au lieu de l'anglais, ils l'ont enseigné en néerlandais. Le néerlandais est une langue complexe car elle mélange des mots genrés (comme « il » et « elle ») et des mots neutres qui étaient autrefois masculins mais qui sont maintenant utilisés pour tout le monde.

L'expérience : Le test du « Plombier »

Pour tester le robot, les chercheurs ont mis en place un jeu avec des modèles de phrases. Ils ont donné au robot des phrases comme :

« Il est infirmier. » (Cela correspond au stéréotype : les hommes sont rarement infirmiers).
« Elle est plombière. » (Cela brise le stéréotype : les femmes sont rarement plombières).

Ils ont ensuite demandé au robot : « En vous basant sur le mot "plombier" ou "infirmier" dans cette phrase, pensez-vous que cette personne est de sexe masculin ou féminin ? »

Ils ont mesuré cela en examinant le « cerveau » du robot (ses mathématiques internes) pour voir de quel côté d'une échelle de genre le mot se situait.

Résultats clés : Ce qu'ils ont découvert

1. Le robot apprend le genre rapidement, mais reste bloqué

Les chercheurs ont observé le robot apprendre au fil du temps. Ils ont constaté que le robot avait compris comment distinguer le « masculin » du « féminin » très rapidement (vers le 20e jour d'entraînement). Une fois qu'il l'avait appris, il était devenu très doué pour cela.

L'analogie : Imaginez un élève qui apprend la différence entre les « chats » et les « chiens » dès le premier jour. Au 20e jour, il peut identifier un chat ou un chien instantanément. Mais voici le problème : le robot a appris à les repérer en fonction de ce qu'il voit habituellement, et non de ce qui se trouve réellement devant lui à cet instant précis.

2. Le défaut « Masculin » est omniprésent

Les chercheurs ont découvert que la compréhension du « masculin » par le robot est comme une large couverture confortable qui couvre presque tout. La compréhension du « féminin » est comme un projecteur spécifique et étroit.

Masculin : Le robot étend l'idée du « masculin » à de nombreuses parties différentes de son cerveau. C'est le paramètre par défaut.
Féminin : Le robot n'utilise que quelques parties spécifiques de son cerveau pour identifier le « féminin ».

Le résultat : Lorsque le robot est confus, il revient par défaut à la « couverture » (Masculin). Même si vous lui dites « Elle est plombière », les mathématiques internes du robot disent souvent encore « Plombier = Masculin » car c'est le défaut large et confortable qu'il a appris dans les livres.

3. Le robot ignore le « Elle »

C'est la partie la plus surprenante. Le robot est censé être « contextuel », ce qui signifie qu'il devrait changer d'avis en fonction de la phrase.

Si la phrase dit « Elle est plombière », le robot devrait penser « Féminin ».
Ce qui s'est réellement passé : Le robot a principalement ignoré le mot « Elle ». Il a regardé le mot « plombier », se souvenu que les plombiers sont généralement des hommes dans ses données d'entraînement, et s'en est tenu à cette réponse.

L'analogie : Imaginez que vous êtes à une fête. Vous voyez une personne portant un chapeau de chef (stéréotype : chef masculin). Votre ami pointe du doigt et dit : « C'est ma sœur, c'est elle la chef ! » (indice explicite : féminin).

Un humain dirait : « Oh, je vois, c'est elle la chef. »
Ce robot dirait : « Non, le chapeau dit chef, et les chefs sont des hommes. J'ignore votre ami. »

4. La seule chose qui fonctionne : L'astuce du « Suffixe »

Les chercheurs ont trouvé une chose qui a vraiment forcé le robot à changer d'avis : la morphologie (la forme du mot).

En néerlandais, vous pouvez ajouter une terminaison spéciale à un titre de métier pour le rendre explicitement féminin (comme ajouter « -ster » pour transformer « infirmier » en « infirmière »).

Si la phrase était « Elle est verpleegster » (infirmière féminine), le robot l'a correctement identifiée comme étant de sexe féminin.
Si la phrase était « Elle est verpleger » (infirmier neutre/masculin), le robot a ignoré le « Elle » et a supposé que l'infirmier était de sexe masculin.

L'analogie : Le robot est comme une personne qui n'écoute que l'uniforme que quelqu'un porte, et non la badge de nom qu'il tient. Si l'uniforme dit « Infirmier masculin », le robot le croit, même si le badge de nom dit « Elle ». Mais si l'uniforme a un badge spécial « Féminin » (le suffixe), alors le robot finit par prêter attention.

La conclusion : Pourquoi cela compte

Le document conclut que ce modèle d'IA n'est pas aussi « intelligent » ou « flexible » que nous l'espérons. Nous supposons que parce qu'il examine toute la phrase, il peut dépasser les stéréotypes. Mais cette étude montre que les habitudes internes du robot sont plus fortes que le contexte immédiat.

Le défaut « Masculin » est si fort que même des mots explicites comme « Elle » ne peuvent pas toujours le briser.
Le robot repose sur des indices de surface (comme les terminaisons des mots) plutôt que sur une compréhension profonde (comme à qui la phrase s'adresse).

En bref : Le robot a appris les statistiques du monde (les plombiers sont généralement des hommes) si bien qu'il a cessé d'écouter l'histoire spécifique racontée dans la phrase (ce plombier spécifique est une femme). C'est un robot qui connaît les règles du jeu, mais qui ne peut pas jouer le jeu quand les règles changent devant lui.

Résumé technique : « Est-elle même pertinente ? Quand BERT ignore les indices de genre explicites »

Énoncé du problème
Alors que les biais de genre dans les grands modèles de langage (LLM) ont été largement étudiés pour l'anglais, les langues possédant un genre grammatical ou morphologique restent comparativement sous-étudiées. Ce vide est critique car les structures grammaticales peuvent obscurcir ou déformer la mesure des stéréotypes sociaux. L'article se concentre sur le néerlandais, une langue occupant une position intermédiaire entre des systèmes entièrement genrés (comme l'allemand) et des systèmes largement sans genre (comme l'anglais). Le néerlandais présente une tension entre la « neutralisation » (où des formes historiquement masculines, morphologiquement non marquées, fonctionnent comme des termes génériques) et la « féminisation » (où des formes explicitement féminines sont dérivées via des suffixes). Les auteurs étudient comment un modèle BERT néerlandais, entraîné à partir de zéro, encode les informations de genre et si des indices contextuels explicites (par exemple, le pronom zij signifiant « elle ») peuvent surpasser les associations statistiques apprises (par exemple, plombier $\rightarrow$ masculin) au sein des représentations internes du modèle.

Méthodologie
L'étude emploie une analyse au niveau des points de contrôle (checkpoints) d'un modèle BERT néerlandais entraîné entièrement à partir de zéro sur le corpus SoNaR-500 (sous-ensemble de livres, $\approx$ 26 millions de mots). La méthodologie intègre des techniques de projection de sous-espace statique avec des modèles de phrases contrôlés pour retracer l'évolution des biais durant l'entraînement.

Entraînement du modèle : Un modèle BERT est entraîné à partir de zéro pendant 100 époques. Des points de contrôle intermédiaires sont sauvegardés pour suivre l'émergence des représentations de genre au fil du temps.
Construction du sous-espace de genre : À chaque point de contrôle, une machine à vecteurs de support (SVM) linéaire est entraînée sur les embeddings contextuels de 60 paires de mots genrés non ambigus (par exemple, man vs vrouw) pour dériver un axe de genre dynamique. Les auteurs évitent les pronoms ambigus (comme zij, qui peut signifier « elle » ou « ils/elles ») pour s'assurer que le sous-espace reflète des distinctions de genre claires.
Évaluation des biais : Les auteurs projettent les embeddings de termes de métiers issus de modèles de phrases contrôlés sur les sous-espaces de genre appris. La structure du modèle est [CIBLE] est un [ATTRIBUT] (par exemple, « Elle est plombier »).
- Variables : L'étude fait varier systématiquement le genre de la cible (masculin/féminin), la marque morphologique de l'attribut (neutre/non marqué vs suffixe féminin) et l'alignement stéréotypique (pro-stéréotypique vs anti-stéréotypique basé sur les statistiques de la main-d'œuvre).
- Métrique : La précision est mesurée en vérifiant si l'embedding de métier projeté s'aligne avec le genre spécifié par le contexte de la phrase (la cible) plutôt qu'avec l'association statistique par défaut du modèle.

Résultats clés
L'analyse produit quatre résultats principaux concernant la formation et le comportement des représentations de genre :

Émergence de la séparabilité linéaire : Les informations de genre deviennent clairement séparables de manière linéaire dans l'espace d'embedding autour de l'époque 20. Bien que la précision augmente régulièrement, elle se stabilise juste au-dessus de 0,92, indiquant que le genre est une caractéristique stable des représentations apprises tôt dans le processus d'entraînement.
Distribution des informations de genre : Contrairement à l'idée d'une seule « unité de genre », les informations de genre sont distribuées sur plusieurs dimensions d'embedding. Cependant, la distribution est asymétrique :
- Les représentations masculines sont encodées de manière diffuse sur de nombreuses dimensions, fonctionnant comme une valeur par défaut robuste et non marquée.
- Les représentations féminines sont concentrées dans un sous-ensemble plus petit et plus spécifique de dimensions.
Échec de la surcharge contextuelle : Les indices contextuels explicites échouent souvent à surpasser les a priori appris. Dans des contextes anti-stéréotypiques (par exemple, « Elle est plombier »), la représentation interne du modèle du métier reste alignée avec le genre masculin stéréotypique de manière significativement plus fréquente qu'avec l'indice contextuel féminin. Les associations stéréotypiques sont prédites avec une précision de 82,5 %, tandis que les associations anti-stéréotypiques chutent à 43,7 %.
Domination des marqueurs morphologiques : Le modèle repose fortement sur des indices morphologiques de surface plutôt que sur l'intégration d'informations contextuelles. Lorsqu'un métier possède un suffixe féminin explicite (par exemple, verpleegster), la représentation s'aligne sur le sous-espace féminin avec une haute précision (83 % dans des contextes anti-stéréotypiques). Cependant, lorsque l'attribut est morphologiquement neutre (par exemple, verpleger), le modèle revient à l'interprétation masculine, même lorsque le sujet est explicitement féminin.

Contributions clés

Analyse au niveau des points de contrôle : Ce travail fournit l'une des premières investigations contrôlées, au niveau des points de contrôle, de la manière dont les informations de genre émergent dans une architecture basée sur Transformer, étendant les travaux antérieurs sur les modèles récurrents (LSTM) aux modèles BERT modernes.
Projection de sous-espace contextuel : Les auteurs adaptent l'analyse de sous-espace par projection à un contexte contextuel, la combinant avec des modèles de phrases contrôlés pour mesurer directement l'interaction entre les indices de genre explicites et les connotations de genre apprises.
Insights sur le genre morphologique : En utilisant le néerlandais, l'étude démontre que même des indices féminins forts et explicites (pronoms) peuvent être surpassés par des valeurs par défaut stéréotypées lorsque le terme de métier est morphologiquement non marqué. Cela met en lumière les défis spécifiques des biais dans les langues où le genre grammatical et les stéréotypes sociaux interagissent de manière complexe.
Référence mécaniste : Les résultats établissent une référence pour comprendre comment le biais structurel de genre se forme et se stabilise, suggérant que la « contextualisation » dans ces modèles n'est pas suffisamment dynamique selon la direction du genre pour refléter de manière fiable les indices explicites dans des scénarios anti-stéréotypiques.

Portée et affirmations
L'article affirme que ses résultats remettent en question l'hypothèse selon laquelle les embeddings contextuels intègrent de manière robuste les indices locaux pour ajuster les représentations des mots. Au contraire, les auteurs soutiennent que pour le modèle BERT néerlandais, les indices contextuels sont fréquemment éclipsés par des a priori internes et des marqueurs morphologiques. Le comportement de « masculin par défaut » persiste car les formes non marquées, historiquement masculines, fonctionnent comme des termes génériques dans les données d'entraînement, créant un avantage structurel pour les représentations codées masculines.

Les auteurs concluent que si le modèle apprend à distinguer le genre, il le fait d'une manière qui renforce les asymétries existantes : le masculin est la valeur par défaut diffuse, tandis que le féminin est un signal marqué et concentré qui nécessite une suffixation morphologique explicite pour être encodé de manière fiable. Par conséquent, les applications s'appuyant sur ces représentations (comme la traduction ou la résolution de coréférence) peuvent reproduire des stéréotypes de genre même lorsque l'entrée les contredit explicitement. L'article note modestement que ces conclusions sont limitées au niveau représentatif capturé par les sondes et ne mesurent pas directement les performances des tâches en aval, mais elles offrent un aperçu critique des mécanismes de formation des biais dans le TAL multilingue.