💬 NLP

Estimating Grammatical Gender Directions in Contextual Embeddings under Controlled and Natural Contexts

Cet article propose un nouveau cadre pour démêler le genre grammatical du biais sémantique dans les plongements contextuels pour les langues à genre comme l'espagnol, démontrant que des contextes contrôlés non pondérés combinés à des estimateurs de centroïdes isolent efficacement les directions du genre grammatical tout en préservant les distinctions sémantiques.

Auteurs originaux : Huanping Xiao, Yingji Li

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Huanping Xiao, Yingji Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un robot bibliothécaire géant et super intelligent (un « modèle de langage ») qui a lu presque tout ce qui a été écrit en espagnol et en français. Ce robot est excellent pour comprendre les mots, mais il a un problème déroutant : il mélange deux types de « genres » très différents.

Le Genre Grammatical : Dans des langues comme l'espagnol et le français, chaque objet possède un genre simplement à cause des règles de grammaire. Une « table » est féminine, et une « chaise » est masculine, même si aucune des deux n'est un garçon ou une fille. C'est comme un uniforme que l'objet doit porter.
Le Genre Social : C'est le biais qui nous inquiète. Le robot a appris, à travers les livres et les articles du monde réel, que les « infirmières » sont généralement des femmes et que les « ingénieurs » sont généralement des hommes. C'est l'« opinion » du robot basée sur la société.

Le problème est que le cerveau du robot (ses « embeddings ») mélange ces deux éléments. Il est difficile de savoir si le robot pense qu'une « table » est féminine à cause des règles de grammaire ou parce qu'il pense que les tables sont « douces » et « féminines » (ce qui est un biais).

Le Grand Objectif

Les auteurs de cet article voula-ient apprendre au robot à séparer ces deux choses. Ils voulaient trouver la direction « pure » dans le cerveau du robot qui représente uniquement les règles de grammaire, sans le biais social. Une fois qu'ils auraient trouvé cette direction pure, ils pourraient la « désactiver » pour les objets qui ne devraient pas avoir de genre, sans pour autant supprimer accidentellement l'information de genre importante pour les métiers (comme « médecin » par rapport à « infirmière »).

Comment ils ont fait : La « Chambre Propre » contre la « Chambre Sale »

Pour déterminer la direction grammaticale pure, les chercheurs ont essayé deux manières différentes d'interroger le robot :

La Chambre Sale (Contextes Naturels) : Ils ont demandé au robot d'examiner des phrases tirées de véritables articles Wikipédia. C'est comme demander à un étudiant d'étudier dans une cafétéria bruyante. Le robot voit le mot « table » entouré d'autres mots concernant les meubles, l'art ou l'histoire. Ces mots supplémentaires « contaminent » la réponse avec un biais social.
La Chambre Propre (Modèles Contrôlés) : Ils ont créé un modèle de phrase spécial, ennuyeux et répétitif pour chaque mot. Par exemple : « Le/La [mot] a été mentionné(e) dans le texte. » Ils ont fait cela pour des milliers de mots. C'est comme placer l'étudiant dans une pièce blanche, silencieuse et sans aucune distraction.

La Découverte Surprenante :
Les chercheurs pensaient qu'ils pourraient utiliser les mathématiques pour « nettoyer » les phrases désordonnées de Wikipédia. Mais ils ont découvert que la Chambre Propre était bien supérieure. Les phrases « ennuyeuses » ont fourni la carte la plus pure et la plus précise des règles de grammaire. Essayer de corriger les phrases désordonnées avec des mathématiques ne faisait que les améliorer légèrement, mais n'atteignait jamais le niveau de qualité des phrases propres utilisées au départ.

Les Outils : Comment dessiner la carte

Une fois qu'ils avaient les données, ils avaient besoin de tracer une ligne (un vecteur) qui sépare le genre masculin de la grammaire du genre féminin. Ils ont essayé trois outils différents :

La Moyenne (Centroïde) : Ils ont simplement pris tous les mots « masculins », en ont fait la moyenne, pris tous les mots « féminins », en ont fait la moyenne, et ont tracé une ligne entre ces deux centres.
Le Professeur Strict (SVM & LDA) : Ce sont des outils mathématiques complexes qui tentent de tracer une ligne parfaite séparant chaque exemple parfaitement, comme un professeur strict corrigeant un examen.

Le Gagnant :
Étonnamment, la méthode simple de la Moyenne (Centroïde) a été la plus efficace. Les « Professeurs Stricts » complexes se sont laissé confondre par le bruit et ont commis des erreurs. La moyenne simple était assez robuste pour ignorer le chaos et trouver la véritable direction grammaticale.

Le Résultat : Une Solution Équilibrée

Les chercheurs ont créé une nouvelle façon de tester leur travail. Ils voulaient s'assurer que lorsqu'ils retiraient le « genre grammatical » d'objets comme les « tables » et les « chaises », ils n'effaçaient pas accidentellement le « genre social » de mots comme « acteur » et « actrice ».

Leur méthode a parfaitement fonctionné :

Elle a réussi à supprimer le genre grammatical inutile des objets inanimés (pour que le robot cesse de penser qu'une « table » est intrinsèquement féminine).
Elle a préservé les distinctions de genre social importantes pour les métiers (pour que le robot comprenne toujours la différence entre un homme et une femme médecin).

En Bref

Cet article est comme un guide pour nettoyer une vitre sale. Les auteurs ont découvert qu'essayer d'essuyer la vitre alors qu'elle est encore couverte de pluie et de boue (texte naturel) ne fonctionne pas bien. Au lieu de cela, il faut retirer la vitre, la mettre dans une pièce propre (modèles contrôlés) et l'essuyer là-bas. Ils ont également découvert qu'un essuyage simple et doux (la moyenne) fonctionne mieux qu'une tentative de frotter chaque point avec un outil complexe. Cela nous permet de corriger le biais du robot sans briser sa capacité à comprendre les métiers et les rôles humains.

Résumé Technique : Estimation des directions du genre grammatical dans les plongements contextuels sous contextes contrôlés et naturels

1. Énoncé du problème

Les modèles de langage pré-entraînés contextuels (ex. BERT, XLM-R) encodent des stéréotypes de genre sociaux omniprésents. Bien que les méthodes de débiaisage existantes traitent efficacement ce problème en anglais (une langue sans genre grammatical), elles font face à des limitations critiques lorsqu'elles sont appliquées à des langues grammaticalement marquées par le genre, comme l'espagnol et le français. Dans ces langues, deux signaux de genre distincts coexistent au sein des plongements :

Genre grammatical morphosyntaxique obligatoire : Une propriété linguistique inhérente où les noms inanimés sont fixés comme masculins ou féminins et nécessitent un accord avec les articles et les adjectifs.
Biais de genre sémantique social : Des stéréotypes indésirables appris à partir de corpus du monde réel.

Les approches actuelles confondent ces deux signaux. De plus, les travaux antérieurs de désenchevêtrement se sont limités aux plongements de mots statiques, laissant les représentations contextuelles inexplorées. Un défi majeur est la contamination sémantique : même les noms inanimés sémantiquement neutres absorbent des descriptions de genre contextuelles issues de textes naturels, ce qui rend difficile l'isolement de la direction pure du genre grammatical nécessaire à un débiaisage efficace.

2. Méthodologie

Les auteurs proposent un cadre conscient de la contamination pour désenchevêtrer le genre grammatical du biais sémantique dans les plongements contextuels. La méthodologie se compose de quatre composantes principales :

A. Construction des données

Noms inanimés : Des ensembles de données équilibrés de noms inants en espagnol et en français ont été construits (environ 6 000 par langue) en filtrant les noms humains, professionnels et propres.
Sources de contexte : Deux types de contextes distincts ont été créés pour chaque nom :
- Templates contrôlés : Modèles sémantiquement neutres et fixes, conçus pour minimiser le bruit thématique, lexical et de cooccurrence, servant à extraire les signaux grammaticaux purs.
- Contextes naturels : Phrases provenant de Wikipédia pour quantifier le degré de contamination sémantique présent dans l'usage réel.
Lexique d'évaluation : Un ensemble séparé de 100 paires de professions masculin-féminin par langue a été créé pour tester si le débiaisage préserve les distinctions de genre sémantiques légitimes.

B. Quantification de la contamination
Le cadre caractérise la contamination sémantique comme le degré auquel les plongements de noms inanimés s'alignent sur un axe de genre sémantique (dérivé d'ensembles de mots d'attributs masculins/féminins). En utilisant un système de notation de type WEAT, les auteurs calculent un score de contamination pour chaque nom. Pour garantir la robustesse, deux stratégies de normalisation sont appliquées :

Normalisation par la moyenne : Corrige les décalages globaux de contamination.
Normalisation par la médiane : Assure la robustesse face aux valeurs aberrantes et aux distributions asymétriques.

C. Estimation de la direction du genre grammatical
Trois estimateurs sont implémentés pour identifier la direction du genre grammatical ( $d_g$ ) à partir des plongements de noms :

Estimateur de centroïde : Calcule la différence entre les plongements moyens des ensembles masculins et féminins (approche par décalage de distribution).
Analyse Discriminante Linéaire (LDA) : Modélise le genre comme un problème de séparation supervisée pour maximiser la séparabilité des classes.
Machine à Vecteurs de Support Linéaire (SVM) : Utilise le vecteur normal de l'hyperplan de séparation comme direction de genre.

D. Cadre d'évaluation
Un système de métriques à double objectif est proposé pour équilibrer deux buts conflictuels :

Score de réduction des noms inanimés ( $R_{noun}$ ) : Mesure la suppression de la fuite du genre grammatical sur les noms inanimés après projection orthogonale.
Score de préservation des professions ( $P_{occ}$ ) : Mesure la rétention des distinctions de genre sémantique dans les termes de professions après projection.
Score de compromis : La moyenne harmonique ( $T_{harm}$ ) des deux scores ci-dessus est utilisée comme métrique primaire pour classer les méthodes, pénalisant les déséquilibres extrêmes.

3. Résultats clés

Les expériences ont été menées sur quatre encodeurs pré-entraînés (BETO, mBERT, XLX-R pour l'espagnol ; CamemBERT, mBERT, XLM-R pour le français) en utilisant les plongements de la dernière couche.

Performance des estimateurs : L'estimateur de centroïde a systématiquement surpassé les bases discriminantes (LinearSVM et LDA) sur toutes les métriques. Il a obtenu le score de compromis harmonique le plus élevé (0,870), suggérant que le genre grammatical dans les plongements contextuels se manifeste davantage comme un décalage de distribution globale que comme une frontière de classification complexe.
Impact de la source de contexte : Les contextes contrôlés non pondérés ont produit les directions de genre grammatical les plus pures.
- Les configurations contrôlées non pondérées ont atteint la plus haute réduction de la fuite grammaticale ( $R_{noun} \approx 0,98$ ) tout en maintenant une forte préservation sémantique.
- Les contextes naturels introduisent une variabilité qui affaiblit la clarté du signal estimé.
- Les stratégies de pondération (moyenne/médiane) n'ont apporté que des améliorations marginales dans certains cas spécifiques et ont souvent réduit la performance de réduction au niveau des noms, agissant plus comme un ajustement conservateur que comme un moteur de performance primaire.
Efficacité du débiaisage : La méthode de projection orthogonale a réussi à supprimer les composantes de genre grammatical des noms inanimés sans perturber la structure sémantique lexicale générale, comme validé par des tests de stabilité sémantique.

4. Contributions

L'article revendique les contributions primaires suivantes :

Désenchevêtrement contextuel pionnier : C'est le premier travail tentant le désenchevêtrement du genre grammatical et sémantique spécifiquement pour les modèles de langage contextuels, dépassant les plongements statiques utilisés dans la littérature antérieure.
Formalisation de la contamination sémantique : Les auteurs définissent et quantifient formellement la contamination sémantique dans les représentations de noms inanimés pour les modèles contextuels, introduisant des stratégies de pondération conscientes de la contamination pour supprimer les artefacts de distribution biaisés.
Nouveau cadre d'évaluation : L'article propose un cadre d'évaluation à double objectif (Réduction de la fuite + Préservation sémantique) avec une métrique de compromis harmonique, répondant au manque de standards équilibrés pour le débiaisage dans les langues grammaticalement marquées par le genre.

5. Signification et Limites

Signification :
L'étude démontre que les templates contrôlés sont supérieurs aux corpus naturels pour isoler les signaux de genre grammatical, éliminant efficacement le bruit du corpus. Elle établit qu'une agrégation simple basée sur le centroïde est plus robuste que les classificateurs discriminants pour extraire ces directions dans des espaces contextuels de haute dimension et bruités. Cela fournit une base fiable pour la recherche multilingue sur le biais de genre en séparant les règles grammaticales formelles du biais sémantique inhérent.

Limites et directions futures :

Portée typologique : Les résultats sont restreints à l'espagnol et au français (langues romanes avec des systèmes de genre binaire). Les auteurs notent qu'il n'est pas clair si ces comportements de désenchevêtrement linéaire se généralisent aux langues avec des interactions cas-genre, des systèmes neutres ou des structures de genre non binaires.
Spécificité du modèle : Les résultats sont basés sur les plongements figés de la dernière couche de certaines architectures de transformateurs. Le comportement du désenchevêtrement à travers différentes couches ou architectures de modèles reste une question ouverte.
Stratégies de pondération : Les schémas de pondération par moyenne/médiane actuels sont reconnus comme sous-optimaux. Les auteurs suggèrent que les travaux futurs devraient explorer des paradigmes adaptatifs, tels que la pondération adversaire ou les interventions causales, pour mieux modéliser la contamination sémantique.

Les auteurs concluent que, bien que les stratégies de pondération offrent des ajustements mineurs, l'approche la plus efficace pour estimer les directions du genre grammatical reste l'utilisation de contextes contrôlés non pondérés combinée à une estimation par centroïde.