GKnow: Measuring the Entanglement of Gender Bias and Factual Gender

Résumé Technique : GKnow : Mesurer l'Intrication du Biais de Genre et du Genre Factuel

Énoncé du Problème
Les recherches récentes en interprétabilité mécaniste se sont concentrées sur l'identification et l'atténuation du biais de genre dans les modèles de langage de grande taille (LLM) en analysant des composants spécifiques responsables des sorties biaisées. Cependant, les approches actuelles souffrent de deux limitations principales : (i) elles ciblent souvent des tâches très spécifiques, telles que la prédiction de pronoms genrés, et (ii) elles ne parviennent pas à distinguer entre le genre factuel (l'association sémantique correcte entre un nom et son genre, par exemple « femme » $\to$ « elle ») et le genre stéréotypé (des sorties basées sur des stéréotypes sociaux, par exemple « infirmière » $\to$ « elle »).

Ce manque de distinction conduit à un effet secondaire critique dans les efforts de débiaisage : la dégradation des connaissances factuelles sur le genre d'un modèle. Les travaux existants suggèrent que les signaux de biais de genre et de genre factuel sont intriqués au sein des représentations internes du modèle, pourtant l'histoire mécaniste de cette intrication aux niveaux du circuit et du neurone reste largement inexpliquée. Par conséquent, des techniques de débiaisage simples comme l'ablation de neurones peuvent involontairement supprimer la capacité du modèle à prédire correctement le genre factuel tout en revendiquant un succès sur les benchmarks de biais.

Méthodologie
Pour combler ces lacunes, les auteurs proposent une approche multifacette combinant la curation de jeux de données, l'analyse de circuits et des expériences d'ablation de neurones sur deux modèles transformateurs uniquement décodeurs : Llama-3.1-8b et Olmo-7b.

1. Curation de Jeu de Données (GKnow) :
   Les auteurs introduisent GKnow, un benchmark conçu pour évaluer les connaissances et les biais de genre à travers divers types de prédiction. GKnow catégorise les invites par l'hypothèse (sujet) et la sortie attendue. Le jeu de données comprend :

   • Sous-ensembles factuels : Basés sur des noms lexicalisés genrés (par exemple, « femme »), des prénoms et des indicateurs de genre explicites.
   • Sous-ensembles stéréotypés : Basés sur des professions stéréotypiquement genrées (par exemple, « infirmière ») ou des traits (par exemple, « nourricier »).
   • Types de prédiction : Prédiction de pronoms genrés, identification du genre et prédiction de prénoms.
     GKnow permet de séparer les tâches en catégories « stéréotypées » (propices au biais) et « factuelles » (basées sur la connaissance) pour mesurer l'intrication.

2. Analyse de Circuits :
   En utilisant EAP-IG (Edge Attribution Patching with Integrated Gradients), les auteurs identifient les circuits minimaux fidèles responsables des prédictions genrées. Ils analysent :

   • Intersection sur Union (IoU) : Mesurant le chevauchement des arêtes et des nœuds entre les circuits pour différentes tâches.
   • Fidélité inter-tâche : Évaluant si un circuit identifié pour une tâche (par exemple, prédiction stéréotypée) peut fidèlement reproduire le comportement d'une tâche différente (par exemple, prédiction factuelle).

3. Analyse au Niveau des Neurones et Ablation :
   Les auteurs emploient les Intégrales de Gradient pour identifier les neurones pertinents pour la tâche, spécifiquement ceux associés aux prédictions stéréotypées (car ce sont les cibles typiques du débiaisage). Ils effectuent une ablation de neurones (mise des activations à zéro) sur les 10 et 50 neurones identifiés en tête.

   • Évaluation : L'impact de l'ablation est mesuré sur GKnow, StereoSet et DiFair (un benchmark pour l'évaluation désintriquée des connaissances de genre et du biais).
   • Métriques : L'étude suit $P_{exp}$ (probabilité du token attendu), $P_{opp}$ (token de genre opposé), $P_{other}$, et l'écart de probabilité ($\Delta$) entre les sorties masculines et féminines.

Résultats Clés

• Intrication au Niveau des Circuits :

  • Les circuits responsables des prédictions de genre stéréotypées et factuelles montrent un fort chevauchement et une faible séparation.
  • La fidélité inter-tâche est élevée : les circuits identifiés pour des tâches stéréotypées peuvent récupérer la performance des tâches factuelles (et vice versa). Par exemple, l'application du circuit gender_prediction_based_on_stereo au sous-ensemble gender_prediction_based_on_pronoun a atteint une fidélité de 1,0.
  • Cela indique que le genre factuel et le genre stéréotypé sont sévèrement intriqués au niveau des circuits.

• Intrication au Niveau des Neurones et Effets de l'Ablation :

  • L'ablation de neurones identifiés via des invites stéréotypées provoque une diminution significative de la capacité du modèle à prédire le genre factuel.
  • Dans les sous-ensembles GKnow Factuel, l'ablation des neurones en tête a conduit à des baisses nettes de $P_{exp}$ (par exemple, passant de 91,49 % à 79,86 % pour Llama avec 50 neurones) et à des augmentations de $P_{opp}$ et $P_{other}$.
  • Crucialement, bien que l'ablation améliore souvent les métriques sur les benchmarks stéréotypés (par exemple, en réduisant $P_{exp}$ pour les prédictions stéréotypées dans StereoSet), ces résultats « positifs » masquent un effondrement simultané de la compétence en genre factuel.
  • L'écart de probabilité ($\Delta$) entre les sorties masculines et féminines diminue considérablement, indiquant une perte de confiance dans les prédictions genrées à la fois dans les sous-ensembles factuels et stéréotypés.

• Interprétabilité Humaine :

  • En utilisant la technique Logit Lens, les auteurs ont constaté que les neurones partagés entre différentes tâches de genre sont interprétables par l'homme. Par exemple, des neurones spécifiques dans Olmo et Llama ont été trouvés supprimer ou promouvoir des tokens genrés spécifiques (par exemple, des pronoms comme « elle » ou des prénoms comme « Marie ») à la fois dans des contextes factuels et stéréotypés.

Contributions Clés

1. Benchmark GKnow : La curation de GKnow, qui comble une lacune dans les ressources disponibles pour évaluer l'intrication du biais de genre et des connaissances factuelles sur le genre à travers divers types de tâches en anglais.
2. Preuve au Niveau des Circuits : La démonstration, via EAP-IG, que les signaux de genre stéréotypés et factuels sont intriqués au sein des mêmes circuits computationnels, remettant en question l'hypothèse selon laquelle ils peuvent être facilement séparés.
3. Analyse d'Ablation de Neurones : La découverte empirique que l'ablation simple de neurones, bien que potentiellement efficace pour réduire le biais stéréotypé sur des benchmarks spécifiques, compromet gravement les connaissances factuelles sur le genre. Cela suggère que l'ablation est une méthode autonome peu fiable pour le débiaisage.

Signification et Revendications
L'article soutient que l'intrication du biais de genre et du genre factuel est une propriété fondamentale des architectures actuelles de LLM, observable à la fois aux niveaux du circuit et du neurone. Les auteurs affirment que :

• Les méthodes actuelles de débiaisage sont défectueuses : Des techniques comme l'ablation de neurones, qui ciblent les « neurones de biais », détruisent involontairement les connaissances factuelles car les mécanismes sous-jacents sont partagés.
• Les benchmarks d'évaluation sont insuffisants : Les benchmarks qui ne tiennent pas compte du genre factuel (comme StereoSet) peuvent masquer la dégradation de la compétence linguistique causée par les tentatives de débiaisage.
• Le travail futur nécessite une évaluation robuste : Il y a un besoin urgent de jeux de données d'évaluation du biais de genre qui mesurent explicitement la préservation des connaissances factuelles sur le genre parallèlement à la réduction du biais.

Les auteurs concluent par une mise en garde contre « l'ablation de neurones non filtrée » comme seule méthode de débiaisage du genre, soulignant que sans des benchmarks robustes comme GKnow, le domaine risque d'améliorer les métriques de biais au détriment de la compréhension de base du langage. L'article reconnaît des limites, notant que les résultats sont actuellement spécifiques à l'anglais et à des modèles relativement petits, et que le biais de genre peut se manifester sous des formes non couvertes par leurs stéréotypes basés sur les professions et les adjectifs.