Fairness Pruning: Locating Demographic Bias in GLU-MLP Layers via Differential Activations

Résumé Technique : Élagage de l'Équité (Fairness Pruning)

Énoncé du Problème
Les grands modèles de langage (LLM) héritent et amplifient les biais démographiques présents dans leurs corpus de pré-entraînement. Les stratégies d'atténuation actuelles interviennent à trois phases distinctes du cycle de vie : le filtrage des données de pré-entraînement, l'ajustement fin (fine-tuning) ou l'alignement post-entraînement, et la modification des représentations post-traitement. Les auteurs soutiennent que ces approches partagent un déficit structurel : elles interviennent sur l'ensemble des poids du modèle simultanément ou modifient les plongements (embeddings) sans distinguer les poids codant le biais de ceux soutenant les capacités générales. Ce manque de spécificité risque de dégrader les performances générales du modèle ou de provoquer un oubli catastrophique. Bien que l'interprétabilité mécaniste (par exemple, les auto-encodeurs clairsemés/Sparse Autoencoders) offre de la précision, elle nécessite des ressources de calcul importantes pour un entraînement supplémentaire, créant un fossé entre l'intervention de masse et la dissection précise et abordable du biais.

Méthodologie : Élagage de l'Équité (Fairness Pruning)
Le papier propose l'« Élagage de l'Équité », une méthode d'intervention structurelle légère conçue pour localiser et atténuer le biais démographique sans entraînement supplémentaire. La méthode est spécifiquement adaptée aux architectures MLP basées sur GLU (par exemple, Llama, Salamandra) et fonctionne via un pipeline en quatre phases :

1. Construction de Prompts Contrastifs : La méthode utilise des paires de prompts minimaux et contrastifs où la seule différence est un attribut démographique unique (par exemple, « homme » vs « femme »). Pour garantir une comparaison d'activation valide, les deux prompts d'une paire doivent être segmentés (tokenisés) exactement sur le même nombre de tokens. Les auteurs ont publié deux jeux de données publics (anglais et espagnol) couvrant cinq catégories : l'âge, le genre, l'apparence physique, la race/l'ethnie et la religion.
2. Capture d'Activation Différentielle : Lors de l'inférence, la méthode capture les activations à l'entrée de la couche down_proj des blocs MLP. Ce point spécifique est choisi car, dans les architectures SwiGLU, la contribution effective d'un neurone est le produit des sorties de gate_proj et up_proj, qui est ensuite projetée par down_proj.
3. Scoring de Neurones :
   • BiasScore (Score de Biais) : Calculé comme la différence absolue entre les moyennes des activations des deux prompts d'une paire, moyennée sur toutes les paires d'une catégorie. Cela identifie les neurones qui réagissent différemment aux changements démographiques.
   • FairnessPruningScore (Score d'Élagage d'Équité) : Une métrique composite combinant le BiasScore avec l'importance structurelle (estimée via la magnitude de crête à crête, PPM). Cependant, dans les expériences exploratoires (suppression de $\le$ 40 neurones), les auteurs ont constaté que le BiasScore seul était suffisant, car l'échelle de l'intervention était trop faible pour nécessiter une pénalisation de l'importance structurelle.
4. Mise à Zéro Sélective : Les neurones identifiés sont « mis à zéro » en réglant les lignes correspondantes dans les poids gate_proj et up_proj, ainsi que la colonne correspondante dans les poids down_proj, à zéro. Cette opération symétrique garantit que le neurone est retiré du flux résiduel.

Principales Contributions

1. Une Méthode de Localisation Sans Entraînement : Une méthode pour localiser le biais démographique dans les LLM en utilisant des activations différentielles sur des prompts contrastifs, exécutable sur du matériel grand public sans entraînement supplémentaire.
2. Jeux de Données Publics : La publication de deux jeux de données de paires de prompts contrastifs en anglais et en espagnol, alignés avec les benchmarks BBQ et EsBBQ.
3. Preuve Empirique de Circuits Dissociables : Démonstration que le traitement des attributs démographiques et les capacités générales du modèle opèrent sur des circuits suffisamment dissociables, permettant une intervention ciblée sans dégradation notable du raisonnement ou des connaissances.
4. Découverte de la Déstabilisation Bidirectionnelle : Preuve que la mise à zéro des neurones sélectionnés par un score d'activation différentielle non signé produit des effets non monotones et d'inversion de signe sur le biais global. Cela indique que les ensembles de candidats mélangent des neurones qui amplifient les stéréotypes avec ceux qui les suppriment, et que l'effet net dépend du signe qui prédomine.

Résultats

• Localisation : Les signaux de biais sont robustement localisés dans les dernières couches des blocs MLP. Dans Salamandra-2B, jusqu'à 94 % des neurones les plus biaisés pour une catégorie ont été trouvés dans la dernière couche. La structure spatiale de ces neurones est dispersée à travers la largeur de la couche, et non contiguë.
• Spécificité du Circuit : Il existe un faible chevauchement entre les circuits des différentes catégories démographiques (par exemple, les circuits de Genre partagent très peu de neurones avec les autres), suggérant une spécialisation fonctionnelle.
• Effets de l'Intervention :
  • Biais : La mise à zéro des neurones identifiés n'a pas produit une réduction constante du biais. Au lieu de cela, elle a provoqué une « déstabilisation du biais bidirectionnelle ». Dans certains cas, le biais a été réduit ; dans d'autres, il a été amplifié ou inversé (par exemple, passant d'un stéréotype à un anti-stéréotype). Cela confirme que les neurones sélectionnés agissent comme des régulateurs ayant des effets opposés, et que la mise à zéro aveugle perturbe le mécanisme de modulation.
  • Capacités : L'intervention a été extrêmement chirurgicale. La mise à zéro de jusqu'à 40 neurones dans Llama-3.2-1B (moins de 0,031 % de la largeur totale du MLP) a entraîné une rétention moyenne de 99,49 % dans les benchmarks de raisonnement et de connaissances générales (WikiText, MMLU, ARC-Challenge, HellaSwag).
• Observations Qualitatives : Les exemples de texte générés ont montré que le même ensemble de neurones mis à zéro pouvait réduire le biais dans un contexte tout en l'amplifiant dans un autre, ou laisser les connaissances factuelles (par exemple, « Capitale de la France ») totalement inchangées.

Signification et Revendications
Le papier affirme établir les fondements méthodologiques pour passer d'une « mise à zéro aveugle » vers une « modulation de comportement directionnelle ».

• Dissociabilité : La découverte principale est que le traitement du biais et les capacités générales sont dissociables, validant l'hypothèse selon laquelle le biais est concentré dans des neurones identifiables plutôt que diffusément réparti.
• Limites des Métriques Non Signées : Le travail souligne que l'utilisation de scores différentiels non signés (magnitude uniquement) mène à des résultats imprévisibles car elle confond les amplificateurs et les régulateurs.
• Direction Future : Les auteurs soutiennent que la prochaine étape n'est pas simplement de supprimer plus de neurones, mais de faire évoluer le jeu de données pour qu'il soit asymétrique (connaître a priori quel prompt est biaisé). Cela permettrait d'obtenir un BiasScore signé, permettant le « pilotage d'activation » (mise à l'échelle multiplicative) plutôt que la mise à zéro, afin de pousser le modèle vers la neutralité sans mises à jour de gradient.

L'étude est modeste dans son ampleur, limitée aux modèles de moins de 4 milliards de paramètres et se concentre sur les attributs démographiques explicites via des benchmarks à choix multiples. Elle exclut explicitement les mécanismes d'attention et la dynamique de génération ouverte de sa validation actuelle, notant que la dynamique de déstabilisation observée peut ne pas se généraliser directement à ces réglages sans étude supplémentaire.