Toward Localizing and Repairing Bias in Transformer Attention Heads

Résumé technique : Vers la localisation et la réparation du biais dans les têtes d'attention des Transformers

Énoncé du problème
Les modèles de langage Transformer sont de plus en plus déployés en tant que composants logiciels, pourtant leurs sorties biaisées restent difficiles à localiser et à réparer. Les interventions de l'équité existantes opèrent généralement au niveau de l'entrée-sortie ou nécessitent le réentraînement de l'ensemble du modèle, échouant ainsi à identifier les structures internes spécifiques responsables des échecs d'équité lors de l'inférence. Bien que des recherches récentes indiquent que le comportement lié au biais dans les modèles de langage masqués peut se concentrer dans un petit ensemble de têtes d'attention, les méthodes actuelles pour modifier ces têtes reposent souvent sur une « annulation complète de la tête » (whole-head zeroing). Cette approche suppose qu'une tête sélectionnée encode principalement le biais, ce qui risque de supprimer des informations linguistiques utiles et de dégrader les performances du modèle. Il existe un besoin pour une méthode de débogage en boîte blanche capable de localiser les composants sensibles au biais et d'appliquer une modification ciblée et limitée sans réentraînement.

Méthodologie : ROBIN
Le document présente ROBIN (Repair Of Bias via INtervention), une méthode de débogage de l'équité au niveau des têtes en boîte blanche. ROBIN opère en deux étapes en utilisant un modèle transformer entraîné $f_\theta$ et un ensemble de paires de sondage (paires de textes ne différant que par un attribut protégé, tel que les pronoms de genre).

1. Étape 1 : Classement des têtes (Localisation)
   ROBIN classe les têtes d'attention en fonction de leur sensibilité à la différence entre les paires de sondage ($x_a$ et $x_b$).

   • Score : Pour chaque paire, la méthode calcule le gradient de la perte par rapport aux poids d'attention de chaque tête.
   • Agrégation : Elle calcule deux métriques par tête : l'amplitude moyenne du gradient ($G_h$) et l'amplitude moyenne du carré du gradient ($C_h$). $G_h$ capture la sensibilité constante à travers les paires, tandis que $C_h$ capture les têtes ayant des réponses nettes et concentrées.
   • Sélection : Ces scores sont normalisés et additionnés pour produire un rang combiné ($F_h$). Les $k$ meilleures têtes sont sélectionnées pour l'intervention.

2. Étape 2 : Intervention au moment de l'inférence (Réparation)
   Au lieu de mettre à zéro les têtes sélectionnées, ROBIN retire uniquement la composante de biais de leurs sorties.

   • Estimation de sous-espace : Pour chaque tête sélectionnée, la méthode estime un sous-espace de biais en analysant les vecteurs de différence entre les sorties de la tête sur les paires de sondage. Elle calcule les $r$ vecteurs singuliers à droite des plus importants de ces vecteurs de différence pour définir la direction du biais.
   • Projection : Lors de l'inférence, la sortie d'une tête sélectionnée ($x_h$) est modifiée par projection de la composante située dans le sous-espace de biais estimé ($V_h$) :
     $$x'_h = x_h - V_h^\top V_h x_h$$
   • Cette opération conserve les composantes orthogonales de la sortie de la tête, préservant ainsi le comportement linguistique général tout en supprimant le biais estimé.

Contributions clés

• Cadrage : Les auteurs présentent l'atténuation de l'équité au niveau des têtes comme une tâche de débogage logiciel en boîte blanche qui sépare explicitement la localisation des composants candidats de la modification de ces composants.
• Algorithme : La proposition de ROBIN, qui identifie les têtes d'attention sensibles au biais et supprime uniquement le sous-espace biaisé de leurs sorties lors de l'inférence, évitant ainsi la nature destructrice de l'ablation complète de la tête.
• Preuve empirique : Une étude pilote sur quatre modèles transformer pré-entraînés (BERT, DistilBERT, GPT-2, DistilGPT-2) démontrant que ROBIN réduit l'écart WinoBias tout en limitant l'augmentation de la perte de modélisation du langage.

Résultats
Évalué sur une étude pilote avec un budget de $k=20$ têtes modifiées :

• Amélioration de l'équité : ROBIN a réduit l'écart WinoBias sur les quatre modèles. La réduction absolue la plus significative a été observée sur BERT, où l'écart est passé de 45,97 à 19,14.
• Préservation des performances : Contrairement à l'annulation complète de la tête (méthodes Gradient et SquaredGrad), qui a provoqué des augmentations substantielles de la perte de modélisation du langage (par exemple, jusqu'à 8 fois l'augmentation sur GPT-2), ROBIN préserve la qualité du modèle. Sur BERT, ROBIN a obtenu l'écart le plus faible avec une perte de modélisation du langage proche de la référence (baseline). Sur GPT-2, l'augmentation de la perte était minimale par rapport à la référence.
• Coût d'inférence : L'intervention ajoute une multiplication matricielle par tête choisie. À $k=20$, la surcharge de latence variait d'environ 7 % pour les modèles de taille de base à 11 % pour les modèles distillés.
• StereoSet : Le score de stéréotype StereoSet a montré des mouvements incohérents selon les modèles et les catégories, amenant les auteurs à traiter l'écart WinoBias comme la métrique d'équité principale.

Signification et affirmations
L'article affirme que la réparation du biais au niveau des têtes doit considérer non seulement quelles têtes sont sélectionnées, mais aussi comment elles sont modifiées. Les résultats suggèrent que la suppression de sous-espace est un opérateur supérieur à l'annulation complète de la tête car elle reconnaît que les têtes d'attention soutiennent souvent des fonctions multiples (à la fois le biais et la linguistique générale).

Les auteurs positionnent ROBIN comme un outil de localisation de candidats et d'intervention mesurable, et non comme une explication causale complète ou une garantie d'équité dans tous les contextes de déploiement. Ils déclarent explicitement que la méthode fournit une réparation bornée sans réentraînement, permettant aux praticiens de choisir un budget de compromis ($k$) basé sur la dégradation mesurée des performances. L'étude reconnaît des limites, notamment l'utilisation de données chevauchantes pour le classement et l'évaluation, ainsi que l'accent mis sur des benchmarks spécifiques (WinoBias) plutôt que sur l'équité des tâches descendantes plus larges. Un travail futur est identifié comme nécessaire pour évaluer des modèles plus grands, des variantes ajustées par instructions (instruction-tuned) et des distributions de données disjointes.