Locating Demographic Bias at the Attention-Head Level in CLIP's Vision Encoder

Cette étude propose une audit de biais mécanistique pour localiser les préjugés démographiques au niveau des têtes d'attention individuelles dans l'encodeur visuel de CLIP, démontrant que l'ablation de têtes spécifiques réduit efficacement les biais de genre tout en révélant une localisation plus diffuse pour les biais liés à l'âge.

L'essentiel

Imaginez que l'intelligence artificielle (IA) est comme un immense chef d'orchestre qui dirige un symphonie de millions de musiciens. Ce chef, c'est le modèle CLIP, une IA très intelligente capable de regarder une photo et de deviner ce qu'elle représente (par exemple, "c'est un médecin" ou "c'est une infirmière").

Le problème ? Ce chef d'orchestre a parfois des préjugés. Par exemple, s'il voit une femme médecin, il a tendance à penser : "Ah, c'est sûrement une infirmière !" alors que s'il voit un homme médecin, il dit : "Oui, c'est un médecin."

Jusqu'à présent, les chercheurs savaient que le chef était biaisé, mais ils ne savaient où exactement dans la tête de l'IA se cachait ce problème. Est-ce dans le cerveau gauche ? Dans un muscle spécifique ? C'est là que cette recherche intervient.

Voici une explication simple de leur découverte, avec quelques analogies :

1. Le Détective et la "Loupe à Rayons X"

Les chercheurs ont créé une nouvelle méthode pour faire une "autopsie" de l'IA, mais sans la tuer. Ils utilisent une loupe spéciale appelée TextSpan et une boussole appelée CAV (Concept Activation Vectors).

• L'analogie : Imaginez que le modèle est une grande usine de tri de colis. Chaque colis est une image. L'usine a des centaines de petits trieurs (les "têtes d'attention").
• La découverte : Les chercheurs ont mis des étiquettes spéciales sur les colis : "Homme", "Femme", "Jeune", "Vieux". Ils ont regardé quels trieurs s'activaient le plus quand ils voyaient ces étiquettes.
• Le résultat : Ils ont trouvé que certains trieurs, situés tout à la fin de l'usine (les dernières couches), étaient obsédés par le genre. Au lieu de regarder si la personne tenait un stéthoscope (ce qui définit un médecin), ils regardaient si la personne avait l'air "homme" ou "femme" et changeaient le verdict en conséquence.

2. L'Expérience du "Silence Radio" (Ablation)

Pour prouver que c'était bien ces trieurs qui causaient le problème, les chercheurs ont fait une expérience radicale : ils ont coupé le courant à ces trieurs spécifiques (une technique appelée "ablation").

• Ce qui s'est passé pour le Genre (Femmes/Hommes) :
  C'était comme si on avait trouvé un court-circuit précis. Quand ils ont coupé ces 4 petits trieurs (sur 384 au total !), l'IA s'est mise à raisonner beaucoup mieux.

  • Avant : "Femme + Stéthoscope = Infirmière".
  • Après : "Femme + Stéthoscope = Médecin".
  • Le miracle : Non seulement l'IA est devenue plus juste, mais elle a aussi fait moins d'erreurs en général ! C'est comme si en enlevant un mauvais réflexe, le chef d'orchestre jouait mieux sa partition.

• Ce qui s'est passé pour l'Âge (Jeune/Vieux) :
  Là, c'était plus compliqué. Les chercheurs ont cherché les trieurs responsables des préjugés sur l'âge, mais quand ils les ont coupés, rien n'a vraiment changé.

  • L'analogie : Le préjugé sur l'âge n'est pas un court-circuit unique. C'est comme une brume qui flotte partout dans l'usine. Il est diffus, éparpillé dans des milliers de petits endroits. Enlever un ou deux trieurs ne suffit pas à dissiper la brume.

3. La Leçon Importante : Ce n'est pas une solution magique

Il y a une nuance très importante à comprendre. En coupant ces trieurs biaisés, les chercheurs n'ont pas créé une IA "neutre" parfaite.

• L'analogie du balancier : Imaginez une balance. Avant, elle penchait trop du côté "Infirmière" pour les femmes. En coupant le biais, elle a penché vers "Médecin". C'est mieux, mais la balance a juste bougé d'un côté à l'autre.
• Le problème : Parfois, en corrigeant l'erreur pour les femmes médecins, l'IA a commencé à confondre les infirmières avec des médecins. Enlever un biais ne fait pas disparaître la discrimination, il la déplace. C'est comme si on enlevait un obstacle sur une route, mais que la voiture prenait une autre route tout aussi dangereuse.

En résumé

Cette recherche est comme un scanner médical pour l'IA :

1. Elle a prouvé qu'on peut trouver exactement où se cachent les préjugés de genre dans le cerveau de l'IA (dans quelques petits trieurs à la fin du processus).
2. Elle a montré que pour le genre, le problème est concentré et facile à isoler.
3. Elle a révélé que pour l'âge, le problème est diffus et beaucoup plus dur à attraper.
4. Elle nous rappelle que "couper" le biais n'est pas la solution finale : il faut comprendre comment l'IA raisonne pour ne pas simplement déplacer le problème ailleurs.

C'est une première étape cruciale : on ne peut pas réparer ce qu'on ne peut pas voir. Et maintenant, grâce à cette étude, nous savons exactement où regarder.

Résumé technique

Voici un résumé technique détaillé de l'article « Locating Demographic Bias at the Attention-Head Level in CLIP's Vision Encoder », rédigé en français.

1. Problématique

Les modèles de fondation (foundation models) comme CLIP, entraînés sur des données web massives, perpétuent systématiquement les biais sociétaux présents dans leurs corpus d'entraînement. Bien que les audits de fairness standards puissent quantifier ces biais au niveau des prédictions (par exemple, un classifieur CLIP identifiant à tort les femmes médecins comme des infirmières), ils échouent à expliquer où et comment ces biais sont encodés à l'intérieur de l'architecture du réseau.

L'objectif de cet article est de combler ce vide en proposant une audit de fairness mécanistique capable de localiser les biais démographiques (genre et âge) au niveau des têtes d'attention individuelles dans les encodeurs de vision par transformateurs (Vision Transformers ou ViT), spécifiquement dans l'encodeur visuel de CLIP (ViT-L-14).

2. Méthodologie

Les auteurs proposent un pipeline combinant trois techniques clés pour localiser et valider les biais :

A. Décomposition du flux résiduel projeté (Projected Residual-Stream Decomposition)

L'encodeur est traité comme un flux résiduel additif. La représentation finale de l'image est décomposée en contributions additives provenant de chaque tête d'attention et de chaque bloc MLP. Cela permet d'isoler mathématiquement l'apport de chaque composant individuel à la représentation finale.

B. Classement des têtes basé sur des CAV "Zero-Shot" (Zero-shot CAV-Based Head Ranking)

Les auteurs adaptent les Concept Activation Vectors (CAV) au contexte multimodal de CLIP sans nécessiter d'entraînement supplémentaire :

• Prototypes textuels : Des concepts démographiques (Homme, Femme, Jeune, Âgé, etc.) et des professions sont représentés par des moyennes d'embeddings textuels (générés par l'encodeur texte de CLIP).
• Alignement : Pour chaque tête d'attention, on calcule la similarité cosinus entre la sortie projetée de la tête et les prototypes démographiques vs les prototypes de profession.
• Sélection : Une tête est considérée comme un candidat biaisé si elle s'aligne fortement avec un prototype démographique (plutôt que professionnel) tout en ayant une spécificité directionnelle (répondant à un genre ou un âge spécifique).

C. Analyse TextSpan augmentée par le biais (Bias-Augmented TextSpan Analysis)

Pour donner une interprétation sémantique aux têtes identifiées, les auteurs utilisent l'algorithme TextSpan avec un dictionnaire augmenté. Ils ajoutent les prototypes démographiques au dictionnaire de concepts visuels standard. Si un prototype démographique (ex: "femme") apparaît parmi les textes explicatifs principaux d'une tête, cela fournit une corroboration qualitative de l'encodage démographique.

D. Ablation Moyenne et Contrôle Aléatoire (Mean Ablation & Random Control)

Pour valider la causalité, les auteurs effectuent une ablation moyenne : la sortie projetée d'une tête suspectée est remplacée par sa moyenne calculée sur l'ensemble de données, neutralisant ainsi sa contribution spécifique à l'image.

• Contrôle : Pour s'assurer que l'effet n'est pas dû à la simple réduction de la capacité d'attention, ils comparent les résultats avec une ablation de têtes aléatoires appariées par couche (Layer-Matched Random Control).

3. Contributions Clés

1. Méthodologie diagnostique : Une approche nouvelle pour localiser les biais démographiques au niveau des têtes d'attention en injectant des prototypes démographiques dans l'analyse TextSpan, permettant au biais de concurrencer les concepts visuels généraux pour expliquer la variance.
2. Preuve de faisabilité sur CLIP : Démonstration que le pipeline identifie des têtes spécifiques responsables du biais de genre, dont l'ablation réduit les disparités de prédiction tout en améliorant (ou maintenant) la précision globale.
3. Différenciation des attributs protégés : Mise en évidence que la localisabilité du biais varie selon l'attribut : le biais de genre est concentré, tandis que le biais d'âge semble être encodé de manière plus diffuse.

4. Résultats Expérimentaux

L'étude a été menée sur le benchmark FACET (42 classes de professions) avec l'encodeur CLIP ViT-L-14.

Biais de Genre

• Identification : Le pipeline a identifié un ensemble compact de 4 têtes dans les couches terminales (notamment la couche 23).
• Impact de l'ablation :
  • Réduction du biais global (mesuré par la statistique de Cramér's V) de 0.381 à 0.362.
  • Amélioration marginale de la précision globale (+0.42%).
  • Le contrôle aléatoire n'a produit aucun changement significatif, confirmant que l'effet est spécifique aux têtes identifiées.
• Dominance d'une seule tête : La tête L23H4 (Couche 23, Tête 4) est responsable de la majorité de la réduction du biais (87% de la réduction dans la classe "Médecin").
• Redistribution : L'ablation corrige les prédictions erronées (ex: les femmes médecins sont moins souvent classées comme infirmières), mais cela se fait au détriment de la précision sur d'autres classes (ex: les infirmières sont moins bien classées), montrant que le biais est utilisé comme signal de routage par le modèle.

Biais d'Âge

• Résultats faibles : Bien que des têtes candidates aient été identifiées, leur ablation produit des effets faibles et incohérents.
• Conclusion : Le biais lié à l'âge semble être encodé de manière diffuse à travers le réseau, plutôt que concentré dans quelques têtes spécifiques, rendant la localisation et la correction par ablation beaucoup plus difficiles que pour le genre.

Analyse par Classe (Exemples)

• Médecin : L'ablation de L23H4 augmente la précision pour les femmes médecins de 13,4 % à 26,3 %, réduisant la confusion avec "Infirmière".
• Artisan (Craftsman) : Réduction similaire du biais de genre, confirmant que L23H4 joue un rôle de routage démographique général.
• Garde (Guard) : Pour le biais d'âge (jeunes vs âgés), l'ablation des têtes suspectées n'a pas réduit la disparité, confirmant la nature diffuse du biais d'âge.

5. Signification et Limites

Signification :

• Ce travail prouve qu'il est possible de localiser mécanistiquement les biais démographiques dans les encodeurs de vision discriminatifs.
• Il révèle une hétérogénéité dans l'encodage des biais : le genre est canalisé par des "goulots d'étranglement" spécifiques (têtes finales), tandis que l'âge est plus dispersé.
• Il met en garde contre l'ablation comme stratégie de débiaisage directe : supprimer un signal biaisé peut simplement déplacer le biais vers une autre classe ou un autre attribut, sans créer un modèle neutre. L'ablation est ici un outil diagnostique puissant.

Limites :

• L'analyse se concentre sur les couches terminales (20-23) où la variance est la plus forte.
• Le groupe "Non-binaire" est trop petit dans le dataset FACET pour une analyse statistique robuste.
• L'ablation moyenne supprime toute la contribution de la tête, pas seulement la composante biaisée, ce qui limite la finesse de l'intervention.
• La sélection des seuils utilise la métrique d'évaluation (Cramér's V), ce qui présente un risque de circularité, bien que mitigé par les contrôles aléatoires et l'analyse TextSpan.

En conclusion, cette étude offre une nouvelle perspective sur l'interprétabilité des modèles de vision, démontrant que les biais ne sont pas seulement une propriété émergente de la sortie, mais qu'ils peuvent être tracés jusqu'à des composants architecturaux spécifiques, avec des stratégies d'encodage différentes selon l'attribut démographique concerné.