Interpretable Debiasing of Vision-Language Models for Social Fairness

Cet article présente DeBiasLens, un cadre de débiaisage interprétable et agnostique au modèle qui utilise des autoencodeurs parcimonieux pour localiser et désactiver sélectivement les neurones liés aux attributs sociaux dans les modèles vision-langage, permettant ainsi de réduire les biais sans altérer les connaissances sémantiques.

L'essentiel

🎭 Le Problème : Les Miroirs Tordus

Imaginez que vous avez un miroir magique (le modèle d'IA) qui peut décrire des photos ou répondre à des questions sur le monde. Ce miroir a été entraîné en regardant des milliards de photos et de textes pris sur internet.

Le problème ? Internet n'est pas toujours juste. Si vous demandez à ce miroir : "Montre-moi une photo d'un PDG", il risque de vous montrer uniquement des hommes blancs, car c'est ce qu'il a vu le plus souvent dans ses données d'entraînement. Si vous lui demandez "Est-ce que cette personne est une infirmière ?", il pourrait hésiter moins s'il s'agit d'une femme que d'un homme.

C'est ce qu'on appelle un biais social. Le miroir ne fait pas exprès d'être injuste, il répète simplement les stéréotypes qu'il a appris, comme un perroquet qui répète les préjugés de son maître sans les comprendre.

🔍 La Solution : La "Lunette de Détection" (DEBIASLENS)

Les chercheurs ont créé un outil appelé DEBIASLENS. Pour comprendre comment ça marche, utilisons une analogie culinaire.

1. L'Ingénieur de Cuisine (Le SAE)

Imaginez que le cerveau du miroir (le modèle d'IA) est une immense cuisine où des milliers d'ingrédients (les neurones) sont mélangés dans une grande soupe. Cette soupe contient à la fois de la "vraie information" (c'est un chien, c'est une voiture) et des "épices de préjugés" (c'est un homme, c'est une femme, c'est un vieux).

Habituellement, on ne sait pas où sont ces épices. On essaie de changer toute la recette (ce qui est long et coûteux) ou on ajoute juste un peu de sel pour masquer le goût (ce qui ne règle pas le fond du problème).

DEBIASLENS, c'est comme un ingénieur de cuisine super-avancé qui utilise une loupe spéciale (appelée Auto-encodeur Sparse ou SAE). Cette loupe permet de :

• Prendre la soupe.
• Séparer les ingrédients un par un.
• Identifier exactement quelle cuillère contient l'épice "stéréotype de genre" ou "stéréotype de race".

2. Le Tri des Neurones (La Chasse aux Préjugés)

L'ingénieur observe que certains ingrédients (neurones) s'activent toujours quand il y a une femme sur la photo, même si la photo parle d'une scientifique. D'autres s'activent pour les hommes.

Au lieu de jeter toute la soupe (ce qui rendrait le miroir aveugle), l'ingénieur retire délicatement uniquement les cuillères qui contiennent les épices de préjugés.

• Avant : Le miroir dit : "C'est une femme, donc c'est probablement une infirmière."
• Après DEBIASLENS : Le miroir dit : "C'est une femme, et elle porte un stéthoscope. C'est probablement une infirmière, mais ça pourrait aussi être une chercheuse ou une médecin." Il ne devine plus en fonction de son genre, mais en fonction de la réalité de l'image.

🛠️ Comment ça marche en pratique ?

Le processus se fait en trois étapes simples :

1. L'Entraînement de la Loupe : On montre à la "loupe" (le SAE) des milliers de photos de visages. Elle apprend à repérer les patterns invisibles liés au genre, à l'âge ou à la race, sans qu'on lui dise explicitement "c'est un homme" ou "c'est une femme". Elle trouve ces patterns toute seule.
2. La Chasse : On demande à la loupe : "Quels sont les ingrédients qui s'activent uniquement pour les hommes ?" et "Quels sont ceux qui s'activent uniquement pour les femmes ?". On les identifie comme les "neurones de biais".
3. Le Nettoyage à l'Usage : Quand l'IA va répondre à une nouvelle question, on utilise la loupe pour éteindre (ou réduire) ces neurones de biais juste au moment où elle réfléchit. On mélange ensuite sa réponse "nettoyée" avec sa réponse originale pour ne pas perdre sa capacité à comprendre le monde.

🌟 Pourquoi c'est génial ?

• C'est transparent : On ne change pas tout le cerveau de l'IA. On sait exactement quels boutons on appuie pour enlever le préjugé. C'est comme réparer une montre en sachant exactement quelle roue défectueuse, au lieu de jeter la montre.
• C'est efficace : Les tests montrent que l'IA devient beaucoup plus juste (elle ne favorise plus un genre ou une race) sans devenir "bête" pour autant. Elle garde sa capacité à reconnaître des chats, des voitures ou à résoudre des problèmes complexes.
• C'est universel : Ça marche aussi bien pour les petits modèles (qui font juste des recherches d'images) que pour les grands modèles (qui peuvent discuter avec vous et analyser des photos).

En résumé

DEBIASLENS est comme un filtre de réalité pour l'intelligence artificielle. Au lieu de forcer l'IA à oublier ce qu'elle sait (ce qui la rendrait moins intelligente), on lui apprend à ignorer les stéréotypes qu'elle a appris par erreur, tout en gardant ses yeux ouverts sur la vérité du monde. C'est une étape importante pour créer des IA qui sont à la fois intelligentes et équitables pour tout le monde.

Résumé technique

1. Problématique

Les modèles Vision-Language (VLM) et les grands modèles Vision-Language (LVLM), tels que CLIP et InternVL, sont de plus en plus utilisés dans des applications à fort impact. Cependant, leur entraînement sur des données multimodales massives et non curées entraîne l'acquisition et l'amplification de biais sociaux (genre, race, âge).

Les approches de débiaisage existantes souffrent de limitations critiques :

• Manque d'interprétabilité : Elles agissent souvent comme des "boîtes noires" via un fine-tuning post-hoc ou des algorithmes de test, sans comprendre les mécanismes internes du modèle.
• Compromis performance/biais : Les méthodes actuelles (élagage de poids, ajustement de prompts) tendent à réduire les biais au détriment des capacités générales du modèle (oubli catastrophique ou dégradation des performances sémantiques).
• Ignorance de la dynamique interne : Elles traitent les symptômes de surface sans modifier les représentations internes où le biais se propage.

L'objectif est donc de développer une méthode interprétable, agnostique au modèle et efficace pour atténuer les biais sociaux sans dégrader les performances générales.

2. Méthodologie : DEBIASLENS

Les auteurs proposent DEBIASLENS, un cadre de débiaisage qui localise et module des "neurones sociaux" spécifiques au sein des encodeurs multimodaux. La méthode repose sur trois étapes principales :

A. Entraînement des Autoencodeurs Parses (SAE)

• Principe : Un SAE (Sparse Autoencoder) est attaché à la dernière couche de l'encodeur (image ou texte) du VLM pré-entraîné. Le modèle original reste figé (frozen).
• Objectif : Le SAE est entraîné à décomposer les features d'entrée en un vecteur d'activation sparse et à les reconstruire. L'objectif est d'apprendre des caractéristiques monosémantiques (un neurone = un concept).
• Données : L'entraînement se fait sur des ensembles de données d'images faciales ou de légendes (ex: FairFace, Cocogender) sans utiliser d'étiquettes de biais sociales pendant l'entraînement. Le SAE apprend à isoler les attributs démographiques par lui-même.
• Architecture : Utilisation de SAE de type "Matryoshka" pour permettre des reconstructions à plusieurs niveaux de sparsité.

B. Sondage des Neurones Sociaux (Social Neuron Probing)

• Hypothèse : Les neurones responsables des biais sociaux montrent des motifs d'activation spécifiques et cohérents pour certains groupes démographiques.
• Sélection :
  1. Identification des neurones "effectifs" (activation non nulle pour une proportion $\tau$ d'échantillons d'un groupe).
  2. Calcul de la différence d'ensemble pour isoler les neurones spécifiques à un groupe (ex: neurones activés pour les femmes mais pas pour les hommes).
  3. Classement par valeur d'activation moyenne pour sélectionner les neurones les plus représentatifs de l'attribut social (ex: genre, race, âge).
• Résultat : Une collection de neurones $Z_B$ identifiés comme porteurs de biais spécifiques.

C. Inférence Modulée par les Neurones Sociaux

• Neutralisation : Lors de l'inférence, les activations des neurones sociaux identifiés dans le vecteur latent sont désactivées (mise à zéro ou atténuation).
• Reconstruction pondérée : Le vecteur latent modifié est reconstruit par le décodeur du SAE. Pour préserver l'information sémantique originale, le modèle final utilise une somme pondérée :
  $$v' = \alpha \hat{v} + (1 - \alpha)v$$
  Où $\hat{v}$ est la feature reconstruite (débiaisée) et $v$ est la feature originale. Le paramètre $\alpha$ contrôle le compromis entre débiaisage et performance générale.

3. Contributions Clés

1. Premier cadre interprétable : C'est la première méthode de débiaisage applicable aux VLM et LVLM qui identifie et module explicitement les neurones responsables des biais, rendant le processus transparent.
2. Efficacité sans réentraînement : La méthode ne nécessite pas de fine-tuning complet du modèle, évitant ainsi l'oubli catastrophique et réduisant les coûts computationnels.
3. Préservation des performances : Contrairement aux méthodes d'élagage, DEBIASLENS maintient les capacités générales du modèle (raisonnement, compréhension) tout en réduisant significativement les biais.
4. Guide pour l'interprétabilité : L'article fournit des directives sur l'utilisation des SAE pour développer des systèmes multimodaux conscients des biais.

4. Résultats Expérimentaux

Les expériences ont été menées sur CLIP (ViT-B/16, ViT-L/14) et des LVLMs (InternVL2, LLaVA).

• Réduction des biais :
  • CLIP (Récupération Image-Texte) : Réduction de 9 à 16 % du "Max Skew" (mesure de la déviation de la distribution démographique) pour les requêtes neutres (ex: "CEO", "Accountant").
  • InternVL2 (VQA) : Réduction de 40 à 50 % du taux de disproportion de genre (réponses différentes pour des images identiques mais avec des étiquettes de genre différentes).
• Performance Générale :
  • Le modèle conserve ses performances sur des tâches générales (ImageNette, MME, MMMU) avec une baisse minime (4-10 points) par rapport aux méthodes d'élagage qui causent des chutes drastiques.
  • Le compromis (trade-off) entre réduction du biais et performance est supérieur à celui des méthodes State-of-the-Art (Prompt Tuning, LoRA, Pruning).
• Interprétabilité et Spécificité :
  • L'analyse des neurones montre qu'ils sont hautement spécifiques : désactiver les neurones "genre" réduit le biais de genre sans affecter significativement les biais d'âge ou de race (sauf pour les biais intersectionnels complexes).
  • Les images activant ces neurones correspondent visuellement aux concepts sociaux (ex: cheveux longs pour "femme", lunettes pour "âge"), confirmant la disentanglement (désenchevêtrement) réussi.
• Impact des Données : L'utilisation de l'ensemble de données FairFace pour l'entraînement du SAE s'est révélée supérieure aux données synthétiques ou aux ensembles moins équilibrés pour identifier des neurones sociaux robustes.

5. Signification et Impact

Ce travail marque une avancée significative vers une IA responsable et transparente.

• Changement de paradigme : Il passe d'une correction de surface (boîte noire) à une intervention ciblée au niveau des neurones (boîte blanche).
• Auditabilité : La capacité à localiser et visualiser les neurones de biais permet aux chercheurs et aux régulateurs d'auditer les modèles avant leur déploiement.
• Fondation future : DEBIASLENS pose les bases pour le développement d'outils d'audit automatisés et inspire la création de systèmes multimodaux intrinsèquement équitables, essentiels pour des applications sensibles comme les technologies d'assistance ou le recrutement.

En conclusion, DEBIASLENS démontre qu'il est possible de corriger les biais sociaux profonds des modèles vision-langage de manière précise, interprétable et sans sacrifier leur utilité générale.