Bias In, Bias Out? Finding Unbiased Subnetworks in Vanilla Models

Ce papier présente la méthode BISE, qui permet d'extraire des sous-réseaux exempts de biais à partir de modèles pré-entraînés standards par simple élagage, sans nécessiter de réentraînement ni de données supplémentaires.

L'essentiel

🎩 Le Magicien et son Chapeau : Trouver la Vérité dans le Chaos

Imaginez que vous avez un magicien (c'est le modèle d'intelligence artificielle) qui a appris à faire des tours de passe-passe en regardant des milliers de vidéos.

Le problème :
Ce magicien est très doué, mais il a un défaut. Il a appris à deviner le tour en se basant sur un indice trompeur.

• Exemple : Pour deviner si une image montre un "chien" ou un "chat", il ne regarde pas vraiment l'animal. Il regarde la couleur du tapis sur lequel l'animal est posé. Sur ses vidéos d'entraînement, tous les chats étaient sur des tapis bleus et tous les chiens sur des tapis rouges.
• Résultat : Si vous lui montrez un chat sur un tapis rouge, il va dire "C'est un chien !" car il est habitué à cette association fausse (c'est ce qu'on appelle un biais).

Habituellement, pour corriger un magicien comme ça, il faut :

1. Lui faire réapprendre tout le tour depuis zéro (très long et cher).
2. Ou lui donner de nouvelles vidéos où les chats sont sur des tapis rouges et les chiens sur des tapis bleus (difficile à trouver).

La solution de ce papier (BISE) :
Les chercheurs se sont demandé : "Et si, au lieu de réapprendre, on trouvait simplement une partie du cerveau du magicien qui ne s'est pas laissée piéger par le tapis ?"

C'est là qu'intervient BISE (Extraction de Sous-Réseaux Invariants au Biais).

🔍 L'Analogie du "Filtre à Café"

Imaginez que le cerveau du magicien est une énorme machine à café remplie de milliers de filtres (des neurones).

• La plupart des filtres sont encrassés par le "sirop de biais" (les tapis de couleur). Ils ne laissent passer que l'information trompeuse.
• Mais, cachés au milieu, il existe quelques filtres propres qui regardent vraiment l'animal, pas le tapis.

Le problème, c'est que ces filtres propres sont noyés dans le bruit.

Ce que fait BISE :
Au lieu de jeter la machine ou de la nettoyer de fond en comble, BISE agit comme un filtre à café intelligent qui :

1. Éteint (prune) tous les filtres encrassés par le sirop de biais.
2. Garde uniquement les filtres propres qui voient la vérité.
3. Le résultat ? Une machine beaucoup plus petite, plus rapide, et qui ne se trompe plus sur les tapis !

🛠️ Comment ça marche concrètement ?

1. On ne touche pas aux poids : On ne modifie pas les connaissances du magicien. On ne le force pas à réapprendre.
2. On met des interrupteurs : On ajoute de petits interrupteurs (des masques) devant chaque filtre de la machine.
3. On apprend à fermer les mauvais : On entraîne ces interrupteurs pour qu'ils disent : "Toi, tu regardes le tapis, ferme-toi !" et "Toi, tu regardes l'animal, reste ouvert !"
4. Le résultat : On obtient une version "élaguée" du modèle. C'est comme si on enlevait les branches mortes d'un arbre pour laisser pousser les fruits sains.

🌟 Pourquoi c'est génial ?

• Économie d'énergie : Comme on enlève beaucoup de filtres inutiles, la machine consomme moins d'énergie et va plus vite. C'est comme passer d'un gros camion à une voiture de sport légère.
• Pas besoin de nouvelles données : On n'a pas besoin de trouver des milliers de nouvelles vidéos "parfaites". On se débrouille avec ce qu'on a déjà.
• Juste et Efficace : Le modèle final est non seulement plus juste (il ne se trompe plus à cause des tapis), mais il est aussi plus performant que le modèle original sur des situations nouvelles.

🎯 En résumé

Ce papier nous dit : "Parfois, la solution n'est pas de tout reconstruire, mais de savoir quoi enlever."

Au lieu de dépenser des fortunes pour réentraîner des IA biaisées, on peut simplement "tailler" les modèles existants pour révéler la partie intelligente et juste qui était déjà là, cachée sous le bruit des préjugés. C'est une approche économe, rapide et très prometteuse pour rendre l'intelligence artificielle plus équitable.

Résumé technique

1. Problématique

L'apprentissage profond (Deep Learning) souffre souvent de biais algorithmiques dus à l'apprentissage de corrélations spacieuses (ou "raccourcis") présentes dans les données d'entraînement. Par exemple, un modèle peut associer la couleur de fond d'une image à une classe spécifique plutôt qu'à l'objet lui-même.

• Limites des méthodes existantes : Les techniques de débiaisage actuelles sont généralement soit centrées sur les données (rééquilibrage, augmentation, nécessitant des ensembles de données équilibrés souvent indisponibles), soit centrées sur le modèle (réentraînement complet, contraintes d'adversaire, distillation), ce qui est coûteux en calcul et en temps.
• Question centrale : Est-il possible d'extraire un sous-réseau "juste" et invariant au biais directement à partir d'un modèle pré-entraîné de manière standard (vanilla), sans réentraînement et sans accès à des données de débiaisage supplémentaires ?

2. Méthodologie : BISE (Bias-Invariant Subnetwork Extraction)

Les auteurs proposent BISE, une stratégie d'extraction de sous-réseaux qui identifie et isole des sous-réseaux "sans biais" déjà présents dans les modèles denses pré-entraînés.

Principes clés :

1. Pruning Structuré sans Réentraînement : Contrairement aux méthodes qui ajustent les poids, BISE conserve les paramètres originaux du modèle pré-entraîné ($f$) fixes. Elle apprend uniquement des masques de pruning (variables auxiliaires) pour sélectionner quels neurones ou filtres conserver.
2. Architecture du processus :
   • Le modèle est décomposé en un encodeur $E$ et un classifieur $C$.
   • Un masque $M$ est appliqué aux sorties de l'encodeur.
   • Un classifieur auxiliaire ($C_{aux}$) est attaché à la sortie de l'encodeur (bottleneck) pour prédire l'attribut de biais $b$.
3. Fonction de Perte Composite : L'optimisation vise à minimiser une perte composée de deux termes :
   • Perte de tâche rééquilibrée ($L_r$) : Une perte d'entropie croisée où les échantillons "en conflit avec le biais" (bias-conflicting) sont surpondérés pour éviter que le sous-réseau ne s'appuie uniquement sur les corrélations spacieuses dominantes.
   • Terme de régularisation par Information Mutuelle ($I(\hat{b}, b)$) : L'objectif est de minimiser la quantité d'information sur le biais $b$ qui peut être extraite de la représentation latente. Cela est réalisé en entraînant $C_{aux}$ à prédire $b$ et en pénalisant cette capacité via le terme d'information mutuelle dans la fonction de perte globale.
4. Estimation de l'Information Mutuelle : Puisque l'information mutuelle est difficile à calculer directement, les auteurs utilisent $C_{aux}$ comme un estimateur. Si $C_{aux}$ peut prédire $b$ avec précision, cela signifie que l'information de biais est présente. Minimiser la performance de $C_{aux}$ (tout en maintenant la performance de la tâche principale) force le sous-réseau à devenir invariant au biais.

3. Contributions Clés

• Extraction sans réentraînement : Une méthode capable d'extraire des sous-réseaux robustes aux biais à partir de modèles pré-entraînés sans modifier leurs poids originaux, évitant ainsi le coût computationnel du réentraînement.
• Indépendance des données : La méthode ne nécessite pas d'ensemble de données d'entraînement équilibré ou "sans biais", contrairement à la plupart des approches de l'état de l'art.
• Efficacité structurelle : En utilisant un pruning structuré (élimination de neurones/filtres entiers), la méthode réduit non seulement le biais mais aussi la taille du modèle et la complexité computationnelle (FLOPs) lors de l'inférence.
• Preuve de concept : Démontre l'existence de sous-réseaux "invisibles" mais performants au sein de modèles biaisés denses.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks populaires : BiasedMNIST, Corrupted-CIFAR10, CelebA, Multi-Color MNIST et CivilComments (classification de texte).

• Performance :
  • Les sous-réseaux extraits par BISE surpassent systématiquement les modèles denses originaux (vanilla) sur des ensembles de test non biaisés, même avec des corrélations spacieuses très fortes (ex: $\rho = 0.997$).
  • Avec un finetuning léger (sur le sous-réseau extrait), les performances atteignent ou dépassent l'état de l'art (SOTA) sur tous les jeux de données.
• Efficacité et Compression :
  • La méthode réduit considérablement la complexité du modèle. Par exemple, sur CelebA, le modèle passe de 1818 MFLOPs à environ 821 MFLOPs (réduction de ~55%) tout en améliorant la précision.
  • Sur Corrupted-CIFAR10, une réduction de plus de 80% des paramètres est observée avec une amélioration de la précision.
• Robustesse :
  • L'étude d'ablation confirme que la combinaison du rééquilibrage de la perte et du terme d'information mutuelle est cruciale pour obtenir à la fois une haute précision et une forte éparsité.
  • La méthode fonctionne également dans un cadre non supervisé (sans étiquettes de biais explicites), en utilisant un modèle secondaire pour générer des pseudo-étiquettes de biais.

5. Signification et Impact

Ce travail apporte une perspective nouvelle sur la mitigation des biais : au lieu de voir le biais comme un artefact externe à corriger par un réentraînement coûteux, il suggère que les représentations justes existent déjà intrinsèquement dans les modèles pré-entraînés, mais sont noyées par les paramètres redondants liés aux biais.

• Avantages pratiques : BISE offre une solution économiquement viable pour le déploiement de modèles équitables, en particulier dans des contextes où les données équilibrées sont rares ou où le réentraînement est impossible (modèles propriétaires, contraintes de calcul).
• Implications futures : Cela ouvre la voie à des interventions purement architecturales pour l'équité, réduisant la dépendance aux techniques de prétraitement des données ou d'optimisation complexe.

En résumé, BISE démontre que l'on peut transformer un modèle "biaisé" en un modèle "juste" et plus léger simplement en élaguant (pruning) les parties du réseau qui codent les corrélations spacieuses, sans jamais toucher aux poids appris initialement.