🤖 machine learning

Bias Leaves a Gradient Trail: Label-Free Bias Identification via Gradient Probes on Concept Decompositions

Ce papier présente une méthode post-hoc sans étiquette pour identifier et atténuer les biais spuraires dans les modèles de vision figés en décomposant les activations en concepts interprétables et en les classant via des interactions de gradient avec des exemples mal classés, améliorant ainsi la précision du groupe le moins performant sans nécessiter de réentraînement ni d'étiquettes d'attributs auxiliaires.

Auteurs originaux : Thomas Vitry, Kieran Edgeworth, Stefan Wermter, Jae Hee Lee

Publié 2026-05-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Thomas Vitry, Kieran Edgeworth, Stefan Wermter, Jae Hee Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un étudiant très intelligent, mais légèrement paresseux, qui a passé un examen. Cet étudiant obtient un score parfait aux examens blancs, mais lorsqu'il est confronté à une situation réelle, il échoue lamentablement. Pourquoi ? Parce que l'étudiant n'a pas réellement appris la matière ; il a appris un « raccourci ».

Par exemple, si l'étudiant apprend à identifier des oiseaux, il pourrait remarquer que sur toutes leurs photos d'entraînement, les oiseaux aquatiques sont toujours debout dans l'eau, et les oiseaux terrestres sont toujours debout sur l'herbe. Ainsi, au lieu de regarder les plumes ou le bec de l'oiseau, l'étudiant se contente de regarder le fond. S'il voit de l'eau, il devine « oiseau aquatique ». S'il voit de l'herbe, il devine « oiseau terrestre ». Cela fonctionne très bien à l'examen blanc, mais si vous lui montrez un oiseau aquatique debout sur une plage de sable, l'étudiant se trompe car le raccourci (eau = oiseau) a échoué.

Ce papier traite d'une nouvelle méthode pour découvrir quel raccourci un programme informatique (un « modèle de vision ») utilise, sans avoir besoin qu'un enseignant nous dise quel est ce raccourci.

Voici comment la méthode des auteurs fonctionne, décomposée en étapes simples :

1. Le Problème : La « Boîte Noire » avec une béquille cachée

Habituellement, pour corriger une IA biaisée, vous devez savoir exactement contre quoi elle est biaisée (par exemple : « Elle pense que toutes les personnes blondes sont des femmes »). Mais souvent, l'IA est déjà déployée, nous n'avons pas les données d'entraînement originales, et nous ne savons pas quel est le raccourci. Nous n'avons que l'IA et un tas d'images de test.

2. La Solution : Les « Sondes par Gradient » (Le test de stress)

Les auteurs traitent l'IA comme un étudiant passant un examen blanc. Ils examinent les images où l'IA s'est trompée.

Faux négatif : L'IA a vu un oiseau aquatique sur terre mais a pensé que c'était un oiseau terrestre.
Faux positif : L'IA a vu un oiseau terrestre dans l'eau mais a pensé que c'était un oiseau aquatique.

Ils effectuent ensuite un tout petit « coup de pouce » mathématique (appelé une étape de gradient) sur le cerveau interne de l'IA. Imaginez que vous poussez doucement le cerveau de l'IA dans la direction qui lui permettrait de trouver la bonne réponse.

L'Idée Clé : Lorsque l'IA tente de corriger une erreur, elle doit changer d'avis sur ce qu'elle regarde.
- Si l'IA s'est trompée parce qu'elle regardait le fond (le raccourci), le « coup de pouce » lui dira de cesser de regarder le fond et de commencer à regarder l'oiseau.
- Si l'IA s'est trompée parce qu'elle a manqué l'oiseau en entier, le coup de pouce lui dira de regarder plus attentivement l'oiseau.

En observant quelles « idées » internes (concepts) l'IA active ou désactive pour corriger ses erreurs, les auteurs peuvent repérer le raccourci. Si l'IA désactive systématiquement « l'eau » et active « les plumes » pour corriger une erreur, alors « l'eau » était le mauvais raccourci.

3. Décomposer le Cerveau : « Décomposition des Concepts »

Pour comprendre ce que l'IA pense, les auteurs décomposent le traitement d'image interne de l'IA en petites pièces compréhensibles appelées « concepts ».

Imaginez une image comme un smoothie. L'IA voit le smoothie entier.
Les auteurs utilisent un outil mathématique (la factorisation matricielle non négative) pour séparer le smoothie en ses ingrédients : « bleu », « vert », « plumes », « ciel », « herbe ».
Ils créent une « banque » de ces ingrédients pour chaque type d'oiseau.

4. Le Travail de Détective

Les auteurs combinent les deux étapes ci-dessus :

Ils examinent les « ingrédients » (concepts) que l'IA a utilisés pour une mauvaise réponse.
Ils donnent un coup de pouce à l'IA pour corriger la réponse.
Ils vérifient quels ingrédients ont changé.

Si un ingrédient comme « l'herbe » ou « l'eau » apparaît lorsque l'IA se trompe et disparaît lorsque l'IA tente de se corriger, cet ingrédient est signalé comme un Concept de Biais. C'est la béquille sur laquelle l'IA s'appuie.

5. Le Résultat : Corriger l'IA sans Réentraînement

Une fois qu'ils ont identifié la « béquille » (le concept de biais), ils peuvent simplement dire à l'IA d'ignorer cet ingrédient spécifique lors de la prise de décision finale.

Ils n'ont pas besoin de réentraîner l'IA (ce qui est coûteux et nécessite de nouvelles données).
Ils n'ont pas besoin de modifier le code de l'IA.
Ils disent simplement à l'IA : « Quand tu vois un oiseau, ignore le fond. »

Le Résultat :

Sur le jeu de données Waterbirds, cette astuce a amélioré la précision de l'IA sur les cas les plus difficiles (oiseaux dans le mauvais environnement) de près de 18 %.
Sur le jeu de données CelebA (visages), elle a amélioré la précision de 10 %, même si le « raccourci » ne concernait pas seulement la couleur des cheveux, mais aussi des éléments comme la longueur des cheveux et le maquillage, que l'IA utilisait pour deviner le genre.

Résumé

Ce papier présente un outil de détective « sans étiquettes ». Il n'a pas besoin qu'un humain dise : « Hé, l'IA regarde le fond. » Au lieu de cela, il observe l'IA lutter avec des erreurs, la pousse à se corriger elle-même, et écoute quelles pensées internes l'IA modifie. En identifiant et en supprimant ces « pensées de raccourci », l'IA devient plus équitable et plus robuste, le tout sans avoir besoin d'être réentraînée ou de recevoir de nouvelles étiquettes.

Résumé Technique : Les Biais Lissent une Piste de Gradient

Énoncé du Problème
Les classificateurs de vision modernes atteignent souvent une haute précision en distribution en exploitant des corrélations spuriaires (raccourcis) plutôt que des caractéristiques causales. Bien que ces modèles performent bien sur les données d'entraînement, ils échouent lors de décalages de distribution où ces corrélations se brisent. Les méthodes existantes de mitigation et d'analyse des biais nécessitent généralement des jeux de données curatés avec des attributs spuriaires ou des étiquettes de groupe connues, ou elles imposent un réentraînement du modèle. Cependant, dans des scénarios de déploiement réel, les praticiens font souvent face à un modèle « figé » sans accès au pipeline d'entraînement original, aux annotations de biais ou aux étiquettes de groupe. Le défi consiste à identifier ces concepts spuriaires cachés et à les mitiger a posteriori sans réentraînement ni supervision supplémentaire.

Méthodologie
Les auteurs proposent une méthode sans étiquette, a posteriori, pour identifier et mitiger les concepts spuriaires dans des modèles de vision figés, en utilisant uniquement les étiquettes de classe standard d'un jeu de données d'audit retenu. L'approche se compose de trois étapes principales :

Décomposition de Concepts Non-Négatifs :
- Le modèle $f$ est décomposé en $h \circ g$ , où $g$ mappe les entrées vers des représentations intermédiaires $a$ .
- Pour une classe cible $y$ , les auteurs collectent des patches à partir des entrées prédites comme $y$ et appliquent une Factorisation de Matrice Non-Négative (NMF) aux activations $A_y$ .
- Cela produit une banque conditionnelle à la classe de vecteurs de concepts interprétables ( $W_y$ ) et de coefficients correspondants ( $U_y$ ), décomposant la représentation en directions non-négatives et sémantiquement significatives.
Identification du Biais par Gradient :
- L'hypothèse centrale est que les attributs spuriaires se manifestent comme des directions de concepts distinctes qui réagissent de manière asymétrique aux mises à jour de gradient sur des exemples mal classés.
- Pour les exemples mal classés (Faux Négatifs et Faux Positifs), les auteurs calculent le gradient de la perte par rapport à la représentation ( $\nabla_a L$ ) et appliquent une seule étape de gradient pour créer une représentation perturbée $a'$ .
- Ils observent comment les coefficients de concept changent entre $a$ et $a'$ .
- Intuition : Pour corriger un Faux Négatif (manquer la classe cible), le modèle tend à ajouter l'indice spuriaire ; pour corriger un Faux Positif (prédire incorrectement la cible), il tend à retirer l'indice spuriaire. Les concepts intrinsèques (véritables preuves) ne montrent pas ce fort motif asymétrique.
- Un Score de Biais ( $S_{y,k}$ ) est calculé pour chaque concept $k$ basé sur la cohérence de ces ajouts et retraits à travers l'ensemble d'audit. Les concepts avec des scores élevés sont classés comme des directions de biais candidates.
Atténuation au Moment de l'Inférence :
- Une fois les concepts de biais identifiés, ils sont supprimés au moment de l'inférence sans mettre à jour les paramètres du modèle.
- La méthode fusionne les banques de concepts conditionnelles à la classe, regroupe les concepts similaires et projette la représentation d'entrée sur le sous-espace orthogonal aux concepts de biais identifiés.
- La représentation supprimée est redimensionnée pour maintenir la norme d'activation originale avant la classification.

Contributions Clés

Découverte Sans Étiquettes : Une méthode pour identifier les concepts spuriaires dans des modèles figés sans nécessiter d'annotations de biais ou de groupe, reposant uniquement sur les étiquettes de classe standard.
Sondes de Gradient : Un mécanisme de scoring novateur qui utilise l'interaction entre les activations de concepts et les étapes de gradient pour distinguer les concepts de biais des preuves intrinsèques.
Atténuation Actionnable : Une technique pratique de suppression au moment de l'inférence qui améliore la précision du groupe le plus défavorisé sans réentraînement ni mise à jour des paramètres.
Interprétabilité : La méthode produit des vecteurs de concepts avec des patches activateurs associés, fournissant un audit interprétable de ce sur quoi le modèle s'appuie.

Résultats Expérimentaux
La méthode a été évaluée sur trois benchmarks standards : Colored MNIST (CMNIST), Waterbirds et CelebA.

Alignement des Concepts : Sur Waterbirds et CMNIST, la décomposition NMF a récupéré de manière fiable des concepts alignés avec des attributs spuriaires connus (par exemple, le type de fond pour les oiseaux, la couleur pour les chiffres).
Scoring du Biais : Le score basé sur le gradient proposé a réussi à classer les concepts alignés sur le biais plus haut que les concepts intrinsèques. Un seuil de 0,55 s'est avéré efficace pour séparer les concepts de biais.
Performance de Mitigation :
- Waterbirds : La suppression des concepts les mieux classés a amélioré la précision du groupe le plus défavorisé de 17,9 points de pourcentage (de 45,9 % à 63,8 %) et la précision de la classe la plus défavorisée de 8,5 points.
- CelebA : Bien que les concepts identifiés ne coïncident que partiellement avec l'attribut de genre annoté (capturant la forme/longueur des cheveux plutôt que juste la couleur), la suppression a amélioré la précision du groupe le plus défavorisé de 10,4 points de pourcentage (de 43,4 % à 53,8 %).
- CMNIST : Les résultats étaient mitigés ; bien que des concepts de biais aient été identifiés, la suppression n'a pas amélioré de manière cohérente la précision du groupe le plus défavorisé, probablement en raison de l'enchevêtrement serré de la couleur et de la forme dans le rang de décomposition spécifique utilisé.
Comparaison : La méthode a surpassé une ablation de suppression aléatoire, confirmant que les directions identifiées sont spécifiquement alignées sur le biais. Elle fonctionne sans les étiquettes de groupe ou le réentraînement requis par des bases supervisées comme Group DRO ou DFR, bien qu'elle n'atteigne pas les niveaux de performance absolus de ces modèles réentraînés.

Signification et Revendications
L'article revendique fournir à la fois un outil d'audit interprétable et une poignée de débiaisage actionnable pour les modèles de vision déployés. Sa signification principale réside dans la résolution du « problème de découverte » où le biais est inconnu et le réentraînement est irréalisable.

Les auteurs soulignent que la méthode identifie des directions spuriaires pertinentes pour la décision qui ne doivent pas coïncider parfaitement avec les attributs annotés (comme vu sur CelebA), capturant des proxies subtils comme la longueur des cheveux ou la texture du fond qui entraînent les erreurs du modèle.
L'approche est présentée comme une intervention a posteriori sans coût, applicable avant de décider si un réentraînement plus invasif est justifié.
L'article reconnaît des limitations, notant que la décomposition de patches à échelle unique peut avoir du mal avec des biais spatialement distribués (comme le genre sur CelebA) et que la méthode nécessite un nombre suffisant d'exemples mal classés dans l'ensemble d'audit pour fonctionner efficacement.