💻 computer science

Discovery and Spatial Characterisation of Multiple Shortcut Groups for Auditing Vision Model Bias

Cet article introduit une méthode permettant de regrouper les cartes d'attribution par image en motifs de raccourcis spatiaux récurrents à l'aide de techniques de partitionnement, permettant ainsi l'identification de sous-ensembles d'images spécifiques présentant des taux d'erreur élevés et le développement d'interventions ciblées qui réduisent les disparités de performance dans les modèles de vision.

Auteurs originaux : Akshit Achara, Vishnunarayan Manickam, Thomas Day, Esther Puyol Anton, Alexander Hammers, Andrew P. King

Publié 2026-08-17

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Akshit Achara, Vishnunarayan Manickam, Thomas Day, Esther Puyol Anton, Alexander Hammers, Andrew P. King

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous apprenez à un enfant à reconnaître différents types d'animaux. Vous lui montrez la photo d'une vache dans un champ vert, et il apprend que « vache » signifie « animal avec des taches dans un champ ». Ensuite, vous lui montrez une vache dans une grange enneigée, et il est confus parce que la partie « champ » est absente. C'est exactement ce qui arrive à certains modèles d'intelligence artificielle (IA). Ils sont incroyablement doués pour repérer des motifs, mais parfois, ils se montrent paresseux. Au lieu d'apprendre les réelles caractéristiques de l'objet qu'ils sont censés identifier (comme la forme d'une vache), ils s'accrochent à des indices faciles et accidentels (comme l'herbe verte) qui apparaissent par hasard dans leurs photos d'entraînement. Dans le monde de l'informatique, on appelle cela l'« apprentissage par raccourci » (shortcut learning). C'est comme un élève qui mémorise le style de police du corrigé au lieu d'étudier réellement les mathématiques. Le problème est que ces raccourcis fonctionnent très bien jusqu'à ce que le test change — comme lorsque la vache apparaît dans une grange. Quand cela arrive, l'IA échoue, et si ces échecs surviennent plus souvent pour certains groupes de personnes (comme des patients provenant d'un hôpital spécifique), l'IA devient injuste ou biaisée.

Ce document traite d'une nouvelle façon de débusquer ces raccourcis paresseux avant qu'ils ne causent des problèmes. Les chercheurs ont construit un outil qui agit comme un « détective spatial » pour l'IA. Au lieu de simplement regarder la réponse finale, ils scrutent l'intérieur du cerveau du modèle pour voir exactement où dans l'image l'IA regarde. Ils ont découvert que les modèles d'IA ont souvent plusieurs raccourcis distincts qu'ils utilisent pour différentes images. Certaines images peuvent déclencher un raccourci basé sur l'arrière-plan, tandis que d'autres peuvent s'appuyer sur un artefact étrange provenant de la caméra. En regroupant ces différents modèles de raccourcis, les chercheurs peuvent identifier précisément quelles images sont les plus susceptibles d'échouer et même corriger le modèle à la volée en lui disant d'ignorer les raccourcis et de se concentrer sur les vrais indices.

Le travail de détective : Trouver les raccourcis

Les auteurs, une équipe de King's College London, se sont donné pour mission de résoudre un mystère spécifique : les méthodes existantes pouvaient vous dire qu'un une IA utilisait des raccourcis, mais elles ne pouvaient pas vous dire comment ou où elle les utilisait d'une manière qui aide à corriger des groupes d'erreurs spécifiques. Imaginez essayer de trouver un voleur dans une ville en regardant une carte floue et moyennée de tous les crimes. Vous sauriez que le crime existe, mais vous ne sauriez pas si le voleur est un pickpocket dans un parc ou un cambrioleur dans la banlieue. Les anciennes méthodes étaient comme cette carte floue ; elles mélangeaient toutes les images, cachant le fait que différentes images possédaient différents types de raccourcis.

L'équipe a développé une méthode pour décomposer cela. D'abord, ils ont examiné trois « vues » différentes de l'image pour chaque photo que l'IA a vue :

La Vue de la Tâche : Ce que l'IA juge important pour le travail (ex. : identifier une tumeur).
La Vue du Raccourci : Ce que l'IA juge important pour un trait sensible (ex. : l'hôpital d'où provient la photo, ou le genre de la personne).
La Vue Équitable : Un modèle de référence entraîné pour être équitable, ignorant les traits sensibles.

En comparant ces vues, ils ont créé une « carte de contribution » pour chaque image individuelle. Cette carte met en évidence les pixels spécifiques que l'IA a utilisés pour prendre sa décision. Si l'IA utilisait des raccourcis, la carte s'allumerait dans l'arrière-plan ou sur un artefact spécifique plutôt que sur l'objet réel.

Le regroupement des motifs

C'est ici que la magie opère. Les chercheurs ont pris ces milliers de cartes individuelles et ont utilisé une technique de tri mathématique (appelée K-means et Factorisation en matrices non négatives) pour les regrouper en « Groupes de Raccourcis ». Pensez à cela comme le tri d'un immense tas de pièces de puzzle mélangées dans des boîtes distinctes basées sur les motifs présents sur les pièces.

Ils ont découvert que les raccourcis n'étaient pas juste un gros bloc de mauvais comportements. Au lieu de cela, il y avait plusieurs « personnalités » de raccourcis distinctes. Par exemple, sur un ensemble de données de photos d'oiseaux, ils ont trouvé un groupe de raccourcis où l'IA regardait l'arrière-plan aquatique, et un autre groupe où elle regardait l'arrière-plan terrestre. Sur un ensemble de données de radiographies thoraciques, ils ont trouvé des raccourcis qui se concentraient sur l'ombre du sein ou la partie inférieure des poumons, tandis que les zones « bonnes » et axées sur la tâche se trouvaient juste au milieu des poumons.

Ces groupes étaient incroyablement utiles. Les chercheurs ont découvert que s'ils examinaient seulement les 20 % d'images appartenant aux groupes de raccourcis à « haut risque », ils pouvaient trouver une part massive des erreurs totales du modèle. Dans certains cas, comme pour le jeu de données d'oiseaux, ce petit groupe contenait près de 74 % de toutes les erreurs commises par le modèle. Cela signifie que les auditeurs n'ont pas besoin de vérifier chaque image ; ils peuvent simplement vérifier les « groupes de raccourcis » spécifiques pour trouver les problèmes rapidement.

Le bouton « Recommencer » : Corriger le modèle

La partie la plus excitante de l'article est qu'ils n'ont pas seulement trouvé les problèmes ; ils ont essayé de les corriger en temps réel sans réentraîner tout le modèle. Ils ont testé deux types d'« interventions » sur les images :

Le Masquage d'Entrée : Ils ont littéralement recouvert les parties de l'image que l'IA utilisait comme raccourci.
L'Intervention dans l'Espace des Caractéristiques : Ils sont allés à l'intérieur du traitement interne du modèle et lui ont dit de « baisser le volume » des signaux de raccourci et d'« augmenter le volume » des signaux de la tâche réelle.

Les résultats ont été fascinants. Lorsqu'ils masquaient les zones de « raccourci », la performance du modèle restait souvent la même ou s'améliorait légèrement, prouvant que ces zones n'étaient pas réellement nécessaires pour la tâche. Cependant, lorsqu'ils masquaient les zones de la « tâche » (les vrais indices), le modèle s'effondrait, confirmant que ces parties étaient les plus importantes.

Le véritable succès est venu d'une approche combinée : supprimer les raccourcis tout en amplifiant la tâche réelle. Lorsqu'ils faisaient cela, l'écart de performance entre les différents groupes (comme les différents genres ou hôpitaux) diminuait considérablement. Par exemple, sur le jeu de données de visages CelebA, cette méthode a réduit l'écart de performance d'environ 7,8 points de pourcentage. Sur le jeu de données de radiographies CheXpert, elle a réduit l'écart de 20,3 points de pourcentage.

Ce que cela signifie

L'article suggère qu'en regroupant ces raccourcis spatiaux, nous pouvons créer une image beaucoup plus claire de l'endroit où les modèles d'IA échouent. Il ne s'agit pas seulement de dire « ce modèle est biaisé » ; il s'agit de dire « ce modèle utilise des raccourcis en regardant l'arrière-plan selon 8 types de motifs spécifiques ».

Les chercheurs ont montré que ces groupes sont stables et fiables. Même s'ils réentraînaient les modèles auxiliaires utilisés pour détecter les raccourcis, les groupes restaient cohérents. Ils ont également testé cette méthode sur différents types d'architectures d'IA (comme ResNet et ViT) et sur différents ensembles de données (allant des lésions cutanées aux photos d'oiseaux), et la méthode a fonctionné de manière généralisée.

Cependant, les auteurs précisent avec prudence que cela ne constitue pas une baguette magique qui résout tout. Dans certains cas médicaux complexes, comme les lames d'histopathologie où le « raccourci » est une différence de coloration subtile provenant d'un laboratoire spécifique, la simple suppression de la zone spatiale ne suffisait pas à corriger le biais. Mais pour de nombreux autres cas, cette méthode consistant à trouver, grouper et supprimer les raccourcis spatiaux offre une nouvelle façon puissante d'auditer et d'améliorer l'IA, la rendant plus juste et plus fiable. Elle transforme la carte floue du biais de l'IA en un guide détaillé et actionnable pour corriger les erreurs.

Résumé technique : Découverte et caractérisation spatiale de multiples groupes de raccourcis pour l'audit des biais des modèles de vision

Énoncé du problème

Les modèles d'apprentissage profond atteignent souvent une précision moyenne élevée en s'appuyant sur des caractéristiques de « raccourci » (shortcuts) — des corrélations spécieuses présentes dans la distribution d'entraînement qui ne se généralisent pas lors des tests, particulièrement au sein de sous-populations spécifiques. Bien que les tests hors distribution (out-of-distribution) puissent révéler des disparités de performance, ils ne parviennent pas à localiser les régions d'images spécifiques associées à ces raccourcis. Les méthodes d'audit basées sur l'attribution existantes, telles qu'OSCAR, agrègent généralement les cartes d'attribution sur l'ensemble du jeu de données pour produire une carte de contribution unique au niveau du jeu de données. Cette agrégation suppose une cohérence spatiale des caractéristiques de raccourci sur toutes les images, ce qui peut masquer des motifs spatiaux récurrents qui n'apparaissent que dans des sous-ensembles d'images ou qui interagissent différemment avec les preuves pertinentes pour la tâche dans différents sous-groupes. Par conséquent, les auditeurs manquent de preuves spatiales exploitables pour identifier les sous-ensembles d'images à haut risque ou pour comprendre la nature spécifique de la dépendance aux raccourcis dans des modèles entraînés et fixes.

Méthodologie

Le cadre proposé, Spatial Shortcut Group Discovery (Découverte de groupes de raccourcis spatiaux), répond à ces limites en calculant des cartes de contribution par image et en les regroupant pour révéler des motifs spatiaux récurrents. La méthode procède en quatre étapes principales :

Attribution et classement au niveau de l'image :
Trois modèles sont utilisés : le modèle de tâche audité ( $f_{TS}$ ), un modèle de base réduit des biais ( $f_{BA}$ ) entraîné sur un ensemble de données équilibré selon les attributs, et un modèle d'attribut sensible ( $f_{SA}$ ). Des cartes d'attribution (ex. LRP, AttnLRP) sont générées pour chaque modèle, partitionnées en une grille de $R$ régions mutuellement exclusives, et converties en vecteurs spatiaux à basse résolution. Crucialement, ces vecteurs sont classés au sein de chaque image afin de préserver la variation d'image à image.
Alignement conditionnel et cartes de contribution :
En utilisant la corrélation partielle, la méthode calcule des scores d'alignement au niveau de l'image :
- Alignement de raccourci ( $\rho_{sc}$ ) : Mesure l'alignement entre $f_{TS}$ et $f_{SA}$ après avoir supprimé l'effet linéaire de $f_{BA}$ . Des scores élevés indiquent que le modèle de tâche utilise des régions associées à l'attribut sensible.
- Alignement de tâche ( $\rho_{task}$ ) : Mesure l'alignement entre $f_{TS}$ et $f_{BA}$ après avoir supprimé l'effet de $f_{SA}$ .
  Les cartes de contribution par région ( $m_{sc}$ et $m_{task}$ ) sont dérivées en décomposant ces scores d'alignement, en ne conservant que les contributions positives qui soutiennent les alignements respectifs.
Regroupement de motifs spatiaux :
Les cartes de contribution de raccourci et de tâche conjointes pour chaque image sont concaténées et normalisées. Ces représentations sont ensuite regroupées en motifs spatiaux récurrents à l'aide de deux approches :
- K-means : Assigne chaque image à un groupe de raccourci unique.
- Factorisation de matrice non négative (NMF) : Permet aux images d'exprimer plusieurs motifs simultanément, fournissant des poids d'appartenance souples.
  Le résultat est un ensemble de prototypes de groupes de raccourcis (moyennes pondérées par l'appartenance) et des images d'exemple représentatives pour chaque groupe.
Interventions spatiales au moment du test :
Pour valider l'utilité de ces cartes, l'article emploie le masquage d'entrée et des interventions dans l'espace des caractéristiques internes.
- Masquage d'entrée : L'occlusion des régions ayant des contributions de tâche ou de raccourci élevées permet d'observer la dégradation des performances.
- Interventions dans l'espace des caractéristiques : Proposition de suppression de raccourci (retrait des composantes de tâche des cartes de raccourci avant la suppression) et d'amplification de tâche (retrait des composantes de raccourci des cartes de tâche avant l'amplification). Une approche combinée applique les deux simultanément pour réduire les disparités de sous-groupes tout en préservant la précision.

Contributions clés

Découverte de motifs de raccourcis spatiaux : L'article introduit une méthode pour calculer des cartes de contribution de raccourci et de tâche par image et les regrouper via K-means et NMF. Cela révèle que plusieurs motifs de raccourcis cohérents, possédant des compositions de sous-groupes et des taux d'erreur distincts, peuvent coexister au sein d'un même jeu de données, une nuance perdue lors de l'agrégation au niveau du jeu de données.
Audit de défaillance ciblé : Le cadre démontre que l'appartenance aux groupes de raccourcis peut être utilisée pour construire des scores de risque identifiant des sous-ensembles d'images contenant une fraction disproportionnée des erreurs totales de test du modèle. Cela permet aux auditeurs de concentrer leurs efforts d'inspection sur les sous- ensembles à haut risque plutôt que sur un échantillonnage aléatoire.
Interventions exploitables au moment du test : L'étude valide que les cartes spatiales identifiées contiennent des preuves exploitables. Le masquage des régions de contribution de tâche dégrade les performances, tandis qu'une intervention combinée de suppression de raccourci et d'amplification de tâche réduit généralement les disparités de performance entre sous-groupes (mesurées par le Plus Grand Écart de Performance, LPG) à travers divers jeux de données et architectures.

Résultats expérimentaux

La méthode a été évaluée sur cinq jeux de données (CelebA, CheXpert, Waterbirds, Camelyon17, ISIC2019) et deux architectures (ResNet50, ViT-B/16).

Découverte de motifs : L'inspection visuelle des prototypes de groupes de raccourcis a révélé des structures spatiales distinctes. Par exemple, dans CelebA, certains groupes montraient une dépendance au raccourci concentrée dans les zones de cheveux (pertinentes pour la tâche) tandis que d'autres se concentraient sur l'arrière-plan/les vêtements. Dans CheXpert, les groupes de raccourcis mettaient en évidence des régions non pulmonaires (ex. ombres mammaires), tandis que les groupes de tâche se concentraient sur les régions pulmonaires.
Identification du risque : Les scores de risque basés sur les groupes de raccourcis ont réussi à identifier des sous-ensembles contenant nettement plus d'erreurs que les baselines aléatoires. Par exemple, sur le modèle ViT de CelebA, les 20 % d'images les mieux classées par score de risque contenaient environ 63,5 % des erreurs totales de l'ensemble de test (contre 20 % attendus par hasard). Le regroupement basé sur NMF a généralement surpassé le K-means en termes de capture d'erreurs et de stabilité entre les modèles entraînés indépendamment.
Efficacité de l'intervention :
- Masquage d'entrée : Le masquage des régions de haute contribution de tâche a provoqué de sévères chutes de performance, confirmant que ces régions sont critiques pour la prédiction. Le masquage des régions de raccourci a eu des effets variables, préservant ou améliorant légèrement la précision, suggérant que ces indices sont non essentiels ou spécieux.
- Interventions de caractéristiques : L'intervention combinée de suppression de raccourci et d'amplification de tâche a systématiquement réduit le Plus Grand Écart de Performance (LPG) sur la plupart des jeux de données. Par exemple, sur CheXpert avec ViT, l'intervention combinée a réduit le LPG de 12,8 points de pourcentage tout en maintenant ou en améliorant légèrement la précision.
- Interventions itératives : L'application répétée des interventions a davantage réduit les scores d'alignement de raccourci et les disparités de sous-groupes, démontant l'utilité des cartes pour un audit itératif.

Signification et affirmations

L'article affirme que la découverte de groupes de raccourcis spatiaux comble le fossé entre l'inspection visuelle, l'audit ciblé et l'intervention au moment du test. En allant au-delà de l'agrégation au niveau du jeu de données, le cadre fournit un résumé compact et inspectable de la manière dont la dépendance aux raccourcis varie selon les images et les sous-groupes.

Les auteurs soulignent que leur approche ne nécessite pas de réentraînement du modèle, ce qui la rend applicable aux systèmes de vision déployés et fixes. Les prototypes et scores de risque résultants offrent un flux de travail pratique pour les auditeurs afin de :

Visualiser les motifs spatiaux récurrents de biais qui sont autrement cachés.
Prioriser les sous-ensembles de données pour une revue manuelle basée sur des taux d'erreur élevés.
Intervenir au moment du test pour atténuer les disparités en supprimant les indices spécieux et en amplifiant les preuves pertinentes pour la tâche.

L'article reste modeste quant à la généralisation, notant que si la méthode gère efficacement un seul attribut sensible, les scénarios du monde réel peuvent impliquer plusieurs attributs interagissant entre eux. De plus, le partitionnement par grille suppose un certain degré d'alignement spatial, ce qui peut limiter l'applicabilité aux jeux de données présentant une forte variabilité spatiale sans adaptation supplémentaire. Ce travail établit une base pour l'utilisation de motifs de contribution spatiale afin de guider l'interprétabilité exploitable dans les modèles de vision.