eXplaining to Learn (eX2L): Regularization Using Contrastive Visual Explanation Pairs for Distribution Shifts

Résumé technique : eXplaining to Learn (eX2L)

Énoncé du problème
Les modèles d'apprentissage automatique standard reposent sur l'hypothèse que les données d'entraînement et de test sont indépendantes et identiquement distribuées (i.i.d.). Lorsque cette hypothèse est violée, les modèles échouent souvent à généraliser, s'appuyant à la place sur des corrélations fallacieuses — des motifs statistiques dans les données d'entraînement qui ne sont pas conceptuellement prédictifs des étiquettes réelles. Ces violations se manifestent principalement par des décalages de sous-populations (changements dans les proportions des variables démographiques ou contextuelles) et des défis de généralisation de domaine (apprendre à partir de domaines sources pour performer sur des domaines cibles non vus).

Les algorithmes existants conçus pour atténuer ces décalages font face à trois obstacles principaux :

1. Régularisation aveugle : De nombreuses méthodes de boîte noire ne ciblent pas explicitement les corrélations fallacieuses spécifiques causant les baisses de performance.
2. Performance incohérente : Aucun algorithme unique ne surpasse systématiquement la minimisation du risque empirique (ERM) sur tous les ensembles de données, reflétant le théorème « no-free-lunch ».
3. Manque d'interprétabilité : Des méthodes sophistiquées comme les réseaux de neurones adversariaux de domaine (DANN) reposent sur des mécanismes tels que l'inversion de gradient, difficiles à expliquer aux parties prenantes non techniques, entravant la confiance dans les déploiements sensibles.

L'article postule que l'interprétabilité ne devrait pas être un compromis contre la robustesse prédictive. Il s'interroge sur la possibilité que la pénalisation du chevauchement spatial des explications basées sur le gradient d'un classifieur d'étiquettes et d'un classifieur de confondants puisse servir de régularisateur direct et interprétable pour la robustesse face aux décalages de distribution.

Méthodologie : Cadre eX2L
Les auteurs proposent eXplaining to Learn (eX2L), un cadre interprétable basé sur l'explication qui décorréle les caractéristiques de confusion des représentations latentes d'un classifieur pendant l'entraînement. Le mécanisme central implique l'entraînement de deux modèles concurrents :

1. Un classifieur d'étiquettes principal ($f_y$) entraîné pour prédire l'étiquette cible $Y$.
2. Un classifieur de confondants entraîné simultanément ($f_c$) entraîné pour prédire la variable de confusion $C$ (par exemple, arrière-plan, genre, couleur).

Le mécanisme de régularisation
eX2L atteint l'invariance de domaine en découplant explicitement le focus visuel du modèle d'étiquettes de celui du modèle de confondants. Il utilise Grad-CAM (Gradient-weighted Class Activation Mapping) pour générer des cartes thermiques représentant les régions spatiales auxquelles chaque modèle prête attention.

• Spécificité de la cible : Contrairement aux méthodes de gradient d'entrée (par exemple, SHAP, Integrated Gradients) qui peuvent rester invariantes face à la reparamétrisation du réseau, Grad-CAM est choisi pour sa fidélité aux paramètres appris du modèle.
• Attention disjointe : Le cadre pénalise la similarité spatiale entre la carte thermique Grad-CAM du modèle d'étiquettes ($L_y$) et celle du modèle de confondants ($L_c$). Si les modèles reposent sur les mêmes pixels, le modèle d'étiquettes apprend probablement par « raccourci » en utilisant des indices d'arrière-plan fallacieux.
• Fonction de perte : L'objectif d'entraînement total $\hat{R}_{eX2L}$ combine les pertes de tâche pour les deux classifieurs avec une perte de similarité ($L_{sim}$) :
  $$\hat{R}_{eX2L}(\theta, \phi) = \mathbb{E}_{(x,y,c) \sim D_{train}} [L(x, y; \theta) + \lambda_c L(x, c; \phi) + \lambda_{sim} L_{sim}(x, y, c; \theta, \phi)]$$
  Ici, $L_{sim}$ mesure le chevauchement spatial (par exemple, en utilisant la similarité cosinus, MAE ou Soft Dice) entre les cartes thermiques Grad-CAM détachées. Les cartes thermiques sont détachées (stop-gradient) pour les traiter comme des priors spatiaux statiques, évitant ainsi le coût computationnel des dérivées d'ordre supérieur.

Stratégie d'échantillonnage
L'article souligne le rôle critique de l'échantillonnage uniforme par groupe. Contrairement à l'échantillonnage aléatoire, qui suit la distribution d'entraînement, l'échantillonnage uniforme par groupe garantit que chaque lot contient des représentations équilibrées de tous les groupes étiquette-confondant. Cela empêche le modèle d'apprendre les proportions inhérentes étiquette-confondant comme un raccourci, le forçant à s'appuyer sur la pénalité Grad-CAM pour distinguer les caractéristiques invariantes des caractéristiques fallacieuses.

Contributions clés

1. Interprétabilité comme catalyseur : eX2L remet en question l'hypothèse prévalente selon laquelle des modèles plus explicables sont nécessairement moins précis. Il démontre qu'une invariance de domaine fonctionnelle peut être obtenue en découplant explicitement les attributs d'étiquettes et de nuisance au niveau du groupe en utilisant une régularisation basée sur l'explication.
2. Ciblage direct des corrélations fallacieuses : Contrairement aux régularisateurs « aveugles », eX2L pénalise directement le chevauchement spatial des cartes d'attention, forçant le modèle d'étiquettes à identifier des caractéristiques uniques et invariantes plutôt que de s'appuyer sur des régions de confusion.
3. Efficacité en complexité : La méthode ne nécessite que deux classifieurs concurrents et des étiquettes de confondants (aucun masque de segmentation de vérité terrain), offrant un pipeline d'entraînement en une seule étape et rationalisé par rapport aux approches centrées sur les données en deux étapes comme Just Train Twice (JTT).

Résultats expérimentaux
Les auteurs ont évalué eX2L sur des benchmarks standards de décalage de sous-population (CMNIST, Waterbirds, CelebA) et sur le benchmark rigoureux Spawrious pour la généralisation de domaine (défis One-to-One Easy et Many-to-Many Hard).

• Décalages de sous-populations : Sur le benchmark Spawrious Many-to-Many Hard, eX2L (spécifiquement la variante MAE) a atteint une précision moyenne (AA) de 82,24 % ± 3,87 % et une précision du groupe le plus défavorisé (WGA) de 66,31 % ± 8,73 %. Cela surpasse l'état de l'art actuel (GroupDRO) de 5,49 % en AA et de 10,90 % en WGA.
• Preuve visuelle : Les visualisations Grad-CAM confirment que eX2L restreint le focus aux régions sémantiquement invariantes (par exemple, l'oreille d'un chien), tandis que des lignes de base comme ERM et GroupDRO diffusent l'attention sur des arrière-plans de confusion (par exemple, la texture de la plage).
• Analyse de l'espace latent : Les visualisations UMAP montrent que eX2L produit des représentations d'étiquettes compactes et bien séparées avec un MMD (Maximum Mean Discrepancy) élevé pour les étiquettes, tout en réalisant une interpénétration quasi totale des caractéristiques de confondants (MMD faible pour les confondants), indiquant un désentanglement réussi.
• Compromis d'efficacité : Bien que eX2L entraîne environ un doublement du temps d'entraînement par rapport à ERM en raison du calcul Grad-CAM, ce coût génère des gains de performance significatifs dans des contextes de décalage de distribution difficiles où les méthodes de base échouent.

Signification et affirmations
L'article affirme que eX2L fournit un mécanisme transparent pour découpler les corrélations fallacieuses, atténuant ainsi les décalages de distribution. Il soutient que l'interprétabilité peut agir comme un catalyseur pour la robustesse prédictive plutôt que comme un compromis contre celle-ci. Le cadre est particulièrement significatif pour les contextes de déploiement à haut risque (par exemple, santé, systèmes autonomes) où l'auditabilité du processus de débiaisage est cruciale pour la responsabilité.

Les auteurs notent modestement que eX2L nécessite des annotations de confondants au niveau de l'image au moment de l'entraînement, ce qui limite son applicabilité dans des contextes exploratoires où les attributs de nuisance sont inconnus. Ils reconnaissent également que le choix de la métrique de similarité (par exemple, MAE par rapport à Cosine) doit être informé par la géométrie du confondant (par exemple, les pénalités pixel par pixel fonctionnent bien pour les confondants d'arrière-plan, tandis que des métriques plus souples sont meilleures pour des attributs diffus comme la couleur des cheveux). L'article conclut que eX2L pose les bases de l'équité algorithmique en démontrant que le découplage explicite des attributs peut conduire à une généralisation supérieure sans sacrifier l'interprétabilité.