💻 computer science

Did Models Learn Sufficiently? Attribution-Guided Training via Subset-Selected Counterfactual Augmentation

Cet article propose l'augmentation contrefactuelle par sélection de sous-ensembles (SS-CA), une stratégie d'entraînement qui exploite l'attribution fidèle pour générer des échantillons contrefactuels en masquant les régions pertinentes pour la décision, guidant ainsi les modèles à apprendre des frontières de décision plus robustes et améliorant significativement les performances en termes de précision en distribution, de généralisation hors distribution et de robustesse aux perturbations.

Auteurs originaux : Yannan Chen, Ruoyu Chen, Wei Wang, Bin Zeng, Jinke Li, Shiming Liu, Qunli Zhang, Yaowei Wang, Xiaochun Cao

Publié 2026-07-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yannan Chen, Ruoyu Chen, Wei Wang, Bin Zeng, Jinke Li, Shiming Liu, Qunli Zhang, Yaowei Wang, Xiaochun Cao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le problème central : Le modèle de l'« Étudiant Paresseux »

Imaginez que vous enseigniez à un étudiant (un modèle d'IA) à reconnaître un Cygne.

La méthode idéale : Vous montrez à l'étudiant de nombreuses photos de cygnes. Il apprend qu'un cygne possède un long cou, des ailes blanches, un bec spécifique et une certaine façon de flotter. S'il voit l'une de ces caractéristiques, il peut dire : « C'est un cygne ! ».
La méthode « Paresseuse » : L'étudiant devient intelligent mais paresseux. Il remarque que dans chaque photo que vous lui avez montrée, la tête du cygne était visible. Il décide alors : « Je n'ai pas besoin d'apprendre le cou ou les ailes. Si je vois une tête, c'est un cygne ».

C'est ce qui arrive aux modèles d'IA actuels. Ils trouvent souvent un « raccourci » (comme regarder uniquement la tête) au lieu d'apprendre l'image complète.

La conséquence : Si vous montrez à l'étudiant une photo de cygne où la tête est cachée (par exemple, sous l'eau), l'étudiant panique et dit : « Ce n'est pas un cygne ! » parce que son raccourci a échoué. Ils sont fragiles et peu fiables lorsque les choses changent.

La solution : « L'Augmentation Contrefactuelle »

Les auteurs proposent une nouvelle méthode d'entraînement appelée SS-CA (Subset-Selected Counterfactual Augmentation). Considérez cela comme un « Sergent Instructeur » pour l'IA qui la force à arrêter de tricher.

Voici comment le processus fonctionne, étape par étape :

1. Le détective du « Et si ? » (Explication contrefactuelle)

D'abord, le système agit comme un détective posant une question de type « Et si ? ».

Question normale : « Quelle partie de cette image prouve que c'est un cygne ? » (Cela met généralement en évidence la tête).
Question SS-CA : « Quelle est la plus petite partie de cette image que je peux supprimer pour que l'IA pense qu'il s'agit d'un Canard à la place ? »

Le système utilise un outil spécial (appelé Counterfactual LIMA) pour trouver ce « maillon faible » spécifique. Il pourrait découvrir : « Si je cache la tête, l'IA arrête de penser "Cygne" et commence à penser "Canard" ». Cela prouve que l'IA repose uniquement sur la tête.

2. Le « Masque Intelligent » (Sélection de proximité de la frontière)

Une fois que le système a trouvé la « tête », il ne se contente pas de la découper et de la jeter (ce qui rendrait l'image étrange et confuse).
Au lieu de cela, il vérifie deux règles :

Est-ce que supprimer cela change réellement l'avis de l'IA ? (Oui, elle devine alors « Canard »).
L'image ressemble-t-elle toujours à un cygne ? (Oui, le corps et les ailes sont toujours là).

Si les deux conditions sont remplies, il conserve ce « masque » spécifique (la zone de la tête) comme cible d'entraînement.

3. Le « Flou Doux » (Remplissage adaptatif)

Maintenant, le système doit créer une nouvelle image d'entraînement. Il prend la zone de la « tête » et la couvre. Mais il n'utilise pas un carré noir ou du bruit aléatoire (ce qui ressemblerait à un monstre).
À la place, il utilise une stratégie de « Flou Doux » à trois voies :

Il lisse la zone (Flou/Blur).
Il remplit la zone avec la couleur moyenne des environs (Moyenne/Mean).
Il utilise des motifs à basse fréquence (comme un brouillard léger).

L'analogie : Imaginez que vous appreniez à quelqu'un à reconnaître une voiture. Au lieu de peindre les roues en noir (ce qui semble faux), vous placez un brouillard très léger et semi-transparent sur les roues. La voiture ressemble toujours à une voiture, mais les roues sont difficiles à voir.

4. Le « Ré-entraînement » (Alimentation du modèle)

L'IA se voit maintenant présenter cette image de cygne à la « tête brumeuse ».

L'ancienne IA : Échouerait immédiatement car son raccourci (la tête) a disparu.
La nouvelle IA (SS-CA) : Est forcée de regarder le cou et les ailes pour comprendre : « Attendez, même sans la tête, c'est toujours un cygne ! ».

En répétant ce processus des milliers de fois avec différentes « parties manquantes », l'IA apprend à s'appuyer sur de multiples indices (tête, cou, ailes) plutôt que sur un seul. Elle construit un « filet de sécurité » de connaissances.

Pourquoi est-ce meilleur ? (Les résultats)

L'article a testé cette méthode sur de nombreux types d'images (photos standards, dessins artistiques, croquis et images bruitées).

Photos standards : L'IA est devenue légèrement meilleure pour reconnaître des choses qu'elle avait déjà vues auparavant.
Photos complexes (OOD - Hors distribution) : C'est là que la magie a opéré. Lorsque l'IA faisait face à des images « Out-of-Distribution » (comme des dessins animés ou des croquis où les caractéristiques du « raccourci » sont absentes), elle a performé bien mieux que les modèles standards.
- Exemple : Sur un ensemble de données de représentations artistiques, le modèle standard a réussi environ 31 % du temps. Le modèle SS-CA a atteint près de 49 %.
Bruit : Lorsque les images étaient floues ou comportaient des parasites (comme une vieille télévision), le modèle SS-CA était beaucoup plus robuste.

Résumé

L'article soutient que les modèles d'IA sont souvent des « tricheurs » qui s'appuient sur un ou deux indices faciles. Les auteurs ont créé une méthode d'entraînement qui :

Trouve l'indice spécifique avec lequel l'IA triche.
Cache cet indice délicatement (sans gâcher l'image).
Force l'IA à apprendre les autres indices pour résoudre l'énigme.

Le résultat est un modèle moins susceptible d'être trompé lorsque le monde change, ce qui le rend plus fiable et plus proche de la compréhension « humaine ».

Résumé Technique : Augmentation Contrefactuelle par Sélection de Sous-ensembles (SS-CA)

Énoncé du Problème

Les modèles visuels profonds actuels atteignent souvent une précision élevée en s'appuyant sur un ensemble limité d'indices visuels discriminants ou de « raccourcis » plutôt que sur des preuves causales robustes. Cette dépendance rend les modèles fragiles face aux changements de distribution (Out-of-Distribution, OOD) ou lorsque des parties clés de l'objet sont occultées. Bien que les méthodes d'attribution fidèles puissent révéler ces dépendances problématiques via des explications localisées, elles sont généralement employées a posteriori et ne sont pas intégrées dans la boucle d'entraînement pour corriger les frontières de décision du modèle. De plus, les méthodes existantes d'apprentissage guidé par l'explication reposent souvent sur des attributions basées sur le gradient (par exemple, Grad-CAM), qui sont connues pour être faiblement fidèles et peuvent échouer à capturer la véritable logique décisionnelle du modèle, limitant ainsi leur efficacité pour guider l'entraînement.

Méthodologie

Le papier propose la Subset-Selected Counterfactual Augmentation (SS-CA), une stratégie d'entraînement qui convertit les régions d'attribution en un feedback contrefactuel efficace pour l'entraînement. Le cadre fonctionne en boucle fermée composée de trois étapes principales :

1. Sélection de la Catégorie Contrefactuelle

Lors de l'étape d'entraînement conventionnelle, une image d'entrée factuelle est traitée pour obtenir les logits de classe. La classe de vérité terrain est conservée, et une « classe contrefactuelle » est échantillonnée aléatoirement parmi les $k$ classes alternatives ayant les scores les plus élevés. Cette classe contrefactuelle sert de cible pour l'intervention contrefactuelle.

2. Explication Contrefactuelle (Counterfactual LIMA)

Les auteurs étendent LIMA (une méthode d'attribution fidèle basée sur la sélection de sous-ensembles) en Counterfactual LIMA pour l'attribution lors de l'entraînement. Contrairement à LIMA standard, qui identifie les régions soutenant la prédiction actuelle, Counterfactual LIMA recherche l'ensemble minimal de régions $S$ dont le retrait pousse la prédiction du modèle de la classe de vérité terrain vers la classe contrefactuelle sélectionnée.

Objectif : La méthode formule cela comme un problème de sélection de sous-ensemble submodulaire, utilisant un algorithme glouton pour sélectionner de manière itérative des régions qui maximisent la fonction d'utilité $F(S)$ .
Fonction d'Utilité : $F(S)$ $F (S)$ combine deux objectifs complémentaires :
- Score de Suppression (Deletion Score) : Mesure l'augmentation de la confiance pour la classe contrefactuelle et la diminution pour la classe de vérité terrain lors de la suppression des régions.
- Score d'Insertion (Insertion Score) : Garantit que les régions sélectionnées, lorsqu'elles sont isolées, préservent toujours suffisamment de preuves pour la classe de vérité terrain et ne soutiennent pas de manière spécieuse la classe contrefactuelle.
Porte de Recherche (Search Gate) : Avant l'augmentation, les sous-ensembles candidats sont filtrés par deux critères :
1. Chute de la Marge (Margin Drop) : Le retrait du sous-ensemble doit réduire significativement la marge de logit entre la classe de vérité terrain et la classe concurrente la plus forte.
2. Préservation Sémantique : L'image atténuée doit toujours être prédite comme étant la classe de vérité terrain, garantissant que la modification ne détruit pas le contenu sémantique original.

3. Augmentation Guidée par l'Attribution

Une fois les cartes d'attribution valides identifiées, les régions sélectionnées sont atténuées en utilisant une stratégie de Combinaison Adaptative à Trois Voies. Au lieu d'utiliser des masques noirs ou des arrière-plans externes (qui introduisent de nouvelles sémantiques), la méthode remplace les régions masquées par une combinaison pondérée de :

Composantes de basse fréquence
Contenu flou
Valeurs de pixels moyennes
Ce remplissage adaptatif ( $Q(I) = \omega_1 Q_{low} + \omega_2 Q_{blur} + \omega_3 Q_{mean}$ ) affaiblit les preuves pertinentes pour la décision tout en préservant la sémantique globale de l'image.

Optimisation Conjointe

Les échantillons contrefactuels résultants, qui conservent leurs étiquettes de vérité terrain originales, sont réinjectés dans la boucle d'entraînement. Le modèle est optimisé conjointement à l'aide d'une fonction de perte qui combine l'entropie croisée standard sur les images originales et l'entropie croisée sur les échantillons augmentés par contrefactuel. Cela encourage le modèle à exploiter des preuves informatives restantes et à déplacer sa frontière de décision vers une configuration plus robuste.

Principales Contributions

Cadre SS-CA : Les auteurs proposent un cadre d'entraînement qui étend LIMA a posteriori en un Counterfactual LIMA pour le temps d'entraînement. Cela identifie les régions changeant la décision, génère des échantillons contrefactuels efficaces et les réinjecte pour pousser la frontière de décision vers un état amélioré.
Sélection de Masque Près de la Frontière Valide : Une stratégie est introduite pour sélectionner des masques qui préservent les sémantiques originales tout en réduisant l'écart de logit entre la classe de vérité terrain et la classe concurrente, assurant que les échantillons générés approchent efficacement la frontière de décision.
Remplissage Adaptatif à Trois Voies : Une stratégie théorique et pratique de remplissage contrefactuel est proposée pour supprimer les preuves sélectionnées sans introduire d'informations sémantiques externes, évitant ainsi la corruption des sémantiques originales.
Validation Étendue : La méthode est validée sur cinq variantes d'ImageNet (ImageNet-100, TinyImageNet-200, ImageNet-1k, ImageNet-R, ImageNet-S) et plusieurs architectures (CLIP ViT, ViT, ResNet-101), démontorant des améliorations constantes de la précision ID, de la généralisation OOD et de la robustesse aux perturbations.

Résultats Expérimentaux

Le papier rapporte des gains de performance significatifs sur divers benchmarks :

ImageNet-1k (CLIP ViT-B/32) : SS-CA améliore la précision en distribution (ID) de 5,70 % (de 71,44 % à 77,14 %) et la précision OOD sur ImageNet-R de 18,04 % (de 31,63 % à 49,67 %).
TinyImageNet-200 (ResNet-101) : La méthode obtient des gains de 9,52 % sur ImageNet-R (de 11,29 % à 20,81 %) et de 11,33 % sur ImageNet-S (de 11,34 % à 22,67 %).
Robustesse : Sous une corruption par bruit Gaussien, SS-CA obtient une amélioration d'environ 4 % par rapport à l'entraînement conventionnel.
Comparaison : SS-CA surpasse systématiquement l'entraînement conventionnel et les méthodes de débaisage récentes (Xiao et al. [16], Chen et al. [12]) qui reposent sur des attributions basées sur le gradient. Les études d'ablation confirment que le composant Counterfactual LIMA et la stratégie de remplissage Adaptive Combination sont tous deux nécessaires pour ces gains.

Signification et Revendications

Le papier affirme que coupler l'interprétabilité contrefactuelle avec l'entraînement du modèle est une voie prometteuse vers des modèles visuels plus fiables et transparents. En identifiant et en atténuant explicitement les causes suffisantes limitées sur lesquelles les modèles s'appuient, SS-CA force le modèle à apprendre à partir d'un ensemble plus large de preuves causales. Les auteurs soulignent que leur approche traite la fragilité des modèles actuels sous les changements de distribution sans recourir à des modèles génératifs externes ou introduire des artefacts sémantiques fallacieux. Le travail démonte que passer de l'analyse a posteriori à un entraînement actif guidé par l'attribution peut effectivement remodeler les frontières de décision pour une plus grande robustesse.