⚡ electrical engineering

CAMAL: Improving Attention Alignment and Faithfulness with Segmentation Masks

Ce papier présente CAMAL, une méthode efficace et évolutive qui exploite les masques de segmentation comme régularisateur auxiliaire pour améliorer considérablement à la fois la précision spatiale (alignement) et la pertinence causale (fidélité) de l'attention dans les modèles de vision à travers les paradigmes d'apprentissage profond et d'apprentissage par renforcement profond, renforçant ainsi l'explicabilité sans augmenter les coûts d'inférence.

Auteurs originaux : Rajdeep Singh Hundal, Yan Xiao, Jin Song Dong, Manuel Rigger

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rajdeep Singh Hundal, Yan Xiao, Jin Song Dong, Manuel Rigger

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à reconnaître un chat sur une photo. Vous lui montrez des milliers d'images, et éventuellement, le robot devient très doué pour dire : « C'est un chat ! » Mais voici le problème : pourquoi a-t-il pensé cela ?

Peut-être qu'il regarde les oreilles duveteuses du chat. Ou peut-être qu'il regarde simplement l'herbe verte en arrière-plan, car toutes les photos de chats ont fortuitement été prises sur des pelouses. Si le robot devine simplement en se basant sur l'herbe, il n'apprend pas vraiment « à propos des chats » ; il prend un raccourci.

Ce papier présente une nouvelle méthode appelée CAMAL (Class Activation Map Attention Learning) pour résoudre ce problème. Imaginez CAMAL comme un enseignant strict mais utile qui ne vérifie pas seulement la réponse finale du robot, mais aussi où le robot regarde pendant qu'il réfléchit.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : « Le robot regarde la mauvaise chose »

Par le passé, les chercheurs ont essayé d'enseigner aux robots à regarder les bons endroits en utilisant des « indices » provenant d'autres modèles d'IA (comme un modèle qui sait à quoi ressemble le son d'un chat ou à quoi il ressemble généralement). Le papier appelle cela des « régions pseudo-discriminatives ».

L'analogie : Imaginez essayer d'enseigner à un élève à trouver une personne spécifique dans une foule en lui montrant un croquis flou et basse résolution de cette personne. L'élève pourrait deviner la bonne personne, mais il pourrait aussi se tromper et pointer quelqu'un qui porte fortuitement un chapeau similaire. L'indice était trop vague.

2. La Solution : « La carte de référence absolue »

Les auteurs ont remarqué que de nombreux ensembles de données modernes sont accompagnés de masques de segmentation.

L'analogie : Au lieu d'un croquis flou, imaginez que vous avez un contour parfaitement tracé (comme une page de livre de coloriage) qui montre exactement où se trouve le chat, pixel par pixel. C'est la « vérité terrain ». C'est une carte vérifiée par un humain qui dit : « Le chat est juste ici, et nulle part ailleurs. »

CAMAL utilise ces cartes parfaites pour enseigner au robot. Il dit : « Lorsque vous regardez l'image, votre « attention » (votre projecteur mental) doit briller intensément sur les zones à l'intérieur de ce contour, et rester sombre partout ailleurs. »

3. Comment CAMAL fonctionne (La « pénalité de l'enseignant »)

Le papier décrit une règle en deux parties pour le robot pendant l'entraînement :

Encourager le bon : Si l'attention du robot brille sur le chat (à l'intérieur du masque), l'enseignant fait un pouce vers le haut.
Punir le mauvais : Si l'attention du robot brille sur l'herbe ou l'arrière-plan (à l'extérieur du masque), l'enseignant fait un pouce vers le bas.

Le papier appelle cela « Alignement de l'attention » (regarder le bon endroit) et « Fidélité de l'attention » (s'assurer que regarder cet endroit aide réellement le robot à prendre sa décision). CAMAL force le robot à faire les deux.

4. L'astuce du « lot » (Pour aller vite)

Habituellement, vérifier où un robot regarde pour chaque image individuelle demande beaucoup de puissance de calcul et de temps. C'est comme un enseignant qui s'arrête pour corriger les devoirs de chaque élève un par un avant de passer au suivant.

L'innovation : Les auteurs ont trouvé une astuce mathématique astucieuse pour vérifier toute la classe d'un coup. Au lieu de noter 32 élèves individuellement, ils notent tout le groupe en une seule fois. Cela rend le processus beaucoup plus rapide et leur permet d'utiliser cette méthode sur d'énormes ensembles de données sans faire planter l'ordinateur.

5. Ce qu'ils ont découvert

Les chercheurs ont testé cela sur deux types de tâches :

Vision standard (DL) : Identifier des fleurs, des animaux de compagnie et des images médicales.
Jeux vidéo (DRL) : Enseigner à un robot à jouer à un jeu de tir à la première personne (ViZDoom).

Les résultats :

Meilleure concentration : Les robots entraînés avec CAMAL regardaient les objets réels (le chat, la fleur, l'ennemi) beaucoup plus précisément que les robots entraînés avec les anciens indices de « croquis flous » ou sans aucun indice.
Plus de confiance : Lorsque les chercheurs ont testé si le focus du robot importait réellement, ils ont constaté que les robots entraînés avec CAMAL étaient « fidèles ». Si vous couvriez la partie sur laquelle le robot regardait, le robot devenait confus. Si vous couvriez l'arrière-plan, le robot s'en fichait. Cela prouve que le robot regardait réellement les choses importantes.
Pas de pénalité de vitesse : Les robots ne sont pas devenus plus lents lorsqu'ils jouaient ou identifiaient des choses plus tard. Le travail supplémentaire ne se produisait que pendant qu'ils apprenaient.

La conclusion

Le papier soutient que pour rendre l'IA digne de confiance, nous devons ancrer son attention dans des cartes fiables et vérifiées par l'humain (masques de segmentation) plutôt que dans des suppositions vagues provenant d'autres modèles d'IA. CAMAL est un outil qui utilise ces cartes pour entraîner l'IA à regarder les bonnes choses, rendant les décisions de l'IA plus logiques et moins susceptibles d'être basées sur des raccourcis accidentels.

En résumé : CAMAL enseigne à l'IA à regarder le « chat » et non l'« herbe », en utilisant un contour parfait comme guide, et ce, de manière efficace sans ralentir le résultat final.

Résumé Technique : CAMAL

Énoncé du Problème

Les modèles de vision déployés dans des applications réelles nécessitent de l'interprétabilité pour garantir la fiabilité de leurs décisions. Les cartes d'activation de classe (CAM) sont largement utilisées pour visualiser l'attention d'un modèle, en mettant en évidence les régions perçues comme discriminatives par le modèle. Cependant, les approches existantes souffrent de deux limitations critiques :

Absence d'alignement de l'attention : Les modèles accordent souvent leur attention à des régions spuriaires plutôt qu'aux régions discriminatives de référence, un phénomène connu sous le nom d'"apprentissage par raccourci".
Absence de fidélité de l'attention : Même si l'attention s'aligne sur une région, cela ne garantit pas que cette attention influence causalement la décision du modèle.

Les tentatives récentes pour résoudre ce problème via une "supervision de l'attention" se sont appuyées sur des régions pseudo-discriminatives dérivées de modèles pré-entraînés zero-shot (par exemple, CLIP) comme signaux de référence. Les auteurs soutiennent que ces priors sont peu fiables car ils sont optimisés pour une généralisation large plutôt que pour une localisation spatiale précise, entraînant souvent des régions de référence fragmentées ou spuriaires. De plus, les méthodes existantes échouent souvent à s'adapter efficacement aux grands ensembles de données car elles reposent sur une extraction d'attention basée sur le gradient par échantillon, ce qui engendre une surcharge computationnelle prohibitive.

Méthodologie : CAMAL

Les auteurs proposent l'Apprentissage de l'Attention par Carte d'Activation de Classe (CAMAL), une méthode qui exploite des masques de segmentation comme régions de référence fiables pour guider l'attention du modèle.

1. Régions de Référence Fiables

Contrairement aux travaux antérieurs utilisant des priors basés sur CLIP, CAMAL utilise des masques de segmentation (souvent vérifiés par des humains ou générés par des outils comme SAM) pour définir les régions discriminatives de référence. Ces masques fournissent des informations spatiales structurées, complètes et précises.

2. Régularisation Auxiliaire Guidée par le Masque

CAMAL formule un objectif de régularisation auxiliaire qui optimise conjointement deux métriques dérivées de la carte de chaleur d'attention $H_c$ du modèle et du masque de segmentation $M_c$ :

$\alpha$ (Attention dans le Masque) : L'attention moyenne à l'intérieur des régions discriminatives de référence.
$\beta$ (Attention hors du Masque) : L'attention moyenne à l'extérieur de ces régions.

La fonction objectif minimise la différence $(\beta - \alpha)$ , encourageant efficacement le modèle à augmenter l'attention à l'intérieur du masque ( $\alpha \uparrow$ ) et à supprimer l'attention dans les régions spuriaires ( $\beta \downarrow$ ). Cela s'ajoute comme régularisateur à la perte d'entropie croisée standard :
$L = L_{CE} + \lambda \sum_{b} (\beta_b - \alpha_b)$
où $\lambda$ contrôle la force de la régularisation.

3. Extraction d'Attention Efficace au Niveau du Lot

Une contribution technique clé est la résolution du goulot d'étranglement de l'évolutivité dans l'extraction d'attention basée sur le gradient (par exemple, Grad-CAM). Les méthodes standard nécessitent un passage arrière séparé pour chaque échantillon dans un mini-lot (complexité $O(B)$ ). CAMAL introduit une formulation efficace où les logits pour tous les échantillons d'un mini-lot sont sommés en un seul scalaire avant d'effectuer un seul passage arrière.

Garantie Théorique : En raison de la linéarité de la différentiation et de l'indépendance des échantillons au sein d'un lot, ce seul passage arrière produit des gradients identiques à un calcul individuel ( $O(1)$ de complexité).
Impact : Cela réduit considérablement la surcharge d'entraînement, rendant la supervision de l'attention réalisable pour des régimes d'entraînement à grande échelle.

4. Agnosticisme de l'Architecture et de la Tâche

CAMAL est conçu pour être agnostique à l'architecture du réseau (applicable aux CNN, aux Transformers comme ViT, et aux modèles hybrides) et aux paradigmes d'apprentissage. Dans l'Apprentissage par Renforcement Profond (DRL), où les étiquettes de référence sont absentes, CAMAL utilise l'estimation de valeur du critique $V(s)$ comme cible pour le calcul de l'attention, permettant une supervision dans des contextes faiblement supervisés.

Contributions Clés

Supervision de l'Attention Principée : Introduction de CAMAL, qui ancre l'apprentissage de l'attention dans des masques de segmentation fiables plutôt que dans des régions pseudo non vérifiées.
Objectif de Régularisation Novel : Une formulation qui encourage simultanément l'attention à l'intérieur des régions de référence et la supprime ailleurs, répondant aux limitations des régularisateurs de type "suppression uniquement".
Méthode d'Extraction Évolutif : Une technique d'extraction d'attention efficace au niveau du lot qui réduit la complexité computationnelle de $O(B)$ à $O(1)$ , permettant une supervision évolutive.
Évaluation Complète : Une évaluation statistiquement rigoureuse à travers les paradigmes d'Apprentissage Profond (DL) et d'Apprentissage par Renforcement Profond (DRL).

Résultats Expérimentaux

Les auteurs ont évalué CAMAL par rapport à deux baselines : Vanilla (sans supervision de l'attention) et Prior (supervision de l'attention utilisant des régions pseudo basées sur CLIP).

Alignement de l'Attention

Métrique : Intersection sur Union (IoU) entre l'attention du modèle et les masques de référence.
Résultats DL : CAMAL a obtenu des améliorations statistiquement significatives de l'IoU sur les 6 modèles (ResNet, ConvNeXt, EfficientNet, ViT, Swin, MaxViT) et les 3 ensembles de données (BUSI, Oxford-IIIT-Pet, Oxford-Flower). Les scores IoU de CAMAL étaient nettement supérieurs à ceux de Vanilla et Prior (par exemple, ~33-42 % pour CAMAL contre ~2-12 % pour Prior sur divers ensembles de données).
Résultats DRL : Dans les environnements ViZDoom, CAMAL a montré un IoU moyen significativement plus élevé que Vanilla, avec une signification statistique confirmée par des Intervalles de Confiance Bootstrap Stratifiés (SBCI) et la Probabilité d'Amélioration (POI).

Fidélité de l'Attention

Métrique : Impact causal mesuré en supprimant/insérant des pixels basés sur l'importance de l'attention et en observant les changements de confiance du modèle.
Résultats : CAMAL a démontré une attention plus fidèle que Prior. Lors de la suppression de pixels, la confiance du modèle de CAMAL a chuté plus rapidement, indiquant que son attention a correctement identifié les caractéristiques critiques. Lors de l'insertion de pixels, la confiance s'est rétablie plus rapidement. CAMAL a obtenu une aire sous la courbe (AUC) supérieure de 35,3 % à celle de Prior dans les scénarios d'insertion.

Performance de Généralisation

DL : CAMAL a constamment surpassé Vanilla en termes de précision de classification sur la plupart des combinaisons modèle-ensemble de données, avec des gains statistiquement significatifs dans la majorité des cas.
DRL : CAMAL a montré une tendance vers une amélioration du retour moyen par rapport à Vanilla, bien que les gains n'aient pas toujours été statistiquement significatifs sur tous les environnements, suggérant que la supervision de l'attention bénéficie à la généralisation mais peut nécessiter un raffinement pour des dynamiques DRL complexes.
Comparaison avec Prior : CAMAL a performé de manière équivalente ou supérieure à Prior en termes de généralisation, suggérant que le principal avantage de la supervision de l'attention réside dans l'amélioration de la qualité de l'attention plutôt que dans une augmentation drastique des performances de la tâche.

Importance et Revendications

L'article revendique que CAMAL démontre que les informations spatiales contenues dans les masques de segmentation peuvent être efficacement exploitées pour guider l'attention du modèle. Les auteurs soulignent que :

La Fiabilité est Primordiale : La supervision de l'attention doit être ancrée dans des régions de référence fiables (masques de segmentation) pour être fiable ; compter sur des régions pseudo issues de modèles zero-shot conduit à des corrections peu fiables.
Qualité plutôt que Quantité : Le principal avantage de la supervision de l'attention est l'amélioration de la qualité de l'attention apprise (alignement et fidélité), les gains de performance de la tâche étant modestes et dépendants du contexte.
Évolutivité : La méthode d'extraction au niveau du lot proposée rend la supervision de l'attention pratique pour les entraînements modernes à grande échelle sans augmenter les coûts d'inférence.

Les auteurs concluent que CAMAL établit une baseline fiable pour les futures méthodes de supervision de l'attention, soulignant que la réalisation du plein potentiel de telles méthodes nécessite de les ancrer dans des informations spatiales précises et de référence.