Consistent Evidence, Robust Recognition: Faithful Attribution Regularization under Geometric Transformations

Résumé Technique : Preuve Cohérente, Reconnaissance Robuste

Énoncé du Problème
Les méthodes d'attribution sont largement utilisées pour identifier les preuves d'entrée sous-jacentes aux prédictions des réseaux de neurones profonds. Cependant, leur potentiel à améliorer activement le comportement des modèles reste peu exploré. Un problème critique est l'incohérence de l'attribution sous des transformations géométriques préservant l'étiquette (par exemple, le retournement ou la rotation). Bien que la classe prédite puisse rester inchangée, le modèle déplace souvent sa dépendance des preuves de l'objet original vers des régions différentes ou non pertinentes. Cela indique une sensibilité aux transformations géométriques qui mine la robustesse.

Les approches existantes de régularisation d'attribution reposent généralement sur des objectifs de cohérence auto-supervisés dérivés de cartes basées sur le gradient (par exemple, Grad-CAM). Une limitation fondamentale de ces méthodes est la fidélité : les cartes basées sur le gradient ne reflètent pas toujours précisément les preuves qui motivent la décision du modèle. Par conséquent, l'alignement de ces cartes assure la cohérence de l'output d'explication, mais ne garantit pas la cohérence du processus de décision sous-jacent. Un modèle peut atteindre une cohérence au niveau de l'explication tout en s'appuyant sur des preuves sensibles aux transformations. Le défi central abordé par ce travail est la manière de convertir une attribution fidèle et liée à la décision en un signal d'entraînement efficace pour imposer une dépendance constante aux preuves sans annotations humaines.

Méthodologie
Les auteurs proposent un cadre de régularisation d'attribution sans annotation basé sur la recherche submodulaire sur des régions d'images. La méthode opère en deux étapes :

1. Étape de Requête (Génération de la Supervision) :
   Au lieu d'utiliser des cartes thermiques basées sur le gradient, le cadre emploie une méthode d'attribution par recherche (spécifiquement LIMA) pour extraire des preuves compactes et discriminantes de la classe. Le processus sélectionne de manière gloutonne les régions d'image qui maximisent une fonction de score submodulaire, laquelle combine des métriques de cohérence, de confiance et de collaboration. La recherche se termine lorsqu'un seuil de cohérence est atteint.

   • Filtrage : Seuls les échantillons correctement classés, présentant une haute confiance et résultant en une zone d'attribution compacte, sont conservés. Cela garantit que le signal de supervision est dérivé d'un comportement de modèle fiable.
   • Séquence de Supervision : Pour les échantillons conservés, la séquence ordonnée des régions sélectionnées et la condition d'arrêt constituent la « supervision dérivée de la recherche ».

2. Étape d'Entraînement (Perte de Classement Submodulaire) :
   Pour régulariser le modèle, le cadre aligne la trajectoire de recherche d'attribution d'une image transformée avec la trajectoire spatialement correspondante de l'image originale. Comme le processus de recherche est discret et séquentiel, un substitut différentiable est nécessaire. Les auteurs introduisent la Perte de Classement Submodulaire (Submodular Ranking Loss), composée de deux termes :

   • Perte de Sélection-Classement ($L_{SelR}$) : À chaque étape de la recherche gloutonne sur l'image transformée, ce terme impose que la région cible spatialement correspondante (provenant de la séquence originale) soit classée plus haut que tous les autres candidats non cibles restants.
   • Perte de Sélection-Troncation ($L_{SelT}$) : Ce terme encourage l'évidence accumulée de la trajectoire transformée à satisfaire le même critère d'arrêt que la séquence de requête originale à l'étape terminale cible.

L'objectif total combine la perte de classification standard avec la Perte de Classement Submodulaire, pondérée par un hyperparamètre $\lambda$. Le cadre est implémenté avec des optimisations telles que des espaces de recherche contraints et une régularisation parcimonieuse pour gérer la surcharge computationnelle.

Contributions Clés

1. Préalable d'Attribution Fidèle : Ce travail formule la régularisation d'attribution autour du principe selon lequel la supervision doit représenter fidèlement les preuves sous-jacentes à la prédiction, allant au-delà de la simple cohérence de carte.
2. Cadre Sans Annotation : Un cadre novateur qui dérive des séquences de supervision compactes à partir de recherches submodulaires filtrées, éliminant le besoin d'annotations de pertinence fournies par l'humain.
3. Perte de Classement Submodulaire : Une fonction de perte différentiable qui aligne la sélection de candidats le long de trajectoires transformées et impose des critères d'arrêt, fournissant un substitut au processus de sélection d'évidence autrement discret.
4. Validation Empirique : Des expériences approfondies démontrant une amélioration de la stabilité et de la fidélité de l'attribution, ainsi qu'une plus grande robustesse aux entrées transformées, avec un impact minimal sur la précision des images saines (clean-image accuracy).

Résultats Expérimentaux
La méthode a été évaluée sur ImageNet-100 et ImageNet-1K en utilisant les architectures ViT-B/16, ViT-L/16, ResNet-50 et ConvNeXt-B.

• Qualité de l'Attribution (ImageNet-100, ViT-B/16) :
  • La stabilité de l'attribution est passée de 0,14 à 0,27.
  • Le score d'Insertion s'est amélioré de 52,1 %.
  • Le score de Suppression (Deletion) a été réduit de 62,2 %.
  • La précision de classification n'a chuté que de 0,28 point de pourcentage.
• Robustesse (ImageNet-1K) :
  • La précision moyenne des entrées transformées s'est améliorée de 0,55 (ResNet-50) et 0,33 (ConvNeXt-B) point de pourcentage.
  • La réduction de la précision sur images saines a été limitée à 0,30 point.
• Efficacité : La méthode atteint un débit d'entraînement comparable à CGC et plus rapide que CLIP-AFT, avec des exigences de mémoire GPU nettement inférieures aux méthodes de gradient de second ordre.

Signification et Revendications
L'article affirme qu'une attribution fidèle favorise une dépendance constante aux preuves sans compromettre matériellement la performance prédictive. En déplaçant l'attention de l'alignement de cartes de gradients potentiellement infidèles vers l'alignement du processus réel de sélection des preuves dérivé de la recherche submodulaire, la méthode traite la cause profonde de la sensibilité aux transformations. Les résultats suggèrent qu'imposer l'équivariance sur les preuves pertinentes pour la décision, plutôt que sur la seule sortie d'explication, conduit à des modèles plus robustes qui s'appuient sur des preuves spatialement correspondantes à travers les transformations géométriques. Les auteurs notent que le code sera publié prochainement pour faciliter la recherche future.