Extremal Contours: Gradient-driven contours for compact visual attribution

1. Énoncé du problème

Les méthodes actuelles pour expliquer les décisions des réseaux de neurones profonds (DNN) en vision par ordinateur font face à des défis majeurs concernant la fidélité, la compacité et la stabilité :

• Masques de perturbation denses : Des méthodes comme Extremal Perturbations ou Smooth Masks optimisent des masques denses au niveau des pixels pour préserver ou supprimer des régions d'image. Bien qu'efficaces pour identifier les régions causales, ces masques entraînent souvent des sorties fragmentées, bruyantes ou multi-composantes. Ils manquent de garanties topologiques, nécessitant un post-traitement lourd ou une régularisation pour devenir interprétables.
• Saillance basée sur le gradient : Des méthodes comme Integrated Gradients ou Grad-CAM sont efficaces sur le plan computationnel mais produisent souvent des cartes thermiques diffuses et non structurées qui mettent en évidence le bruit de fond irrelevant et échouent aux tests de bon sens pour la fidélité.
• Le vide central : Il existe un besoin d'une méthode d'explication produisant des régions compactes, cohérentes et topologiquement simples (par exemple, une forme unique connectée) sans sacrifier la fidélité causale des approches par perturbation, tout en évitant l'instabilité liée à l'apprentissage de millions de paramètres de pixels.

2. Méthodologie : Extremal Contours

Les auteurs proposent une méthode sans entraînement, pilotée par le gradient, qui remplace les masques de pixels denses par des contours lisses et ajustables.

A. Représentation paramétrique

Au lieu d'optimiser chaque pixel, la méthode paramétrise une région étoilée-convexe à l'aide d'une série de Fourier tronquée.

• Centre : Un point central apprenable $c \in \mathbb{R}^2$.
• Fonction radiale : Le rayon de la frontière $\hat{r}(\theta)$ à l'angle $\theta$ est défini comme suit :
  $$\hat{r}(\theta) = r_0 + \Re\left( \sum_{k=1}^{K} w_k e^{ik\theta} \right)$$
  où $w_k$ sont des coefficients complexes.
• Génération du masque : Pour un pixel $p$ aux coordonnées polaires $(\rho_p, \theta_p)$ par rapport à $c$, la valeur du masque $m(p)$ est une fonction sigmoïde lisse de la différence entre le rayon du pixel et le rayon du contour :
  $$m(p) = \frac{1}{1 + \exp(\tau \cdot [\hat{r}(\theta_p) - \rho_p])}$$
  Cela réduit le nombre de paramètres libres de millions (pixels) à $2K+3$, diminuant drastiquement la dimensionnalité.

B. Objectif d'optimisation

Le contour est optimisé pour satisfaire un objectif de perturbation extrémale en utilisant les gradients du classifieur. La perte totale $L$ se compose de trois termes :

1. Perte extrémale ($L_{extremal}$) : Encourage la variante "préservée" (gardant la région, floutant le reste) à conserver l'embedding original, tandis que la variante "supprimée" (floutant la région, gardant le reste) la supprime.
   $$L_{extremal} = -\cos(e_p, e_o) + \cos(e_d, e_o)$$
   où $e_o, e_p, e_d$ sont les embeddings des images originale, préservée et supprimée.
2. Régularisation de surface ($\lambda_a \alpha_r$) : Pénalise les grandes surfaces pour assurer la compacité. Le poids $\lambda_a$ est ajusté de manière adaptative en fonction de la fidélité de la région préservée. Si la région préservée échoue à maintenir l'embedding, la pénalité de surface est relâchée ; une fois la fidélité atteinte, la pénalité se resserre pour trouver la plus petite région suffisante.
3. Régularisation spectrale ($\lambda_r L_{spec}$) : Pénalise les oscillations haute fréquence dans les coefficients de Fourier pour imposer des frontières lisses :
   $$L_{spec} = \sum_{k=1}^{K} k^2 |w_k|^2$$

C. Extension multi-objets

Le cadre s'étend à plusieurs objets en optimisant simultanément $N$ contours indépendants. Le masque final est le maximum pixel par pixel des masques individuels, la perte sommant les pénalités de surface et spectrales de tous les contours.

3. Contributions clés

1. Garanties topologiques : Par construction, la méthode produit des masques lisses, uniques et simplement connectés, éliminant le besoin de post-traitement pour supprimer le bruit ou la fragmentation.
2. Réduction de dimensionnalité : Réduit les paramètres apprenables de plusieurs ordres de grandeur (de $H \times W$ à $\approx 2K$), conduisant à une convergence plus rapide et à une stabilité sans optimisation au niveau du jeu de données.
3. Robustesse aux artefacts adverses : La contrainte de faible dimensionnalité et de lissage empêche l'optimiseur d'exploiter des degrés de liberté non contraints pour créer des masques "adverses" qui satisfont mathématiquement la perte mais sont sémantiquement dénués de sens.
4. Contrôle explicite de la surface : Introduit un mécanisme pour générer des profils fidélité-surface, permettant aux utilisateurs de visualiser le compromis entre la taille de l'explication et la confiance du modèle.
5. Indépendance du modèle : La méthode fonctionne efficacement sur des modèles supervisés (ResNet-50) et auto-supervisés (DINO).

4. Résultats expérimentaux

La méthode a été évaluée sur les jeux de données ImageNet et COCO en utilisant les modèles ResNet-50 et DINO ViT-B/16.

• Performance qualitative :
  • Produit des frontières de contours uniques et nettes qui enferment étroitement l'objet d'intérêt.
  • Contrairement aux cartes de gradient (diffuses) ou aux masques denses (fragmentés), Extremal Contours fournit une représentation structurée et interprétable.
• Performance quantitative :
  • Masse de pertinence et rang : Obtient des scores compétitifs ou supérieurs par rapport aux références (Smooth Mask, Grad-CAM++, Integrated Gradients).
  • Complexité et parcimonie : Fournit des explications hautement parcimonieuses avec une entropie inférieure à celle des méthodes denses.
  • Fidélité : Crucialement, sur les modèles DINO auto-supervisés, où de nombreuses références échouent (montrant des corrélations de fidélité négatives), Extremal Contours maintient des corrélations de fidélité positives et améliore la masse de pertinence de >15 %.
• Robustesse :
  • La méthode est stable à travers différents points d'initialisation (centre $c$).
  • Elle est robuste au poids de régularisation spectrale $\lambda_r$, convergeant systématiquement vers l'objet correct, que la forme résultante soit circulaire ou irrégulière.

5. Importance et perspectives futures

• Interprétabilité : Le passage des cartes thermiques au niveau des pixels aux contours géométriques offre une manière plus intuitive pour l'humain de comprendre le raisonnement du modèle, en particulier pour des domaines critiques pour la sécurité comme l'imagerie médicale (CT, IRM) où les cliniciens ont besoin de frontières claires et modifiables plutôt que de cartes thermiques bruyantes.
• Efficacité vs Fidélité : Elle résout le compromis entre l'efficacité computationnelle des méthodes de gradient et la fidélité causale des méthodes de perturbation, offrant le meilleur des deux mondes.
• Limites :
  • Contrainte étoilée-convexe : La méthode ne peut pas naturellement représenter des objets avec des concavités profondes ou des trous (formes non étoilées-convexes).
  • Nature binaire : Elle produit des masques binaires plutôt que des cartes d'attribution fines, ce qui peut réduire la granularité pour les tâches de classification fine.
  • Temps d'exécution : Nécessite une optimisation itérative plutôt qu'un seul passage avant/arrière, la rendant plus lente que les méthodes de gradient directes.
• Travaux futurs : Les auteurs suggèrent d'étendre la paramétrisation pour gérer des formes non étoilées-convexes, d'appliquer la méthode aux tâches de détection et de segmentation d'objets, et d'utiliser les contours comme outils interactifs pour les radiologues afin d'affiner les annotations.

En résumé, Extremal Contours présente une approche novatrice et mathématiquement fondée de l'IA explicable (XAI) qui privilégie la cohérence géométrique et la simplicité topologique, prouvant que la restriction de l'espace de recherche à des contours lisses produit des explications plus fiables et interprétables que l'optimisation de pixels denses non contrainte.