Extremal Contours: Gradient-driven contours for compact visual attribution

1. Probleemstelling

Huidige methoden voor het verklaren van beslissingen van diepe neurale netwerken (DNN) in computer vision staan voor aanzienlijke uitdagingen met betrekking tot trouw, compactheid en stabiliteit:

• Dichte Perturbatiemaskers: Methoden zoals Extremal Perturbations of Smooth Masks optimaliseren dichte pixel-level maskers om afbeeldingsgebieden te behouden of te verwijderen. Hoewel deze effectief zijn in het vinden van causale gebieden, resulteren deze maskers vaak in gefragmenteerde, ruizige of multi-component outputs. Ze missen topologische garanties, waardoor zware post-processing of regularisatie nodig is om ze interpreteerbaar te maken.
• Op Gradiënten Gebaseerde Saliëntie: Methoden zoals Integrated Gradients of Grad-CAM zijn computatie-efficiënt, maar produceren vaak diffuse, ongestructureerde warmtekaarten die irrelevante achtergrondruis benadrukken en falen in gezondheidsverstandstests voor trouw.
• De Kernkloof: Er is behoefte aan een verklaringsmethode die compacte, coherente en topologisch eenvoudige gebieden produceert (bijvoorbeeld een enkele verbonden vorm) zonder de causale fideliteit van op perturbatie gebaseerde benaderingen op te offeren, en tegelijkertijd de instabiliteit van het leren van miljoenen pixelparameters vermijdt.

2. Methodologie: Extremal Contours

De auteurs stellen een trainingsvrije, gradiënt-gedreven methode voor die dichte pixelmaskers vervangt door gladde, instelbare contouren.

A. Parametrische Representatie

In plaats van elke pixel te optimaliseren, parameteriseert de methode een ster-convex gebied met behulp van een afgekapt Fourier-reeks.

• Centrum: Een leerpunt $c \in \mathbb{R}^2$.
• Radiale Functie: De grensradius $\hat{r}(\theta)$ bij hoek $\theta$ wordt gedefinieerd als:
  $$\hat{r}(\theta) = r_0 + \Re\left( \sum_{k=1}^{K} w_k e^{ik\theta} \right)$$
  waarbij $w_k$ complexe coëfficiënten zijn.
• Masergeneratie: Voor een pixel $p$ in poolcoördinaten $(\rho_p, \theta_p)$ ten opzichte van $c$, is de maskerwaarde $m(p)$ een gladde sigmoid-functie van het verschil tussen de straal van de pixel en de straal van de contour:
  $$m(p) = \frac{1}{1 + \exp(\tau \cdot [\hat{r}(\theta_p) - \rho_p])}$$
  Dit reduceert het aantal vrije parameters van miljoenen (pixels) naar $2K+3$, wat de dimensionaliteit drastisch verlaagt.

B. Optimalisatiedoelstelling

De contour wordt geoptimaliseerd om een extremale perturbatiedoelstelling te voldoen met behulp van de gradiënten van de classifier. De totale verliesfunctie $L$ bestaat uit drie termen:

1. Extremale Verlies ($L_{extremal}$): Moedigt de "behouden" variant (het gebied behouden, de rest vervagen) aan om de originele embedding te behouden, terwijl de "verwijderde" variant (het gebied vervagen, de rest behouden) deze onderdrukt.
   $$L_{extremal} = -\cos(e_p, e_o) + \cos(e_d, e_o)$$
   waarbij $e_o, e_p, e_d$ de embeddings zijn van respectievelijk de originele, behouden en verwijderde afbeeldingen.
2. Oppervlakte-regularisatie ($\lambda_a \alpha_r$): Straft grote oppervlakten af om compactheid te waarborgen. Het gewicht $\lambda_a$ wordt adaptief afgestemd op basis van de fideliteit van het behouden gebied. Als het behouden gebied de embedding niet behoudt, wordt de oppervlakteboete versoepeld; zodra fideliteit is bereikt, wordt de boete aangescherpt om het kleinste voldoende gebied te vinden.
3. Spectrale Regularisatie ($\lambda_r L_{spec}$): Straft hoogfrequente oscillaties in de Fourier-coëfficiënten af om gladde grenzen af te dwingen:
   $$L_{spec} = \sum_{k=1}^{K} k^2 |w_k|^2$$

C. Uitbreiding voor Meerdere Objecten

Het kader breidt zich uit naar meerdere objecten door $N$ onafhankelijke contouren simultaan te optimaliseren. Het definitieve masker is het pixel-gewijze maximum van individuele maskers, waarbij de verliesfunctie de som is van de oppervlakte- en spectrale boetes van alle contouren.

3. Belangrijkste Bijdragen

1. Topologische Garanties: Door constructie produceert de methode enkele, enkelvoudig verbonden, gladde maskers, waardoor post-processing om ruis of fragmentatie te verwijderen overbodig wordt.
2. Dimensionaliteitsreductie: Vermindert de leerbare parameters met ordes van grootte (van $H \times W$ naar $\approx 2K$), wat leidt tot snellere convergentie en stabiliteit zonder optimalisatie op dataset-niveau.
3. Robuustheid tegen Adversariële Artefacten: De laagdimensionale, gladde beperking voorkomt dat de optimizer ongecontroleerde vrijheidsgraden uitbuit om "adversariële" maskers te creëren die wiskundig voldoen aan de verliesfunctie maar semantisch betekenisloos zijn.
4. Expliciete Oppervlaktecontrole: Introduceert een mechanisme om fideliteit-oppervlakteprofielen te genereren, waardoor gebruikers de afweging tussen de grootte van de verklaring en het vertrouwen van het model kunnen visualiseren.
5. Modelonafhankelijkheid: De methode werkt effectief op zowel supervised (ResNet-50) als self-supervised (DINO) modellen.

4. Experimentele Resultaten

De methode werd geëvalueerd op ImageNet en COCO datasets met behulp van ResNet-50 en DINO ViT-B/16 modellen.

• Kwalitatieve Prestaties:
  • Produceert schone, enkel-contour grenzen die het object van belang strak omsluiten.
  • In tegenstelling tot gradiëntkaarten (diffuus) of dichte maskers (gefragmenteerd), bieden Extremal Contours een gestructureerde, interpreteerbare representatie.
• Kwantitatieve Prestaties:
  • Relevantie-Massa & Rang: Bereikt concurrerende of superieure scores vergeleken met baselines (Smooth Mask, Grad-CAM++, Integrated Gradients).
  • Complexiteit & Sparsiteit: Levert zeer sparse verklaringen met lagere entropie dan dichte methoden.
  • Trouw: Cruciaal, op self-supervised DINO-modellen, waar veel baselines falen (negatieve correlaties voor trouw tonend), handhaven Extremal Contours positieve correlaties voor trouw en verbeteren ze de relevantie-massa met >15%.
• Robuustheid:
  • De methode is stabiel over verschillende initialisatiepunten (centrum $c$).
  • Het is robuust tegen het gewicht van de spectrale regularisatie $\lambda_r$, en convergeert consequent naar het juiste object, ongeacht of het resulterende vorm cirkelvormig of onregelmatig is.

5. Betekenis en Toekomstige Richtingen

• Interpreteerbaarheid: De verschuiving van pixel-level warmtekaarten naar geometrische contouren biedt een meer menselijk-intuïtieve manier om modelredenering te begrijpen, met name voor veiligheidskritieke domeinen zoals medische beeldvorming (CT, MRI) waar clinici duidelijke, bewerkbare grenzen nodig hebben in plaats van ruizige warmtekaarten.
• Efficiëntie versus Fideliteit: Het lost de afweging op tussen de computatie-efficiëntie van gradiëntmethodes en de causale fideliteit van perturbatiemethodes, en biedt het beste van beide werelden.
• Beperkingen:
  • Ster-Convex Beperking: De methode kan objecten met diepe concaviteiten of gaten (niet-ster-convexe vormen) niet natuurlijk representeren.
  • Binair Karakter: Het produceert binaire maskers in plaats van fijnkorrelige attributiekaarten, wat de granulariteit voor fijnkorrelige classificatietaken kan verminderen.
  • Uitvoeringstijd: Vereist iteratieve optimalisatie in plaats van een enkele forward/backward pass, waardoor het trager is dan directe gradiëntmethodes.
• Toekomstig Werk: De auteurs suggereren de parameterisatie uit te breiden om niet-ster-convexe vormen te hanteren, de methode toe te passen op objectdetectie en segmentatietaken, en de contouren te gebruiken als interactieve hulpmiddelen voor radiologen om annotaties te verfijnen.

Kortom, Extremal Contours presenteert een nieuwe, wiskundig onderbouwde aanpak voor XAI die prioriteit geeft aan geometrische coherentie en topologische eenvoud, en bewijst dat het beperken van de zoekruimte tot gladde contouren betrouwbaardere en interpreteerbaardere verklaringen oplevert dan ongecontroleerde dichte pixeloptimalisatie.