Technische Samenvatting: SEAMS – Sufficiency Saliency via MSE-Preservation Soft-Masks

Probleemstelling

Huidige visuele verklaringmethoden in computer vision vertrouwen voornamelijk op gevoeligheidsgebaseerde benaderingen (bijv. gradiënt-attributie, Integrated Gradients, Layer-wise Relevance Propagation). Deze methoden schatten in hoe gevoelig de output van een model is voor infinitesimale perturbaties van de input. De auteurs stellen echter dat gevoeligheid en voldoendeheid (sufficiency) fundamenteel verschillende concepten zijn. Een pixel kan een hoge attributiescore hebben vanwege een hoge gevoeligheid (kleine veranderingen veroorzaken grote verschuivingen in de output), maar toch redundant gecodeerd zijn elders in de afbeelding. Omgekeerd kunnen pixels met lage gradiënten strikt noodzakelijk zijn om een voorspelling te behouden.

Bestaande perturbatiegebaseerde methoden die proberen voldoendeheid aan te pakken, lijden vaak aan specifieke beperkingen: ze vereisen mogelijk hulp-distractor-datasets, vertrouwen op architectuur-specifieke attributiemechanismen, of vereisen complexe differentiabele top-$k$ relaxaties en sorteeroperatoren om discrete subsets van pixels te selecteren. Het centrale probleem dat wordt geadresseerd is hoe men de minimale, compacte subset van beeldpixels kan identificeren die voldoende is om een specifieke modeloutput (zoals een klassewaarschijnlijkheid, CLS-embedding of token-representatie) te behouden zonder deze hulpafhankelijkheden.

Methodologie: SEAMS

De auteurs stellen SEAMS voor (Sufficiency Saliency via MSE-Preservation Soft-Masks), een post-hoc, model-agnostisch framework dat direct een continue zachte masker optimaliseert om een doelrepresentatie te behouden.

Kernframework

Gegeven een bevroren differentiële visuele model $g$ en een invoerafbeelding $x$, is het doel om een zacht masker $M \in [0, 1]^{H \times W}$ te vinden zodanig dat de modeloutput berekend vanaf een gemaskeerde composietafbeelding $\tilde{x}$ dicht bij de oorspronkelijke output $y^\star = g(x)$ blijft.

Belangrijkste Componenten

1. Masker Parametrisatie:
   In plaats van het masker direct te optimaliseren, optimaliseert SEAMS ongeconstreerde logits $\ell$. Deze worden getransformeerd naar een geldig masker via een normaliseer-en-clip parametrisatie:

   • $u = \text{softplus}(\ell)$ zorgt voor niet-negativiteit.
   • $\bar{u} = \alpha \frac{u}{\text{mean}(u)}$ dwingt een leerbaar spaarbudget $\alpha \in (0, 1]$ af.
   • $M = \text{clip}(\bar{u}, 0, 1)$ beperkt de waarden tot $[0, 1]$.
     Deze aanpak vermijdt expliciete subsetselectie, differentiële sortering, Gumbel-sampling of top-$k$ relaxaties. De normalisatiestap creëert competitie tussen pixels voor het budget, wat het masker natuurlijk richting spaarzaamheid (nabij-binaire waarden) drijft zonder expliciete binariseringsmechanismen.

2. Drie-weg Afbeelding Composiet:
   Om het masker te evalueren, construeert de auteur een composietafbeelding $\tilde{x}$ met behulp van drie bronnen die volledig gegenereerd zijn uit de query-afbeelding $x$:

   • Origineel ($x$): Behouden regio's waar $M \approx 1$.
   • Zelf-geaugmenteerde Distractor ($x_{dist}$): Gegenereerd via heavyAug (sterke geometrische/fotometrische transformaties, swirl, kleurverschuivingen, cutout). Regio's waar $M \approx 0$ is, worden vervangen door deze om zwakke textuurcorrelaties te verstoren.
   • Vervaagde Context ($x_{blur}$): Een zwaar vervaagde versie van $x$. Regio's met intermediaire maskeerwaarden of waar het budget is overschreden, worden ingevuld met deze om de globale scène-structuur te behouden en optimalisatie-artefacten te verminderen.
     De composiet is gedefinieerd als $\tilde{x} = M \odot x + M'' \odot x_{dist} + N \odot x_{blur}$, waarbij de coëfficiënten samen 1 vormen.

3. Optimalisatie Doelstelling:
   Het masker en het budget worden geoptimaliseerd om een preservatie-verlies te minimaliseren:
   $$\mathcal{L}(\ell, \alpha) = \mathbb{E}_{\mathcal{A}} \left[ \| g(\mathcal{A}(\tilde{x})) - y^\star \|_2^2 \right] + \lambda_\alpha \alpha$$

   • Preservatie Term: Minimaliseert de Mean Squared Error (MSE) tussen de doelrepresentatie van de geaugmenteerde composiet en de vaste referentie-target $y^\star$. Augmentaties $\mathcal{A}$ (matige crops, flips, jitter) worden toegepast op de composiet om robuustheid te garanderen, terwijl $y^\star$ vast blijft.
   • Spaarzaamheid Term: Bestraft het budget $\alpha$ om compacte maskers aan te moedigen.

4. Modulaire Targets:
   Het framework is agnostisch voor de target $g(x)$. Door enkel de behouden output te veranderen, genereert dezelfde pipeline diverse soorten verklaringen:

   • Klasse-geconditioneerde verklaringen: Het behouden van een specifieke klassewaarschijnlijkheid.
   • Globale Representatie Maskers: Het behouden van de CLS-embedding.
   • Token-niveau Verklaringen: Het behouden van dichte patch-token representaties.

Belangrijkste Bijdragen

1. Voldoendeheid-gebaseerde Formulering: Het artikel introduceert een saliency-formulering die direct optimaliseert voor preservatie-getrouwheid (sufficiency) in plaats van lokale gevoeligheid.
2. Vereenvoudigd Optimalisatie Framework: SEAMS vereist geen externe distractor-datasets, geen architectuur-specifieke attributieregels en geen differentiële subset-selectie operatoren (zoals top-$k$ relaxaties). Het vertrouwt uitsluitend op een soft-mask optimalisatie met een leerbaar budget en zelf-gegenereerde distractoren.
3. Verenigd Multi-Target Pipeline: Eén enkele optimalisatieprocedure genereert diverse soorten verklaringen (object-niveau, klasse-specifiek, token-niveau) door simpelweg de behouden target-representatie te wijzigen.
4. Architectuur-afhankelijke Inzichten: De methode onthult dat verschillende architecturen (bijv. ViT versus ConvNeXt) vaak verschillende sets voldoende pixels gebruiken om een vergelijkbare preservatie-getrouwheid te bereiken, een nuance die moeilijk te vangen is met gevoeligheidsgebaseerde methoden.

Experimentele Resultaten

De auteurs evalueerden SEAMS op ImageNet-1k (ViT-S/16, ConvNeXt-Tiny, ViT-B/16, DeiT-III-B/16) en een privaat medisch dataset (Retinopathy of Prematurity).

• Getrouwheid (Insertion/Deletion): SEAMS bereikt competitieve en vaak superieure Insertion en Deletion AUC scores vergeleken met gradiëntgebaseerde methoden (IxG, SmoothGrad, Integrated Gradients) en andere perturbatiegebaseerde methoden (DAVE). Merkwaardig genoeg vertoont SEAMS een hoge pixel-deletie getrouwheid: de doelklasse-waarschijnlijkheid blijft stabiel totdat een groot deel van de pixels (tot 70-80%) is verwijderd, waarna deze scherp daalt wanneer de compacte voldoende regio wordt geoccludeerd. Dit geeft aan dat de methode erin slaagt een minimale voldoende subset te isoleren.
• Cross-Architectuur Generalisatie: Wanneer toegepast op verschillende backbones (ViT versus ConvNeXt) met identieke hyperparameters, produceert SEAMS semantisch betekenisvolle maskers. Echter, kwantitatieve analyse (IoU, cosine similarity) laat zien dat de specifieke pixels die worden geselecteerd aanzienlijk verschillen tussen architecturen, wat bevestigt dat visuele voldoendeheid architectuur-afhankelijk is.
• Multi-Target Flexibiliteit: Experimenten laten zien dat het wijzigen van de target van klasse-waarschijnlijkheid naar CLS-embedding of patch-tokens leidt tot verschillende, interpreteerbare maskers die verschillende semantische aspecten van de afbeelding benadrukken.
• Medische Beeldvorming Transfer: Zonder de hyperparameters of de optimalisatie-pipeline aan te passen, identificeerde SEAMS succesvol klinisch relevante retina-structuren (vasculaire trajecten, demarcatielijnen) in Retinopathy of Prematurity (ROP) fundus-afbeeldingen, wat de transfereerbaarheid buiten natuurlijke afbeeldingen aantoont.
• Kwalitatieve Kwaliteit: Visuele vergelijkingen tonen aan dat SEAMS scherpere, meer object-gealigneerde en ruimtelijk coherente verklaringen produceert met minder patch-grid artefacten dan concurrerende technieken. De maskers zijn merkbaar sparser en binarer dan bij concurrerende methoden.

Betekenis en Claims

Het artikel claimt dat SEAMS een algemeen, model-agnostisch framework biedt voor representatie-georiënteerde visuele verklaring. De primaire betekenis ligt in de verschuiving van het paradigma van "wat verandert de output?" (gevoeligheid) naar "wat is genoeg om de output te behouden?" (voldoendeheid).

De auteurs benadrukken dat SEAMS:

• Geen externe data of complexe architecturale aanpassingen vereist.
• Compacte, interpreteerbare en stabiele maskers genereert.
• Onthult dat verschillende neurale architecturen mogelijk verschillende visuele bewijzen gebruiken om tot dezelfde conclusie te komen, een bevinding die zichtbaar wordt gemaakt door voldoendeheid-gebaseerde analyse.
• Toepasbaar is op verschillende schalen (van 224px tot 518px) en domeinen (natuurlijke afbeeldingen tot medische beeldvorming).