From Local to Global to Mechanistic: An iERF-Centered Unified Framework for Interpreting Vision Models

1. Probleemstelling

Moderne visiemodellen (CNN's en Vision Transformers) bereiken hoge nauwkeurigheid maar missen transparantie. Huidige interpretatiemethoden zijn gefragmenteerd in drie losgekoppelde domeinen:

• Lokaal: Uitleggen waar een model kijkt voor een specifieke invoer (bijv. salientiekaarten), maar vaak falen in het onderscheiden van klassespecifiek bewijs of het hanteren van niet-gelocaliseerde kenmerken.
• Globaal: Uitleggen wat het model encodeert over een dataset (bijv. conceptontdekking), maar worstelen met "niet-gelocaliseerde" kenmerken in Transformers waar activaties verspreid zijn, wat semantische verankering moeilijk maakt.
• Mechanistisch: Uitleggen hoe interne berekeningen bewijs assembleren over lagen heen, maar ontberen een uniforme eenheid om conceptevolutie en interactie te traceren.

Bestaande methoden vertrouwen vaak op gradiënten (die ruisig of gemanipuleerd kunnen zijn) of heuristische nabewerking, en ze falen in het bieden van een consistente analyse-eenheid die de kloof overbrugt tussen pixelniveau-bewijs en abstracte latente concepten.

2. Kernmethodologie: Het iERF-gecentreerde Kader

De auteurs stellen een unificerend kader voor dat is opgebouwd rond een enkele fundamentele analyse-eenheid: de Pointwise Feature Vector (PFV) gekoppeld aan zijn Instance-specific Effective Receptive Field (iERF).

• Pointwise Feature Vector (PFV): Het multi-kanaal activatievector op een specifieke ruimtelijke coördinaat in een verborgen laag. Dit behandelt de ruimtelijke locatie als een invariant anker, toepasbaar op zowel CNN's (schuivende vensters) als Transformers (tokens).
• Instance-specific Effective Receptive Field (iERF): Een scorekaart die de specifieke invoerpixels (of patches) identificeert die de activatie van een specifieke PFV aandrijven voor een gegeven invoerinstantie. In tegenstelling tot theoretische receptieve velden, is de iERF dynamisch en bewijs-geankerd.

Het kader adresseert de drie interpretatiedimensies met behulp van deze eenheid:

A. Lokale Uitleg: Sharing Ratio Decomposition (SRD)

• Doel: Genereren van hoog-resolutie, klassediscriminerende salientiekaarten.
• Mechanisme: SRD decomposeert een doel-PFV in een gewogen mengsel van upstream PFV's. Het berekent Sharing Ratios ($\mu$) op basis van de directionele uitlijning tussen partiële bijdragen en de doelvector, gebruikmakend van de interne affiene transformaties van het model.
• Proces: iERF's worden recursief gepropageerd van de invoer naar de uitvoer. De finale klassen salientiekaart is een gewogen som van de iERF's bij de encoder-uitvoer, waarbij gewichten worden aangepast om klassen-agnostische signalen te onderdrukken.
• Voordeel: In tegenstelling tot op gradiënten gebaseerde methoden, vertrouwt SRD uitsluitend op modelgegenereerde informatie, wat het robuust maakt tegen ruis en adversariale manipulatie, en agnostisch ten opzichte van activatiefuncties.

B. Globale Uitleg: Concept-Anchored Feature Explanation (CAFE)

• Doel: Abstracte latente vectoren interpreteren (bijv. van Sparse Autoencoders of Transformer tokens) door ze te verankeren in pixelniveau-bewijs.
• Probleem: In Transformers mengt self-attention globale context, waardoor kenmerken "niet-gelocaliseerd" worden (geactiveerd door verre pixels). Traditionele methoden voor "top-geactiveerde patches" falen hier.
• Mechanisme: CAFE gebruikt de iERF als een directe semantische label voor elk conceptvector. In plaats van te kijken naar welk token afvuurde, traceert het welke pixels de activatie van dat token aandreven.
• Proces: Relevantie wordt teruggepropageerd van een doel SAE-neuron door de backbone naar de invoer. De iERF onthult de ware semantische drijver (bijv. "gemorst pillen" versus een achtergrondpatch), waardoor ambiguïteit wordt opgelost voor niet-gelocaliseerde kenmerken en Class Tokens.

C. Mechanistische Uitleg: Interlayer Concept Graph (ICG) & ICAT

• Doel: Trace hoe concepten evolueren en interageren over lagen heen om beslissingen te vormen.
• Knopen: Laag-voor-laag conceptvectoren geëxtraheerd uit PFV-ruimtes (met methoden zoals bisecting k-means of SAE's). Elke knoop is verankerd door zijn iERF.
• Randen: Gequantificeerd via Interlayer Concept Attribution (ICAT). ICAT meet de invloed van een ouderconcept in laag $a$ op een kindconcept in laag $b$.
• Attributiemethode: Het paper valideert dat Integrated Gradients (IG) de meest getrouwe instantiatie is voor ICAT (genaamd ICAT$_{IG}$) met behulp van een interlayer insertie/verwijderingsprotocol.
• Output: Een gerichte multigrafiek die de stroom van bewijs toont van laag-niveau kenmerken (texturen) naar hoog-niveau concepten (objecten) en finale beslissingen.

3. Belangrijkste Bijdragen

1. Unificerend Analyse-eenheid: Introductie van de PFV–iERF bundel als een consistente primitief voor lokale, globale en mechanistische analyse over CNN's en Transformers heen.
2. SRD (Lokaal): Een gradiënt-vrije, robuuste methode voor het genereren van klassediscriminerende salientiekaarten die state-of-the-art baselines overtreft in fideliteit en robuustheid.
3. CAFE (Globaal): Een nieuwe aanpak om niet-gelocaliseerde SAE-kenmerken en Transformer tokens te verankeren in verifieerbaar pixelbewijs, waardoor het probleem van "ruimtelijke dimensieloosheid" van Class Tokens wordt opgelost.
4. ICG & ICAT (Mechanistisch): Een kader voor het traceren van concept-naar-concept invloed over lagen heen, waarbij Integrated Gradients wordt geïdentificeerd als de optimale attributiemethode voor interlayer analyse.
5. Uitgebreide Evaluatie: Uitgebreide experimenten op ResNet50, VGG16 en ViT's die superieure prestaties aantonen in lokalisatie, sparsiteit, fideliteit en adversariale robuustheid.

4. Experimentele Resultaten

• Lokaal (SRD):
  • Overtrof baselines (Grad-CAM, LRP, Integrated Gradients, etc.) op ImageNet-S50 in Pointing Game, Attribution Localization, Fidelity en Stability.
  • Toonde hoge robustheid tegen gerichte adversariale aanvallen (het behouden van klasserelevante aanwijzingen terwijl concurrenten faalden).
  • Behield hoge fideliteit over verschillende activatiefuncties (ReLU, Swish, GELU, Tanh), in tegenstelling tot methoden die alleen voor ReLU zijn toegesneden.
• Globaal (CAFE):
  • In insertietests herstelde iERF-geleide CAFE latente activaties significant sneller dan naïeve activatie-rangschikkingsbaselines.
  • Interpreteerde succesvol niet-gelocaliseerde kenmerken (bijv. "Three" telconcept, "Knight Armor") waar traditionele methoden ambigu of onjuiste semantische labels produceerden.
• Mechanistisch (ICG):
  • Valideerde dat Integrated Gradients de steilste daling/stijging biedt in insertie/verwijderingscurves, bevestigend dat het de meest getrouwe methode is voor ICAT.
  • Diagnoseerde succesvol faalmodi:
    • Foutclassificatie: Onthulde concurrerende conceptroutes (bijv. "boxer hond" versus "tijgerkat") die fouten veroorzaakten.
    • Adversariale Aanvallen: Traceerde hoe perturbaties laag-niveau concepten (bijv. "rimpels") hergebruikten om hoog-niveau representaties te kapen.

5. Betekenis

Dit paper biedt een coherent, bewijs-ondersteund kaart van pixels naar concepten naar beslissingen. Door alle interpretatietaken te ankeren aan de iERF, doet het kader het volgende:

• Unificeert uiteenlopende interpretatievelden (lokaal, globaal, mechanistisch) onder één wiskundige lens.
• Lost de specifieke uitdagingen van moderne architecturen (Transformers) op waar globale contextmenging lokale bewijsvoering verduistert.
• Verhoogt Vertrouwen: Biedt een robuust, manipulatie-resistent hulpmiddel voor het debuggen van modellen, het begrijpen van faalmodi en het verifiëren dat modellen vertrouwen op semantisch betekenisvolle kenmerken in plaats van spurious correlaties.
• Toekomstige Impact: Legt de basis voor het verschuiven van interpretatie van post-hoc visualisatie naar concept-gegronde analyse die modelsturing en interventie kan ondersteunen.