Technische Samenvatting: Grad-CAM voor Vision Transformers

1. Probleemstelling

Gradient-weighted Class Activation Mapping (Grad-CAM) is een standaardtechniek voor het visualiseren van besluitvorming in Convolutionele Neurale Netwerken (CNN's), die steunt op ruimtelijke feature maps met duidelijke kanaal- en ruimtelijke dimensies. Vision Transformers (ViTs) en andere op tokens gebaseerde architecturen produceren echter geen convolutionele feature maps; in plaats daarvan maken zij gebruik van token-embeddings, self-attention mechanismen en residual streams.

Ondanks deze fundamentele architecturale mismatch wordt Grad-CAM in de literatuur routinematig toegepast op ViTs zonder rechtvaardiging, aanpassing of erkenning van de structurele verschillen. Het artikel identificeert een kritieke kloof: de term "Grad-CAM op een ViT" verwijst niet naar een unieke, welgedefinieerde procedure. In tegenstelling tot CNN's, waar de feature map impliciet is, bieden ViTs meerdere potentiële bronnen voor attributie (bijv. token-embeddings, attention matrices, MLP-outputs). De huidige literatuur behandelt de aanpassing vaak als een triviale uitbreiding van de CNN-formulering, wat leidt tot:

• Methodologische Ambiguïteit: Auteurs laten vaak details weg met betrekking tot de locaties van feature extractie, gradiëntdoelen, token-verwerking (bijv. het verwijderen van de [CLS]-token) en aggregatiestrategieën.
• Reproduceerbaarheidscrisis: Zonder expliciete specificatie is een gerapporteerde heatmap één van de vele mogelelijke visualisaties die gekozen is uit een grote ruimte van alternatieven, wat reproductie of wetenschappelijke evaluatie onmogelijk maakt.
• Misinterpretatie: Visualisaties worden vaak gepresenteerd als bewijs voor modelgedrag of visuele gronding, zonder te verduidelijken of ze token-activaties, attention gewichten of cross-modale interacties vertegenwoordigen.

2. Methodologie

De auteurs hanteren een tweeledige aanpak: een systematische literatuuraudit en de ontwikkeling van een beschrijvende taxonomie.

A. Systematische Literatuuraudit

• Corpusconstructie: De auteurs voerden op 17an april 2026 een zoekopdracht uit via Google Scholar met de queries "Grad-CAM" EN "Vision Transformer" (of "ViT"), beperkt tot papers vanaf 2021. Ze filterden op papers beschikbaar via CVF, NeurIPS of IEEE Access, wat resulteerde in een initiële pool van ~550 papers.
• Screening: Handmatige screening identificeerde 175 papers die Grad-CAM of Grad-CAM-verwante methoden (bijv. Grad-CAM++, LayerCAM, ScoreCAM) toepasten op ViTs of ViT-gebaseerde architecturen (inclusclusief Swin Transformers, BEiT, CLIP en BLIP).
• Analyse: De papers werden gecodeerd op publicatievenster, jaar, taaksetting, architectuurtype en het detailniveau van de rapportage. De analyse richtte zich op hoe auteurs de aanpassing rechtvaardigden, welke feature-representaties werden gebruikt en het niveau van methodologische detail.

B. Beschrijvende Taxonomie van Aanpassingen

Om de methodologische kloof te karakteriseren, stellen de auteurs een taxonomie voor die de keuzes expliciet categoriseert die nodig zijn om Grad-CAM aan te passen aan ViTs. Deze taxonomie is niet voorschrijvend (dat wil zeggen, het definieert geen enkele "juiste" methode) maar beschrijvend, waardoor impliciete keuzes expliciet worden gemaakt. Belangrijke dimensies zijn onder meer:

1. Locaties van Feature Extractie: Het identificeren van waar in de transformer-block de "feature map" wordt geëxtraheerd. Het paper definieert zes primaire kandidaten:

   • $F_1$: LayerNorm-output voorafgaand aan multi-head attention (genormaliseerde token-embeddings).
   • $F_2$: Softmax-genormaliseerde attention matrices (token-naar-token interactie-sterktes).
   • $F_3$: Attention outputs (waarde-geprojecteerde token-representaties).
   • $F_4$: LayerNorm-output voorafgaand aan de Feed-Forward Network (FFN).
   • $F_5$: FFN-output.
   • $F_6$: Post-FFN residual output.
   • Cross-Attention: In Vision-Language Models (VLMs) onderscheidt de taxonomie tussen context-zijde representaties en cross-attention maps die tekstqueries verbinden met beeld-keys.

2. Gradiëntdoelen: Het definiëren van de scalaire doelfunctie ($y_c$) met betrekking tot welke gradiënten worden berekend. Dit varieert per taak (bijv. class logit voor classificatie, ITM score voor VLMs, segmentatie loss).

3. Token-verwerking en Ruimtelijke Reconstructie:

   • Token Selectie: Beslissen of gradiënten van de [CLS]-token worden gebruikt, of dat er gemiddeld wordt over patch-tokens, of dat niet-ruimtelijke tokens volledig worden uitgesloten.
   • Reshaping: Het terugmappen van de 1D token-sequentie naar een 2D ruimtelijk rooster ($H/P \times W/P$). Dit gaat uit van een raster-scan ordening van patches, wat mogelijk niet geldt voor alle representaties (vooral die zwaar gemengd door self-attention).

4. Aggregatiestrategieën:

   • Lineaire Combinatie: Hoe feature dimensies te combineren (bijv. het middelen van gradiënten over ruimtelijke tokens versus het gebruiken van [CLS] gradiënten).
   • Head Aggregatie: Voor multi-head attention bepalen of heads worden gemiddeld vóór of na de ReLU, of dat heads als aparte kanalen worden behandeld.

3. Belangrijkste Resultaten

De audit van 175 papers leverde verschillende kritieke bevindingen op:

• Gebrek aan Rechtvaardiging: Ongeveer 58% (101 papers) refereerden enkel aan de originele CNN-gebaseerde Grad-CAM paper of niet-ViT varianten, zonder enige theoretische rechtvaardiging te bieden voor het toepassen van de methode op transformers.
• Sparsere Methodologische Details: Slechts 15% (26 papers) rechtvaardigde expliciet hun aanpassing of citeerde eerder werk dat dat wel deed. Onder deze groep werden slechts 13 verschillende peer-reviewed aanpassingen geïdentificeerd, wat aangeeft dat het veld niet tot een standaardconventie is gekomen.
• Afhankelijkheid van Code-repositories: Ongeveer 10% (17 papers) vertrouwde uitsluitend op de pytorch-grad-cam library, die ViT Grad-CAM implementeert zonder een theoretische basis voor de aanpassing te bieden.
• Ondergespecificeerdheid: Zelfs bij papers die beweerden een specifieke aanpassing te gebruiken, ontbraken cruciale details vaak, zoals:
  • De exacte transformer layer die werd gebruikt.
  • Of de [CLS]-token werd inbegrepen of uitgesloten.
  • Hoe attention heads werden geaggregeerd.
  • Het specifieke gradiëntdoel (bijv. ruwe logit versus softmax waarschijnlijkheid).
• Visuele Variabiliteit: Kwalitatieve experimenten op een standaard ViT-B/16 model toonden aan dat verschillende keuzes (locatie van feature, gradiëntdoel, weegstrategie) kwalitatief verschillende heatmaps produceren voor dezelfde input en klasse. Sommige kaarten lokaliseerden het object, terwijl andere de context benadrukten of geïnverteerd leken.

4. Belangrijkste Bijdragen

1. Systematische Audit: De eerste grootschalige literatuurreview die de prevalentie en rapportagekwaliteit van Grad-CAM toepassingen in ViTs kwantificeert, waarbij een wijdverbreid gebrek aan methodologische strengheid wordt aangetoond.
2. Beschrijvende Taxonomie: Een framework dat de specifieke methodologische keuzes (feature locatie, gradiëntdoel, token verwerking, aggregatie) categoriseert die nodig zijn om Grad-CAM aan te passen aan token-gebaseerde architecturen. Deze taxonomie dient als een vocabulaire om bestaande variaties te beschrijven in plaats van een enkele oplossing voor te schrijven.
3. Identificatie van Ambiguïteit: Het paper benadrukt dat "Grad-CAM op een ViT" een ondergespecificeerde term is. Het toont aan dat zonder expliciete rapportage van de aanpassingskeuzes, visualisaties niet als reproduceerbaar wetenschappelijk bewijs kunnen worden beschouwd.
4. Richtlijnen voor Rapportage: De auteurs bieden een checklist voor auteurs en reviewers om ervoor te zorgen dat ViT Grad-CAM visualisaties de noodzakelijke details bevatten (feature representatie, gradiëntdoel, token verwerking, aggregatie en ruimtelijke reconstructie) om claims over modelgedrag te ondersteunen.

5. Betekenis en Claims

Het paper betoogt dat de huidige praktijk van het toepassen van Grad-CAM op ViTs vaak een "plug-and-play" benadering is die de theoretische mismatch negeert tussen de aannames van de methode (ruimtelijke feature maps) en de architectuur van het model (token sequenties).

• Wetenschappelijke Rigor: De auteurs claimen dat het huidige gebrek aan specificatie de wetenschappelijke geldigheid van verklaringen in sectoren met hoge inzet (bijv. medische beeldvorming, veiligheidskritische systemen) ondermijnt. Een ondergespecificeerde heatmap kan visueel overtuigend zijn, maar wetenschappelijk oninterpreteerbaar.
• Reproduceerbaarheid: De studie stelt dat reproduceerbaarheid onmogelijk is zonder expliciete rapportage van de aanpassingskeuzes. De taxonomie stelt onderzoekers in staat om onderscheid te maken tussen verschillende attributieprocedures die momenteel dezelfde naam delen.
• Bescheiden Omvang: Het paper stelt expliciet dat het geen enkele "juiste" Grad-CAM aanpassing voor ViTs voorstelt. In plaats daarvan beoogt het de reikwijdte van de methodologische keuzes te verhelderen en de transparantie van de rapportage te verbeteren. Het doel is om de gemeenschap te helpen onderscheid te maken tussen reproduceerbare attributieprocedures en visueel overtuigende maar ondergespecificeerde verklaringen.

Concluderend roept het paper op tot een verschuiving in de onderzoeksgemeenschap: weg van het behandelen van Grad-CAM op ViTs als een triviale uitbreiding van CNN-methoden, naar een meer rigoureuze, architectuur-bewuste aanpak waarbij elke visualisatie vergezeld gaat van een precieze definitie van de onderliggende wiskundige en implementatiekeuzes.