Technische Samenvatting: FAME – Verklaring van Feature Activatiekaarten

Probleemstelling

Deep learning-modellen, met name voor beeldclassificatie (IC) en gezichtsherkenning (FR), bereiken hoge nauwkeurigheid maar werken als "black boxes", waardoor de redenering achter hun voorspellingen ondoorzichtig blijft. Bestaande methoden voor Explainable AI (XAI) vallen in twee hoofdcategorieën, elk met aanzienlijke beperkingen:

1. Op gradiënten gebaseerde Class Activation Mapping (CAM): Methoden zoals Grad-CAM berekenen attributies op basis van activaties van feature maps en hupsamplen deze naar de beeldresolutie. Deze aanpak rust op de aanname dat elementen van feature maps uitsluitend worden beïnvloed door de onderliggende pixelregio's (lokale receptieve velden). De auteurs betogen dat deze aanname faalt in diepere netwerken waar receptieve velden groot, overlappend en niet-lokaal zijn, wat leidt tot misleidende attributiekaarten.
2. Op perturbatie gebaseerde methoden: Technieken zoals CorrRISE perturbëren invoerbeelden met vaste patches (bijvoorbeeld zwarte vierkanten of ruis) om veranderingen in de uitvoer waar te nemen. Deze methoden introduceren vaak kunstmatige randen of slagen er niet in om informatie effectief te verwijderen (aangezien moderne netwerken goed omgaan met onscherpe invoer). Bovendien vertrouwen ze op stochastische willekeurige masking en handmatig gedefinieerde parameters, zonder een principiële aanpak voor perturbatie.

Methodologie: Verklaring van Feature Activatiekaarten (FAME)

De auteurs stellen FAME voor, een unificerend raamwerk dat op gradiënten gebaseerde en op perturbatie gebaseerde paradigma's overbrugt. FAME is gebaseerd op Layerwise Origin Target Synthesis (LOTS), een adversariale aanvalstechniek die oorspronkelijk is ontworpen om beelden te modificeren zodat een netwerk op een bepaald niveau wordt gedwongen naar een specifieke doeluitvoer.

Kernmechanisme

In plaats van vaste patches of eenvoudige gradiënt-hupsampling te gebruiken, behandelt FAME het genereren van een attributiekarte als een optimalisatieprobleem:

1. Iteratieve Perturbatie: Startend met een invoerbeeld $x$, werkt FAME het beeld iteratief bij naar $\bar{x}$ met behulp van genormaliseerde gradiënten om een specifieke verliesfunctie $\mathcal{L}$ te minimaliseren ten opzichte van een doel $t$ op een gekozen netwerklagen.
   $$\bar{x} \leftarrow \bar{x} - \eta \frac{\nabla_{\bar{x}}}{\max |\nabla_{\bar{x}|}}$$
   waarbij $\nabla_{\bar{x}} = \frac{\partial \mathcal{L}(f^l(\bar{x}) \mid t^l)}{\partial \bar{x}}$.
2. Afleiding van Attributie: De attributiekarte wordt afgeleid uit het absolute verschil tussen het originele beeld en het geperturbeerde beeld: $\Delta x = |\bar{x} - x|$.
3. Vervaging: De resulterende pixel-level perturbatiekaart wordt gladgestreken met een Gaussische kernel en max-genormaliseerd om de definitieve attributiekarte $e \in [0, 1]^{H \times W}$ te produceren.

Taalspecifieke Aanpassingen

FAME past de verliesfunctie en het doel aan op basis van de taak:

• Feature Map Analyse: Om de geldigheid van CAM-aannames te testen, wordt het doel ingesteld op nul voor specifieke feature map-elementen $a[k]$. De verliesfunctie $\mathcal{L}_a = \|a[k] - 0\|_1$ identificeert welke invoerpixels moeten worden verwijderd om een specifieke feature-activatie te neutraliseren.
• Beeldclassificatie: De verliesfunctie wordt direct gedefinieerd op de logit van een doelklasse ($L_{cls} = z_o$), met backpropagatie naar de invoer om pixels te benadrukken die kritiek zijn voor die klassevoorspelling.
• Gezichtsherkenning: De methode minimaliseert of maximaliseert de similariteitscore $s$ tussen een galerijbeeld ($x_g$) en een probe-afbeelding ($x_p$).
  • Similar ($e^+$): Minimaliseer similariteit ($L_+ = s$) om regio's te vinden die de match ondersteunen.
  • Dissimilar ($e^-$): Maximaliseer similariteit ($L_- = 1-s$) om regio's te vinden die de mismatch veroorzaken.
  • In tegenstelling tot gerelateerde methoden (zoals FGGB) vereist FAME geen willekeurige drempelwaarden om similar en dissimilar regio's te scheiden.

Belangrijkste Bijdragen

1. Refutatie van CAM-aannames: Het artikel levert empirisch bewijs dat de aanname van lokale receptieve velden in CAM-gebaseerde methoden niet opgaat voor diepere netwerken. Met FAME tonen de auteurs aan dat feature map-elementen in diepe netwerken (bijvoorbeeld IResNet101) informatie aggregeren uit grote, verschoven en overlappende regio's van de invoer, waardoor eenvoudige hupsampling onbetrouwbaar wordt.
2. Unificerend Raamwerk: FAME biedt een enkele, op optimalisatie gebaseerde aanpak die toepasbaar is op zowel IC- als FR-taken zonder dat taalspecifieke architecturale wijzigingen of handmatige drempelselectie nodig zijn.
3. Principiële Perturbatie: Door gradiënt-gedreven perturbaties te gebruiken in plaats van vaste patches, vermijdt FAME het introduceren van kunstmatige artefacten (zoals scherpe randen van zwarte vierkanten) en biedt het een natuurlijkere interpretatie van hoe invoerveranderingen netwerkuitingen beïnvloeden.

Experimentele Resultaten

De auteurs evalueerden FAME op ImageNet (IC) en drie Gezichtsherkenning-datasets (AR Face, SCface, CFP) met verschillende architecturen (ResNet, VGG, ConvNeXt, IResNet).

Beeldclassificatie

• Kwalitatief: FAME produceert compactere en semantisch relevantere attributiekaarten in vergelijking met Grad-CAM en Grad-CAM-EW, die vaak diffuse achtergrondregio's benadrukken of zich alleen richten op specifieke delen (bijvoorbeeld alleen het hoofd van een vogel).
• Kwantitatief: Op ImageNet behaalt FAME concurrerende Intersection over Union (IoU)-scores, iets achter FullGradCAM maar beter dan standaard Grad-CAM-varianten. Cruciaal is dat FAME bij ROAD-Delete-evaluaties (waarbij prestatiedaling wordt gemeten naarmate saliente pixels worden verwijderd) de hoogste scores behaalt bij lage verwijderingsratio's (10% en 30%), wat aangeeft dat het de meest kritieke pixels voor de beslissing van het model effectiever identificeert dan concurrenten.

Gezichtsherkenning

• Kwalitatief: FAME genereert ruimtelijk coherente kaarten die overeenkomen met menselijke intuïtie. Voor verduisterde gezichten (bijvoorbeeld sjaals, zonnebrillen) richt FAME zich correct op zichtbare identiteitsaanwijzingen (ogen, voorhoofd) terwijl het verduisterde gebieden negeert. Methoden zoals CorrRISE en FGGB produceren daarentegen vaak ruizige kaarten of benadrukken irrelevante achtergrondregio's.
• Kwantitatief: Over meerdere FR-protocollen en netwerkdieptes heen presteert FAME consistent beter dan Grad-CAM, CorrRISE en FGGB op zowel Delete- (nauwkeurigheidsdaling) als Insert- (nauwkeurigheidsherstel) metrieken. Opmerkelijk is dat FAME de hoogste Insert-scores behaalt (tot 96,7% op CFP), wat zijn vermogen demonstreert om regio's te identificeren die, wanneer hersteld, de verificatienauwkeurigheid snel herstellen.

Betekenis en Beweringen

Het artikel beweert dat FAME een taakadaptief, op optimalisatie gebaseerd raamwerk biedt dat stabiele en modelrelevante verklaringen oplevert. De primaire betekenis ligt in:

• Correctie van Misvattingen: Het daagt de afhankelijkheid van naïeve ruimtelijke hupsampling in diepe netwerken uit, en laat zien dat diepere architecturen globaal geïntegreerde patronen coderen in plaats van gelokaliseerde kenmerken.
• Robuustheid: FAME toont superieure robuustheid ten opzichte van variaties in houding, verduistering en resolutie in vergelijking met state-of-the-art XAI-methoden.
• Generaliteit: Het elimineert de noodzaak van willekeurige drempelwaarden (een beperking van FGGB) en vaste perturbatieparameters (een beperking van CorrRISE), en biedt een meer principiële aanpak voor attributie.

De auteurs erkennen dat FAME vanwege zijn iteratieve aard computationeel trager is dan op gradiënten gebaseerde methoden, maar suggereren dat snelheid kan worden verbeterd via vroege stopzetting of grotere stapgroottes met minimale impact op kwaliteit. Voor toekomstig werk wordt voorgesteld FAME uit te breiden naar transformer-architecturen en objectdetectietaken.