Technische Samenvatting: FRInGe – Distribution-Space Integrated Gradients met Fisher–Rao-geometrie

1. Probleemstelling

Op gradiënten gebaseerde attributiemethoden, zoals Integrated Gradients (IG), worden veel gebruikt om voorspellingen van diepe neurale netwerken te verklaren vanwege hun modeltrouw en schaalbaarheid. Echter, standaard IG lijdt aan verschillende praktische beperkingen die de stabiliteit en interpreteerbaarheid van verklaringen beïnvloeden:

• Basisgevoeligheid: De keuze van een basis in de invoerruimte (bijv. nul-afbeeldingen of ruis) is heuristisch en kan leiden tot kwalitatief verschillende verklaringen.
• Padartefacten: De standaard rechte lijn-interpolatie in de invoerruimte doorkruist vaak gebieden waar gradiënten slecht geconditioneerd zijn, gedomineerd door artefacten, of verzadigd.
• Verzadiging: Langs standaard paden kunnen modeluitkomsten vroeg in het proces snel veranderen en vervolgens verzadigen, waardoor informatieve gradiënten in een smal segment worden geconcentreerd terwijl latere stappen ruis bijdragen.
• Discretisatiefout: Het benaderen van de padintegraal met eindige Riemann-sommen kan aanzienlijke fouten introduceren wanneer gradiënten scherp variëren.

Bestaande pogingen om deze problemen aan te pakken, houden vaak in dat trajecten direct in de invoerruimte worden ontworpen of dat expliciete generatieve modellen worden gebruikt om datamanifolds te definiëren, wat de kwaliteit van de attributie kan vermengen met de kwaliteit van het generatieve model.

2. Methodologie: FRInGe

De auteurs stellen FRInGe (Fisher–Rao Integrated Gradients) voor, een methode die het referentiepunt en het interpolatieschema herdefinieert binnen de ruimte van voorspellende distributies in plaats van de invoerruimte. De methode bestaat uit drie kerncomponenten:

A. Referentie voor Voorspellende Distributie

In plaats van een heuristische invoerbasis te selecteren, definieert FRInGe de referentie in de ruimte van voorspellende distributies. Het kiest een referentie met maximale entropie ($q^\star = \frac{1}{C}\mathbf{1}$), die een uniforme distributie over klassen vertegenwoordigt. Dit operationaliseert "geen informatie" direct op het niveau van de modeluitkomst, waardoor afhankelijkheid van basisonderwerpen specifiek voor datatypen wordt verwijderd.

B. Fisher–Rao-geodetisch Schema

De interpolatie tussen de voorspellende distributie van het model $p(x)$ en de referentie met maximale entropie $q^\star$ wordt gedefinieerd als een Fisher–Rao-geodeet op het waarschijnlijkheidssimplex.

• Met behulp van de vierkantswortel-embedding $\psi(p) = \sqrt{p}$ wordt het simplex afgebeeld op het positieve orthant van een eenheidssfeer.
• De geodeet wordt berekend via sferische lineaire interpolatie (slerp) in deze ingebouwde ruimte, waardoor het pad de intrinsieke geometrie van de voorspellende distributies volgt.

C. Traject in Invoerruimte via Pullback-metriek

Om dit traject in de distributieruimte te realiseren in de invoerruimte, maakt FRInGe gebruik van de pullback Fisher-metriek.

• Geometrie-bewuste Stappen: De methode minimaliseert een sferische uitlijningsverlies tussen de huidige voorspelling en het volgende waypoint op de geodeet. De afdalingsrichting wordt berekend met de pullback Fisher-metriek $G(x) = J_F(x)^\top S(x) J_F(x)$, waarbij $J_F$ de Jacobiaan van de logits is en $S(x)$ de Fisher-informatiematrix van de softmax-distributie.
• Trust-Region Stabilisatie: Om numerieke stabiliteit te waarborgen en grote, niet-perceptuele verplaatsingen van de invoer te voorkomen, hanteert de methode een dubbele trust-region-regel:
  1. KL-Controle: Beperkt de stapgrootte op basis van de lokale KL-divergentie (benaderd door de Fisher-norm), waardoor constante voortgang in de voorspellende ruimte wordt gewaarborgd.
  2. Euclidische Cap: Stelt een maximale Euclidische stapgrootte in om instabiliteit te voorkomen in gebieden waar de voorspellende geometrie vlak is.
• Ruimtelijke Regularisatie: Om adversariele, hoogfrequente verstoringen te ontmoedigen, wordt een ruimtelijke gladmakende operator (bijv. discrete Laplaciaan) toegevoegd aan het lineaire systeem dat de update-richting oplost.

D. Berekening van Attributie

Functie-attributies worden verkregen door invoergradiënten te integreren langs het gerealiseerde traject in de invoerruimte. Omdat het traject beweegt van de invoer naar de referentie, wordt de geaccumuleerde integraal negatief gemaakt om de standaard oriëntatie van basis naar invoer te herstellen. De methode voldoet aan volledigheid met betrekking tot het gerealiseerde eindpunt van het traject.

3. Belangrijkste Bijdragen

1. Definitie in Distributieruimte: FRInGe is de eerste attributiemethode die zowel de IG-referentie als het interpolatieschema volledig binnen de ruimte van voorspellende distributies definieert, met gebruikmaking van een referentie met maximale entropie.
2. Intrinsieke Geometrie: Het bouwt het integratieschema op als een Fisher–Rao-geodeet, waardoor willekeurige Euclidische rechte lijnen in de invoerruimte worden vermeden.
3. Realisatie via Pullback: Het induceert het corresponderende traject in de invoerruimte via de pullback Fisher-metriek, waardoor een modelbewuste richtingsveld wordt gecreëerd zonder dat een expliciet generatief model van de datamanifold vereist is.
4. Stabilisatiemechanisme: De integratie van op KL gebaseerde trust-regions en Euclidische caps zorgt voor een stabiele numerieke realisatie van het pad, waardoor problemen met verzadiging en discretisatiefouten worden aangepakt.

4. Experimentele Resultaten

De auteurs hebben FRInGe geëvalueerd op 1.000 ImageNet-validatieafbeeldingen over zes architecturen (Inception-v3, ResNet-18/50/101/152, VGG-19).

• Kalibratiemetrics (MAS): FRInGe toont de meest significante verbetering op Magnitude Aligned Scoring (MAS)-metrics (zowel Insertion als Deletion). Dit geeft aan dat FRInGe-attributies beter gekalibreerd zijn aan de dynamiek van het vertrouwen van het model; de geaccumuleerde attributiemassa volgt nauwkeurig de werkelijke verandering in modelvertrouwen.
• Perturbatiemetrics: FRInGe blijft concurrerend op standaard op perturbatie gebaseerde AUC (Insertion/Deletion) en Infidelity-metrics, hoewel het niet uniform alle baselines domineert (bijv. SmoothGrad presteert soms beter op Deletion AUC).
• Vergelijking met Geometrische Baselines: FRInGe presteert beter dan andere geometrie-bewuste methoden zoals GGIG en GeoIG op MAS en Infidelity, wat suggereert dat de winst voortkomt uit de combinatie van schema's in de voorspellende ruimte en pullback-geometrie in plaats van alleen padontwerp.
• Ablatiestudies: Het verwijderen van de pullback-geometrie (Euclidische tracking) of ruimtelijke regularisatie leidt tot ruisachtigere, hoogfrequente trajecten en lagere kalibratiescores, wat bevestigt dat alle drie componenten (voorspellende referentie, Fisher-geometrie en regularisatie) noodzakelijk zijn voor optimale prestaties.
• Berekeningskosten: FRInGe is rekenkundig duurder dan standaard IG (vereist het oplossen van geconjugeerde gradiënten bij elke stap), met looptijden die variëren van 4x tot 22x trager, afhankelijk van de architectuur. De auteurs merken echter op dat dit acceptabel is voor offline analyse en auditing.

5. Betekenis en Beweringen

Het artikel beweert dat FRInGe een principiële alternatief biedt voor Euclidische Integrated Gradients door de definitie van "voortgang" te verschuiven van pixelruimte-afstand naar veranderingen in de voorspellende toestand van het model.

• Uitlijning met Modeldynamiek: Het primaire voordeel is de uitlijning van de grootte van de attributie met de interne vertrouwensdynamiek van het model. Door de Fisher–Rao-geodeet te volgen, vermijdt de methode de verzadiging en artefacten die gebruikelijk zijn bij rechte lijnpaden, en produceert het verklaringen die trouwer zijn aan hoe het model informatie daadwerkelijk verwerkt.
• Modale Onafhankelijkheid: Door de referentie te definiëren in de distributieruimte (maximale entropie), vermindert de methode de behoefte aan handontworpen, datamodale-specifieke baselines.
• Beperkingen: De auteurs erkennen de rekenkundige overhead als de belangrijkste praktische beperking. Zij suggereren dat toekomstig werk zich kan richten op goedkopere structurele benaderingen van de inverse pullback-metriek of geamortiseerde voorspellers om de methode te versnellen.

Het artikel concludeert dat FRInGe succesvol aantoont dat verklaringen die de eigen voorspellende dynamiek van het model volgen (via Fisher–Rao-geometrie) kwalitatief betere, beter gekalibreerde attributies opleveren dan die welke willekeurige Euclidische paden volgen.