Technische Samenvatting: Input-Afhankelijke Fisher-informatie voor Lokale Gevoeligheidsanalyse van Medische Beeldclassificatiemodellen

Probleemstelling

Diepe neurale netwerken hebben een hoge prestatie bereikt bij medische beeldclassificatie, maar opereren vaak als "black boxes". Hoewel post-hoc interpretatiemethoden (bijv. Grad-CAM, Integrated Grients) breed worden gebruikt om regio's te visualiseren die geassocieerd zijn met modeloutputs, vertrouwen zij vaak op heuristische grootheden die variëren over architecturen en implementaties. Cruciaal is dat deze attributiekaarten niet altijd een principieel karakter geven aan hoe de predictieve distributie van een classifier reageert op input-perturbaties. Er is behoefte aan een model-intrinsieke tool om lokale beslissingsgevoeligheid te analyseren zonder architecturale herontwerpen of extra supervisie te vereisen.

Methodologie

De auteurs stellen een framework voor lokale gevoeligheidsanalyse voor op basis van de Input-Afhankelijke Fisher-Informatie Matrix (iFIM). Deze benadering kwantificeert de lokale gevoeligheid van de predictieve distributie van een classifier voor infinitesimale perturbaties van de input-afbeelding.

Kernframework

1. Definitie van iFIM: Voor een getrainde classifier $f_\theta$ en input-afbeelding $x$ is de iFIM $F(x)$ gedefinieerd als de verwachte buitenproduct van de gradiënten van de log-predictieve distributie met betrekking tot de input:
   $$F(x) = \mathbb{E}_{y \sim p_\theta(\cdot|x)} [\nabla_x \log p_\theta(y|x) \nabla_x \log p_\theta(y|x)^\top]$$
   Deze matrix karakteriseert hoe de predictieve distributie lokaal verandert rondom $x$.

2. Gram-matrix Factorisatie: Het direct construeren van de volledige $d \times d$ Fisher-matrix (waarbij $d$ het aantal pixels is) is computationeel onhaalbaar voor afbeeldingen op beeldformaat. De auteurs maken gebruik van een Gram-matrix formulering om de niet-nul eigenspectrum efficiënt te herstellen. Door een matrix $G(x)$ te definiëren die gewogen klasse-gradiënten bevat, kan de iFIM worden uitgedrukt als $F(x) = G(x)G(x)^\top$. De niet-nul eigenwaarden van de veel kleinere $C \times C$ Gram-matrix $K(x) = G(x)^\top G(x)$ (waarbij $C$ het aantal klassen is) komen overeen met die van $F(x)$. Dit maakt de computationele verwerking van de leidende eigenvectoren hanteerbaar.

3. Afbeeldingsdecompositie: De input-afbeelding wordt ontleed in twee orthogonale componenten op basis van de spectrale structuur van de iFIM:

   • Taak-gevoelige Component ($x_{sens}$): De projectie van de afbeelding op de subspace gespannen door de leidende eigenvectoren van de iFIM (geassocieerd met de grootste eigenwaarden). Deze component komt overeen met richtingen van een hoge lokale predictieve gevoeligheid.
   • Taak-ongevoelige Component ($x_{comp}$): Het orthogonale complement, dat richtingen met een lagere gevoeligheid en null-ruimte componenten bevat.

   De decompositie wordt gedefinieerd als $x = x_{sens} + x_{comp}$. De auteurs benadrukken dat dit projecties zijn op gevoeligheidsrichtingen, en niet noodzakelijkerwijs semantische segmentaties van anatomie.

Belangrijkste Bijdragen

• Formulering: Een informatie-theoretisch framework gebruikmakend van de iFIM om de lokale gevoeligheid van de predictieve distributie van een getrainde medische beeldclassifier voor input-perturbaties te karakteriseren.
• Computationele Efficiëntie: Een Gram-matrix factorisatiemethode die het niet-nul iFIM-eigenspectrum herstelt zonder de volledige beeld-dimensionale Fisher-matrix te construeren, wat toepassing op hoog-dimensionale beelddata mogelijk maakt.
• Decompositie Definitie: Een projectie-gebaseerde decompositie van input-afbeeldingen in hoog-gevoelige en orthogonale laag-gevoelige componenten, met een verduidelijking van de interpretatie voor low-rank settings (bijv. binaire classificatie).
• Evaluatie: Uitgebreide evaluatie over gecontroleerde en klinische medische beeldclassificatietaken met behulp van perturbatie-gebaseerde analyses en vergelijkingen tussen meerdere architecturen.

Experimentele Resultaten

Het framework werd geëvalueerd op drie taken:

1. Retinale OCT: Drie-klasse classificatie (Normaal, Drusen, CNV).
2. Borst X-ray: Cardiomegalie detectie.
3. Gestileerde MRI: Signal-known-statistically/background-known-statistically (SKS/BKS) taak.

Bevindingen:

• Visualisatie: In gecontroleerde MRI-settings concentreerde de taak-gevoelige component zich rond bekende signaalregio's. In klinische taken (OCT en X-ray) kwamen de taak-gevoelige kaarten overeen met pathologie-dragende regio's (bijv. retinale lagen voor Drusen/CNV, cardiale silhouet voor cardiomegalie), terwijl de ongevoelige component achtergrondvariaties vastlegde.
• Architectuur Afhankelijkheid: De ruimtelijke distributie van de hoog-gevoelige component varieerde tussen de VGG16 en ResNet18 architecturen, zelfs toen beide een vergelijkbare predictieve prestatie behaalden. Dit suggereert dat de iFIM architectuur-specifieke lokale beslissingsgeometrieën onthult.
• Perturbatie Analyse:
  • Contrastieve Perturbatie: Wanneer pixels met een hoge magnitude in de taak-gevoelige iFIM-kaart werden geperturbeerd (vervangen door ruis), degradeerde de F1-score van de classifier significant sterker dan wanneer pixels uit de taak-ongevoelige kaart werden geperturbeerd. De iFIM-gebaseerde methode bereikte een hogere prestatie-degradatie ratio vergeleken met andere attributie-methoden (DeepSHAP, Grad-CAM varianten, etc.).
  • Adversariële Robuustheid: De taak-gevoelige iFIM-kaart vertoonde de laagste correlatie tussen schone en adversariële geperturbeerde inputs (naderend naar nul voor de OCT en X-ray taken), wat aangeeft dat de representatie zeer gevoelig is voor beslissings-veranderende perturbaties.

Betekenis en Claims

Het artikel stelt dat het iFIM-framework dient als een principieel instrument voor het analyseren van lokale beslissingsgevoeligheid in medische beeldclassifiers. In tegenstelling tot conventionele attributie-heatmaps die pixel-wijze belangrijkheidsscores bieden, biedt de iFIM een model-intrinsieke, geometrische beschrijving van hoe perturbaties nabij een gegeven input de predictieve distributie beïnvloeden.

De auteurs beweren dat:

1. Hoog-gevoelige iFIM-componenten sterker gekoppeld zijn aan veranderingen in predictieve zekerheid en classificatieprestaties dan laag-gevoelige componenten.
2. Het framework bestaande attributie-gebaseerde interpreteerbaarheidsmethoden aanvult in plaats van vervangt, door een ander perspectief te bieden dat gericht is op de lokale gevoeligheidsstructuur van de predictieve distributie.
3. De methode de analyse van standaard getrainde classifiers mogelijk maakt zonder de modelarchitectuur te wijzigen.

De auteurs blijven bescheiden met betrekking tot semantische of causale claims, waarbij zij opmerken dat hoewel de decompositie in gecontroleerde settings overeenkomt met bekende signaalstructuren en in klinische settings met pathologie, sterke claims over semantische of causale taakrelevantie onafhankelijke referentiestandaarden (bijv. expert annotaties) vereisen. De primaire bijdrage is de karakterisering van de lokale predictieve gevoeligheid.