Attribution via Distributional Paths for Information Revelation

Technische Samenvatting: Attributie via Distributionele Paden voor Informatie-onthulling

Probleemstelling
Methoden voor feature-attributie beogen de voorspellingen van een model te verklaren door belangsscores toe te wijzen aan input-features. Twee dominante benaderingen, SHAP (Shapley Additive exPlanations) en Integrated Gradients (IG), voldoen beide aan de eigenschap van volledigheid (completeness), wat garandeert dat de attributies optellen tot de verandering in de modeloutput tussen een referentietoestand en de input. Beide vertonen echter duidelijke beperkingen:

• SHAP vertrouwt op discrete, combinatorische operaties voor het onthullen van features. Het behandelt features als ofwel volledig onbekend, ofwel volledig geobserveerd, wat een discontinue interventie creëert die gebrek heeft aan geleidelijke informatie-onthulling.
• IG definieert een continue pad in de inputruimte (bijv. een rechte lijn van een baseline naar de input). Deze benadering evalueert het model puntgewijs langs een traject dat semantisch betekenisloze regio's in de inputruimte kan doorkruisen. Bijgevolg is IG gevoelig voor "pad-artefacten", zoals "schaduwen", waarbij features die vroeg in het traject worden tegengekomen (nabij de baseline) de attributie van de uiteindelijke input onevenredig beïnvloeden, zelfs als die features irrelevant zijn voor de specifieke voorspelling.

Het kernprobleem is dat standaard pad-methoden de ruwe respons van het model evalueren op specifieke punten in de inputruimte, zonder de resolutie of onzekerheid te controleren waarbij de features worden opgevraagd.

Methodologie: Reveal-IG
De auteurs stellen Reveal-IG voor, een methode die het pad-attributiekader verheft van de inputruimte naar een ruimte van gestructureerde sonde-distributies (probe distributions). In plaats van een traject van ruwe inputwaarden te doorlopen, doorloopt Reveal-IG een traject van waarschijnlijkheidsverdelingen die zich progressief concentreren rond de input van belang ($x^\star$).

1. Distributionele Padformulering:
   De methode definieert een pad door een ruimte van sonde-verdelingen $q_\theta(z | x^\star)$, geparametriseerd door $\theta$. De hoeveelheid die wordt gedecomposeerd is de verwachte modelrespons:
   $$G(\theta; x^\star) = \mathbb{E}_{z \sim q_\theta(\cdot|x^\star)}[f(z)]$$
   De attributie wordt verkregen door de gradiënten van deze verwachte respons te integreren langs het pad van de distributies:
   $$\Delta G = \int_S \nabla_\theta \mathbb{E}_{z \sim q_\theta(z|x^\star)}[f(z)] \cdot d\theta$$
   Dit behoudt de eigenschap van volledigheid van pad-integralen, maar past deze toe op de verwachte respons in plaats van op de ruwe output.

2. Sonde-ontwerp (Probe Design):

• Beeldgegevens: De sonde is een gefactoriseerde Gaussische verdeling over de pixelkanalen. Het pad begint bij een brede referentie (hoge onzekerheid, bijv. $\mu=0, \sigma=1$) en eindigt bij een sonde die geconcentreerd is rond de geobserveerde afbeelding. De eindvariantie ($\sigma_{final}$) kan vaststaan of adaptief gekozen worden op basis van de ruisschaal waarbij de doel-logit van het model stabiel blijft.
• Tabulaire gegevens: Omdat lineaire interpolatie in de tabulaire ruimte vaak semantisch ongeldig is, wordt de sonde gedefinieerd over empirische marginale verdelingen uit de trainingsdata. Een temperatuur-gecontroleerde gelijkenis-kernel (similarity kernel) laat de verdeling overgaan van de empirische marginal naar een geconcentreerde verdeling rond de geobserveerde featurewaarde $x^\star_i$. Het pad wordt gedefinieerd door de temperatuur te verlagen, waardoor de informatie over de features geleidelijk wordt onthuld.

3. Gradiëntschatting:
   Gradiënten worden genomen met betrekking tot de sonde-parameters $\theta$, niet de inputwaarden.

• Voor differentieerbare modellen en Gaussische sondes maakt de reparameterisatietechniek ($z = \mu + \sigma\epsilon$) efficiënte gradiëntschatting via automatische differentiatie mogelijk.
• Voor niet-differentieerbare modellen (bijv. boom-ensembles) of tabulaire data met empirische sondes, gebruikt de methode een black-box estimator. Het bemonstert featurewaarden uit de trainingsset en weegt deze volgens de sonde-verdeling, waardoor gradiëntschatting mogelijk is zonder dat de differentieerbaarheid van het model vereist is.

Belangrijkste Bijdragen

• Verhoogde Pad-integratie (Lifted Path Integration): Het artikel introduceert een kader waarbij de pad-integraal wordt uitgevoerd over een ruimte van gestructureerde distributies in plaats van ruwe inputpunten. Dit maakt controle mogelijk over de "resolutie" waarbij features worden opgevraagd.
• Continue Informatie-onthulling: Reveal-IG biedt een continu tegenhanger voor de discrete feature-onthulling van SHAP, door abrupte feature-inclusie te vervangen door een differentieerbaar pad van onzekere sondes naar geconcentreerde sondes.
• Domein-aanpasbaarheid: Het kader wordt geïnstantieerd voor zowel beeldclassificatie (met behulp van Gaussische sondes) als tabulaire regressie (met behulp van empirische marginale sondes), wat aantoont dat het "verhoogde" perspectief een gemeenschappelijke taal biedt voor attributie over domeinen met verschillende geometrische structuren.
• Mitigatie van Artefacten: Door de modelresponsen te middelen over brede distributies in de vroege stadia van het traject, verdunt Reveal-ig de invloed van verre of nabij de baseline gelegen structuren die typisch de "schaduw"-artefacten in standaard IG veroorzaken.

Experimentele Resultaten

• Synthetische Diagnostiek: In 2D-gecontroleerde experimenten vermijdt Reveal-IG de "schaduw"-artefacten die in IG voorkomen (waarbij attributie wordt beïnvloed door features die ver van het punt van belang liggen) en de as-georiënteerde structurele bias van SHAP. Het produceert attributievelden die tussen de extremen van SHAP en IG interpoleren, afhankelijk van de granulariteit van het onthulingspad.
• Beeldclassificatie (ImageNet): Geëvalueerd op ResNet-50 en ViT-B/16, bereikt Reveal-IG state-of-the-art of nabij state-of-the-art prestaties.
  • Het presteert significant beter dan baselines op metrieken die gebruikmaken van het teken (sign) van de attributies (bijv. Positive-Evidence Insertion/Deletion en Sensitivity-n), wat wijst op een betere onderscheidingskracht tussen features die de doelklasse ondersteunen versus onderdrukken.
  • Het blijft competitief op grootte-gebaseerde metrieken (bijv. RMA), hoewel methoden zoals Blur-IG en IDG sterke concurrenten zijn in unsigned saliency taken.
  • Analyse van de accumulatie van attributie langs het pad laat zien dat Reveal-IG de meeste attributie laat in het traject (wanneer de sonde convergeert), terwijl IG veel van de attributie vroeg toekent, nabij de baseline.
• Tabulaire Regressie: Geëvalueerd op de Bike Sharing, California Housing en Wine Quality datasets.
  • Reveal-IG is consequent sterk op directionele insertie (signed attribution consistency) en sensitivity-max (stabiliteit) metrieken.
  • Hoewel KernelSHAP en feature ablation competitief blijven op sufficiëntie/omvattendheid (metrieken inherent aan perturbatie-gebaseerde methoden), biedt Reveal-IG een gunstige afweging: het biedt prestaties die dicht bij perturbatie-gebaseerde methoden liggen, met een aanzienlijk hogere stabiliteit en een natuurlijker pad voor tabulaire data dat ongeldige lineaire interpolaties vermijdt.

Significantie en Claims
Het artikel claimt dat Reveal-IG pad-attributie herformuleert als een smoothing-probleem (glatting). Terwijl methoden zoals Blur-IG de inputruimte gladstrijken (van grof naar fijn), maakt Reveal-IG de modelrespons glad door de voorspellingen te integreren over distributies met afnemende onzekerheid.

De auteurs stellen dat de keuze van de pad-ruimte bepaalt welke delen van het input-outputgedrag van het model worden opgenomen in de verklaring. Door over te stappen van de inputruimte naar de distributieruimte, maakt Reveal-IG het volgende mogelijk:

1. Gecontroleerde Resolutie: De mogelijkheid om het model te bevragen op verschillende schalen van informatie.
2. Domein-specifieke Sondes: De flexibiliteit om sondes te definiëren die de structuur van de data respecteren (bijv. empirische marginalen voor tabulaire data) zonder willekeurige geometrische interpolaties af te dwingen.
3. Robuustheid: Een vermindering van pad-afhankelijke artefacten, wat leidt tot stabielere en semantisch meer betekenisvolle attributies, met name wat betreft het teken van de feature-belangrijkheid.

Het artikel erkent beperkingen, waaronder de verhoogde computationele kosten (ongeveer 7x trager dan IG voor afbeeldingen en tot 1000x voor tabulaire data vanwege Monte Carlo-sampling) en de aanname van gefactoriseerde distributies die correlaties tussen features negeren. Het stelt echter dat de afweging een robuustere en interpreteerbaarder attributiekader oplevert, vooral voor taken waarbij het teken van de attributie cruciaal is.