Fast Explanations via Policy Gradient-Optimized Explainer

Dit paper introduceert FEX, een nieuw framework dat attributie-gebaseerde uitleggen via waarschijnlijkheidsverdelingen en policy gradient-optimalisatie mogelijk maakt, waardoor de inferentietijd met meer dan 97% en het geheugengebruik met 70% wordt gereduceerd ten opzichte van traditionele model-onafhankelijke methoden, terwijl de kwaliteit en toepasbaarheid behouden blijven.

De kern

Stel je voor dat je een zeer slimme, maar mysterieuze voorspeller hebt. Deze voorspeller (een kunstmatige intelligentie) kan zeggen of een foto een hond of een kat is, of of een filmreview positief is. Maar deze voorspeller is een "zwarte doos": je ziet niet waarom hij tot die conclusie komt. Hij geeft alleen het antwoord.

In de echte wereld, bijvoorbeeld bij medische diagnoses of het verlenen van leningen, willen we niet alleen het antwoord, maar ook de reden. Waarom denkt de AI dat dit een ziekte is? Welk woord in de review maakte het positief?

Hier komt het probleem: de beste manieren om deze redenen te vinden zijn vaak extreem traag en duur. Het is alsof je elke keer als je een vraag stelt, de hele voorspeller moet laten "nadenken" door duizenden variaties van je vraag te testen. Dat werkt niet als je duizenden mensen tegelijk moet helpen.

Anderen hebben geprobeerd snellere methoden, maar die zijn vaak alleen maar snel als je precies weet hoe de voorspeller van binnen is gebouwd (wat vaak niet mag of bekend is), of ze zijn gebaseerd op "nep-antwoorden" van andere systemen, wat de kwaliteit verlaagt.

De Oplossing: FEX (Fast Explanation)

De auteurs van dit paper hebben een nieuwe methode bedacht die ze FEX noemen. Laten we het uitleggen met een paar creatieve analogieën:

1. De "Gokker" in plaats van de "Rekenaar"

Stel je voor dat je wilt weten welke ingrediënten in een soep het lekkerst zijn.

• De oude, trage methode: Je proeft de soep, haalt dan alle groenten eruit, proeft weer, haalt de vlees eruit, proeft weer... Je doet dit voor elke mogelijke combinatie van ingrediënten. Dit duurt eeuwen.
• De FEX-methode: In plaats van alles zelf te proeven, train je een gokker (een klein, slim neuraal netwerk). Deze gokker leert door te kijken naar duizenden voorbeelden van soep en de reactie van de grote voorspeller.
  • De gokker leert een "intuïtie": "Als ik de wortel weglaat, wordt de soep minder lekker. Dus de wortel is belangrijk."
  • Zodra de gokker getraind is, hoeft hij geen duizenden combinaties meer te testen. Hij geeft je direct het antwoord in één oogopslag.

2. De "Reinforcement Learning" (Versterkend Leren)

Hoe leer je die gokker? Ze gebruiken een techniek uit de wereld van videospellen en robotica, genaamd Policy Gradient.

• Het spel: De gokker is een speler. De "actie" die hij doet, is het weglaten van bepaalde woorden of pixels (zoals een masker dat hij over de foto legt).
• De beloning: Als het masker weglaat wat niet belangrijk is, blijft de voorspeller hetzelfde. Dat is een goede score! Als hij iets belangrijks weglaat, verandert de voorspelling. Dat is een slechte score.
• Het leren: De gokker probeert duizenden maskers. Hij krijgt een beloning als hij de juiste "belangrijke stukjes" laat staan. Na veel oefening weet hij precies welke stukjes hij moet laten staan om de voorspelling te verklaren, zonder dat hij de "zwarte doos" hoeft te openen.

3. Waarom is dit zo speciaal?

• Het is een "Universele Sleutel": De meeste snelle methoden werken alleen voor specifieke soorten voorspellers (zoals een sleutel die alleen voor één deur past). FEX werkt voor elke zwarte doos, of het nu een complexe AI is of een simpele.
• Geen "Nep-Antwoorden": Veel snelle methoden leren van andere methoden die al traag zijn (alsof je een student leert van een ander student die ook nog moet studeren). FEX leert rechtstreeks van de voorspeller zelf. Het is alsof de student direct bij de meester leert.
• Snelheid: In de tests was FEX 97% sneller dan de traditionele methoden en gebruikte het 70% minder geheugen. Het is alsof je van een paard en wagen overstapt op een raket.

Samenvatting in één zin

FEX is een slimme, getrainde "gokker" die in een fractie van een seconde kan vertellen welke delen van een foto of tekst het belangrijkst waren voor een AI-besluit, zonder dat de AI zelf traag hoeft te worden of dat we de geheimen van de AI hoeven te kennen.

Dit maakt het mogelijk om AI in de echte wereld (zoals bij artsen of banken) te gebruiken, omdat we nu snel en betrouwbaar kunnen vragen: "Waarom heb je dit gezegd?"

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Fast Explanations via Policy Gradient-Optimized Explainer" (FEX), geschreven in het Nederlands.

Probleemstelling

De adoptie van complexe deep learning-modellen in kritieke domeinen zoals gezondheidszorg, financiën en autonome systemen wordt vaak gehinderd door hun "black-box" aard. Hoewel er veel onderzoek is gedaan naar Explainable AI (XAI), blijft het leveren van efficiënte uitleg voor real-world, grootschalige toepassingen een uitdaging. Bestaande methoden vallen in twee categorieën met elk hun nadelen:

1. Model-agnostische methoden (zoals SHAP, LIME, RISE, Integrated Gradients): Deze zijn breed toepasbaar maar vereisen een groot aantal extra modelqueries (forward passes) tijdens de inferentie. Dit leidt tot hoge computerkosten en maakt ze onpraktisch voor tijdsgevoelige taken.
2. Model-specifieke methoden (zoals GradCAM, AttLRP): Deze zijn zeer efficiënt (slechts één forward pass) maar vereisen toegang tot de interne architectuur van het model. Ze zijn niet toepasbaar op black-box modellen of niet-standaard architecturen.
3. Geamortiseerde methoden: Deze proberen de snelheid te verhogen door een neuraal netwerk te trainen om de uitleg van een proxy-methode (zoals SHAP) te benaderen. Het nadeel hiervan is dat de kwaliteit van de uitleg beperkt blijft tot de kwaliteit van de proxy-methode en dat ze afhankelijk zijn van pseudo-labels.

Het doel van dit paper is een framework te ontwikkelen dat de efficiëntie van model-specifieke methoden combineert met de algemene toepasbaarheid van model-agnostische methoden, zonder afhankelijk te zijn van proxy-methoden of pseudo-labels.

Methodologie: Fast EXplanation (FEX)

Het voorgestelde framework, FEX, gebruikt een reinforcement learning-benadering (specifiek Policy Gradient) om een uitlegger te leren die direct uit data en het voorspellende model leert.

1. Empirische Attributie en Verwachting
De auteurs definiëren eerst een "empirische attributie" voor een feature $x_i$. Dit is de som van de bijdragen van alle mogelijke maskers (combinaties van features) waarbij $x_i$ aanwezig is. De berekening hiervan is echter onuitvoerbaar ($O(2^N)$) vanwege de exponentiële complexiteit.
De kerninzicht is dat deze empirische attributie kan worden herschreven als de verwachting van een kansverdeling $p(m|x)$, waarbij $m$ een masker is.

2. Bernoulli Surrogaat
Om de berekening haalbaar te maken, wordt een multivariate Bernoulli-verdeling $q$ gebruikt als surrogaat voor de onbekende verdeling $p$. Deze verdeling wordt geparametriseerd door een neuraal netwerk $g(x)$, dat de parameters $\lambda$ (de kansen dat een feature behouden blijft) voorspelt.
Omdat de verwachting van een Bernoulli-verdeling een gesloten vorm heeft ($\mathbb{E}[m] = \lambda$), kan de attributie direct worden benaderd door de output van het netwerk $g(x)$.

3. Policy Gradient Optimalisatie
Het probleem wordt geformuleerd als een Reinforcement Learning (RL) taak:

• State: De invoer $x$ (statisch).
• Action: Het toepassen van een masker $m$.
• Policy: De verdeling $q$ (gegenereerd door $g(x)$).
• Reward: Een scorefunctie $c(m, x)$ die de kwaliteit van het masker meet (gebaseerd op de voorspelling van het originele model).

Om de policy te optimaliseren, wordt de Proximal Policy Optimization (PPO) methode gebruikt. De doelstelling is om de verwachte reward te maximaliseren. De gradient wordt berekend met behulp van een voordeel-functie (Advantage function) om de variansie te reduceren.

4. Generaliseerbaarheid en Regularisatie
Om ervoor te zorgen dat de uitlegger goed generaliseert over verschillende klassen in een multi-class classificatie, wordt een KL-divergentie regularisatie toegevoegd aan de loss-functie. Deze zorgt ervoor dat de gemiddelde scores van de uitlegger consistent zijn met de voorspelde waarschijnlijkheidsverdeling van het classifier-model.

5. Inference Efficiëntie
Tijdens de inferentie vereist FEX slechts één forward pass van het netwerk $g(x)$. Er zijn geen extra queries nodig naar het oorspronkelijke black-box model, wat het extreem snel maakt.

Belangrijkste Bijdragen

1. Directe Lering zonder Proxy's: Dit is een van de eerste werken dat reinforcement learning gebruikt om een efficiënte uitlegger direct te leren uit data en het voorspellende model, zonder afhankelijkheid van pseudo-labels van bestaande proxy-methoden (zoals SHAP).
2. Universele Toepasbaarheid: Het framework is model-agnostisch (werkt op black-box modellen) maar bereikt de inferentie-snelheid van model-specifieke methoden.
3. KL-Regularisatie: De introductie van KL-divergentie om de generalisatie over verschillende outputklassen te verbeteren.
4. Comprehensieve Validatie: Uitgebreide experimenten op zowel beeld- als tekstclassificatie taken.

Resultaten

De auteurs hebben FEX getest op beeldclassificatie (ViT op ImageNet) en tekstclassificatie (BERT op SST2/Movie Reviews).

• Efficiëntie:
  • FEX reduceert de inferentietijd met meer dan 97% en het geheugengebruik met 70% vergeleken met traditionele model-agnostische methoden (zoals RISE, IG, GradSHAP).
  • Het is even snel als FastSHAP, maar zonder de beperkingen van proxy-labels.
• Kwaliteit van Uitleg:
  • Beeld: FEX presteert kwalitatief en kwantitatief (gemeten via AUC, Pixel Accuracy, mAP, mIoU) vergelijkbaar met of beter dan model-specifieke methoden (GradCAM, AttLRP) en significant beter dan model-agnostische baselines.
  • Tekst: Op de ERASER benchmark voor sentimentanalyse behaalde FEX een hogere F1-score dan de baselines (RISE, GradCAM, AttLRP) bij het progressief invoegen van tokens op basis van attributie.
• Ablatie Studies:
  • Het gebruik van een grotere trainingsdataset (1.3M vs 50k samples) verbetert de generalisatie aanzienlijk.
  • De KL-divergentie regularisatie is cruciaal voor het onderscheiden van verschillende klassen in de uitleg.
  • De lengte van de trajecten in het trainingproces heeft een verzadigingseffect; een lengte van 5 is vaak voldoende.

Significantie

FEX overbrugt de kloof tussen de snelheid en de toepasbaarheid in Explainable AI. Het biedt een schaalbare oplossing voor real-time uitleg van black-box modellen, wat essentieel is voor de inzet van AI in hoog-risico omgevingen waar snelheid en transparantie vereist zijn. Door geen proxy-methoden te gebruiken, vermijdt het de inherente beperkingen en fouten van die methoden, waardoor het een robuuster en onafhankelijker framework biedt voor de toekomstige implementatie van XAI.