Informative Perturbation Selection for Uncertainty-Aware Post-hoc Explanations

Dit paper introduceert EAGLE, een post-hoc framework dat perturbaties selecteert via actieve learning om betrouwbare, onzekerheidsbewuste uitlegmodellen te genereren met theoretisch bewezen efficiëntie en superieure prestaties ten opzichte van bestaande methoden.

De kern

Stel je voor dat je een zeer slimme, maar mysterieuze robot hebt die beslissingen neemt over wie een lening krijgt, of wie een baan krijgt. Deze robot is een "zwarte doos": je ziet niet hoe hij denkt, alleen wat hij doet. Soms vraagt hij: "Waarom heb je dit gedaan?" en de robot zegt: "Omdat je inkomen te laag was." Maar is dat de ware reden? Of was het toeval?

Dit is het probleem waar kunstmatige intelligentie (AI) mee worstelt: vertrouwen. Mensen willen weten waarom een computer een beslissing neemt, vooral als die beslissing invloed heeft op hun leven.

Deze paper introduceert een nieuwe methode genaamd EAGLE (een acroniem dat klinkt als een adelaar, wat past bij het idee van scherp zicht en precisie). Laten we uitleggen hoe het werkt met een paar simpele analogieën.

1. Het Probleem: De Gokker in de Mist

Stel je voor dat je probeert de grens te vinden tussen twee landen in een mistig landschap. Je weet dat er een grens is, maar je kunt hem niet zien.

• Huidige methoden (zoals LIME): Deze methoden gooien willekeurig stenen in de mist om te zien aan welke kant ze landen. Soms gooien ze veel stenen dicht bij elkaar, soms ver weg. Omdat het willekeurig is, krijg je elke keer een iets ander beeld van de grens. Als je het morgen opnieuw doet, kun je een heel andere kaart krijgen. Dat is verwarrend en onbetrouwbaar.
• Het gebrek aan zekerheid: Deze methoden zeggen: "De grens ligt hier," maar ze geven geen waarschuwing als ze eigenlijk niet zeker zijn. Het is alsof een gids zegt: "Ga links," terwijl hij zelf in de mist staat en niet weet of er een afgrond is.

2. De Oplossing: EAGLE, de Slimme Verkenner

EAGLE is als een slimme verkenner die niet willekeurig rondloopt, maar strategisch zijn stappen plant. Het gebruikt een trucje uit de wiskunde genaamd Actief Leren.

In plaats van willekeurig stenen te gooien, vraagt EAGLE zich af: "Waar zou ik nu een steen moeten gooien om het meest te leren?"

• De Analogie van de Schatkaart: Stel je hebt een schatkaart met een groot, leeg vlak. Je wilt weten waar de schat zit.
  • De oude methoden kijken naar plekken die ze al kennen en gooien daar nog een paar keer stenen.
  • EAGLE kijkt naar de plekken op de kaart waar het meest onzeker is (de "gaten" in de kennis). Het gaat daarheen en verzamelt informatie.
  • Maar EAGLE is ook slim: het weet dat het antwoord voor deze specifieke persoon (de "instance") belangrijk is. Dus het zoekt niet overal in de wereld naar onzekerheid, maar alleen in de buurt van de persoon waarover het gaat. Het combineert nauwkeurigheid (dichtbij de persoon blijven) met nieuwsgierigheid (de onzekere plekken verkennen).

3. Hoe werkt het precies? (De "Adelaar" in actie)

EAGLE doet drie dingen tegelijk:

1. Het maakt een simulatie: Het bouwt een simpel, begrijpelijk model (een "surrogaat") dat probeert na te doen hoe de zwarte doos-robot denkt.
2. Het kiest slimme vragen: In plaats van 500 willekeurige vragen te stellen, kiest EAGLE de 500 vragen die het meeste nieuwe informatie opleveren. Het is alsof je in een spel "20 vragen" speelt, maar je vraagt niet "Is het een dier?", maar je vraagt precies de vraag die de kans van 50/50 het snelst naar 100% of 0% duwt.
3. Het geeft een zekerheidsgraad: EAGLE zegt niet alleen "De reden is inkomen", maar ook: "Ik ben 95% zeker van dit antwoord." Als het niet zeker is, waarschuwt het je.

4. Waarom is dit beter?

De auteurs hebben EAGLE getest op verschillende soorten data (van tabellen met cijfers tot foto's van gezichten).

• Stabiliteit: Als je EAGLE twee keer op dezelfde situatie laat draaien, krijg je bijna exact hetzelfde antwoord. De oude methoden gaven vaak verschillende antwoorden, alsof ze een slechte kaart hadden.
• Efficiëntie: EAGLE heeft minder "proefballonnetjes" nodig om een goed antwoord te vinden. Het is alsof je een puzzel oplost: EAGLE pakt eerst de randstukken en de stukken met de helderste kleuren (de meest informatieve stukjes), terwijl anderen willekeurig stukjes pakken.
• Vertrouwen: Omdat EAGLE weet waar het onzeker is, kun je als mens beter beslissen of je het antwoord kunt vertrouwen.

Samenvatting in één zin

EAGLE is als een slimme, scherpziende adelaar die in plaats van willekeurig te cirkelen, precies weet waar hij moet duiken om de waarheid over een complexe AI-beslissing te vinden, en dat doet hij met minder moeite en meer zekerheid dan de oude methoden.

Het zorgt ervoor dat we niet blindelings vertrouwen op wat computers zeggen, maar dat we een duidelijke, betrouwbare en eerlijke uitleg krijgen.

Technische samenvatting

Titel: Informative Perturbation Selection for Uncertainty-Aware Post-hoc Explanations (EAGLE)

Auteurs: Sumedha Chugh, Ranjitha Prasad, en Nazreen Shah (IIIT-Delhi)

---

1. Probleemstelling

Met de wijdverbreide inzet van complexe, "black-box" machine learning-modellen (zoals diep neurale netwerken) zijn er toenemende zorgen over vertrouwen en ethiek. Dit heeft geleid tot de noodzaak van betrouwbare uitlegmethoden (Explainable AI of XAI).

• Huidige uitdaging: Bestaande post-hoc model-agnostische methoden (zoals LIME, BayesLIME, GLIME) proberen het gedrag van een black-box model lokaal te benaderen met een eenvoudig, interpreteerbaar "surrogaatmodel". Dit gebeurt door perturbaties (licht gewijzigde invoer) rondom een specifieke steekproef te genereren.
• Onzekerheid en Instabiliteit: De uitleggen die door deze methoden worden gegenereerd, zijn statistische schattingen. Ze lijden onder onzekerheid veroorzaakt door:
  1. Een beperkt aantal perturbatiesteekproeven.
  2. Willekeur in de sampling-strategieën.
  3. Benaderingsfouten van het surrogaatmodel.
  4. Ruis in de modelvoorspellingen.
• Gevolg: Uitleggen kunnen sterk variëren tussen verschillende runs voor dezelfde instantie en missen vaak maatstaven voor vertrouwen (confidence). Bestaande methoden die onzekerheid proberen te kwantificeren (zoals BayesLIME) gebruiken vaak heuristische sampling-strategieën die geen expliciete rekening houden met de lokale context of die niet principieel zijn afgeleid om epistemische onzekerheid te minimaliseren.

2. Methodologie: EAGLE Framework

De auteurs stellen EAGLE (Expected Active Gain for Local Explanations) voor, een raamwerk dat perturbatie-selectie formuleert als een informatietheoretisch actief leervraagstuk.

• Bayesiaans Surrogaatmodel:
  EAGLE gebruikt Bayesiaanse lineaire regressie als surrogaatmodel. Dit model levert niet alleen feature-importances ($\phi$) op, maar ook een posterior-verdeling die onzekerheid kwantificeert.

  • De likelihood wordt gewogen door een localiteit-functie $\pi_{x_0}(z)$, die dichtbij gelegen perturbaties een hogere precisie geeft.
  • De posterior-verdeling van de coëfficiënten wordt bijgewerkt naarmate nieuwe perturbaties worden toegevoegd.

• Actieve Sampling Strategie (Acquisition Function):
  In plaats van willekeurig te sample, selecteert EAGLE perturbaties die de verwachte informatiewinst (Expected Information Gain) maximaliseren.

  • Het doel is het maximaliseren van de reductie in de entropie van de posterior-verdeling van de surrogaatparameters.
  • Theorema 1: Voor een Bayesiaans lineair surrogaatmodel is het maximaliseren van de verwachte informatiewinst equivalent aan het maximaliseren van de lokaliteits-gewogen posterior onzekerheid.
  • De acquisition functie wordt gedefinieerd als:
    $$A_E(z) = \arg\max_{z} \pi_{x_0}(z) \cdot z^\top V_\phi z$$
    Waarbij $V_\phi$ de posterior-covariantiematrix is. De term $z^\top V_\phi z$ meet de onzekerheid in de richting van $z$, en $\pi_{x_0}(z)$ zorgt ervoor dat de selectie lokaal blijft rond de instantie van belang.

• Algoritme:

  1. Start met een set "seed"-perturbaties.
  2. Train het Bayesiaanse surrogaatmodel.
  3. Genereer een kandidaat-pool van perturbaties.
  4. Selecteer de top-$B$ perturbaties die de acquisition functie maximaliseren.
  5. Query het black-box model voor deze selectie en update het surrogaatmodel iteratief.

3. Belangrijkste Bijdragen

1. Nieuw Framework (EAGLE): Een principieel raamwerk dat perturbatie-selectie koppelt aan actieve learning om epistemische onzekerheid te minimaliseren terwijl de lokale fideliteit behouden blijft.
2. Theoretische Analyse:
   • De auteurs bewijzen dat de cumulatieve informatiewinst schaalt als $O(d \log t)$, waarbij $d$ de dimensie is en $t$ het aantal steekproeven.
   • Ze leiden hoge-kansgrenzen af voor de schattingsfout van de uitleg-gewichten.
   • Sample Complexity: Het aantal benodigde queries groeit lineair met de dimensie $d$ en logaritmisch met de betrouwbaarheidsparameter $1/\delta$. Dit betekent dat hogere precisie kwadratisch meer steekproeven vereist, maar hogere zekerheid slechts een mild logaritmisch verlies kost.
3. Onzekerheidsbewuste Uitleg: Het framework levert niet alleen feature-importances, maar ook betrouwbare onzekerheids- en confidence-schattingen.

4. Experimentele Resultaten

De auteurs hebben EAGLE getest op zes datasets: vier tabulaire datasets (COMPAS, German Credit, Adult Income, Magic) en twee beelddatasets (MNIST, ImageNet). Ze vergeleken het met state-of-the-art baselines zoals LIME, GLIME, BayesLIME, US-LIME, Tilia en UnRAvEL.

• Stabiliteit (Jaccard Similariteit):
  EAGLE presteerde consistent beter dan alle baselines op zowel tabulaire als beelddatasets. Het produceerde stabielere feature-toewijzingen over meerdere runs heen, wat aangeeft dat de uitleggen minder gevoelig zijn voor willekeurige sampling.
• Sampling Kwaliteit (D-efficiency en Cumulative Information Gain):
  • D-efficiency: EAGLE bereikte sneller een hogere D-efficiency (reductie van het volume van de posterior covariantie-ellipsoïde) dan BayesLIME en BayLIME. Op $N=500$ queries was de D-efficiency ongeveer 1,5x hoger dan die van BayesLIME.
  • Sample Efficiency: EAGLE kon de prestaties van BayesLIME (bij 500 queries) bereiken met slechts 310-390 queries (een besparing van 22-38% in het aantal queries). Voor de Comprehensive Consistency Metric (CCM) was de besparing zelfs 52-88%.
• Runtime:
  Hoewel EAGLE complexer is dan standaard LIME, is het aanzienlijk sneller dan andere Bayesiaanse actieve methoden zoals UnRAvEL (dat 100+ seconden nodig heeft) en zelfs sneller dan BayesLIME (8.16s vs 14.56s op COMPAS bij 500 queries), dankzij de efficiënte selectiestrategie.

5. Betekenis en Conclusie

Dit paper markeert een belangrijke stap in de ontwikkeling van wiskundig onderbouwde methoden voor betrouwbare post-hoc uitleggen.

• Van Heuristiek naar Principieel: EAGLE vervangt heuristische sampling-regels door een strikt theoretisch afgeleide acquisitie-functie die direct onzekerheid minimaliseert.
• Efficiëntie en Betrouwbaarheid: Het bewijst dat het actief selecteren van informatieve perturbaties leidt tot snellere convergentie, minder benodigde queries en stabielere uitleggen.
• Toepasbaarheid: De methode werkt effectief op zowel lage-dimensionale tabulaire data als hoge-dimensionale beelddata, wat de schaalbaarheid van het framework onderstreept.

Kortom, EAGLE biedt een robuuste oplossing voor het probleem van instabiele en onbetrouwbare XAI-uitleggen door onzekerheid expliciet te integreren in het sampling-proces.