P$^2$CE: Model-Agnostic Plausible Pareto-Optimal Counterfactual Explanations

Het artikel introduceert P$^2$CE, een model-agnostisch algoritme dat diverse, plausibele en Pareto-optimale contrafeitelijke verklaringen genereert door een isolation forest voor de naleving van de datadistributie te combineren met SHAP-waarden voor computationele efficiëntie, waardoor het bestaande methoden overtreft in zowel oploskwaliteit als snelheid.

De kern

Stel je voor dat je een lening, een baan of een hypotheek aanvraagt en de computer zegt: "Nee." Natuurlijk wil je weten: "Wat zou ik aan mijn leven moeten veranderen om een 'Ja' te krijgen?"

Dit is waar Counterfactual Explanations (tegenfeitelijke verklaringen) om de hoek komen kijken. Ze zijn als een "Wat als"-kaart die je vertelt wat de kleinste, meest realistische stappen zijn om een afwijzing om te buigen naar een acceptatie.

Echter, bestaande kaarten hebben twee grote problemen:

1. Ze suggereren onmogelijke veranderingen: Zoals: "Verhoog je inkomen met 1000%." Dat is niet helpend.
2. Ze suggereren vreemde, onrealistische veranderingen: Zoals het vertellen aan een 20-jarige student dat hij plotseling de beleggingsportefeuille van een 60-jarige miljardair moet hebben. Hoewel wiskundig mogelijk, past dit niet in de echte wereld.

De auteurs van dit artikel introduceren een nieuwe tool genaamd P2CE (Plausible Pareto-Optimal Counterfactual Explanations). Denk aan P2CE als een slimme, realistische reisagent die je helpt de beste route naar je doel te vinden zonder dat je in een fantasiewereld verdwaalt.

Zo werkt P2CE, met behulp van eenvoudige analogieën:

1. De "Realiteitscheck" (De Plausibiliteitsfilter)

Stel je voor dat je een huis probeert te kopen. Een slechte reisagent zou kunnen zeggen: "Koop gewoon een kasteel op de maan!" Het is een huis, en het is een verandering, maar het is onmogelijk.

• Oude methoden suggereren vaak deze "kastelen op de maan" omdat ze alleen kijken naar de wiskundige afstand tussen jouw huidige situatie en het doel.
• P2CE gebruikt een speciale "Reality Detector" (een Isolation Forest). Deze kijkt naar de buurt van de echte data. Als een suggestie een "outlier" (uitschieter) is (zoals een 20-jarige met een miljardenportefeuille), markeert de Reality Detector dit als "Niet Echt" en gooit het weg. P2CE geeft je alleen suggesties die natuurlijk passen in de echte wereld.

2. De "Beste Deal" Zoeker (Het Pareto-Optimale Concept)

Soms moet je kiezen tussen twee goede opties:

• Optie A: Verander je functietitel (een grote verandering, maar slechts één ding om te doen).
• Optie B: Spaar iets meer geld, betaal een kleine schuld af en volg een korte cursus (drie kleine veranderingen).

Welke is beter? Dat hangt van jou af.

• Oude methoden dwingen je vaak om slechts één "beste" antwoord te kiezen door deze factoren samen te voegen in één enkele score, wat je persoonlijke voorkeur kan missen.
• P2CE werkt als een menu van optimale keuzes. Het geeft je een lijst met "Pareto-Optimale" opties. Dit betekent: "Hier is een lijst van de best mogelijke afwegingen. Je kunt niet een beter resultaat behalen op één gebied (zoals tijd besparen) zonder het andere gebied (zoals inspanning) slechter te maken." Het laat jou kiezen welke afweging het beste bij jouw leven past.

3. De "Black Box" Navigator (Model-Agnostisch)

Veel AI-systemen zijn "Black Boxes" — we weten niet hoe ze van binnen denken, alleen wat ze als output geven.

• Oude methoden breken vaak als de Black Box te complex is (zoals een diep neuraal netwerk). Ze kunnen vastlopen of er heel lang over doen om te rekenen.
• P2CE is een universele navigator. Het maakt niet uit hoe de Black Box er van binnen uitziet. Het gebruikt een slimme afkorting genaamd SHAP-waarden (denk aan een "scorekaart" die het algoritme vertelt welke kenmerken het belangrijkst zijn) om de beste route te raden zonder de doos te hoeven openen. Dit maakt het snel en bruikbaar voor elke soort AI-model.

De Resultaten: Waarom het ertoe doet

De auteurs hebben P2CE getest tegenover andere populaire tools met behulp van echte gegevens (zoals kredietscores en inkomensgegevens).

• Snelheid: Het vond veel sneller goede antwoorden dan de oudere, rigide methoden, vooral bij complexe AI-modellen.
• Kwaliteit: Het produceerde veel minder "onrealistische" suggesties (outliers) dan de concurrentie.
• Variëteit: Het gaf gebruikers een diverse set keuzes in plaats van slechts één gedwongen antwoord.

Samenvattend: P2CE is een nieuwe manier om AI-beslissingen uit te leggen die ervoor zorgt dat het advies dat je krijgt realistisch is (past bij je leven), efficiënt (het kost niet eeuwig om te berekenen) en flexibel (het geeft je een menu van de beste afwegingen om uit te kiezen). Het verandelt een verwarrende "Nee" in een duidelijke, actiegerichte en geloofwaardige "Dit is hoe je een Ja krijgt."

Technische samenvatting

Technische Samenvatting: P2CE – Model-Agnostische Plausibele Pareto-Optimale Counterfactual Verklaringen

Probleemstelling

De toenemende inzet van machine learning in domeinen met een hoog risico (bijv. kredietwaardigheidsbeoordeling, werving en selectie, medische diagnose) vereist transparantie en eerlijkheid. Counterfactual verklaringen (CE's) pakken dit aan door minimale wijzigingen in inputkenmerken voor te stellen ($x \to x'$) die de voorspelling van een model zouden veranderen van een ongewenste uitkomst naar een gewenste uitkomst. Bestaande methoden kampen echter met drie kritieke uitdagingen:

1. Plausibiliteit: Veel algoritmen genereren oplossingen die wiskundig dicht bij de input liggen, maar buiten de natuurlijke datadistributie vallen (outliers), waardoor ze onrealistisch zijn voor individuen om te bereiken.
2. Haalbaarheidsafwegingen: Er is geen enkele metriek voor "haalbaarheid". Gebruikers geven wellicht de voorkeur aan kleine wijzigingen in veel kenmerken of matige wijzigingen in slechts enkele kenmerken. Optimalisatie met één enkel doel (single-objective optimization) slaagt er niet in deze diverse voorkeuren te vatten.
3. Model-Agnosticisme en Efficiëntie: Hoewel sommige methoden model-agnostisch zijn, worstelen ze vaak met computationele efficiëntie of vertrouwen ze op aannames (zoals model-monotoniciteit) die niet standhouden voor complexe niet-lineaire modellen (bijv. Neurale Netwerken, SVM's).

Methodologie

De auteurs stellen P2CE voor, een algoritme dat is ontworpen om Plausibele Pareto-Optimale Counterfactual Verklaringen te genereren. De aanpak combineert een branch-and-bound zoekstrategie met twee belangrijke innovaties om plausibiliteit en efficiëntie te waarborgen over elk black-box model heen.

1. Zoekstrategie en Multi-Objective Optimalisatie

P2CE zoekt in een gediscretiseerd rooster van mogelijke kenmerkwijzigingen ($A = A^{(1)} \times \dots \times A^{(d)}$) om een verzameling acties $a$ te vinden waarvoor $f(x+a) \geq \tau$. Het optimaliseert gelijktijdig meerdere doelstellingen:

• Gemiddelde Continue Afstand ($c_1$): De genormaliseerde gemiddelde grootte van veranderingen in numerieke kenmerken.
• Maximale Continue Afstand ($c_2$): De maximale grootte van de verandering in een enkel numeriek kenmerk.
• Aantal Wijzigingen ($c_3$): Het aantal gewijzigde kenmerken (sparsity).

Het algoritme retourneert een Pareto-optimaal pakket, wat garandeert dat er geen andere oplossing bestaat die beter of gelijk is in alle doelstellingen.

2. Waarborgen van Plausibiliteit via Outlier Detectie

Om de generatie van outliers (oplossingen buiten de datadistributie) te voorkomen, integreert P2CE een Isolation Forest outlier detector ($u$).

• Tijdens de zoektocht wordt, telkens wanneer een kandidaatoplossing $x+a$ wordt gevonden, $u(x+a)$ geëvalueerd.
• Als $u(x+a)$ aangeeft dat het een outlier is, wordt de oplossing verworpen.
• Efficiëntiewinst: P2CE maakt gebruik van het vermogen van de Isolation Forest om met ontbrekende waarden om te gaan. Als een gedeeltelijke oplossing (waarbij sommige kenmerken ongedefinieerd zijn) al als een outlier wordt geclassificeerd, snoeit het algoritme de gehele tak van de zoekboom, waardoor onnodige berekeningen worden vermeden.

3. Model-Agnostische Branch-and-Bound Pruning

Om computationele efficiëntie te behouden zonder monotoniteit van het model te veronderstellen (wat eerdere methoden zoals MAPOCAM beperkt), schat P2CE de maximale mogelijke voorspelling ($f_a$) die bereikbaar is vanuit een gedeelde actie $a$.

• SHAP-gebaseerde Schatting: Het algoritme maakt gebruik van de additieve eigenschap van SHAP-waarden: $f(x) = E[f(x)] + \sum \phi_i$.
• Het berekent een bovengrens voor de voorspelling door uit te gaan van het "best-case" scenario voor de resterende openstaande kenmerken (de kenmerken die nog niet zijn vastgesteld in de zoektocht).
• De bovengrens wordt geformuleerd als:
  $$\max f(x+\tilde{a}) \leq f(x) - \sum_{i \in O_k} \phi_i(x) + \sum_{i \in O_k} \bar{\phi}_i + R(x, O_k)$$
  Waar $O_k$ de $k$ kenmerken vertegenwoordigt met de hoogste potentiële attributie, $\bar{\phi}_i$ de maximale mogelijke attributie voor kenmerk $i$ is, en $R$ een residu-term is.
• Als deze bovengrens onder de beslissingsdrempel $\tau$ ligt, wordt de tak (branch) gepruned. Dit stelt P2CE in staat om efficiënt te functioneren met niet-monotone modellen zoals Neurale Netwerken.

Belangrijkste Bijdragen

1. P2CE Algoritme: Een nieuw, model-agnostisch algoritme dat Pareto-optimale counterfactual verklaringen genereert en tegelijkertijd strikt de plausibiliteit van de datadistributie afdwingt via outlier detectie.
2. Exploratie van SHAP-eigenschappen: De introductie van een methode om SHAP-waarden te gebruiken voor het schatten van maximale voorspellingen in een branch-and-bound context, waardoor de vereiste van monotoniteit voor eerdere state-of-the-art methoden wordt opgeheven.
3. Uitgebreide Evaluatie: Een uitgebreide empirische studie over drie datasets (German Credit, Taiwan Credit, Adult) en drie classifiers (Logistic Regression, LightGBM, MLP), waarbij P2CE wordt vergeleken met MAPOCAM, DiCE en NICE.
4. Open Source: De release van de implementatie om reproduceerbaarheid te faciliteren.

Experimentele Resultaten

De evaluatie richtte zich op de kwaliteit van de oplossing (hypervolume van de Pareto-front), plausibiliteit (percentage outliers) en computationele efficiëntie.

• Plausibiliteit: P2CE genereerde consequent aanzienlijk minder outlier-oplossingen vergeleken met concurrenten. Zo produceerde P2CE op de Adult-dataset met een MLP slechts 11% outliers, terwijl DiCE 87% produceerde en MAPOCAM 58%. In sommige gevallen suggereerde DiCE onmogelijke scenario's (bijv. 97 uur werk per week).
• Kwaliteit van de Oplossing: P2CE behaalde hypervolume-scores die vergelijkbaar zijn met MAPOCAM (de theoretische gouden standaard voor Pareto-optimaliteit) en presteerde aanzienlijk beter dan DiCE en NICE. Hoewel MAPOCAM incidenteel iets hogere hypervolumes behaalde, ging dit gepaard met een enorme computationele kost.
• Efficiëntie: P2CE demonstreerde superieure computationele efficiëntie, met name bij complexe niet-lineaire modellen.
  • Op de Taiwan-dataset met een MLP duurde MAPOCAM gemiddeld 118,5 seconden, terwijl P2CE 0,81 seconden nam.
  • Op de Adult-dataset met een MLP duurde MAPOCAM 6,24 seconden, terwijl P2CE 2,34 seconden nam.
  • P2CE was langzamer dan DiCE en NICE in pure tijd, maar bood de cruciale garantie van Pareto-optimaliteit en plausibiliteit die de snellere methoden misten.

Betekenis en Claims

Het artikel positioneert P2CE als een praktische oplossing voor real-world toepassingen waar counterfactual verklaringen zowel actiegericht (haalbaar voor de gebruiker) als plausibel (consistent met de werkelijke data) moeten zijn.

De auteurs beweren dat P2CL succesvol de kloof overbrugt tussen theoretische optimaliteit en praktische bruikbaarheid. Door te garanderen dat oplossingen "inliers" zijn, voorkomt het algoritme het geven van misleidend advies (bijv. suggereren dat een gebruiker zijn inkomen met 1000% moet verhogen of onmogelijke werkuren moet maken). Bovendien, door SHAP-waarden te gebruiken voor pruning, breidt P2CE de capaciteit om optimale counterfactuals te generen uit naar elk black-box model, waarmee het de beperkingen van eerdere methoden overwint die beperkt waren tot monotone of specifieke modellen.

De studie concludeert dat P2CE snellere, beter geïnformeerde besluitvorming mogelijk maakt in real-world toepassingen door een divers aanbod van hoogwaardige, plausibele afwegingen te bieden zonder dat daar model-specifieke aanpassingen voor nodig zijn.

Beperkingen en Toekomstig Werk

De auteurs erkennen twee primaire beperkingen:

1. SHAP-afhankelijkheid: De efficiëntie van de pruning-strategie is afhankelijk van SHAP-benaderingen. Het berekenen van exacte Shapley-waarden is computationeel duur (exponentieel in het aantal kenmerken), hoewel benaderingen worden gebruikt. Fouten in deze benaderingen zouden theoretisch de pruning kunnen beïnvloeden, hoewel empirische resultaten suggereren dat de impact minimaal is vergeleken met de winst in snelheid.
2. Gediscretiseerd Rooster: De zoektocht is beperkt tot een discreet rooster. Hoewel dit praktisch is voor de meeste toepassingen (bijv. het suggereren van een inkomensverhoging van 1.000 dollar versus 998 dollar is functioneel vergelijkbaar), verhoogt een extreem fijne granulariteit de zoektijd. De auteurs stellen toekomstig werk voor op het gebied van adaptieve roosters die de granulariteit aanpassen op basis van de impact van kenmerken, potentieel gestuurd door SHAP-waarden.