Technische Samenvatting: Dichtheidsgestuurde Robuuste Contrafactuele Verklaringen op Tabulaire Data onder Model Multipliciteit

1. Probleemstelling

Contrafactuele Verklaringen (CE's) zijn essentieel voor algoritmische recourse; ze identificeren minimale perturbaties om een voorspelling van een model te veranderen naar een gewenste uitkomst. De betrouwbaarheid ervan wordt echter vaak ondermijnd in gebieden met een lage dichtheid van de datadistributie. In deze ijle gebieden vertonen classificatiesystemen een hoge variantie (het "Rashomon-effect"), wat leidt tot aanzienlijke onenigheid tussen plausibele modellen. Bijgevolg vallen standaard CE's die door het minimaliseren van afstand worden gegenereerd, vaak in de "lange staarten" van de doelverdeling, waar de validiteit niet generaliseert over verschillende modelarchitecturen.

Dit paper behandelt Robuuste Contrafactuele Verklaringen (RCE) onder Model Multipliciteit (MM). Het doel is om contrafactuele verklaringen te genereren die geldig blijven over een heterogeen ensemble van black-box modellen, terwijl wordt gewaarborgd dat de gegenereerde instanties zich in hoog-betrouwbare, hoog-densiteitsgebieden van de doelklasse-manifold bevinden. De uitdaging wordt bemoeilijkt in black-box settings waarbij het doel-ensemble ontoegankelijk is, en bestaande methoden die vertrouwen op de intersectie van ensembles lijden onder prohibitieve computationele kosten en slechte schaalbaarheid.

2. Methodologie: DensityFlow

De auteurs stellen DensityFlow voor, een generatief framework dat RCE herformuleert als een dichtheidsgestuurd optimal transportprobleem. Het framework koppelt drie primaire componenten:

A. NCE-gebaseerde Conditionele Dichtheidsschatting

Om gebieden met een lage dichtheid te vermijden, schat de methode expliciet de klasse-conditionele dichtheid $p(x|y^*)$. In plaats van dichtheid in isolatie te leren, herformuleren de auteurs het $K$-klasse probleem naar een $(K+1)$-weg discriminatietaak met behulp van Noise Contrastive Estimation (NCE).

• Een verenigde surrogaatclassifier $f_\phi$ wordt getraind om onderscheid te maken tussen semantische klassen en een hulp-ruisklasse (uniforme ruis).
• Theoretisch dient het verschil in logits tussen een doelklasse $y^*$ en de ruisklasse $K+1$ als een differentieerbare proxy voor de log-dichtheidsratio: $z^*_{y^*}(x) - z^*_{K+1}(x) \approx \log p(x|y^*) + C$.
• Dit levert een differentieerbare dichtheidsscore $S(x|y^*)$ op die het generatieproces wegstuurt van onzekere, laag-densiteit uitschieters.

B. Dichtheidsgestuurde Neural ODE

De generatie van de contrafactuele verklaring wordt gemodelleerd als continue-tijd dynamiek geparametriseerd door een Neural ODE.

• Trajectoptimalisatie: De generator $v_\theta$ produceert een continu traject $z(t)$ dat de input $x$ transformeert naar de contrafactuele $x'$.
• Dichtheidssturing: De flow-dynamiek wordt gestuurd door de geleerde dichtheidspotentiaal. Een dichtheidsstrafterm (geïmplementeerd als een pad- of eindpuntintegraal van een ReLU-functie) wordt toegevoegd aan de objectieffunctie, wat ervoor zorgt dat het traject binnen de hoog-densiteit betrouwbaarheidsregio $X_{trust}(y^*)$ blijft.
• Kostenminimalisatie: Het framework minimaliseert de transportkosten (kinetische energie) via een uitgebreide state-space ODE, waarbij een afweging wordt gemaakt tussen robuustheid (blijven in hoog-densiteit regio's) en nabijheid (minimaliseren van modificatiekosten).

C. Query-efficiënte Lokale Distillatie

Voor black-box settings waarbij het doel-ensemble $\mathcal{M}$ ontoegankelijk is, introduceren de auteurs een mechanisme voor lokale proxy-distillatie.

• In plaats van de surrogaat $f_\phi$ globaal af te stemmen (wat onuitvoerbaar is), stemt de methode deze strikt af binnen de traject van de CE-generatie.
• De surrogaat wordt verfijnd op een support-set van punten die door de generator worden bezocht, waarbij de consensus van het ensemble als de grondwaarheid dient.
• Deze strategie minimaliseert redundante queries naar het black-box ensemble, aangezien de dichtheidssturing de generator natuurlijk naar betekenisvolle, hoog-betrouwbare regio's stuurt, waardoor "lege" laag-densiteit ruimtes worden vermeden waar afstemming verspillend zou zijn.

3. Belangrijkste Bijdragen

1. Dichtheidsgestuurd Neural ODE Framework: Een generatief framework dat de generatie van contrafactuele verklaringen beperkt tot de hoog-densiteit datamanifold met behulp van een Neural ODE die wordt gestuurd door een geleerde dichtheidspotentiaal, waarbij onzekere regio's expliciet worden vermeden.
2. Robuuste Dichtheidsschatting via NCE: Een $(K+1)$-weg formulering die gebruikmaakt van Noise Contrastive Estimation om een differentieerbare dichtheidsscore gezamenlijk met de classificatietaak te leren. De auteurs bewijzen dat deze score fungeert als een effectieve proxy voor de steekproefdichtheid en demonstreren dat gezamenlijke optimalisatie overfitting op ijle uitschieters voorkomt.
3. Trajectbewuste Lokale Distillatie: Een query-efficiënte strategie voor black-box settings die een lichtgewicht surrogaat afstemt op het doel-ensemble binnen de regio's die tijdens de generatie worden bezocht, wat de query-kosten aanzienlijk vermindert terwijl de gradiëntgetrouwheid behouden blijft.

4. Experimentele Resultaten

De auteurs evalueerden DensityFlow op acht datasets (vier synthetische, vier reële tabulaire datasets) tegen state-of-the-art baselines (Product_mip, CeFlow, Argument, BetaRCE) onder een heterogeen black-box ensemble van zeven classificatiesystemen.

• Robuustheid & Validiteit: DensityFlow behaalde consequent superieure validiteit over het gehele ensemble. Zo behaalde het op de Adult dataset een validiteit van 90,1%, vergeleken met 75,2% voor de Argument baseline en 69,1% voor CeFlow. Op synthetische datasets zoals Moons en Circles oversteeg de validiteit de 99%.
• Kostenefficiëntie: De methode behield concurrerende transportkosten. Op de Adult dataset behaalde DensityFlow een kostenpost van 1,597, wat aanzienlijk lager is dan CeFlow (3,959) en concurrerend met de Argument baseline (1,916), wat aantoont dat het nabijheid niet opoffert voor robuustheid.
• Query-efficiëntie: In black-box scenario's vereiste DensityFlow aanzienlijk minder queries dan iteratieve baselines. De lokale distillatiestrategie zorgde ervoor dat de validiteit van de CE's snel verzadigde met een klein query-budget.
• Ablatie-studies: Het verwijderen van de dichtheidsterm verminderde de validiteit consistent over alle datasets, wat de noodzaak van dichtheidssturing bevestigt. Eveneens degradeerde het verwijderen van het distillatiemodule de prestaties, met name op de Blood-dataset.
• Correlatieanalyse: Experimenten bevestigden een sterke negatieve correlatie tussen de geleerde dichtheidsscore en de ensemble-onzekerheid (gemeten via Mutual Information), wat valideert dat hoog-densiteit regio's overeenkomen met een hoge modelconsensus.

5. Betekenis en Claims

Het paper claimt dat DensityFlow de generatie van robuuste contrafactuele verklaringen herdefinieert door de focus te verschuiven van eenvoudige afstandminimalisatie naar dichtheidsbeperkte optimal transport.

• Theoretische Bijdrage: Het biedt een theoretische link tussen NCE-gebaseerde dichtheidsschatting en robuustheid, waarbij wordt aangetoond dat het maximaliseren van de dichtheidsscore impliciet de voorspellende variantie over modelensembles minimaliseert.
• Praktische Impact: Door robuustheid direct in de generatiedynamiek in te bedden (via Neural ODE) in plaats van te vertrouwen op dure post-hoc ensemble-intersecties, bereikt de methode state-of-the-art robuustheid met minimale query-kosten.
• Beperkingen: De auteurs erkennen dat het schalen naar zeer hoog-dimensionale data uitdagend blijft vanwege de vloek van dimensionaliteit. Ze suggereren feature selectie (bijv. LassoNet) als mitigatiestrategie, maar merken op dat er een risico is op causale koppeling tussen verwijderde en behouden features. Daarnaast leunt het framework op het leren van de klasse-conditionele support, wat verzwakt kan worden door extreme klasse-imbalans of ruis in de labels.

Dit werk positioneert distributie-bewuste sturing niet als een vervanging voor applicatie-specifieke restricties, maar als een cruciale aanvulling om te waarborgen dat aanbevelingen consistent zijn en minder waarschijnlijk steunen op extreme of onwaarschijnlijke kenmerkconfiguraties in besluitvormingsprocessen met hoge inzet.