HyConEx: Hypernetwork classifier with counterfactual explanations for tabular data

Dit paper introduceert HyConEx, een innovatief diep leermodel voor tabulaire data dat gelijktijdig nauwkeurige classificaties en lokale uitleggen in de vorm van contrafactuele voorbeelden biedt, waardoor het de eerste interpreteerbare classifier is die beide functies in één neurale netwerkbouwkundige combineert.

De kern

HyConEx: De Slimme Bankmedewerker die niet alleen "Nee" zegt, maar ook "Hoe" vertelt

Stel je voor dat je naar de bank gaat om een lening aan te vragen. De computer van de bank kijkt naar je gegevens en zegt: "Nee, je krijgt geen geld."

In het verleden was dat het einde van het gesprek. Je wist niet waarom. Was het je inkomen? Je schulden? Je leeftijd? Soms kregen ze een lijstje met "belangrijke factoren", maar dat vertelde je niet hoe je je situatie kon veranderen om toch een ja te krijgen.

De onderzoekers van dit paper hebben een nieuwe, slimme computer bedacht die HyConEx heet. Laten we uitleggen wat deze doet, zonder moeilijke wiskunde.

1. Het Probleem: De "Black Box"

Vroeger waren de slimste computers (diep leernetwerken) heel goed in voorspellen, maar ze waren als een zwarte doos. Je gooide een cijfer erin, en er kwam een antwoord uit, maar je zag niet wat er binnenin gebeurde.

• Oude oplossing: Je had de "zwarte doos" (de voorspeller) en daarnaast een aparte "uitlegger" (zoals een tolk). De tolk probeerde na te denken over waarom de doos "nee" zei. Dit duurde lang en was vaak niet perfect.

2. De Oplossing: HyConEx als de "Alles-in-één" Medewerker

HyConEx is geen gewone computer. Het is een hypernetwerk. Dat klinkt ingewikkeld, maar stel je het voor als een meester-architect.

• Normale computers: Ze hebben één groot, statisch plan voor iedereen.
• HyConEx: Voor elke persoon die binnenkomt, tekent deze architect direct een nieuw, persoonlijk plan.

Wanneer jij je gegevens inlevert, doet HyConEx twee dingen tegelijk (in één flits):

1. De Voorspelling: "Je krijgt geen lening."
2. Het Alternatief (De Counterfactual): "Maar wacht, als je je maandelijkse uitgaven met €100 verlaagt en je spaartegoed met €500 verhoogt, dan wel."

Het geeft je niet alleen de reden voor het "nee", maar het reistijd direct naar een alternatieve wereld waar het antwoord "ja" is.

3. Hoe werkt dit? (De Magische Spiegel)

Om dit te doen, gebruikt HyConEx twee slimme trucjes:

• De Hypernetwerk-Magie: In plaats van één groot brein, heeft HyConEx duizenden kleine hersenen. Voor jou maakt het één specifiek "mini-brein" dat precies op jouw situatie is afgestemd. Dit mini-brein weet precies welke knoppen je moet indrukken om de uitkomst te veranderen.
• De Realiteits-Spiegel (Normalizing Flows): Soms zeggen computers: "Als je 100 jaar oud wordt, krijg je een lening." Dat is technisch waar, maar onrealistisch. HyConEx gebruikt een "spiegel" die kijkt naar echte mensen in de database. Het zorgt ervoor dat het advies plausibel is. Het zegt niet: "Word rijk door te winnen in de loterij," maar: "Verlaag je uitgaven, want dat is iets wat echte mensen doen."

4. Waarom is dit zo speciaal?

Stel je voor dat je een spiegel hebt die niet alleen je gezicht weerspiegelt, maar ook laat zien hoe je eruit zou zien als je een ander kapsel had, zonder dat je naar de kapper hoeft te gaan.

• Snelheid: Andere methoden moeten urenlang rekenen om een advies te geven. HyConEx doet dit in een bliksemsnelle fractie van een seconde. Het is alsof je een antwoord krijgt voordat je de vraag helemaal hebt uitgesproken.
• Eén model: Het hoeft niet eerst te leren voorspellen en daarna te leren uitleggen. Het doet alles in één keer. Het is een "alles-in-één" pak.

5. Wat zeggen de resultaten?

De onderzoekers hebben HyConEx getest op veel verschillende datasets (zoals creditcards, medische gegevens en fraude-detectie).

• Gelijkwaardig: Het is net zo goed in het voorspellen als de beste bestaande systemen.
• Beter in uitleg: Het geeft direct een haalbaar plan om je situatie te verbeteren.
• Realistisch: De adviezen zijn niet raar of onmogelijk; ze passen binnen de realiteit van de data.

Conclusie

HyConEx is als een super-adviseur die niet alleen zegt "Je bent niet gekwalificeerd", maar direct op je schouder tikt en zegt: "Kijk, als je dit ene ding verandert, sta je er ineens wel."

Het maakt complexe AI begrijpelijk en bruikbaar voor gewone mensen, zonder dat je uren hoeft te wachten op een antwoord. Het is de eerste keer dat een computermodel voorspelt én uitlegt in één enkele, razendsnelle beweging.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "HyConEx: Hypernetwork Classifier with Counterfactual Explanations for Tabular Data" in het Nederlands.

Probleemstelling

In de afgelopen jaren is er een groeiende vraag naar uitlegbare kunstmatige intelligentie (XAI), vooral bij tabulaire data in kritieke domeinen zoals financiën en zorg. Hoewel diepe leermodellen (zoals TabPFN of XGBoost) vaak superieure voorspellende prestaties leveren, zijn ze "black boxes".
Bestaande uitlegmethode sufferen aan twee belangrijke beperkingen:

1. Post-hoc aanpak: De meeste methoden (zoals LIME, SHAP of externe counterfactual-generatoren zoals PPCEF) werken na de voorspelling. Ze vereisen aparte, tijdrovende optimalisatieprocessen voor elk datapunt om uitleg te genereren.
2. Gebrek aan integratie: Er is geen model dat tegelijkertijd een voorspelling doet én een counterfactual uitleg (een voorbeeld van hoe een input moet worden aangepast om een ander resultaat te krijgen) genereert in één doorloop. Bestaande interpreteerbare modellen geven vaak alleen statische feature-importance, maar geen dynamische, actiegerichte adviezen.

Methodologie: HyConEx

HyConEx is een diep leermodel dat speciaal is ontworpen voor tabulaire data. Het combineert classificatie en het genereren van counterfactuals in één enkel neuronaal netwerk via een hypernetwork-architectuur.

Kerncomponenten:

1. Hypernetwork:

   • Het model neemt een input $x$ en genereert daarvoor een lokale lineaire classifier (gewichtsmatrix $W$).
   • In plaats van één globaal model te hebben, levert HyConEx voor elke datapunt een uniek, lokaal lineair model op.
   • De rijen van deze gewichtsmatrix $W$ definiëren niet alleen de beslissingsgrens voor de voorspelling, maar geven ook de richting aan naar alternatieve klassen. Een counterfactual $x'$ wordt berekend als een translatie van de input: $x' = x - W_m$, waarbij $W_m$ de rij is die correspondeert met de doelklasse $m$.

2. Invertible Normalizing Flows (INF):

   • Om te zorgen dat gegenereerde counterfactuals plausibel zijn (d.w.z. dat ze binnen de hoge dichtheidsregio van de echte data liggen en geen "outliers" zijn), wordt een conditionele INF gebruikt.
   • Deze schat de kansdichtheid $p(x|y)$ voor elke klasse. De loss-functie straft gegenereerde voorbeelden af die een te lage dichtheid hebben.

3. Verwerkingsstroom (Forward Pass):

   • Het model voert één enkele forward pass uit.
   • Output: De voorspelde klasse én een set van counterfactual voorbeelden voor alle andere klassen.
   • Dit elimineert de noodzaak voor externe, iteratieve optimalisatie.

4. Trainingsstrategie en Loss-functie:
   De totale loss-functie ($L_{HyConEx}$) bestaat uit drie delen die tegelijkertijd worden geminimaliseerd:

   • Classificatie Loss ($L_{CE}$): Zorgt voor een nauwkeurige voorspelling van de oorspronkelijke input.
   • Counterfactual Loss ($L_{conEx}$):
     • Classificatie: De gegenereerde $x'$ moet door het model worden geclassificeerd als de doelklasse.
     • Proximaliteit: $x'$ moet zo dicht mogelijk bij de originele $x$ liggen (minimale verandering).
     • Plausibiliteit: $x'$ moet een hoge kansdichtheid hebben volgens de INF (geen onrealistische waarden).
   • Categorische Features: Voor categorische variabelen wordt een speciale "smoothing" toegepast via een softmax met een lage temperatuur, zodat de gegenereerde waarden geldige one-hot encoded vectoren blijven.

   Het trainingsproces verloopt in drie fasen: pre-training van de hypernetwork (met clustering), training van de INF, en finetuning van de hypernetwork met de volledige loss-functie.

Belangrijkste Bijdragen

• Eerste All-in-One Model: HyConEx is het eerste diepe leermodel dat classificatie en counterfactual-generatie integreert in één architectuur, zonder externe post-hoc tools.
• Efficiëntie: Omdat counterfactuals direct worden gegenereerd tijdens de inferentie (één forward pass), is de rekentijd extreem laag vergeleken met methoden die duizenden iteraties vereisen.
• Plausibiliteit: Door de integratie van Normalizing Flows worden gegenereerde voorbeelden gegarandeerd plausibel (in-distribution), wat een veelvoorkomend probleem is bij andere methoden.
• Actiegerichte Uitleg: Het model geeft niet alleen aan waarom een beslissing werd genomen, maar ook hoe een gebruiker de beslissing kan veranderen (bijv. "als je inkomen met X stijgt, krijg je de lening").

Resultaten

De auteurs hebben HyConEx getest op 18 verschillende tabulaire datasets (OpenML) en vergeleken met state-of-the-art methoden zoals CatBoost, XGBoost, TabNet, IMN, en externe counterfactual-methoden (CEM, CEGP, PPCEF, CBCE).

• Classificatieprestaties: HyConEx behaalt concurrerende resultaten (AUROC) die vergelijkbaar zijn met de beste bestaande modellen. De toevoeging van de counterfactual-functionaliteit leidt slechts tot een verwaarloosbare daling in nauwkeurigheid ten opzichte van de basis-hypernetwork (IMN).
• Kwaliteit van Counterfactuals:
  • Validiteit & Dekking: HyConEx bereikt bijna 100% validiteit en dekking.
  • Plausibiliteit: Het scoort zeer hoog op probabilistische plausibiliteit en dichtheidsmetrieken (LogDens, LOF), wat aangeeft dat de voorbeelden realistisch zijn.
  • Snelheid: Dit is het grootste verschil. Waar methoden zoals CEGP of CEM minuten tot uren nodig hebben om counterfactuals te genereren voor een dataset, doet HyConEx dit in milliseconden (bijv. 0.003s voor de Moons dataset vs. 2724s voor Wachter).
  • Categorische Data: HyConEx slaagt erin om geldige counterfactuals te genereren voor datasets met categorische features, terwijl andere methoden vaak falen of ongeldige waarden produceren.

Betekenis en Conclusie

HyConEx markeert een belangrijke stap in de richting van inherent interpretable deep learning. Het lost het fundamentele compromis op tussen hoge voorspellende nauwkeurigheid en uitlegbaarheid.

• Praktische Impact: De extreem lage inferentietyd maakt het model ideaal voor real-time toepassingen (bijv. in banken of verzekeringen), waar klanten direct feedback kunnen krijgen over hoe ze hun situatie kunnen verbeteren om een gunstige beslissing te krijgen.
• Toekomstperspectief: Hoewel het momenteel beperkt is tot tabulaire data en één counterfactual per klasse levert, opent de architectuur de deur voor verdere innovaties, zoals het gebruik van transformer-backbones of uitbreiding naar andere datatypen (afbeeldingen, tekst).

Kortom, HyConEx bewijst dat het mogelijk is om een "black box" te vervangen door een transparant, snel en nauwkeurig model dat zowel de beslissing als de route naar een alternatief resultaat in één keer levert.