Beyond Additivity: Sparse Isotonic Shapley Regression toward Nonlinear Explainability

Dit artikel introduceert Sparse Isotonic Shapley Regression (SISR), een geünificeerd raamwerk dat monotoon transformatie en sparsiteit combineert om de beperkingen van traditionele Shapley-waarden bij niet-lineaire afhankelijkheden en hoge dimensionaliteit te overwinnen en zo nauwkeurigere, stabielere en efficiëntere verklaringen voor AI-modellen te bieden.

De kern

Stel je voor dat je een grote, ingewikkelde machine hebt die voorspellingen doet, bijvoorbeeld of iemand een hypotheek krijgt of of een patiënt ziek is. In de wereld van kunstmatige intelligentie (AI) noemen we dit een "zwarte doos". We weten dat de machine een antwoord geeft, maar we weten niet precies waarom.

Om dit te verklaren, gebruiken wetenschappers een wiskundig hulpmiddel genaamd Shapley-waarden. Dit is als een eerlijke verdelingsrekening: als de machine een goed resultaat behaalt, hoeveel heeft elk onderdeel (elk kenmerk, zoals leeftijd of inkomen) daar precies aan bijgedragen?

Het probleem is dat de standaardmethode voor deze verdeling twee grote struikelblokken heeft, die dit nieuwe paper ("SISR") probeert op te lossen.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Rechte Lijn" Illusie

De oude methode gaat ervan uit dat alles lineair werkt.

• De Analogie: Stel je voor dat je een taart bakt. De oude methode denkt dat als je 100 gram bloem toevoegt, de taart 100% lekkerder wordt, en als je 200 gram toevoegt, hij 200% lekkerder wordt. Het is een rechte lijn: meer ingrediënt = meer resultaat.
• De Realiteit: In het echte leven werkt het vaak niet zo. Als je te veel suiker toevoegt, wordt de taart niet 1000% lekkerder, maar juist on eetbaar. Of misschien werkt een ingrediënt pas echt goed als je er nog een ander bij doet (zoals zout en suiker samen).
• Het Resultaat: Als je de oude methode gebruikt op deze "kromme" realiteit, krijg je verkeerde antwoorden. Sommige ingrediënten lijken heel belangrijk, terwijl ze dat niet zijn, en andere worden genegeerd. Het is alsof je probeert een bolle aardappel in een vierkante doos te proppen; het past niet en je krijgt een vervormd beeld.

2. Het Tweede Probleem: De "Ruis" en de "Nutteloze Spullen"

In grote datasets zitten vaak veel variabelen die niets te maken hebben met het resultaat (zoals de kleur van de auto als je wilt weten of de motor goed loopt).

• De Analogie: Stel je voor dat je een orkest hebt. De oude methode luistert naar iedereen tegelijk, ook naar de mensen die alleen maar op hun neus tikken of fluiten. Daarna probeert de onderzoeker handmatig te raden wie er echt muziek maakt en wie niet, door hardop te zeggen: "Jij, jij en jij, jullie zijn stil."
• Het Gevaar: Dit is inefficiënt en onbetrouwbaar. Soms wordt de verkeerde persoon stilgelegd, en soms blijft er ruis hangen die de luisteraar (de gebruiker) verwarrend vindt.

---

De Oplossing: SISR (De Slimme Chef)

De auteurs van dit paper introduceren SISR (Sparse Isotonic Shapley Regression). Laten we dit zien als een slimme, nieuwe chef-kok die de taart opnieuw bakt.

Stap 1: De "Vertaalbril" (Niet-lineaire aanpassing)

In plaats van te denken dat alles een rechte lijn is, past SISR eerst een vertaalbril toe op de data.

• De Analogie: Stel je voor dat je een foto bekijkt die erg vervormd is (zoals in een gekkenhuis). De oude methode probeert de mensen op de foto te tellen terwijl ze eruitzien als reuzen of dwergen. SISR pakt eerst een speciale bril op (een wiskundige transformatie) die de foto weer recht trekt.
• Wat doet het? Het leert van de data zelf hoe de verhoudingen eruitzien. Als de relatie tussen ingrediënten krom is, buigt de bril die kromme weer recht. Pas daarna wordt de eerlijke verdeling (de Shapley-waarde) berekend. Hierdoor krijg je een eerlijk beeld, zelfs als de onderliggende regels heel complex zijn.

Stap 2: De "Schaar" (Sparsiteit)

SISR heeft ook een ingebouwde schaar.

• De Analogie: Terwijl de chef de taart bereidt, gooit hij direct de nutteloze ingrediënten weg. Hij hoeft niet eerst een enorme taart te maken en daarna te proberen te raden wat je eruit kunt halen. Hij begint al met een schaar in de hand en snijdt direct de onnodige bloem, suiker en eieren weg die niets bijdragen.
• Het Voordeel: Dit maakt het resultaat veel duidelijker. Je ziet alleen de echte "sterren" van het orkest, zonder de ruis. Het is sneller, goedkoper en de uitleg is veel makkelijker te begrijpen.

Waarom is dit belangrijk?

In de echte wereld (zoals bij het voorspellen van ziektes of kredietaanvragen) zijn de regels zelden simpel en rechtlijnig.

• Voorbeeld uit het paper: Bij het voorspellen van prostaatkanker bleek dat de oude methode een symptoom (seminal vesicle invasion) heel belangrijk vond, terwijl artsen wisten dat dit eigenlijk niets te maken had met de ziekte. De oude methode werd "gebluft" door de kromme data.
• Met SISR: De nieuwe methode zag direct dat dit symptoom irrelevant was en negeerde het. De uitleg kwam overeen met wat artsen al wisten.

Samenvatting in één zin

SISR is als een slimme tolk die eerst de kromme, verwarrende taal van complexe AI-modellen vertaalt naar een heldere, rechte taal, en tegelijkertijd alle ruis en onbelangrijke woorden verwijdert, zodat we eindelijk begrijpen wat de machine echt denkt.

Dit maakt AI niet alleen eerlijker, maar ook veel makkelijker te vertrouwen voor mensen die de beslissingen moeten nemen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Beyond Additivity: Sparse Isotonic Shapley Regression toward Nonlinear Explainability" van Jialai She, in het Nederlands.

Probleemstelling

Shapley-waarden worden beschouwd als de "gouden standaard" voor feature-attributie in Explainable AI (XAI). Ze verdelen de waarde van een coalitie van kenmerken eerlijk over de individuele leden op basis van hun marginale bijdrage. Het artikel identificeert echter twee fundamentele beperkingen van de huidige Shapley-methoden in complexe, real-world scenario's:

1. De Aanname van Additiviteit: Het canonieke Shapley-raamwerk veronderstelt dat de waardefunctie (payoff) additief is (d.w.z. de waarde van een coalitie is de som van de individuele bijdragen). In de praktijk worden echter vaak niet-additieve structuren gegenereerd door:

   • Niet-Gaussische verdelingen (bijv. zware staarten, scheefheid).
   • Afhankelijkheid tussen kenmerken.
   • Domeinspecifieke verliesfuncties (bijv. "winner-takes-all" dynamieken).
   • De aanwezigheid van irrelevante kenmerken.
     Deze factoren leiden tot vervormde attributies waarbij de rangorde en het teken van de Shapley-waarden onbetrouwbaar worden.

2. Gebrek aan Native Sparsiteit: In hoogdimensionale settings (veel kenmerken) is het wenselijk om alleen de relevante kenmerken te selecteren. Bestaande methoden berekenen eerst dichte Shapley-waarden voor alle kenmerken en passen daarna heuristische drempelwaarden toe. Dit is computatief duur, inconsistent en kan leiden tot onnauwkeurige selectie. Alternatieven zoals $\ell_1$-straf (Lasso) vereisen lastige parameter-tuning en introduceren ongewenste shrinkage (verkleining) van de attributiewaarden, wat de interpretatie verstoort.

Methodologie: Sparse Isotonic Shapley Regression (SISR)

De auteur introduceert SISR, een unificerend raamwerk dat niet-additiviteit en sparsiteit gelijktijdig aanpakt. In plaats van de additiviteit te verwerpen, probeert SISR deze te herstellen door een transformatie te leren.

Kernconcepten:

• Transformatie naar Additiviteit: SISR neemt aan dat er een onbekende, strikt stijgende transformatie $T(\cdot)$ bestaat die de oorspronkelijke waardefunctie $\nu_A$ transformeert naar een domein waar de additiviteit geldt. Het doel is om $T(\nu_A) \approx \sum_{j \in A} T(\beta_j)$ te modelleren.
• Isotone Regressie: De transformatie $T$ wordt niet als een vaste analytische formule (zoals logaritme of exponentieel) gedefinieerd, maar wordt direct uit de data geleerd via Pool-Adjacent-Violators Algorithm (PAVA). Dit zorgt voor een monotoon (niet-dalend) verband zonder de noodzaak van basis-expansies of parametrische aannames.
• $\ell_0$-Sparsiteit: Het model imposeert direct een $\ell_0$-beperking (het aantal niet-nul elementen) op de Shapley-vector $\beta$. Dit wordt opgelost via genormaliseerde hard-thresholding, wat zorgt voor een schone selectie van relevante kenmerken zonder de bias van $\ell_1$-straf.
• Normalisatie: Een genormaliseerde constraint ($\sum T(\beta_j)^2 = 1$) wordt toegepast om degeneratie te voorkomen en schaal-invariantie te garanderen.

Optimalisatie-algoritme:
Het probleem wordt opgelost met een iteratief, tweeblokken-alternatief optimalisatie-algoritme:

1. Update van $t$ (transformatie): Met vaste $\gamma$ (de getransformeerde attributies), wordt een gewogen isotone regressie uitgevoerd om $t$ te schatten (oplossing via PAVA).
2. Update van $\gamma$ (attributies): Met vaste $t$, wordt een surrogate-functie geminimaliseerd onder $\ell_0$- en genormaliseerde constraints. Dit leidt tot een gesloten-vorm update via genormaliseerde hard-thresholding.
   Het algoritme garandeert globale convergentie en is computatie-efficiënt.

Belangrijkste Bijdragen

1. Ontdekking van Niet-Lineariteit: Het artikel is het eerste dat aantoont dat zelfs standaard payoffs (zoals $R^2$ in regressie) niet-additief worden door de aanwezigheid van irrelevante kenmerken of correlatie tussen kenmerken. Dit ondermijnt de basis van lineaire Shapley-interpretaties.
2. Unificatie van Transformatie en Sparsiteit: SISR is het eerste raamwerk dat een monotoon transformatie en sparsiteit in één geïntegreerd proces leert, waardoor de noodzaak voor post-hoc filtering of handmatige transformaties verdwijnt.
3. Theoretische Garanties: Het biedt een optimalisatie-algoritme met gesloten-vorm updates en bewijzen voor globale convergentie.
4. Robuustheid: Het raamwerk is ontworpen om robuust te zijn tegen niet-Gaussische verdelingen en domeinspecifieke verliesfuncties.

Resultaten en Experimenten

De auteurs testen SISR op diverse synthetische en real-world datasets (Prostaat-kanker, Boston Housing, Bank Credit, Diabetes) en verschillende payoff-functies (MSE, Robust loss, Cross-entropy).

• Herstel van Transformatie: In synthetische experimenten slaagt SISR erin om de onderliggende waarheidstransformatie (zoals wortels, exponentiële of logaritmische functies) nauwkeurig te reconstrueren, zelfs bij ruis.
• Sparsiteit en Support Recovery: SISR identificeert consistent de juiste relevante kenmerken, zelfs bij hoge ruisniveaus en hoge dimensies, terwijl conventionele methoden vaak falen.
• Stabiliteit van Attributies:
  • In de Prostaat-kanker dataset corrigeert SISR een foutieve hoge attributie voor het kenmerk svi (seminal vesicle invasion) dat door standaard Shapley als belangrijk werd gezien, maar statistisch irrelevant is.
  • In de Boston Housing dataset toont SISR aan dat standaard Shapley-waarden sterk variëren (teken- en rangveranderingen) afhankelijk van de gekozen payoff-functie (bijv. MSE vs. Robust loss), terwijl SISR een stabiel en consistent beeld geeft.
  • In de Bank Credit en Diabetes datasets filtert SISR effectief irrelevante kenmerken en elimineert spurious negatieve attributies die bij standaard methoden voorkomen.

Significantie

Deze paper vormt een belangrijke stap voorwaarts in de XAI-literatuur door de beperkingen van het lineaire Shapley-raamwerk te overwinnen zonder de interpretabiliteit van additiviteit op te geven.

• Paradigmaverschuiving: In plaats van complexe interactie-termen te modelleren (wat vaak leidt tot "informatie-overload" en rekenkundige onhaalbaarheid), stelt SISR voor dat veel schijnbare niet-lineariteit eigenlijk een vervorming van de waardefunctie is die kan worden gecorrigeerd door een eenvoudige monotoon transformatie.
• Praktische Toepasbaarheid: Het biedt een theoretisch onderbouwde, schaalbare en implementeerbare methode voor het verkrijgen van betrouwbare, schone en stabiele feature-attributies in complexe, niet-Gaussische omgevingen.
• Toekomstperspectief: Het werk opent de deur voor verdere uitbreidingen, zoals het combineren van stabilisatie met echte interactie-effecten in een Generalized Linear Model (GLM) kader.

Kortom, SISR "leert om additief te zijn", waardoor het de interpretatie van complexe modellen mogelijk maakt in situaties waar traditionele Shapley-methoden falen.