🤖 AI

PolySHAP: Extending KernelSHAP with Interaction-Informed Polynomial Regression

Dit artikel introduceert PolySHAP, een methode die KernelSHAP uitbreidt door regressie met hogere-orde polynomen te gebruiken om feature-interacties beter te vangen, en tegelijkertijd het eerste theoretische bewijs levert dat gepaard steekproeven trekken equivalent is aan tweede-orde PolySHAP, waardoor het empirische succes ervan wordt gerechtvaardigd.

Oorspronkelijke auteurs: Fabian Fumagalli, R. Teal Witter, Christopher Musco

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fabian Fumagalli, R. Teal Witter, Christopher Musco

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Waarom Hebben We Dit Nodig?

Stel je hebt een complexe machine (zoals een machine learning-model) die een voorspelling doet, zoals "Deze lening moet worden goedgekeurd" of "Deze afbeelding is een kat". Je wilt weten waarom. Welke specifieke kenmerken (zoals inkomen, leeftijd of pixelkleuren) hebben het meest bijgedragen aan die beslissing?

In de wereld van AI gebruiken we een wiskundig hulpmiddel genaamd Shapley-waarden om dit te beantwoorden. Denk aan Shapley-waarden als een manier om een "beloning" (de voorspelling) eerlijk te verdelen onder een team van spelers (de kenmerken), gebaseerd op hoeveel elk van hen het team hielp om te winnen.

Het Probleem:
Het exact berekenen van de Shapley-waarde is als proberen elke mogelijke combinatie van spelers in een sportteam te tellen om te zien wie het belangrijkst is. Als je 10 kenmerken hebt, zijn er meer dan 1.000 combinaties. Als je 20 kenmerken hebt, zijn er meer dan een miljoen. Het kost te lang om ze allemaal te controleren.

De Huidige Oplossing (KernelSHAP):
De huidige populaire methode, genaamd KernelSHAP, is als een slimme afkorting. In plaats van elke combinatie te controleren, kiest het een paar willekeurige groepen spelers, bekijkt hoe ze presteren, en trekt vervolgens een rechte lijn door de data om de rest te raden. Het gaat ervan uit dat het verband tussen kenmerken simpel en additief is (zoals het toevoegen van ingrediënten aan een cake: 1 kop suiker + 2 koppen bloem = een specifieke smaak).

De Beperking:
Het echte leven is niet altijd een rechte lijn. Soms interageren ingrediënten op vreemde manieren. Misschien maken suiker en bloem samen een cake, maar doet suiker alleen niets, en is bloem alleen gewoon stof. Een rechte lijn kan die "magische combinatie" (interactie) niet vastleggen.

De Nieuwe Oplossing: PolySHAP

De auteurs introduceren PolySHAP. In plaats van een rechte lijn door de data te trekken, trekt PolySHAP een gekrulde, golvende lijn (een polynoom).

De Analogie: Stel je voor dat je probeert de hoogte van een plant te voorspellen op basis van zonlicht en water.
- KernelSHAP (Lineair): Gaat ervan uit dat meer zon altijd meer hoogte betekent, en meer water altijd meer hoogte betekent, en dat ze gewoon bij elkaar worden opgeteld.
- PolySHAP (Polynoom): Besef dat de plant misschien alleen hoog groeit als het beide zon en water tegelijk krijgt. Het legt die "interactie" vast.

Door deze gekrulde lijnen te gebruiken, kan PolySHAP begrijpen dat kenmerken soms beter samenwerken dan apart. Het artikel bewijst dat deze methode een nauwkeurigere "eerlijke verdeling" van de voorspelling geeft dan de oude rechte-lijnmethode.

De "Magische Truc": Gekoppeld Steekproeven

Het artikel onderzoekt ook een populaire truc die in de oude methode wordt gebruikt, genaamd Gekoppeld Steekproeven (Paired Sampling).

De Truc: In plaats van gewoon willekeurige groepen spelers te kiezen, kies je een groep (bijv. {Zon, Water}) en kies je direct het tegenovergestelde (bijv. {Geen Zon, Geen Water}). Je bekijkt ze altijd in paren.
Het Mysterie: Iedereen wist dat deze truc de resultaten verbeterde, maar niemand wist waarom het wiskundig zo goed werkte.

De Ontdekking van het Artikel:
De auteurs bewezen een verrassende connectie: Gekoppeld Steekproeven doet eigenlijk precies hetzelfde als PolySHAP met een specifiek type kromme (een polynoom van de 2e graad), zelfs al trekt het de kromme nooit echt.

De Metafoor: Het is als een goochelaar die een konijn laat verschijnen. Iedereen dacht dat de goochelaar gewoon een konijn uit een hoed trok (een gelukstreffer). De auteurs bewezen dat de goochelaar eigenlijk een verborgen mechanische valdeur (de logica van het polynoom van de 2e graad) gebruikte om het konijn te laten verschijnen.
Het Resultaat: Dit verklaart waarom de truc "Gekoppeld Steekproeven" al jaren zo succesvol is. Het legde die "interactie"-effecten de hele tijd al vast, gewoon zonder de extra wiskundige kosten van het trekken van de kromme.

Wat Hebben Ze Eigenlijk Ontdekt?

Betere Nauwkeurigheid: Toen ze PolySHAP testten op verschillende datasets (zoals het voorspellen van huizenprijzen, het diagnosticeren van ziekten of het identificeren van afbeeldingen), gaf het consequent nauwkeurigere uitleg dan de standaardmethode, vooral wanneer ze de wiskunde toelieten om naar complexere interacties te kijken (zoals 3-weg of 4-weg combinaties van kenmerken).
De "Gratis" Upgrade: Ze toonden aan dat als je de truc "Gekoppeld Steekproeven" gebruikt met de oude methode, je dezelfde nauwkeurigheid krijgt als de nieuwe "polynoom van de 2e graad" PolySHAP-methode, maar je hoeft niet het extra werk te doen om de kromme te passen.
Wanneer Wat Te Gebruiken:
- Als je gewoon een snell, fatsoenlijk antwoord wilt, is de oude methode met Gekoppeld Steekproeven geweldig.
- Als je het meest nauwkeurige antwoord nodig hebt en de rekenkracht hebt, is het gebruik van PolySHAP met krommen van hogere graad (waarbij naar 3 of 4 kenmerken wordt gekeken die tegelijk interageren) de winnaar.

Samenvatting

Het artikel introduceert PolySHAP, een nieuwe manier om AI-beslissingen uit te leggen die zoekt naar "samenwerking" tussen kenmerken, niet alleen individuele bijdragen. Het bewijst dat een populaire afkorting genaamd Gekoppeld Steekproeven de hele tijd in het geheim het zware werk van deze nieuwe methode heeft gedaan. In wezen hebben ze ons een betere kaart gegeven voor het navigeren door de complexe interacties binnen AI-modellen en hebben ze uitgelegd waarom een specifiek kompas (Gekoppeld Steekproeven) al die tijd de juiste richting heeft gewezen.

Technische Samenvatting: PolySHAP – KernelSHAP Uitbreiden met Interactie-Informatieve Polynoomregressie

Probleemstelling

Shapley-waarden zijn een centraal speltheoretisch instrument in Explainable AI (XAI) voor het toewijzen van een modelvoorspelling aan de invoerfeatures. Het exact berekenen van Shapley-waarden vereist echter het evalueren van het model op alle $2^d$ mogelijke feature-subsets, wat computationeel onuitvoerbaar is voor modellen met een groot aantal features $d$ .

KernelSHAP (Lundberg & Lee, 2017) is naar voren gekomen als een toonaangevende methode om Shapley-waarden efficiënt te benaderen. Het probleem wordt hierbij geformuleerd als een gewenste kleinste-kwadratenregressie, waarbij het coöperatieve spel $\nu$ wordt benaderd met een lineaire functie die wordt gefit op een steekproef van willekeurige feature-subsets. Hoewel effectief, gaat deze lineaire benadering inherent uit van feature-additiviteit en faalt hij in het vastleggen van niet-lineaire interacties tussen features. Bijgevolg kan KernelSHAP suboptimale schattingen opleveren wanneer het onderliggende spel significante hogere-orde interacties vertoont.

Methodologie: PolySHAP

De auteurs stellen PolySHAP voor, een generalisatie van KernelSHAP waarbij het spel $\nu$ wordt benaderd met polynomen van hogere graad in plaats van een lineaire functie. Deze aanpak modelleert niet-lineaire feature-interacties expliciet.

Kernmechanisme

Interactie-Informatieve Representatie: In plaats van een lineair model $\sum \phi_i \mathbb{1}[i \in S]$ te fiten, past PolySHAP een polynoom van graad $k$ toe op de binaire feature-indicatoren $\mathbb{1}[i \in S]$ . De benadering omvat een "interactiegrens" $\mathcal{I}$ , een subset van interactietermen (subsets van features met grootte $\ge 2$ ).
$\hat{\nu}(S) \approx \sum_{T \in \mathcal{D} \cup \mathcal{I}} \phi_T \prod_{j \in T} \mathbb{1}[j \in S]$
waarbij $\mathcal{D}$ enkele features voorstelt en $\mathcal{I}$ interactietermen voorstelt.
Regressieformulering: PolySHAP lost een gewenste kleinste-kwadratenprobleem op dat vergelijkbaar is met KernelSHAP, maar dan met een uitgebreide ontwerpmatrix die kolommen bevat voor zowel hoofdeffecten als geselecteerde interactietermen. Het doel is het minimaliseren van de gewogen $\ell_2$ -verlies tussen de gestesteelde spelwaarden $\nu(S_\ell)$ en de polynoombenadering.
Extraheren van Shapley-waarden: Een belangrijk theoretisch resultaat (Stelling 4.3) toont aan dat de Shapley-waarden van het oorspronkelijke spel direct kunnen worden hersteld uit de coëfficiënten van de polynoombenadering. Specifiek is de Shapley-waarde voor feature $i$ de som van de coëfficiënt voor het hoofdeffect $\phi_i$ en de coëfficiënten van alle interactietermen die $i$ bevatten, gedeeld door de grootte van die interactiesets:
$\phi_i^{SV} = \phi_i + \sum_{S \in \mathcal{I}: i \in S} \frac{\phi_S}{|S|}$
Steekproefstrategieën: De methode ondersteunt standaard steekproeven en gepaarde steekproeven (het steekproeven van subsets $S$ en hun complementen $D \setminus S$ ). De auteurs maken gebruik van leverage-score-steekproeven om de kwaliteit van de schatting te verbeteren, met de opmerking dat voor hogere-orde interacties, leverage-scores van orde 1 (uniform over subsetgroottes) in de praktijk goed presteren.

Belangrijkste Bijdragen

1. Theoretische Consistentie en Uitbreiding

Het artikel bewijst dat PolySHAP consistente schattingen van Shapley-waarden biedt. Naarmate het aantal steekproeven $m$ de totale aantal subsets $2^d$ nadert, convergeren de PolySHAP-schattingen exact naar de ware Shapley-waarden (Stelling 4.3). Dit staat in contrast met sommige boomgebaseerde benaderingsmethoden (zoals RegressionMSR) die aanvullende regressie-aanpassingsstappen vereisen om consistentie te bereiken.

2. Theoretische Equivalentie van Gepaarde Steekproeven en 2-PolySHAP

Een belangrijke theoretische bijdrage is het bewijs dat KernelSHAP met gepaarde steekproeven wiskundig equivalent is aan 2-PolySHAP (Stelling 5.1).

Wanneer subsets in paren worden gestesteeld ( $S$ en $D \setminus S$ ), levert de lineaire regressieoplossing van KernelSHAP exact dezelfde Shapley-waarde-benaderingen op als een polynoomregressie van de tweede orde (2-PolySHAP).
Deze bevinding biedt de eerste sterke theoretische rechtvaardiging voor het empirische succes van gepaarde steekproeven, en verklaart dat deze impliciet alle interacties van de tweede orde vastlegt zonder expliciet een polynoom van graad 2 te fiten.

3. Empirische Prestaties

Uitgebreide experimenten over 15 lokale verklaringsspellen (die tabulaire, beeld- en taal-domeinen bestrijken) tonen aan dat:

Hogere-orde nauwkeurigheid: Het verhogen van de polynoomgraad (bijvoorbeeld 3-PolySHAP) leidt consistent tot een verbeterde benaderingskwaliteit (gemeten aan de hand van MSE, Precision@5 en Spearman-correlatie) in vergelijking met KernelSHAP (1-PolySHAP) en Permutatiesteekproeven, mits het steekproefbudget voldoende is.
Efficiëntie van Gepaarde Steekproeven: Onder gepaarde steekproeven bereikt KernelSHAP prestaties die vergelijkbaar zijn met 2-PolySHAP, wat de theoretische equivalentie valideert.
State-of-the-art resultaten: In settings met lage tot gemiddelde dimensionaliteit presteert PolySHAP (specifiek 3-PolySHAP) vaak beter dan andere baselines, waaronder RegressionMSR (dat vertrouwen stelt op XGBoost-benaderingen) en SVARM.

Betekenis en Claims

Het artikel claimt een principiële uitbreiding te bieden van het veelgebruikte KernelSHAP-kader. Door over te stappen van lineaire naar polynoombenaderingen, adresseert PolySHAP de beperking van het negeren van feature-interacties, wat leidt tot nauwkeurigere verklaringen voor complexe modellen.

Cruciaal is dat het werk een kloof overbrugt tussen heuristische praktijken en theorie. Door te bewijzen dat de populaire "gepaarde steekproeven"-heuristiek equivalent is aan modellering van interacties van de tweede orde, bieden de auteurs een rigoureuze onderbouwing voor waarom deze steekproefstrategie in de praktijk zo goed werkt. De auteurs merken bescheiden op dat hoewel hogere-orde interacties de nauwkeurigheid verbeteren, ze grotere steekproefbudgetten vereisen, en dat in zeer hoog-dimensionale settings ( $d \ge 60$ ) de winsten bescheidener zijn vanwege de combinatorische explosie van interactietermen.

Het artikel concludeert dat PolySHAP een robuuste, consistente en empirisch superieure methode is voor het schatten van Shapley-waarden, met name wanneer het onderliggende spel niet-lineaire feature-interacties omvat.