💻 computer science

How Class Imbalance Treatments Distort SHAP Attribution Fidelity: A Monte Carlo Investigation of Ranking and Magnitude Errors

Door middel van een uitgebreid Monte Carlo-onderzoek toont dit artikel aan dat hoewel de omvang van de trainingssteekproef de belangrijkste drijfveer is voor de getrouwheid van SHAP-attributie, veelgebruikte behandelingen voor klassenimbalans vaak de rangschikking en grootte van kenmerken verstoren, wat de auteurs ertoe aanzet om het vermijden van herbalancering aan te bevelen ten gunste van klasseweging wanneer SHAP-interpreteerbaarheid een prioriteit is.

Oorspronkelijke auteurs: Rıdvan Kara

Gepubliceerd 2026-06-25

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rıdvan Kara

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een misdaad probeert op te lossen. Je hebt een computerassistent (het machine learning-model) die naar aanwijzingen (data) kijkt om te achterhalen wie de dader is. Om de computer te vertrouwen, vraag je hem om uit te leggen waarom hij een specifieke verdachte heeft aangewezen. Hij geeft je een lijst met redenen, zeggende: "Aanwijzing A was voor 40% verantwoordelijk, Aanwijzing B voor 10%," enzovoort. Dit uitleginstrument wordt SHAP genoemd.

Stel je nu voor dat het misdrijf zeer zeldzaam is. Misschien is slechts 1 op de 100 gevallen een misdaad, terwijl 99 mensen onschuldig zijn. Dit wordt class imbalance (klasse-onbalans) genoemd. Omdat de "misdaad"-voorbeelden zo schaars zijn, raakt de computer in de war. Om dit op te lossen, proberen datawetenschappers vaak de data te "balanceren" voordat ze de computer ermee trainen. Ze kunnen bijvoorbeeld:

Kopiëren en plakken van de zeldzame misdaadvoorbeelden (Random Oversampling).
Weggooien van de meeste onschuldige voorbeelden (Random Undersampling).
Nep misdaadvoorbeelden verzinnen die op echte lijken (SMOTE/ADASYN).
De computer vertellen extra aandacht te besteden aan de zeldzame misdaden zonder de data te veranderen (Class Weighting).

De grote vraag die dit paper stelt is: Als we de data-onbalans oplossen, breken we dan per ongeluk de uitleg van de computer? Blijft de lijst met "belangrijkste aanwijzingen" hetzelfde? Blijven de getallen (zoals "40% verantwoordelijk") accuraat?

De auteur, Rıdvan Kara, voerde een enorme simulatie uit (zoals het 14.000 keer herhalen van hetzelfde experiment met verschillende instellingen) om erachter te komen. Dit is wat hij ontdekte, gebruikmakend van eenvoudige analogieën:

1. De grootte van de klasse is belangrijker dan de oplossing

De belangrijkste bevinding is dat hoeveel voorbeelden je hebt veel belangrijker is dan welke balanceringsmethode je gebruikt.

De Analogie: Stel je voor dat je probeert de smaak van een soep te raden. Als je slechts een klein lepeltje hebt (kleine steekproefomvang), maakt het niet uit of je zout, suiker of peper aan het lepeltje toevoegt; je gok zal wankel zijn. Maar als je een enorme pan soep hebt (grote steekproefomvang), is je gok accuraat, ongeacht wat je aan de ingrediënten hebt gedaan.
Het Resultaat: Het vergroten van de hoeveelheid data die je de computer voert, is de beste manier om een betrouwbare uitleg te krijgen. De keuze van de balanceringsmethode is ongeveer 3 tot 5 keer minder belangrijk dan simpelweg meer data hebben.

2. De "Ranking" vs. de "Magnitude" valstrik

Het paper maakt een cruciaal onderscheid tussen twee soorten uitleg:

Ranking (Rangschikking): "Wie is de hoofdverdachte?" (Is Aanwijzing A belangrijker dan Aanwijzing B?)
Magnitude (Grootte): "Hoeveel droeg Aanwijking A bij?" (Droeg het 10% of 50% bij?)

De studie vond dat sommige balanceringsmethoden geweldig zijn in het krijgen van de volgorde goed, maar verschrikkelijk in het krijgen van de getallen goed.

De Analogie: Stel je een race voor.
- Random Oversampling (kopiëren van zeldzame voorbeelden) is als een coach die ervoor zorgt dat de loper die zou moeten winnen, op de eerste plaats eindigt (de Ranking is goed). Echter, de coach vertelt daarna aan iedereen dat de winnaar twee keer zo snel liep als hij in werkelijkheid deed (de Magnitude is opgeblazen/foutief).
- Random Undersampling (weggooien van data) is als een coach die de helft van het team ontslaat. Nu kunnen ze zelfs niet meer vertellen wie de beste loper is, en de snelheidsgetallen zijn volledig kapot. Ze falen bij zowel de ranking als de magnitude.

3. De beste "niets doen" en "zachte" oplossingen

Bij het zoeken naar de meest eerlijke uitleg, vond het paper twee winnaars die niet probeerden de data geforceerd in balans te brengen:

Geen herbalancering: Gebruik gewoon de rommelige, ongebalanceerde data zoals die is.
Class Weighting: Vertel de computer: "Hé, de zeldzame misdaden zijn belangrijk, dus besteed er extra aandacht aan," maar verander of kopieer geen enkele data.

Deze twee methoden bevonden zich op de "Pareto-frontlijn", wat betekent dat ze het beste waren in beide: het krijgen van de volgorde goed én het accuraat houden van de getallen. Dit zijn de "minimaal invasieve" behandelingen.

4. Het probleem met synthetische "nep" data

Methoden die nep data verzinnen (SMOTE en ADASYN) waren oké in het krijgen van de volgorde van de verdachten, maar ze verpestten de getallen.

De Analogie: Het is als een kunstenaar die een nep gezicht tekent om een gat in een foto op te vullen. Het gezicht ziet eruit als een persoon (de ranking is oké), maar als je de afstand tussen de ogen probeert te meten, is de meting fout omdat het gezicht niet echt is.

5. De "Extreme Zeldzaamheid" gevarenzone

Het paper vond dat deze problemen veel erger worden wanneer de misdaad extreem zeldzaam is (minder dan 5% van de gevallen) en je heel weinig data hebt.

De Analogie: Als je probeert een naald in een hooiberg te vinden, en je hebt slechts een klein stukje hooi om naar te kijken, zal elke truc die je gebruikt om het hooi te "balanceren" er waarschijnlijk voor zorgen dat je de naald mist of de grootte van de naald verkeerd inschat. Maar als je een hele schuur vol hooi hebt, kun je de naald gemakkelijk vinden, en maken de trucjes minder uit.

Samenvatting van aanbevelingen

Als je AI gebruikt om beslissingen uit te leggen (zoals bij medische diagnoses of kredietwaardigheid) en je hebt ongebalanceerde data:

Verzamel eerst meer data. Dit is je krachtigste instrument.
Kopieer of verwijder geen data als je accurate getallen nodig hebt. Deze methoden vervormen het "hoeveel"-gedeelte van de uitleg.
Als je toch moet balanceren, gebruik dan Class Weighting (de computer laten meer om geven) of laat de data gewoon met rust. Deze houden de uitleg eerlijk.
Controleer zowel de volgorde als de getallen. Kijk niet alleen naar welke eigenschap nummer 1 is; controleer ook of de procentuele bijdrage logisch is, want sommige methoden verbergen hun fouten in de getallen.

Het paper concludeert dat hoewel het balanceren van data hels bij het beter voorspellen door de computer, het vaak de capaciteit van de computer om zichzelf accuraat te verklaren beschadigt. Als je een betrouwbare uitleg nodig hebt, is de meest voorzichtige aanpak (Class Weighting) of helemaal geen aanpak meestal de beste keuze.

Technische Samenvatting: Hoe behandelingen voor klassenimbalans de SHAP-attributiefidelity verstoren

Probleemstelling
SHAP (SHapley Additive exPlanations) is de standaard voor het interpreteren van boomgebaseerde classificatiemodellen in domeinen met hoge inzet, zoals medische diagnostiek, fraudedetectie en kredietwaardigheidsbeoordeling. Praktijkgebruikers passen routinematig behandelingen toe voor klassenimbalans—random oversampling/undersampling, synthetische methoden (SMOTE, ADASYN) en klassengewichten—om de voorspellende prestaties te verbeteren. De impliciete aanname dat deze upstream datamanipulaties de downstream SHAP-attributies niet verstoren, blijft echter ongetest. Hoewel de effecten van deze behandelingen op voorspellende metrieken (AUC, F1) goed gedocumenteerd zijn, is hun impact op de fidelity van feature-attributies dat niet. Specifiek is het onduidelijk of deze behandelingen de relatieve rangorde van feature-belangrijkheid of de numerieke grootte van attributies behouden, wat beide cruciaal zijn voor verschillende interpreteerbaarheids-taken (bijv. het identificeren van belangrijkste bijdragers versus risicodecompositie).

Methodologie
De studie maakt gebruik van een gecontroleerd Monte Carlo-simulatiekader om de effecten van imbalanst treatments op SHAP-fidelity te isolen, waarbij drie methodologische hiaten in de bestaande literatuur worden geadresseerd:

Oracle Referentie: In plaats van een klasse-gebalanceerde referentie (die de schaal van de grootte verstoort), berekent de studie een oracle-referentie met bijna oneindige trainingsdata onder de natuurlijke klasse-imbalans van elke simulatiecel.
Kalibratie van Taakmoeilijkheid: Het proces van data-generatie (DGP) is gekalibreerd zodat de Bayes-optimale AUC constant blijft (doelwaarde 0.82 ± 0.01) over alle cellen. Dit zorgt ervoor dat geobserveerde verschillen in SHAP-fidelity toe te schrijven zijn aan de behandelingen zelf, en niet aan variaties in de basale taakmoeilijkheid.
Duale Fidelity-metrieken: De studie maakt expliciet onderscheid tussen rangorde-fidelity (behoud van de volgorde van feature-belangrijkheid) en grootte-fidelity (behoud van de waarde van de attributies).

Experimenteel Ontwerp

Datageneratie: Synthetische datasets met $p=20$ features getrokken uit een multivariate normale verdeling. Twee correlatiestructuren werden getest: onafhankelijke features en blok-gecorreleerde features (intra-blok $\rho=0.6$ ).
Factoren:
- Prevalentie ( $\pi$ ): 0.02, 0.05, 0.10, 0.20.
- Steekproefomvang ( $n$ ): 500, 2.000, 10.000.
- Correlatie: Onafhankelijk, Blok.
- Behandelingen ( $k=6$ ): Geen (baseline), Random Oversampling, Random Undersampling, SMOTE, ADASYN, en Class Weighting.
Model: LightGBM met capaciteits-adaptieve hyperparameters (specifiek min_data_in_leaf geschaald met de post-balancing steekproefomvang om modeldegeneratie bij extreme undersampling te voorkomen).
Schaal: 24 design-cellen $\times$ 100 replicaties = 2.400 beoogde runs per behandeling. Totaal aantal succesvolle fits: 14.371 (28 mislukkingen in extreme zeldzaamheid/kleine steekproef-cellen voor synthetische methoden vanwege naburige-buren beperkingen).
Evaluatie: SHAP-waarden werden berekend op een evaluatieset met natuurlijke prevalentie (5.000 observaties) om de deployment-condities te spiegelen. Fidelity werd gemeten met 11 metrieken: 6 rangorde-gebaseerde (Kendall $\tau$ , Spearman $\rho$ , RBO, Jaccard@k, Recall@k) en 5 grootte-gebaseerde (L1, L2, Cosine similarity).

Belangrijkste Resultaten
Het onderzoek levert vier primaire bevindingen op:

Steekproefomvang domineert de keuze voor behandeling: De omvang van de trainingssteekproef is de dominante drijfveer voor SHAP-rangorde-fidelity, en weegt zwaarder dan de keuze voor de imbalans-behandeling met een factor van ongeveer 3 tot 5. Het verhogen van $n$ van 500 naar 10.000 verbetert de rangorde-fidelity (Kendall $\tau$ ) met ~0.22, terwijl de spreiding tussen de beste en slechtste behandelingen bij een vaste $n$ slechts ~0.03 tot ~0.07 is.
Extreme Zeldzaamheid en Kleine Steekproeven Vergroten de Verschillen: De divergentie tussen behandelingen is het meest uitgesproken onder extreme zeldzaamheid ( $\pi \le 0.05$ ) en kleine steekproeven ( $n \le 2.000$ ). Onder deze condities kan de behandelingskloof de effecten van de steekproefomvang evenaren. Random undersampling presteert hier bijzonder slecht en produceert vaak geen betekenisvolle modellen.
Divergentie tussen Rangorde- en Grootte-fidelity: De twee assen van fidelity leveren kwalitatief verschillende rangschikkingen van behandelingen op.
- Rangorde: Random oversampling presteert het best (hoogste Kendall $\tau$ ), gevolgd door SMOTE en "Geen". Random undersampling is consequent het slechtst.
- Grootte: "Geen" en "Class Weighting" domineren gezamenlijk door de grootte van de attributies het best te bewaren. Random oversampling, hoewel goed voor de rangorde, blaast de grootte van de attributies aanzienlijk op. Synthetische methoden (SMOTE, ADASYN) presteren ondermaats op het gebied van grootte. Random undersampling is het slechtst op beide assen.
Pareto-front: "Geen rebalancing" en "Class weighting" bezetten gezamenlijk het Pareto-front, waarbij ze de beste afweging bieden tussen het behoud van rangorde en grootte. Random oversampling is alleen superieur als het enige doel de rangorde is, maar het verstoort de grootte. Random undersampling wordt op beide assen overtroffen.

Betekenis en Claims
Het artikel stelt dat de aanname dat imbalans-behandelingen neutraal zijn voor SHAP-attributies onjuist is. De studie stelt vast dat:

Interpreteerbaarheid vereist duale rapportage: Het uitsluitend vertrouwen op rangorde-gebaseerde metrieken verbergt de inflatie van de grootte veroorzaakt door oversampling en synthetische methoden. Omgekeerd verbergt het uitsluitend vertrouwen op grootte-metrieken de voordelen van oversampling voor de rangorde. Beide families van metrieken moeten worden gerapporteerd om de fidelity volledig te beoordelen.
Standaard Aanbevelingen: Wanneer SHAP-attributies een deliverable zijn, moeten praktijkgebruikers de voorkeur geven aan minimaal invasieve behandelingen. "Geen rebalancing" en "Class weighting" worden aanbevolen als defaults, omdat zij zowel de volgorde als de grootte van de feature-bijdragen behouden.
Evaluatieverdeling is essentieel: De studie toont aan dat het gebruik van een klasse-gebalanceerde evaluatieset voor SHAP-analyse leidt tot verstoringen in de grootte. Een evaluatieset met natuurlijke prevalentie is noodzakelijk om de SHAP-grootte af te stemmen op real-world deployment scenario's.

De auteurs concluderen dat, hoewel de literatuur over voorspellende prestaties bepaalde resampling-technieken kan rechtvaardigen, deze keuzes een specifieke prijs hebben in termen van interpreteerbaarheids-fidelity. Voor toepassingen waar SHAP wordt gebruikt voor risicodecompositie, feature engineering of kwantitatieve redenering, vormt de verstoring van de grootte door veelvoorkomende resampling-technieken (vooral random oversampling en undersampling) een aanzienlijk risico dat kan worden gemitigeerd door het adopteren van class weighting of geen rebalancing.