📊 statistics

Ablation Study of Class Imbalance Techniques for Credit Default Prediction with SHAP-based Explainability Analysis

Deze studie toont aan dat bij taken voor het voorspellen van kredietverzuim de ingebouwde `scale_pos_weight`-parameter van XGBoost de traditionele SMOTE-resamplingtechniek aanzienlijk overtreft op het gebied van recall, wat benadrukt dat de optimale strategie voor het omgaan met klassenonbalans afhangt van de specifieke classifier die wordt gebruikt in plaats van een universele resamplingmethode.

Oorspronkelijke auteurs: Atharv Tiwari

Gepubliceerd 2026-07-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Atharv Tiwari

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert één dief te vinden die zich verstopt in een menigte van 100 mensen. Tweeënnegentig van hen zijn onschuldig, en slechts acht zijn schuldig. Als je simpelweg gokt "iedereen is onschuldig", heb je 92% van de tijd gelijk! Maar je vangt nul dieven. In de wereld van de informatica wordt dit de "class imbalance" (klasse-onbalans) genoemd. Dit gebeurt wanneer een computermodel wordt getraind op gegevens waarbij de ene uitkomst (zoals het terugbetalen van een lening) veel vaker voorkomt dan de andere (zoals het niet terugbetalen van een lening). Omdat de computer zoveel "goede" voorbeelden ziet, wordt hij lui en voorspelt hij simpelweg "goed" voor iedereen, waardoor hij de zeldzame "slechte" gevallen mist.

Jarenlang was de standaardoplossing hiervoor een techniek genaamd SMOTE. Zie SMOTE als een fotokopieermachine voor de zeldzame gevallen. Als je slechts acht foto's van dieven hebt, maakt SMOTE synthetische, nepfoto's van nieuwe dieven door details van de echte dieven met elkaar te mengen, in de hoop de computer genoeg oefening te geven om het patroon te leren. Maar er is een andere manier. Sommige computermodellen, specifiek een krachtig type genaamd XGBoost, hebben een ingebouwde "volumeknop" voor fouten. In plaats van nepgegevens te maken, kun je de computer simpelweg vertellen: "Hé, als je een dief mist, is dat een enorme fout! Als je een onschuldig persoon mist, is dat een kleine fout." Dit dwingt het model om extra aandacht te besteden aan de zeldzame gevallen zonder ooit de originele gegevens aan te raken.

De grote vraag is: is het beter om nep oefendata te maken (SMOTE), of gewoon de volumeknop op de fouten op te draaien (de ingebouwde knop)? Een nieuwe studie door Atharv Tiwari van het Punjab Engineering College zet deze twee benaderingen recht tegenover elkaar om te zien welke er in de echte wereld van kredietwaardigheid daadwerkelijk meer dieven vangt.

De Grote Creditcard Showdown

In deze studie zette de onderzoeker een grootschalig experiment op met een real-world dataset van meer dan 300.000 leningaanvragen. In deze menigte betaalde 92% van de mensen hun leningen terug, en slechts 8% viel in wanbetaling. Het was de perfecte opstelling om te testen hoe goed verschillende computermodellen de 8% konden opsporen zonder afgeleid te worden door de 92%.

De onderzoeker koos niet zomaar één model; hij testte drie verschillende "detectives":

Logistische Regressie: De ouderwetse, betrouwbare detective die strikte regels volgt.
Random Forest: Een team van detectives die elk de aanwijzingen op een andere manier bekijken en stemmen op het antwoord.
XGBoost: Een superintelligente detective die leert van zijn fouten, stap voor stap, en bij elke ronde scherper wordt.

Elke detective kreeg te maken met drie verschillende trainingsstrategieën:

De "Doe Niets" Strategie: Gooi de ruwe gegevens gewoon tegen ze aan en kijk wat er gebeurt.
De "Volumeknop" Strategie: Gebruik de ingebouwde instellingen van het model om het missen van een wanbetaler zwaar te bestraffen (geen nepgegevens).
De "Fotokopieermachine" Strategie: Gebruik SMOTE om nep wanbetalers te creëren om de trainingsgegevens in evenwicht te brengen.

De Schokkende Resultaat

De resultaten waren een beetje als een plotwending in een mysteryfilm. De "Doe Niets" strategie faalde jammerlijk voor iedereen en ving bijna geen enkele wanbetaler (minder dan 2,2% recall). Dat was verwacht. Maar de strijd tussen de "Volumeknop" en de "Fotokopieermachine" was waar het echt interessant werd.

Wanneer de onderzoeker XGBoost gebruikte, verpletterde de ingebouwde "Volumeknop" de concurrentie. Het slaagde erin om 64,8% van de werkelijke wanbetalers te vangen. De "Fotokopieermachine" strategie (SMOTE), die decennialang de standaardoplossing was geweest, ving slechts 43,3% van de wanbetalers. Dat is een enorme kloof van 21,5 procentpunt. De onderzoeker voerde strikte statistische tests uit (de McNemar-test) en bevestigde dat dit geen toevalstreffer was; het verschil was zo groot dat het statistisch zeker was ( $p < 10^{-6}$ ).

Echter, het verhaal veranderde volledig toen ze overschakelden naar Random Forest. Voor dit model werkte de "Volumeknop" nauwelijks (het ving slechts 7,8% van de wanbetalers), terwijl de "Fotokopieermachine" (SMOTE) veel beter presteerde en 41,2% ving.

Dit suggereert dat er geen enkele "magische oplossing" is voor het oplossen van ongebalanceerde data. Wat werkt voor het ene type computermodel, kan falen voor een ander. De studie suggereert dat voor het specifieke, krachtige XGBoost-model, het simpelweg vertellen dat het model meer moet geven om de zeldzame fouten, superieur is aan het voeden met synthetische, nepdata.

Waarom de Fotokopieermachine Faalde (en de Knop Won)

Dus, waarom schaadde het maken van nepdata het XGBoost-model? De onderzoeker legt uit dat wanneer je een complexe dataset hebt met 192 verschillende kenmerken (zoals inkomen, leeftijd en kredietgeschiedenis), het creëren van een neppersoon door twee echte mensen te mengen, kan resulteren in een "monster" dat in de werkelijkheid niet bestaat. Het is alsof je probeert een foto van een kat en een hond te mengen om een nieuw dier te maken; het resultaat kan vreemd zijn en de computer in de war brengen. Het model leert dan van ruis in plaats van van echte patronen.

De ingebouwde "Volumeknop" vermijdt deze valkuil volledig. Het raakt de data niet aan of creëert nepvoorbeelden. Het verandert simpelweg de wiskunde achter de schermen om te zeggen: "Mis de zeldzame gevallen niet!" Dit hield de training schoon en stelde XGBoost in staat om op zijn best te presteren.

Het "Waarom" Achter de "Wie"

Om er zeker van te zijn dat dit winnende model geen "black box" was die willekeurige gokken deed, gebruikte de onderzoeker een hulpmiddel genaamd SHAP (wat staat voor Shapley Additive Explanations). Zie SHAP als een vergrootglas dat precies laat zien welke aanwijzingen de detective gebruikte om een beslissing te nemen.

De analyse toonde aan dat het model logisch handelde. De belangrijkste aanwijzing was de externe bureau score (een kredietscore van andere banken). Dit is volkomen logisch: als iemand een geschiedenis heeft van het terugbetalen van andere kredietverleners, is de kans groot dat ze jou ook terugbetalen. Het model keek ook naar de verhouding tussen het leningbedrag en het terugbetalingsbedrag en de leeftijd van de lener. Cruciaal was dat de redenering van het model transparant en verdedigbaar was, wat een groot punt is voor banken die hun beslissingen aan toezichthouders moeten kunnen uitleggen.

De Kern van het Verhaal

De studie concludeert dat voordat je begint met het genereren van duizenden nep datapunten om een onbalans op te lossen, je eerst de simpelere, ingebouwde tools moet proberen die je model al heeft. Voor XGBoost was de ingebouwde weging niet alleen makkelijker in gebruik, maar ook aanzienlijk effectiever; het ving bijna 22% meer wanbetalers dan de traditionele methode.

De onderzoeker waarschuwt echter dat dit geen universele regel is. Omdat Random Forest beter presteerde met de "Fotokopieermachine"-methode, kun je er niet vanuit gaan dat één techniek voor elk model werkt. De beste aanpak hangt volledig af van welke "detective" je gebruikt. In de gereguleerde wereld van bankieren, waar het vangen van wanbetalers essentieel is maar het uitleggen van beslissingen verplicht is, biedt dit inzicht een duidelijkere, efficiëntere weg vooruit: probeer eerst de simpele knop, maar controleer altijd of deze past bij jouw specifieke model.

Technische Samenvatting: Ablatiestudie naar technieken voor klasse-imbalans bij kredietverzuimvoorspelling met SHAP-gebaseerde uitlegbaarheidsanalyse

Probleemstelling
Datasets voor kredietverzuimvoorspelling, zoals de Home Credit Default Risk-dataset, vertonen een ernstige klasse-imbalans (ongeveer 92% geen wanbetalers versus 8% wanbetalers). In dergelijke scenario's zijn standaard nauwkeurigheidsmetingen misleidend, aangezien een model dat voor alle aanvragers "geen wanbetaling" voorspelt, een hoge nauwkeurigheid bereikt maar nul nut heeft. De standaard industriële reactie sinds 2002 is de Synthetic Minority Over-sampling Technique (SMOTE), die synthetische minderheidvoorbeelden genereert om de trainingsset te herbalanceren. Het blijft echter ongetest of gradient boosting-modellen, specifiek XGBoost, deze imbalans inherent kunnen afhandelen via aanpassingen in de verliesfunctie (via de scale_pos_weight-parameter) zonder het introduceren van synthetische data of potentieel datalekken. Bovendien faalt de bestaande literatuur vaak in het integreren van klasse-imbalansafhandeling met modeluitlegbaarheid, een cruciale vereiste voor regelgevende naleving in de financiële sector.

Methodologie
De studie voert een gecontroleerde ablatiestudie uit over drie classificatiemodellen—Logistische Regressie, Random Forest en XGBoost—geëvalueerd op 307.511 leningaanvragen met 122 originele kenmerken (uitgebreid naar 192 na engineering en preprocessing).

Experimenteel Ontwerp: Negen configuraties werden getest, waarbij drie classificatiemodellen werden gecombineerd met drie imbalansstrategieën:
1. Baseline (A): Geen herbalancering; standaard hyperparameters.
2. Natieve Herweging (B): Ingebouwde klassengewichten (class_weight='balanced' voor RF/LogReg; scale_pos_weight voor XGBoost).
3. SMOTE + Drempelwaarde-optimalisatie (C): SMOTE toegepast op de trainingsset om klassenpariteit te bereiken, gevolgd door drempeloptimalisatie op de precisie-recallcurve om de F1-score te maximaliseren.
Evaluatie: Prestaties werden gemeten aan de hand van Recall, Precisie, F1-score en ROC-AUC. Statistische significantie werd bepaald met de McNemar exact test voor paarvergelijkingen. Stabiliteit werd geverifieerd via vijfvoudige gestratificeerde kruisvalidatie.
Uitlegbaarheid: De best presterende configuratie werd geanalyseerd met behulp van SHAP (SHapley Additive exPlanations) om voorspellingen te deconstrueren in per-kenmerk bijdragen, om te waarborgen dat de logica van het model overeenkomt met de vereisten voor regelgevende transparantie.

Belangrijkste Resultaten
De studie leverde duidelijke bevindingen op met betrekking tot de interactie tussen modelarchitectuur en imbalansafhandeling:

Superioriteit van XGBoost met Natieve Weging: XGBoost die gebruikmaakt van scale_pos_weight (Strategie B) behaalde een recall van 64,8%, waarmee het de SMOTE-aanpak (Strategie C) aanzienlijk versloeg, die 43,3% behaalde. Het verschil van 21,5 procentpunt was statistisch significant ( $p < 10^{-6}$ ).
Modelafhankelijke Effectiviteit: De resultaten waren niet uniform over alle modellen. Terwijl natieve herweging uitblonk in XGBoost en Logistische Regressie, presteerde het slecht in Random Forest (7,8% recall). Daarentegen presteerde Random Forest het best met SMOTE (41,2% recall). Dit demonstreert dat imbalansafhandeling geen "one-size-fits-all" oplossing is, maar sterk afhankelijk is van de classifier-familie.
Stabiliteit: Vijfvoudige kruisvalidatie bevestigde de stabiliteit van de XGBoost natieve wegingsaanpak, met een gemiddelde recall van 64,1% ( $\pm 0,7\%$ ) en een ROC-AUC van 0,755 ( $\pm 0,003$ ).
Kenmerkbelang (Feature Importance): SHAP-analyse onthulde dat EXT_SOURCE_AVG (geaggregeerde externe bureau-scores) de dominante drijfveer van de risicobeoordeling was. De redenering van het model was monotoon en verdedigbaar: lagere bureau-scores verhoogden de kans op wanbetaling. Opvallend genoeg kwam geslacht (CODE_GENDER_M) naar voren als het derde belangrijkste kenmerk, autonoom geïdentificeerd door het model.

Betekenis en Claims
Het artikel claimt drie primaire bijdragen aan het vakgebied van kredietrisicomodellering:

Het Uitdagen van de SMOTE-Standaard: De studie levert empirisch bewijs dat voor XGBoost, natieve aanpassing van de verliesfunctie (scale_pos_weight) superieur is aan SMOTE op hoog-dimensionale kredietdata. De auteurs argumenteren dat SMOTE ruis kan introduceren in hoog-dimensionale ruimtes door te interpoleren tussen minderheidinstanties die over veel assen verschillen, terwijl natieve weging de data-modificatie volledig vermijdt.
Contextualisering van Imbalansstrategieën: Het onderzoek benadrukt dat de effectiviteit van een imbalanstechniek afhankelijk is van het onderliggende algoritme. Een strategie die gevalideerd is op één modelfamilie (bijv. SMOTE voor Random Forest) is niet noodzakelijkerwijs overdraagbaar naar een andere (bijv. XGBoost), wat gebruikers ertoe aanzet strategieën per model te valideren in plaats van universaliteit aan te nemen.
Integratie van Uitlegbaarheid: Door hoogwaardige imbalansafhandeling te koppelen aan SHAP-analyse, adresseert de studie "Gap 3", waar imbalansonderzoek vaak een gebrek heeft aan de interpreteerbaarheidlaag die vereist is voor regelgevende inzet (bijv. onder de RBI Draft Guidance). De voorgestelde stack (XGBoost + scale_pos_weight + SHAP) biedt een inzetbare oplossing die geen synthetische datapijplijnen vereist, de risico's op datalekken vermindert en transparante beslissingslogica biedt.

Beperkingen
De auteurs erkennen dat de bevindingen gebaseerd zijn op een enkele publieke dataset en mogelijk niet generaliseerbaar zijn naar propriëtaire bankgegevens met andere kenmerkverdelingen. Daarnaast heeft de studie geen rekening gehouden met bedrijfsspecifieke misclassificatiekosten, fairness-analyse over demografische groepen of geavanceerde verliesfuncties zoals focal loss. De drempelwaarde-kalibratie voor SMOTE was niet genest binnen de kruisvalidatie, wat potentieel tot licht optimistische prestatieschattingen voor die specifieke strategie heeft geleid.