Benchmarking Gradient Boosting and Explainable AI for Credit Default Prediction on Imbalanced Financial Data: A Leakage-Safe Multi-Seed Evaluation with SHAP and LIME

Elke keer dat iemand een creditcard aanvraagt of een kleine lening afsluit, vindt er op de achtergrond een verborgen berekening plaats. Banken en kredietverleners moeten beslissen of ze die persoon geld durven te vertrouwen, een beslissing die afhangt van de voorspelling of zij er niet in zullen slagen het terug te betalen. Dit is niet slechts een gok; het is een financiële beoordeling met hoge inzet die bepaalt wie toegang krijgt tot de economie en tegen welke kosten. Om deze beslissingen te nemen, vertrouwen instellingen op computermodellen die iemands geschiedenis scannen—hun inkomen, hun eerdere rekeningen en hoe zij voorheen met schulden zijn omgegaan. Deze modellen moeten accuraat zijn, maar ze moeten ook eerlijk en transparant zijn. Wetten in de Verenigde Staten vereisen dat als een lening wordt geweigerd, de kredietverlener precies moet uitleggen waarom. Dit betekent dat de computer niet alleen "nee" kan zeggen; hij moet wijzen naar de specifieke redenen, zoals een te late betaling of een hoog saldo, die tot de beslissing hebben geleid. Als het model een 'black box' is die niemand begrijpt, creëert dit juridische risico's en oneerlijke uitkomsten voor leners.

Jarenlang hebben onderzoekers geprobeerd betere modellen te bouwen om deze wanbetalingen te voorspellen, vaak gebruikmakend van complexe kunstmatige intelligentie. Echter, een nieuwe studie suggereert dat veel van deze eerdere pogingen gebouwd zijn op wankele grond. De onderzoekers ontdekten dat veelvoorkomende praktijken bij het testen van deze modellen vaak methodologische fouten introduceren, waardoor de computers slimmer lijken dan ze in werkelijkheid zijn. Ze ontdekten ook dat sommige populaire trucjes die worden gebruikt om dataproblemen op te lossen, eigenlijk onnodig zijn. Door een striktere, eerlijkere manier op te zetten om deze systemen te testen, identificeerde het team welke modellen echt het beste werken en hoe hun beslissingen uitgelegd kunnen worden zonder verwarring. Hun werk biedt een nieuwe, betrouwbare standaard voor hoe financiële instellingen de instrumenten moeten evalueren die bepalen wie krediet krijgt.

De studie richtte zich op een enorme collectie real-world data van een creditcardbedrijf in Taiwan, waarbij dertig duizend klanten betrokken waren. Ongeveer tweeëntwintig procent van deze klanten slaagde er uiteindelijk niet in om hun rekeningen te betalen, wat leidde tot een situatie waarin de gevallen van "wanbetaling" minder talrijk waren dan de "goede" gevallen. Deze onbalans komt veel voor in de financiële sector en heeft geleid tot het gebruik van een techniek genaamd 'synthetic oversampling' door veel onderzoekers. Deze methode creëert neppe datapunten om de aantallen in evenwicht te brengen, in de hoop dat dit de computer helpt beter te leren. De onderzoekers in deze studie testten echter of deze extra stap daadwerkelijk nodig was. Ze bouwden een rigoureus testprotocol dat de data strikt gescheiden hield, waardoor de computer de testantwoorden nooit zag terwijl hij aan het leren was. Ze voerden de tests tien verschillende keren uit met verschillende willekeurige startpunten om er zeker van te zijn dat de resultaten stabiel waren en niet slechts een gelukkig toevalstreffer.

Toen ze zes verschillende soorten computermodellen vergeleken, waren de resultaten duidelijk. De krachtigste instrumenten zijn een familie van modellen bekend als 'gradient boosting ensembles'. Dit zijn systemen die veel eenvoudige beslisbomen combineren om één enkele, zeer nauwkeurige voorspelling te doen. Drie specifieke versies van deze modellen—XGBoost, LightGBM en CatBoost—presteerden bijna identiek, waardoor ze een topgroep vormden die de oudere, eenvoudigere methoden zoals logistische regressie en nieuwere deep learning-benaderingen aanzienlijk overtrof. De topmodellen classificeerden het risico op wanbetaling ongeveer zeventig negen procent van de tijd correct, een cijfer dat statistisch niet te onderscheiden was van elkaar, maar duidelijk beter was dan de alternatieven. De studie vond dat de verschillen tussen deze top drie modellen zo klein waren dat geen enkel model als de absolute winnaar kon worden uitgeroepen; ze zijn simpelweg alle drie uitstekende keuzes voor dit type probleem.

Misschien wel de meest verrassende bevinding betrof de synthetische data. De onderzoekers testten of het toevoegen van die neppe, gebalanceerde datapunten de modellen verbeterde. Ze kwamen tot de conclusie dat dit niet het geval was. Zodra de onderzoekers de beslissingsdrempel—het specifieke punt waarop de computer besluit "ja" of "nee" te zeggen—aanpasten op basis van een aparte validatieset, verdween de noodzaak voor synthetische data. Sterker nog, voor dit type matig ongebalanceerde financiële data was het simpelweg afstemmen van het beslissingspunt voldoende om de onbalans aan te pakken. Het creëren van neppe datapunten was niet alleen overbodig, maar kon potentieel ruis introduceren die het model in verwarring brengt. Dit suggereert dat financiële instellingen de complexe stap van het genereren van synthetische data kunnen overslaan en zich in plaats daarvan kunnen richten op het zorgvuldig kalibreren van hun beslissingsregels.

Naast het voorspellen van wie er zal wanbetalen, onderzocht de studie ook hoe goed deze modellen hun eigen beslissingen kunnen uitleggen, een vereiste voor juridische naleving. De onderzoekers gebruikten twee verschillende methoden om deze verklaringen te genereren: één gebaseerd op speltheorie en een andere op lokale benaderingen. Ze vonden dat hoewel deze twee methoden over het algemeen overeenstemden over de belangrijkste factoren, ze niet altijd overeenstemden voor elke individuele persoon. In ongeveer tweeënzestig procent van de gevallen waren de verklaringen redelijk consistent, maar voor sommige individuen wezen de twee methoden naar verschillende redenen voor een afwijzing. Dit meningsverschil is een kritiek risico. Als een bank slechts één methode gebruikt om een klant te vertellen waarom hij is afgewezen, en die methode is onstabiel, kan de bank te maken krijgen met juridische uitdagingen. De studie concludeert dat instellingen moeten controleren op overeenstemming tussen verschillende uitlegmethoden en menselijke experts moeten laten de gevallen beoordelen waarin de redenering van de computer onduidelijk is.

De onderzoekers testten hun bevindingen ook op een kleinere, oudere dataset uit Duitsland om te zien of de resultaten standhielden met minder data. Ze ontdekten dat met minder voorbeelden het voordeel van de complexe modellen boven de eenvoudigere modellen statistisch moeilijker te bewijzen was, wat suggereert dat de kracht van deze geavanceerde instrumenten afhangt van het hebben van voldoende data om van te leren. Tot slot controleerde het team op eerlijkheid over verschillende groepen, zoals mannen en vrouwen of mensen met verschillende opleidingsniveaus. Ze vonden slechts kleine verschillen in hoe het model deze groepen behandelde, maar merkten op dat voor zeer kleine groepen de data te schaars was om harde conclusies te trekken. De studie benadrukt dat hoewel de modellen over het algemeen goed presteerden, ze getraind zijn op specifieële historische data en niet blindelings kunnen worden toegepast op andere populaties of economische crises zonder herwaardering.

Dit werk vestigt een nieuwe, schonere manier om credit scoring-modellen te testen. Het bewijst dat de meest effectieve instrumenten al beschikbaar zijn en dat ze geen kunstmatige datatrucs nodig hebben om goed te functioneren. Belangrijker nog, het benadrukt dat accuratesse niet genoeg is; de verklaringen achter de beslissingen moeten consistent en betrouwbaar zijn. Door het strikte, vrij van 'leakage' protocol te volgen dat in de studie wordt beschreven, kunnen financiële instellingen systemen bouwen die niet alleen nauwkeuriger zijn, maar ook betrouwbaarder en juridisch beter onderbouwd. De code en data die in dit onderzoek zijn gebruikt, staan nu open voor iedereen om te gebruiken, zodat deze nieuwe standaard door de bredere gemeenschap kan worden overgenomen en geverifieerd.