Enhancing Interpretability in Credit Risk Modeling: A Synergistic Approach Integrating SHAP and Counterfactual Explanations

Elke keer dat een bank besluit om geld te lenen, vertrouwt het op een model om de financiële geschiedenis van een persoon af te wegen tegen het risico op wanbetaling. Decennialang waren deze modellen eenvoudig genoeg zodat een mens de logica kon volgen: als je betalingen miste, daalde je score. Maar naarmate banken krachtigere computersystemen gingen gebruiken om subtiele patronen in enorme hoeveelheden data te vinden, werd de logica verborgen in een "black box". Deze geavanceerde systemen konden risico's met grote nauwkeurigheid voorspellen, maar ze konden niet uitleggen waarom ze een specifieke beslissing namen. Dit creëerde een serieus probleem. Wetten in veel gebieden vereisen nu dat kredietverleners hun beslissingen aan aanvragers uitleggen, en zonder een duidelijke reden voelt een weigering van krediet willekeurig en onrechtvaardig. De uitdaging voor wetenschappers is geweest om een manier te vinden om de hoge nauwkeurigheid van deze complexe systemen te behouden terwijl de black box wordt geopend om de onderliggende redenering te onthullen.

Er zijn twee nieuwe instrumenten opgekomen om dit puzzelstukje op te lossen. Het eerste is een methode die werkt als een vergrootglas, die precies laat zien welke stukjes informatie — zoals het saldo op een betaalrekening of de looptijd van een lening — het model naar een specifieke conclusie hebben geduwd. Het tweede instrument is meer een "wat-als"-simulator. Het vraagt de computer om zich de kleinste mogelijke veranderingen voor te stellen die een persoon aan zijn financiële profiel zou kunnen aanbrengen om een afwijzing om te buigen naar een goedkeuring. Hoewel elk instrument op zichzelf nuttig is, vroegen onderzoekers van Arizona State University zich af of het combineren van deze twee methoden een duidelijker beeld zou kunnen creëren. Ze zetten zich in om te testen of het gebruik van deze twee methoden samen niet alleen kon verklaren waarom een beslissing werd genomen, maar ook een praktisch, eerlijk pad vooruit kon bieden aan de persoon die werd afgewezen.

Om dit idee te testen, gebruikten de onderzoekers een bekende verzameling gegevens met duizend echte kredietaanvragen uit Duitsland. Ze bouwden twee verschillende soorten voorspellingsmodellen om te zien hoe deze zich gedroegen. Het ene model gebruikte een rechttoe-rechtan, lineaire aanpak, terwijl het andere een complexer systeem gebruikte dat veel beslissingsbomen bouwt om patronen te vinden. Vervolgens pasten ze hun gecombineerde uitlegmethode toe op beide modellen. De resultaten lieten zien dat het complexe model in termen van algehele nauwkeurigheid eigenlijk niet veel beter presteerde dan het eenvoudige model, maar dat de twee modellen verschillende soorten fouten maakten. Het eenvoudige model was beter in het oppikken van mensen die waarschijnlijk in gebreke zouden blijven, terwijl het complexe model beter was in het vermijden van valse alarmen. Belangrijker nog, de gecombineerde uitlegmethode werkte opmerkelijk goed. Door de "vergrootglas"-tool te gebruiken om eerst de belangrijkste factoren te identificeren, konden de onderzoekers de "wat-als"-simulator begeleiden om de beste oplossingen veel sneller te vinden.

De studie toonde aan dat deze gecombineerde aanpak de uitleg aanzienlijk efficiënter maakte. Wanneer de onderzoekers de computer vroegen om de minimale veranderingen te vinden die nodig waren om een afwijzing in een goedkeuring om te buigen, vereiste de oude methode dat een aanvrager zich ongeveer drie verschillende dingen tegelijk voorstelde te veranderen. Met de nieuwe, geleide methode hoefde de aanvrager slechts ongeveer twee dingen te veranderen. Deze vermindering van complexiteit maakt het advies veel gemakkelijker voor een mens om te begrijpen en op te volgen. Het systeem genereerde succesvol honderd procent van de tijd geldige suggesties, wat bewees dat het betrouwbaar een pad naar een andere uitkomst kon vinden zonder de regels van het model te breken.

Naast het verduidelijken van het proces, gebruikten de onderzoekers dit kader om naar onrechtvaardigheid te zoeken. Ze ontdekten dat de modellen verschillende groepen mensen anders behandelden, zelfs wanneer de aanvragers vergelijkbare financiële profielen hadden. Zo werden ongehuwde mannen vaker als hoog risico aangemerkt dan gehuwde of weduwe mannen, zelfs wanneer hun financiële situaties vergelijkbaar waren. De analyse toonde aan dat het model strenger was voor de ongehuwde mannen, waarbij zij grotere financiële verbeteringen moesten doorvoeren om te worden goedgekeurd. Door de gecombineerde tools te gebruiken, konden de onderzoekers precies aanwijzen waar deze bias plaatsvond. Ze zagen dat het ontbreken van een betaalrekening de scores van ongehuwde mannen harder schaadde dan die van gehuwde mannen, wat suggereerde dat het model een verborgen bias had geleerd van de historische data waarop het was getraind.

De onderzoekers vonden ook dat de meest krachtige factoren in deze beslissingen niet demografische details zoals leeftijd of geslacht waren, maar concrete financiële realiteiten. De status van een betaalrekening en de geschiedenis van kredietterugbetaling waren de dominante krachten die de beslissingen dreven. Dit is een geruststellende bevinding, omdat het suggereert dat de modellen zich richten op het werkelijke vermogen om terug te betalen in plaats op irrelevante persoonlijke kenmerken. De studie benadrukte echter ook dat zelfs wanneer de belangrijkste factoren eerlijk zijn, de manier waarop het model ze weegt nog steeds ongelijke uitkomsten voor verschillende groepen kan creëren. De gecombineerde uitlegmethode was in staat deze subtiele ongelijkheden bloot te leggen, door precies te laten zien hoeveel extra inspanning de ene groep moest leveren vergeleken met de andere om hetzelfde resultaat te bereiken.

Uiteindelijk suggereert dit werk dat we niet hoeven te kiezen tussen een slim model en een eerlijk, begrijpelijk model. Door het vermogen om het verleden uit te leggen te verweven met het vermogen om een betere toekomst te suggereren, kunnen financiële instellingen systemen bouwen die zowel accuraat als transparant zijn. De studie demonstreert dat wanneer we de zoektocht naar oplossingen sturen met behulp van de belangrijkste factoren, we aanvragers duidelijk, actiegericht advies kunnen geven dat rekening houdt met hun specifieke omstandigheden. Deze aanpak gaat verder dan simpelweg vertellen dat iemand is afgewezen; het biedt een concreet, eerlijk stappenplan voor hoe zij hun positie kunnen verbeteren, waardoor wordt gewaarborgd dat de technologie die ons financiële leven dient verantwoording verschuldigd blijft aan de mensen die zij beïnvloedt.