Benchmarking Gradient Boosting and Explainable AI for Credit Default Prediction on Imbalanced Financial Data: A Leakage-Safe Multi-Seed Evaluation with SHAP and LIME

Jedes Mal, wenn eine Person eine Kreditkarte oder einen Kleinkredit beantragt, findet im Hintergrund eine verborgene Berechnung statt. Banken und Kreditgeber müssen entscheiden, ob sie dieser Person Geld anvertrauen können – eine Entscheidung, die davon abhängt, vorherzusagen, ob sie die Rückzahlung versäumen wird. Dies ist nicht nur eine bloße Vermutung; es ist ein hochriskantes finanzielles Urteil, das darüber entscheidet, wer Zugang zur Wirtschaft erhält und zu welchen Kosten. Um diese Entscheidungen zu treffen, verlassen sich Institutionen auf Computermodelle, die die Historie einer Person scannen – ihr Einkommen, ihre vergangenen Rechnungen und wie sie bisher mit Schulden umgegangen ist. Diese Modelle müssen genau sein, aber sie müssen auch fair und transparent sein. Gesetze in den Vereinigten Staaten schreiben vor, dass Kreditgeber, falls ein Kredit abgelehnt wird, genau erklären müssen, warum. Das bedeutet, der Computer darf nicht einfach nur „Nein“ sagen; er muss auf die spezifischen Gründe hinweisen, wie etwa eine verspätete Zahlung oder ein hoher Kontostand, die zu der Entscheidung geführt haben. Wenn das Modell eine Black Box ist, die niemand versteht, schafft dies rechtliche Risiken und unfaire Ergebnisse für die Kreditnehmer.

Über Jahre hinweg haben Forscher versucht, bessere Modelle zur Vorhersage dieser Zahlungsausfälle zu entwickeln, oft unter Verwendung komplexer künstlicher Intelligenz. Eine neue Studie deutet jedoch darauf an, dass viele dieser bisherigen Versuche auf wackeligen Grundfesten standen. Die Forscher fanden heraus, dass gängige Praktiken beim Testen dieser Modelle oft methodische Fehler einführen, die die Computer kompetenter erscheinen lassen, als sie tatsächlich sind. Sie entdeckten auch, dass einige populäre Tricks zur Behebung von Datenproblemen eigentlich unnötig sind. Durch die Etablierung eines strengeren, ehrlicheren Testverfahrens identifizierte das Team, welche Modelle wirklich am besten funktionieren und wie man ihre Entscheidungen ohne Verwirrung erklären kann. Ihre Arbeit liefert einen neuen, zuverlässigen Standard dafür, wie Finanzinstitutionen die Werkzeuge bewerten sollten, die darüber entscheiden, wer Kredit erhält.

Die Studie konzentrierte sich auf eine massive Sammlung von Real-World-Daten eines Kreditkartenunternehmens aus Taiwan, die dreißigtausend Kunden umfasste. Etwa zweiundzwanzig Prozent dieser Kunden zahlten ihre Rechnungen schließlich nicht zurück, was zu einer Situation führte, in der die Fälle von „Zahlungsausfällen“ (Defaults) seltener waren als die der „guten“ Fälle. Dieses Ungleichgewicht ist in der Finanzwelt üblich und hat dazu geführt, dass viele Forscher eine Technik namens synthetisches Oversampling anwenden. Diese Methode erstellt künstliche Datenpunkte, um die Zahlen auszugleichen, in der Hoffnung, dass dies dem Computer hilft, besser zu lernen. Die Forscher in dieser Studie testeten jedoch, ob dieser zusätzliche Schritt tatsächlich notwendig war. Sie entwickelten ein strenges Testprotokoll, das die Daten strikt trennte und sicherstellte, dass der Computer die Testantworten niemals sah, während er lernte. Sie führten die Tests zehn verschiedene Male mit unterschiedlichen zufälligen Startpunkten durch, um sicherzustellen, dass die Ergebnisse stabil waren und nicht nur ein glücklicher Zufallstreffer.

Als sie sechs verschiedene Arten von Computermodellen verglichen, waren die Ergebnisse eindeutig. Die leistungsfähigsten Werkzeuge waren eine Familie von Modellen, die als Gradient Boosting Ensembles bekannt sind. Dies sind Systeme, die viele einfache Entscheidungsbäume kombinieren, um eine einzige, hochpräzise Vorhersage zu treffen. Drei spezifische Versionen dieser Modelle – XGBoost, LightGBM und CatBoost – schnitten fast identisch ab und bildeten eine Spitzengruppe, die ältere, einfachere Methoden wie die logistische Regression und neuere Deep-Learning-Ansätze deutlich übertraf. Die Top-Modelle ordneten das Risiko eines Zahlungsausfalls etwa neunundsiebzig Prozent der Zeit korrekt ein – eine Zahl, die statistisch nicht von den anderen unterscheidbar war, aber eindeutig besser als die Alternativen. Die Studie stellte fest, dass die Unterschiede zwischen diesen drei Top-Modellen so gering waren, dass keines der drei als der absolute Gewinner deklariert werden konnte; sie sind schlichtweg alle exzellente Wahl für diese Art von Problem.

Vielleicht war der überraschendste Befund bezüglich der synthetischen Daten. Die Forscher testeten, ob das Hinzufügen dieser künstlichen, ausgewogenen Datenpunkte die Modelle verbesserte. Sie fanden heraus, dass dies nicht der Fall war. Sobald die Forscher den Entscheidungsschwellenwert – den spezifischen Punkt, an dem der Computer entscheidet, „Ja“ oder „Nein“ zu sagen – basierend auf einem separaten Validierungsdatensatz anpassten, wurde der Bedarf an synthetischen Daten hinfällig. Tatsächlich war für diese Art von moderat unausgewogenen Finanzdaten allein die Feinabstimmung des Entscheidungspunktes ausreichend, um das Ungleichgewicht zu handhaben. Das Erstellen künstlicher Datenpunkte war nicht nur redundant, sondern konnte potenziell Rauschen einführen, das das Modell verwirrt. Dies deutet darauf hin, dass Finanzinstitutionen den komplexen Schritt der Generierung synthetischer Daten überspringen und statsdessen die Kalibrierung ihrer Entscheidungsregeln präziser vornehmen können.

Über die reine Vorhersage, wer zahlungsunfähig wird, hinaus untersuchte die Studie auch, wie gut diese Modelle ihre eigenen Entscheidungen erklären können, was eine Anforderung zur Einhaltung gesetzlicher Vorschriften ist. Die Forscher nutzten zwei verschiedene Methoden, um diese Erklärungen zu generieren: eine basierte auf Spieltheorie und eine andere auf lokalen Approximationen. Sie fanden heraus, dass diese beiden Methoden zwar im Allgemeinen überein stimmten, was die wichtigsten Faktoren betrifft, sich aber nicht immer bei jeder einzelnen Person einig waren. In etwa zweiundsechzig Prozent der Fälle waren die Erklärungen einigermaßen konsistent, aber bei einigen Individuen deuteten die beiden Methoden auf unterschiedliche Gründe für eine Ablehnung hin. Diese Diskrepanz stellt ein kritisches Risiko dar. Wenn eine Bank sich nur auf eine Methode verlässt, um einem Kunden den Grund für seine Ablehnung mitzuteilen, und diese Methode instabil ist, könnte die Bank rechtliche Herausforderungen gegenüberstehen. Die Studie kommt zu dem Schluss, dass Institutionen die Übereinstimmung zwischen verschiedenen Erklärungswerkzeugen prüfen und menschliche Experten hinzuziehen sollten, um Fälle zu begutachten, in denen die Argumentation des Computers unklar ist.

Die Forscher testeten ihre Ergebnisse auch an einem kleineren, älteren Datensatz aus Deutschland, um zu sehen, ob die Ergebnisse bei weniger Daten Bestand haben. Sie fanden heraus, dass mit weniger Beispielen der Vorteil der komplexen Modelle gegenüber den einfacheren statistisch schwerer nachzuweisen war, was darauf hindeutet, dass die Leistungsfähigkeit dieser fortschrittlichen Werkzeuge davon abhängt, genügend Daten zum Lernen zu haben. Schließlich prüfte das Team auch die Fairness über verschiedene Gruppen hinweg, wie etwa Männer und Frauen oder Menschen mit unterschiedlichem Bildungsstand. Sie stellten nur geringfügige Unterschiede darin fest, wie das Modell diese Gruppen behandelte, merkten jedoch an, dass die Daten für sehr kleine Gruppen zu spärlich waren, um fundierte Schlussfolgerungen ziehen zu können. Die Studie betont, dass die Modelle zwar insgesamt gut funktionierten, aber auf spezifischen historischen Daten trainiert wurden und nicht blind auf andere Populationen oder Wirtschaftskrisen angewendet werden können, ohne einer Neubewertung unterzogen zu werden.

Diese Arbeit etabliert einen neuen, saubereren Weg zur Prüfung von Kreditscoring-Modellen. Sie beweist, dass die effektivsten Werkzeuge bereits verfügbar sind und keine künstlichen Datentricks benötigen, um gut zu funktionieren. Wichtiger noch: Sie hebt hervor, dass Genauigkeit allein nicht ausreicht; die Erklärungen hinter den Entscheidungen müssen konsistent und zuverlässig sein. Indem Finanzinstitutionen dem im Rahmen der Studie skizzierten, strikten und „Leakage-freien“ Protokoll folgen, können sie Systeme aufbauen, die nicht nur genauer, sondern auch vertrauenswürdiger und rechtlich fundierter sind. Der Code und die Daten, die in dieser Forschung verwendet wurden, sind nun offen zugänglich, um sicherzustellen, dass dieser neue Standard von der breiteren Fachwelt übernommen und verifiziert werden kann.