📊 statistics

Ablation Study of Class Imbalance Techniques for Credit Default Prediction with SHAP-based Explainability Analysis

Diese Studie zeigt, dass bei Aufgaben zur Vorhersage von Kreditausfällen der integrierte Parameter `scale_pos_weight` von XGBoost die traditionelle SMOTE-Resampling-Technik hinsichtlich des Recall signifikant übertrifft, was verdeutlicht, dass die optimale Strategie zur Handhabung von Klassenimbalancen vom jeweils verwendeten Klassifikator abhängt und nicht von einer universellen Resampling-Methode.

Ursprüngliche Autoren: Atharv Tiwari

Veröffentlicht 2026-07-30

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Atharv Tiwari

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, einen einzelnen Dieb in einer Menge von 100 Menschen aufzuspüren. Zweiundneunzig von ihnen sind unschuldig, und nur acht sind schuldig. Wenn Sie einfach raten „alle sind unschuldig“, hätten Sie in 92 % der Fälle recht! Aber Sie würden null Diebe fangen. In der Welt der Informatik nennt man das das Problem des „Klassenungleichgewichts“ (Class Imbalance). Es tritt auf, wenn ein Computermodell mit Daten trainiert wird, bei denen ein Ergebnis (wie etwa die Rückzahlung eines Kredits) viel häufiger vorkommt als das andere (wie der Ausfall eines Kredits). Weil der Computer so viele „gute“ Beispiele sieht, wird er faul und sagt einfach für jeden „gut“ voraus, wodurch er die seltenen „schlechten“ Fälle übersieht.

Jahrelang war die Standardlösung dafür eine Technik namens SMOTE. Stellen Sie sich SMOTE wie einen Fotokopierer für die seltenen Fälle vor. Wenn Sie nur acht Fotos von Dieben haben, erstellt SMOTE synthetische, künstliche Fotos neuer Diebe, indem es Details von den echten miteinander kombiniert, in der Hoffnung, dem Computer genug Übung zu geben, um das Muster zu erlernen. Aber es gibt noch einen anderen Weg. Einige Computermodelle, speziell eine leistungsstarke Art namens XGBoost, haben einen eingebauten „Lautstärkeregler“ für Fehler. Anstatt künstliche Daten zu erfinden, können Sie dem Computer einfach sagen: „Hey, wenn du einen Dieb übersiehst, ist das ein riesiger Fehler! Wenn du eine unschuldige Person übersiehst, ist das ein kleiner Fehler.“ Dies zwingt das Modell, den seltenen Fällen besondere Aufmerksamkeit zu schenken, ohne jemals die ursprünglichen Daten anzupassen.

Die große Frage ist: Ist es besser, gefälschte Übungsdaten zu erstellen (SMOTE), oder einfach die Lautstärke der Fehler aufzudrehen (den eingebauten Regler)? Ein neuer Bericht von Atharv Tiwari vom Punjab Engineering College stellt diese beiden Ansätze direkt gegenüber, um zu sehen, welcher von ihnen in der realen Welt der Kreditbewertung tatsächlich mehr Diebe fängt.

Das große Kreditkarten-Duell

In dieser Studie stellte der Forscher ein massives Experiment mit einem realen Datensatz von über 300.000 Kreditanträgen auf. In dieser Menge zahlten 92 % ihre Kredite zurück, und nur 8 % fielen aus. Es war das perfekte Setup, um zu testen, wie gut verschiedene Computermodelle die 8 % aufspüren können, ohne von den 92 % abgelenkt zu werden.

Der Forscher wählte nicht nur ein Modell; er testete drei verschiedene „Detektive“:

Logistische Regression: Der altmodische, zuverlässige Detektiv, der strengen Regeln folgt.
Random Forest: Ein Team von Detektiven, die die Hinweise jeweils unterschiedlich betrachten und über die Antwort abstimmen.
XGBoost: Ein superintelligenter Detektiv, der aus seinen Fehlern Schritt für Schritt lernt und mit jeder Runde schärfer wird.

Jeder Detektiv erhielt drei verschiedene Trainingsstrategien:

Die „Tu nichts“-Strategie: Wirf ihnen einfach die Rohdaten hin und sieh zu, was passiert.
Die „Lautstärkeregler“-Strategie: Nutze die eingebauten Einstellungen des Modells, um das Versäumnis, einen Ausfall zu erkennen, schwer zu bestrafen (keine gefälschten Daten).
Die „Fotokopierer“-Strategie: Nutze SMOTE, um gefälschte Ausfälle zu erstellen, um die Trainingsdaten auszugleichen.

Das schockierende Ergebnis

Die Ergebnisse waren ein wenig wie ein Plot-Twist in einem Krimi. Die „Tu nichts“-Strategie scheiterte bei allen kläglich und fing fast keine Ausfälle ab (weniger als 2,2 % Recall). Das war zu erwarten. Aber der Kampf zwischen dem „Lautstärkeregler“ und dem „Fotokopierer“ war der Punkt, an dem es interessant wurde.

Als der Forscher XGBoost verwendete, zertrümmerte die eingebaute „Lautstärkeregler“-Strategie die Konkurrenz. Sie schaffte es, 64,8 % der tatsächlichen Ausfälle zu fangen. Die „Fotokopierer“-Strategie (SMOTE), die seit Jahrzehnten die Standardlösung ist, fing nur 43,3 %. Das ist eine massive Lücke von 21,5 Prozentpunkten. Der Forscher führte strenge statistische Tests (den sogenannten McNemar-Test) durch und bestätigte, dass dies kein Zufall war; der Unterschied war so groß, dass er statistisch sicher war ( $p < 10^{-6}$ ).

Die Geschichte änderte sich jedoch völlig, als sie zu Random Forest wechselten. Für dieses Modell arbeitete der „Lautstärkeregler“ kaum (er fing nur 7,8 % der Ausfälle), während der „Fotokopierer“ (SMOTE) viel besser abschnitt und 41,2 % der Ausfälle fängt.

Dies deutet darauf an, dass es keine einzelne „Wunderwaffe“ zur Behebung von unbalancierten Daten gibt. Was für den einen Typ von Computermodell funktioniert, kann für einen anderen versagen. Die Studie legt nahe, dass für das spezifische, leistungsstarke XGBoost-Modell das einfache Sagen des Modells, es solle sich mehr um die seltenen Fehler kümmern, weitaus überlegen ist gegenüber der Fütterung mit synthetischen, künstlichen Daten.

Warum der Fotokopierer scheiterte (und der Regler gewann)

Warum hat das Erstellen gefälschter Daten das XGBoost-Modell also geschadet? Der Forscher erklärt, dass bei einem komplexen Datensatz mit 192 verschiedenen Merkmalen (wie Einkommen, Alter und Kredithistorie) das Erstellen einer gefälschten Person durch das Mischen zweier echter Menschen zu einem „Monster“ führen kann, das in der Realität gar nicht existiert. Es ist, als würde man versuchen, ein Bild einer Katze und eines Hundes zu vermischen, um ein neues Tier zu erschaffen; das Ergebnis sieht vielleicht seltsam aus und verwirrt den Computer. Das Modell lernt am Ende aus Rauschen statt aus echten Mustern.

Der eingebaute „Lautstärkeregler“ vermeidet diese Falle komplett. Er verändert nicht die Daten oder erstellt gefälschte Beispiele. Er ändert lediglich die Mathematik hinter den Kulissen, um zu sagen: „Übersiehe die seltenen Fälle nicht!“ Dies hielt das Training sauber und ermöglichte es XGBoost, seine beste Leistung zu erbringen.

Das „Warum“ hinter dem „Wer“

Um sicherzustellen, dass dieses Gewinnermodell nicht nur eine Blackbox war, die zufällige Vermutungen anstellte, nutzte der Forscher ein Werkzeug namens SHAP (was für SHapley Additive exPlanations steht). Denken Sie an SHAP als eine Lupe, die genau zeigt, welche Hinweise der Detektiv genutzt hat, um eine Entscheidung zu treffen.

Die Analyse ergab, dass das Modell logisch handelte. Der wichtigste Hinweis war der externe Bureau-Score (eine Kreditwürdigkeit von anderen Banken). Das ergibt absolut Sinn: Wenn jemand eine Historie bei anderen Kreditgebern hat, wird er wahrscheinlich auch Ihnen zurückzahlen. Das Modell betrachtete auch das Verhältnis von Darlehensbetrag zu Rückzahlungsbetrag sowie das Alter des Kreditnehmers. Entscheidend war, dass die Argumentation des Modells transparent und vertretbar war, was für Banken, die ihre Entscheidungen gegenüber Regulierungsbehörden erklären müssen, von großer Bedeutung ist.

Das Fazente

Die Studie kommt zu dem Schluss, dass man, bevor man anfängt, tausende gefälschte Datenpunkte zu generieren, um ein Ungleichgewicht zu beheben, zuerst die einfacheren, bereits im Modell enthaltenen Werkzeuge ausprobieren sollte. Für XGBoost war die eingebaute Gewichtung nicht nur einfacher anzuwenden, sondern auch signifikant effektiver, da sie fast 22 % mehr Ausfälle fängt als die traditionelle Methode.

Der Forscher warnt jedoch, dass dies keine universelle Regel ist. Da Random Forest mit der „Fotokopierer“-Methode besser abschnitt, kann man nicht davon ausgehen, dass eine Technik für jedes Modell funktioniert. Der beste Ansatz hängt völlig davon ab, welchen „Detektiv“ man verwendet. In der regulierten Welt des Bankwesens, in der das Aufspüren von Ausfällen lebenswichtig, aber die Erklärung von Entscheidungen obligatorisch ist, bietet dieser Befund einen klareren, effizienteren Weg nach vorne: Probieren Sie zuerst den einfachen Regler aus, aber prüfen Sie immer, ob er zu Ihrem spezifischen Modell passt.

Technisches Resümee: Ablationsstudie von Techniken zur Handhabung von Klassenimbalance für die Kreditausfallprognose mit SHAP-basierter Erklärbarkeitsanalyse

Problemstellung
Datensätze zur Kreditausfallprognose, wie etwa der Home Credit Default Risk Datensatz, weisen eine schwere Klassenimbalance auf (ca. 92 % Nicht-Ausfaller gegenüber 8 % Ausfallern). In solchen Szenarien sind Standard-Genauigkeitsmetriken irreführend, da ein Modell, das für alle Antragsteller „keinen Ausfall“ vorhersagt, eine hohe Genauigkeit erzielt, aber keinen Nutzen bietet. Die standardmäßige Branchenreaktion seit 2002 ist die Synthetic Minority Over-sampling Technique (SMOTE), die synthetische Minderheitsbeispiele generiert, um den Trainingsdatensatz auszubalancieren. Es bleibt jedoch ungeklärt, ob Gradient-Boosting-Modelle, speziell XGBoost, diese Imbalance nativ durch Anpassungen der Verlustfunktion (via des Parameters scale_pos_weight) bewältigen können, ohne synthetische Daten oder potenzielles Data Leakage einzuführen. Darüber hinaus versäumt es die bestehende Literatur häufig, die Handhabung von Klassenimbalance mit der Erklärbarkeit von Modellen zu integrieren – eine kritische Anforderung für die regulatorische Compliance im Finanzwesen.

Methodik
Die Studie führt eine kontrollierte Ablationsstudie über drei Klassifikatoren durch – Logistische Regression, Random Forest und XGBoost –, die auf 307.511 Kreditanträgen mit 122 Originalmerkmalen (erweitert auf 192 nach Feature Engineering und Vorverarbeitung) evaluiert werden.

Experimentelles Design: Neun Konfigurationen wurden getestet, welche drei Klassifikatoren mit drei Strategien zur Handhabung der Imbalance kombinieren:
1. Baseline (A): Keine Neugewichtung; Standard-Hyperparameter.
2. Native Reweighting (B): Integrierte Klassengewichtung (class_weight='balanced' für RF/LogReg; scale_pos_weight für XGBoost).
3. SMOTE + Schwellenwertoptimierung (C): SMOTE angewandt auf den Trainingsdatensatz zur Erzielung von Klassenparität, gefolgt von einer Schwellenwertoptimierung auf der Precision-Recall-Kurve zur Maximierung des F1-Scores.
Evaluierung: Die Leistung wurde mittels Recall, Precision, F1-Score und ROC-AUC gemessen. Die statistische Signifikanz wurde mittels McNemars exaktem Test bei paarweisen Vergleichen bestimmt. Die Stabilität wurde über eine fünfzählige stratifizierte Kreuzvalidierung verifiziert.
Erklärbarkeit: Die leistungsfähigste Konfiguration wurde mittels SHAP (SHapley Additive exPlanations) analysiert, um Vorhersagen in Merkmalsbeiträge zu zerlegen und sicherzustellen, dass die Logik des Modells mit den Anforderungen an die regulatorische Transparenz übereinstimmt.

Kernergebnisse
Die Studie lieferte distinkte Erkenntnisse bezüglich der Interaktion zwischen Modellarchitektur und der Handhabung der Imbalance:

Überlegenheit von XGBoost mit nativer Gewichtung: XGBoost unter Verwendung von scale_pos_weight (Strategie B) erreichte einen Recall von 64,8 % und übertraf damit den SMOTE-Ansatz (Strategie C), der 43,3 % erreichte, signifikant. Die Differenz von 21,5 Prozentpunkten war statistisch signifikant ( $p < 10^{-6}$ ).
Modellabhängige Wirksamkeit: Die Ergebnisse waren nicht einheitlich über alle Modelle hinweg. Während natives Reweighting bei XGBoost und der Logistischen Regression exzellierte, schnitt es bei Random Forest (7,8 % Recall) schlecht ab. Umgekehrt performte Random Forest am besten mit SMOTE (41,2 % Recall). Dies demonstriert, dass die Handhabung der Imbalance keine „Einheitslösung“ ist, sondern stark von der Klassifikator-Familie abhängt.
Stabilität: Eine fünfzählige Kreuzvalidierung bestätigte die Stabilität des nativen Gewichtungsansatzes von XGBoost mit einem mittleren Recall von 64,1 % ( $\pm 0,7 \%$ ) und einem ROC-AUC von 0,755 ( $\pm 0,003$ ).
Merkmalsrelevanz: Die SHAP-Analyse zeigte, dass EXT_SOURCE_AVG (aggregierte externe Bureau-Scores) der dominante Treiber der Risikobewertung war. Die Argumentation des Modells war monoton und vertretbar: Niedrigere Bureau-Scores erhöhten die Ausfallwahrscheinlichkeit. Bemerkenswerterweise kristallisierte sich das Geschlecht (CODE_GENDER_M) als das drittwichtigste Merkmal heraus, welches vom Modell autonom identifiziert wurde.

Bedeutung und Ansprüche
Das Paper beansprucht drei primäre Beiträge zum Feld der Kreditrisikomodellierung:

Infragestellung des SMOTE-Standards: Die Studie liefert empirische Evidenz dafür, dass für XGBoost eine native Anpassung der Verlustfunktion (scale_pos_weight) der SMOTE-Methode bei hochdimensionalen Kreditdaten überlegen ist. Die Autoren argumentieren, dass SMOTE in hochdimensionalen Räumen durch Interpolation zwischen Minderheitsinstanzen, die sich über viele Achsen unterscheiden können, Rauschen einführen kann, während natives Reweighting die Datenmodifikation vollständig vermeidet.
Kontextualisierung von Imbalance-Strategien: Die Forschung hebt hervor, dass die Wirksamkeit einer Imbalance-Technik von der zugrunde liegenden Architektur abhängt. Eine Strategie, die für eine Modellfamilie validiert wurde (z. B. SMOTE für Random Forest), lässt sich nicht zwangsläufig auf eine andere übertragen (z. B. XGBoost), was Praktiker dazu anhält, Strategien pro Modell zu validieren, statt Universalität vorauszusetzen.
Integration von Erklärbarkeit: Durch die Kopplung von Hochleistungs-Imbalance-Handhabung mit der SHAP-Analyse adressiert die Studie die „Lücke 3“, in der die Imbalance-Forschung oft die für den regulatorischen Einsatz erforderliche Interpretierbarkeitsebene (z. B. unter der RBI Draft Guidance) vermissen lässt. Der vorgeschlagene Stack (XGBoost + scale_pos_weight + SHAP) bietet eine einsatzfähige Lösung, die keine synthetischen Daten-Pipelines benötigt, das Risiko von Data Leakage reduziert und eine transparente Entscheidungslogik bereitstellt.

Limitierungen
Die Autoren räumen ein, dass die Ergebnisse auf einem einzelnen öffentlichen Datensatz basieren und sich möglicherweise nicht auf proprietäre Bankendaten mit unterschiedlichen Merkmalsverteilungen generalisieren lassen. Zudem berücksichtigte die Studie weder geschäftsspezifische Fehlklassifizierungskosten noch Fairness-Analysen über demografische Gruppen hinweg oder fortgeschrittene Verlustfunktionen wie Focal Loss. Die Schwellenwertkalibrierung für SMOTE war nicht innerhalb der Kreuzvalidierung verschachtelt, was potenziell zu leicht optimistischen Leistungsschätzungen für diese spezifische Strategie führte.