An Experimental Study on Fairness-aware Machine Learning for Credit Scoring Problems

Diese Studie präsentiert eine umfassende experimentelle Untersuchung fairer maschineller Lernverfahren im Kredit-Scoring, die zeigt, dass diese Modelle im Vergleich zu traditionellen Klassifikationsmodellen eine bessere Balance zwischen Vorhersagegenauigkeit und Fairness erreichen.

Das Wesentliche

🏦 Der faire Kredit-Check: Eine Reise durch den Algorithmus-Dschungel

Stellen Sie sich vor, Sie wollen einen Kredit bei einer Bank beantragen. Früher saß ein menschlicher Bankangestellter gegenüber, sah sich Ihre Akten an und entschied: „Ja" oder „Nein". Heute übernehmen das Computerprogramme (Maschinelles Lernen). Das ist schnell und effizient, aber es hat ein Problem: Die Computer lernen manchmal ungerechte Vorurteile aus der Vergangenheit.

Diese Studie ist wie ein großer Testlauf, bei dem Forscher verschiedene „Gerechtigkeits-Filter" ausprobieren, um zu sehen, welche am besten funktionieren, ohne dabei die Genauigkeit der Vorhersage zu verlieren.

Hier ist die Geschichte der Studie, einfach erklärt:

1. Das Problem: Der „blinde Fleck" der Computer 🕵️‍♂️

Computer lernen aus alten Daten. Wenn in der Vergangenheit Frauen oder bestimmte Minderheiten öfter abgelehnt wurden (vielleicht aus ungerechten Gründen), lernt der Computer: „Aha, diese Gruppe ist riskant."
Das ist wie ein Koch, der nur alte Rezepte nutzt. Wenn das alte Rezept sagt: „Frauen dürfen nicht kochen", wird der neue Koch das auch glauben, obwohl es Unsinn ist.
In der Kreditvergabe heißt das: Ein Computer könnte jemanden ablehnen, nur weil er ein bestimmtes Geschlecht hat, obwohl er eigentlich einen perfekten Kreditwert hätte.

2. Die Lösung: Drei Arten von „Gerechtigkeits-Trainern" 🎓

Die Forscher haben verschiedene Methoden getestet, um diese Vorurteile zu entfernen. Man kann sich diese wie drei verschiedene Trainingsmethoden für einen Sportler vorstellen:

• Methode A: Das Training vor dem Wettkampf (Pre-processing) 🧹

  • Das Bild: Bevor der Sportler überhaupt auf das Feld läuft, wird der Boden geebnet. Man entfernt alle Unebenheiten (die Vorurteile) aus den Daten, bevor der Computer sie sieht.
  • Das Ergebnis: Die Daten sind „sauber", aber manchmal verliert der Computer dabei wichtige Details. Es ist wie wenn man den Boden so glatt macht, dass der Sportler nicht mehr weiß, wo er hinlaufen soll. Die Fairness ist gut, aber die Vorhersagegenauigkeit leidet oft.

• Methode B: Das Training während des Wettkampfs (In-processing) ⚙️

  • Das Bild: Der Sportler lernt die Regeln während er spielt. Der Trainer (der Algorithmus) sagt ihm ständig: „Hey, sei fair! Vergiss nicht, dass du beide Teams gleich behandeln musst."
  • Das Ergebnis: Das ist der Gewinner der Studie! Ein Modell namens AdaFair hat sich hier besonders gut geschlagen. Es lernt, sowohl genau zu sein (wer bekommt den Kredit?) als auch fair zu sein (wer wird nicht diskriminiert?). Es ist wie ein Sportler, der perfekt spielt, aber trotzdem die Regeln respektiert.

• Methode C: Das Training nach dem Wettkampf (Post-processing) 🎨

  • Das Bild: Der Sportler hat schon gespielt. Jetzt kommt ein Schiedsrichter und korrigiert die Ergebnisse nachträglich. „Moment, Gruppe A hat zu oft verloren, wir ändern ein paar Ergebnisse."
  • Das Ergebnis: Das funktioniert auch, ist aber oft etwas holprig. Man kann die Ergebnisse nicht perfekt anpassen, ohne dass es merkwürdig aussieht.

3. Der große Vergleich: Genauigkeit vs. Gerechtigkeit ⚖️

Die Forscher haben 5 verschiedene Datensätze (wie 5 verschiedene Sportarten) getestet. Sie wollten wissen: Kann man fair sein, ohne ungenau zu werden?

• Die alte Schule (Normale Modelle): Diese waren sehr genau, aber oft unfair. Sie haben die Vorurteile der Vergangenheit einfach übernommen.
• Die neuen Modelle (Fairness-Modelle):
  • Manche Modelle wurden extrem fair, aber sie waren so ungenau, dass sie kaum noch Kredite vergeben konnten (wie ein Schiedsrichter, der niemanden disqualifiziert, aber auch keine Tore zählt).
  • Andere Modelle waren sehr genau, aber immer noch unfair.
  • Der Gewinner: Das Modell AdaFair (Methode B) hat den besten Kompromiss gefunden. Es ist fast so genau wie die alten Modelle, aber viel fairer.

4. Was haben wir gelernt? 🎓

• Fairness ist kein Zufall: Man muss aktiv etwas tun, um Vorurteile zu entfernen. Man kann es nicht einfach dem Computer überlassen.
• Es gibt keinen „Einheits-Filter": Nicht jede Methode funktioniert auf jedem Datensatz gleich gut. Man muss das richtige Werkzeug für den Job wählen.
• AdaFair ist der Held: In dieser Studie hat sich gezeigt, dass man Fairness und Genauigkeit gut vereinen kann, wenn man die richtigen Methoden wählt.

5. Was kommt als Nächstes? 🔮

Die Studie hat auch gezeigt, dass es noch Lücken gibt. Bisher haben sie nur nach einem Merkmal (z. B. nur Geschlecht) geschaut. In der echten Welt ist es aber komplizierter: Was ist, wenn jemand sowohl eine bestimmte Ethnie als auch ein bestimmtes Geschlecht hat? Das ist wie ein mehrdimensionales Puzzle, das noch gelöst werden muss.

Fazit in einem Satz:
Diese Studie zeigt, dass wir KI-Systeme für Kredite so trainieren können, dass sie nicht nur klug genug sind, die richtigen Entscheidungen zu treffen, sondern auch fair genug, um niemanden wegen seiner Herkunft oder seines Geschlechts zu benachteiligen – und das, ohne dabei ihre Intelligenz zu verlieren.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „An Experimental Study on Fairness-aware Machine Learning for Credit Scoring Problems" auf Deutsch:

1. Problemstellung

Die Digitalisierung im Bankwesen hat die Automatisierung des Kredit-Scorings durch Machine-Learning (ML)-Modelle vorangetrieben. Ein zentrales Problem besteht jedoch darin, dass diese Modelle oft Verzerrungen (Bias) gegenüber geschützten Attributen wie Geschlecht oder Ethnie aufweisen. Dies führt zu diskriminierenden Entscheidungen bei der Kreditvergabe.

Obwohl zahlreiche „Fairness-aware"-ML-Modelle und Fairness-Metriken entwickelt wurden, fehlt es an einer umfassenden experimentellen Studie, die deren Leistungsfähigkeit spezifisch im Kontext des Kredit-Scorings auf verschiedenen realen Finanzdatensätzen vergleicht. Die Herausforderung liegt darin, ein Gleichgewicht zwischen hoher Vorhersagegenauigkeit (Predictive Accuracy) und Fairness zu finden, ohne dass eines der Ziele zu Lasten des anderen stark beeinträchtigt wird.

2. Methodik

Datengrundlage

Die Studie analysiert fünf weit verbreitete öffentliche Kredit-Scoring-Datensätze:

• Credit Approval (Australian)
• Credit Card Clients (Taiwan)
• Credit Scoring (Kaggle, Zentralasien)
• German Credit
• PAKDD 2009 Credit Risk Assessment

Zur Identifizierung von Bias in den Rohdaten wurde eine Bayesian Network (BN) Analyse durchgeführt. Diese zeigte direkte oder indirekte Abhängigkeiten zwischen geschützten Attributen (z. B. Geschlecht) und der Zielklasse (Kreditwürdigkeit), was auf inhärente Verzerrungen in den Datensätzen hinweist.

Evaluierungsrahmen

Die Autoren verglichen traditionelle Klassifikationsmodelle mit drei Kategorien von Fairness-aware-Ansätzen:

1. Pre-processing: Daten werden vor dem Training bereinigt/transformiert.
   • Modelle: Learning Fair Representations (LFR), Disparate Impact Remover (DIR).
2. In-processing: Fairness wird direkt in den Lernprozess integriert.
   • Modelle: Agarwal's Reductions Approach, AdaFair.
3. Post-processing: Die Vorhersagen des trainierten Modells werden nachträglich angepasst.
   • Modelle: Equalized Odds Post-processing (EOP), Calibrated Equalized Odds Post-processing (CEP).

Als Baseline dienten traditionelle Algorithmen: Decision Tree (DT), Naive Bayes (NB), Multi-layer Perceptron (MLP) und k-Nearest Neighbors (kNN).

Fairness-Metriken

Die Leistung wurde anhand von neun gängigen Fairness-Metriken bewertet, darunter:

• Statistical Parity (SP)
• Equal Opportunity (EO)
• Equalized Odds (EOd)
• Predictive Parity (PP)
• Predictive Equality (PE)
• Treatment Equality (TE)
• Absolute Between-ROC Area (ABROCA)

Zusätzlich wurden Balanced Accuracy (BA) und F1-Score zur Bewertung der Vorhersageleistung herangezogen, da die Datensätze oft unausgewogen (imbalanced) sind.

3. Wichtige Beiträge

• Umfassender Überblick: Eine detaillierte Übersicht über Fairness-Metriken und -Modelle, die speziell für das Kredit-Scoring anwendbar sind.
• Datenanalyse: Anwendung von Bayesian Networks zur systematischen Aufdeckung von Bias in fünf verschiedenen Finanzdatensätzen.
• Vergleichende Evaluation: Eine breite experimentelle Studie, die traditionelle Modelle gegen Pre-, In- und Post-processing-Ansätze auf mehreren Datensätzen gegenüberstellt.
• Praktische Empfehlungen: Identifikation von Modellen, die den besten Trade-off zwischen Genauigkeit und Fairness bieten.

4. Ergebnisse

Die experimentellen Ergebnisse zeigen folgende Trends:

• Überlegenheit von In-processing-Ansätzen: Das Modell AdaFair (In-processing) erzielte konsistent die besten Ergebnisse über alle fünf Datensätze hinweg. Es gelang AdaFair, sowohl eine hohe Vorhersagegenauigkeit als auch eine signifikante Verbesserung der Fairness-Metriken im Vergleich zu traditionellen Modellen zu erreichen.
• Trade-off bei Pre-processing: Pre-processing-Modelle (insbesondere LFR) erreichten oft die besten Werte bei den Fairness-Metriken (teilweise perfekte Fairness-Scores von 0), jedoch auf Kosten einer drastisch reduzierten Balanced Accuracy (oft nahe 0,5, was einer zufälligen Vorhersage entspricht).
• Limitationen von Post-processing: Post-processing-Modelle (EOP, CEP) zeigten eine moderate Verbesserung der Fairness, konnten aber nicht das Niveau von AdaFair in Bezug auf den Gesamttrade-off erreichen. Zudem konnten sie den ABROCA-Wert nicht berechnen, da dieser Wahrscheinlichkeiten über mehrere Schwellenwerte benötigt, die bei reinen Post-processing-Ansätzen oft nicht verfügbar sind.
• Datenspezifische Unterschiede: Die Leistung der Modelle variierte je nach Datensatz. Beispielsweise erzielte das traditionelle Naive Bayes-Modell auf dem German Credit-Datensatz die höchste Genauigkeit, während AdaFair dort die beste Fairness bei akzeptabler Genauigkeit bot.

5. Bedeutung und Fazit

Die Studie belegt, dass Fairness-aware Machine Learning im Kredit-Scoring nicht nur ethisch notwendig, sondern auch technisch machbar ist, ohne die Leistungsfähigkeit der Modelle vollständig zu opfern.

• Schlüsselerkenntnis: Es gibt keinen „universellen" Fairness-Maßstab oder ein einzelnes Modell, das für alle Szenarien optimal ist. Die Wahl des Ansatzes hängt von den spezifischen Anforderungen (z. B. Priorisierung von Genauigkeit vs. strikter Fairness) ab.
• AdaFair als vielversprechender Kandidat: Der In-processing-Ansatz AdaFair stellt sich als besonders robust heraus, da er Fairness-Constraints direkt in den Lernprozess integriert und somit einen besseren Kompromiss findet als reine Datenmanipulation (Pre-processing) oder Nachbearbeitung (Post-processing).
• Zukünftige Richtungen: Die Autoren identifizieren Limitationen, wie die Betrachtung nur eines geschützten Attributes (z. B. nur Geschlecht) und die Abhängigkeit von realen, möglicherweise verzerrten Datensätzen. Zukünftige Forschung soll sich auf multi-attributive Fairness, die Generierung fairer synthetischer Daten und die Entwicklung erklärbarer (explainable) fairer Modelle konzentrieren.

Zusammenfassend liefert das Paper eine fundierte Basis für Finanzinstitute, um faire und genaue Kredit-Scoring-Systeme zu implementieren, wobei es die Notwendigkeit unterstreicht, Fairness als integralen Bestandteil des ML-Entwicklungszyklus zu betrachten.