Beyond Aggregate Calibration: Decomposing Income-Conditional Recall Disparities in Automated Credit Default Prediction

Stellen Sie sich vor, Sie sind ein Detektiv, der einen Fall lösen will, aber anstatt nach Fingerabdrücken suchen Sie nach Zahlen. Diese Geschichte spielt in der Welt des maschinellen Lernens, in der Computer darauf trainiert werden, Vorhersagen zu treffen, indem sie riesige Mengen vergangener Daten studieren. Man kann es sich wie einen Schüler vorstellen, der für eine Prüfung lernt, indem er tausende alter Prüfungen liest. Eine ganz bestimmte Art von Prüfung, die diese Computer ablegen, ist das Kreditscoring: Die Entscheidung darüber, ob eine Person einen Kredit zurückzahlen wird oder ob sie ausfallen wird (die Zahlung verweigert).

Aber hier liegt der Knackpunkt: Manchmal sind die Daten, die der Computer studiert, unordentlich. Vielleicht ist eine Kennzeichnung falsch oder der Computer ist verwirrt. Um dies zu beheben, nutzen Wissenschaftler oft einen „Konfidenzwert“ (Vertrauenswert). Wenn der Computer sich bei einer Vorhersage sehr unsicher ist, sagt er vielleicht: „Ich vertraue diesem Datenpunkt nicht; lassen wir ihn weg.“ Das nennt man Datenbereinigung. Ein weiterer wichtiger Begriff in diesem Bereich ist Fairness. Wir wollen sicherstellen, dass der Computer jeden gleich behandelt, unabhängig davon, wie viel Geld die Person verdient. Eine Schlüsselregel für Fairness ist die sogenannte Chancengleichheit (Equal Opportunity). Diese besagt schlichtweg: Wenn jemand tatsächlich einen Kredit nicht zurückzahlt, sollte der Computer gleichermaßen gut darin sein, dieses Versagen zu erkennen, egal ob die Person reich oder arm ist.

Die große Frage lautet: Macht die Art und Weise, wie der Computer seine eigenen Daten „reinigt“, die Sache versehentlich unfair? Und wenn wir versuchen, sensible Informationen (wie das Einkommen) vor dem Computer zu verbergen, um ihn zur Fairness zu zwingen, funktioniert das dann wirklich? Dieses Paper taucht in diese Frage ein und nutzt reale Kreditdaten, um zu sehen, ob der Computer die Daten heimlich falsch darstellt.

Die Geschichte des Papers: Wenn das „Reinigen“ der Daten sie schmutziger macht

Der Forscher begann damit, einen massiven Datensatz mit über 1,3 Millionen Krediten eines Unternehmens namens LendingClub zu untersuchen. Dabei bemerkte er etwas Seltsames, als er die Standardmethode des „Konfidenzwerts“ zur Datenbereinigung anwandte. Der Computer entschied, dass einige Kreditanträge „verrauscht“ oder unzuverlässig seien und markierte sie für die Löschung.

Hier kommt die Wendung: Der Computer neigte viel eher dazu, „verrauschte“ Kennzeichnungen von hochverdienenden Kreditnehmern, die tatsächlich zahlungsunfähig wurden, als von gering verdienenden Kreditnehmern, die zahlungsunfähig wurden, als unzuverlässig zu deklarieren. Es ist, als würde ein Lehrer einen Stapel Tests korrigieren und entscheiden, dass die falschen Antworten der reichen Kinder nur „Fehler“ sind, die ignoriert werden können, während die falschen Antworten der armen Kinder als echte Beweise behandelt werden. In Zahlen ausgedrückt: Der Computer war 2,40 % der hochverdienenden Ausfälle als „Rauschen“ entfernt, aber nur 0,38 % der gering verdienenden Ausfälle. Das ist ein gewaltiger Unterschied in der Behandlung der Daten.

Doch die eigentliche Überraschung kam, als man aufhörte, nur die „Bereinigung“ zu betrachten, und statzte den tatsächlichen Vorhersagen. Er nutzte die Regel der Chancengleichheit, um zu prüfen: „Wenn jemand tatsächlich zahlungsunfähig wurde, wie oft hat der Computer ihn erwischt?“

Die Ergebnisse waren schockierend. Der Computer war sehr gut darin, gering verdienende Ausfälle zu finden (er fand 72,84 % von ihnen). Aber bei hochverdienenden Kreditnehmern, die tatsächlich zahlungsunfähig wurden, fand der Computer nur 55,98 %. Das ist eine Lücke von 16,86 Prozentpunkten. Der Computer war praktisch blind für die Reichen, die ihre Zahlungen versäumten, während er bei den Armen sehr scharfsinning agierte.

Die Detektivarbeit: Warum ist das passiert?

Der Forscher blieb nicht beim Finden der Lücke stehen; er wollte wissen, warum. Er nutzte einen klugen Trick namens sequenzielle Merkmalsverblindung (sequential feature blinding). Stellen Sie sich ein Spiel wie „Wer bin ich?“ oder „20 Fragen“ vor, bei dem Sie versuchen, ein Geheimnis zu erraten. Zuer Sie lassen den Computer alles sehen. Dann decken Sie ihm die Augen, damit er das Einkommen des Kreditnehmers nicht sehen kann. Dann decken Sie ihm erneut die Augen, sodass er nicht einmal mehr den Zinssatz sehen kann.

Hier ist das, was er durch das Abtragen der Schichten entdeckte:

1. Der direkte Einkommens-Hinweis: Als sie einfach die Zahl des „Jahreseinkommens“ vor dem Computer verbargen, schrumpfte die Lücke von 16,86 Punkten auf 7,49 Punkte. Das bedeutet, der Computer nutzte die Einkommenszahl direkt, um zu entscheiden, wer ein Risiko darstellt.
2. Die Upstream-Falle (Zinssätze): Aber selbst nachdem das Einkommen verborgen wurde, verschwand die Lücke nicht. Der Forscher stellte fest, dass der Computer den Zinssatz als geheimen Code benutzte. Banken geben niedrigere Zinssätze an Menschen, von denen sie glauben, dass sie sicher sind. Da reiche Menschen meist niedrigere Zinsen erhalten, lernte der Computer: „Niedriger Zinssatz = Sichere Person.“ Wenn also ein reicher Mensch tatsächlich zahlungsunfähig wurde, ignorierte der Computer ihn, weil der Zinssatz ihm sagte, er sei sicher. Als sie auch den Zinssatz verbargen, schrumpfte die Lücke weiter auf etwa 3,55 Punkte.
3. Der Rest-Geist (Residual Ghost): Selbst nachdem sowohl das Einkommen als auch die Zinssätze verborgen wurden, blieb eine kleine, aber reale Lücke bestehen (etwa 2,56 bis 3,55 Punkte). Der Computer fand immer noch einen Weg, das Einkommen zu erraten. Wie? Indem er sich die Kreditsumme und den Status des Wohneigentums ansah. Reiche Menschen leihen sich tendenziell größere Beträge und besitzen Häuser mit Hypotheken. Der Computer nutzte diese „Proxys“ (Stellvertreter-Hinweise), um das Bild davon, wer reich war, wieder aufzubauen, obwohl es ihm nicht erlaubt war, die Einkommenszahl zu sehen.

Die große Lektion

Das Paper zeigt, dass es nicht ausreicht, einem Computer einfach zu sagen: „Schau nicht auf das Einkommen“, um ihn fair zu machen. Der Computer ist wie ein sehr kluger Detektiv, der das Geheimnis allein durch andere Hinweise wie die Größe des Kredits oder den von der Bank angebotenen Zinssatz entschlüsseln kann.

Der Autor fand heraus, dass institutionelle Voreingenommenheit (wie Banken Zinssätze festlegen) und verhaltensbedingte Proxys (wie viel Geld Menschen leihen) zusammenwirken, um die Wahrheit zu verbergen. Selbst wenn man versucht, die Daten sauber zu waschen, rekonstruiert der Computer die Ungerechtigkeit mithilfe dieser anderen Signale.

Wenn eine Bank also wirklich fair sein will, kann sie nicht einfach die Spalte „Einkommen“ aus ihrer Tabelle löschen. Sie muss verstehen, dass das gesamte System – vom Zinssatz, den ein menschlicher Sachbearbeiter festlegt, bis hin zur Kreditsumme, die eine Person aufnimmt – miteinander verbunden ist. Wenn sie nicht die gesamte Kette korrigieren, wird der Computer immer wieder Wege finden, reiche und arme Kreditnehmer unterschiedlich zu behandeln, selbst wenn man ihm ausdrücklich untersagt hat, dies zu tun.