📊 statistics

Auxiliary-Enhanced Survey Calibration: A Novel Framework for Reject Inference under Sample Selection Bias

Dieses Paper schlägt ein neuartiges, durch Umfragen ergänztes Kalibrierungsframework für die Reject-Inference vor, das die Leistungsverschlechterung traditioneller Imputationsmethoden vermeidet, indem es akzeptierte Bewerber so umgewichtet, dass sie den Populationsgesamtheiten entsprechen, wodurch bewiesen wird, dass es konsistent und asymptotisch normal ist und gleichzeitig die Risiko-Kalibrierung der Population unter Modellfehlspezifikation signifikant verbessert sowie die Diskriminationsfähigkeit aufrechterhält.

Ursprüngliche Autoren: Abderrahim EL AMRANI, Badreddine BENYACOUB, Mohammed EL HAJ TIRARI

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Abderrahim EL AMRANI, Badreddine BENYACOUB, Mohammed EL HAJ TIRARI

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind eine Bank und versuchen, eine Kristallkugel zu bauen, um vorherzusagen, wer einen Kredit zurückzahlen wird und wer nicht. Um diese Kristallkugel zu bauen, müssen Sie sich auf vergangene Daten stützen. Aber hier ist der Haken: Sie verfügen nur über Daten von den Personen, die Sie für Kredite akzeptiert haben. Die Daten von allen, die Sie abgelehnt haben, haben Sie weggeworfen.

Dies erzeugt einen massiven blinden Fleck. Ihre Kristallkugel wird nur mit „guten“ Kunden trainiert, sodass sie glaubt, jeder auf der Welt sei ein guter Kunde. Sie weiß nicht, wie die „schlechten“ aussehen, weil sie sie nie gesehen hat. Dies nennt man Sample Selection Bias (Stichprobenverzerrung durch Selektion).

Das von Ihnen geteilte Paper schlägt einen neuen, cleveren Weg vor, dies zu beheben, ohne gefälschte Daten zu erfinden. Hier ist die Aufschlüsselung in einfachen Worten:

Der alte Weg: Das Fehlen der Teile erraten (Imputation)

Die meisten bisherigen Methoden versuchten zu raten, was die abgelehnten Antragsteller getan hätten.

Die Analogie: Stellen Sie sich vor, Sie versuchen, die Geschmacksrichtung des Speiseises in einer Schüssel zu erraten, die Sie nicht sehen können. Die alten Methoden sagen: „Lass uns das Speiseeis probieren, das wir sehen können, raten, wie das verborgene Speiseeis schmeckt, und dann alles zusammenmischen, um es erneut zu probieren.“
Das Problem: Das Paper argumentiert, dass dies gefährlich ist. Wenn Ihr erster Geschmack (das Modell, das nur an akzeptierten Menschen trainiert wurde) bereits falsch ist, weil Sie die „schlechten“ Geschmacksrichtungen verpasst haben, wird auch Ihre Schätzung falsch sein. Wenn Sie Ihre falsche Schätzung wieder beimischen, machen Sie die Kristallkugel tatsächlich schlechter. Das Paper zeigt, dass diese „Rate“-Methoden die Genauigkeit Ihres Modells um bis zu 11 Punkte ruinieren können.

Der neue Weg: Der „Umfrage“-Trick (Kalibrierung)

Die Autoren, die Experten für Umfragestatistik sind, schlagen einen anderen Ansatz vor. Anstatt zu raten, was die fehlenden Menschen getan hätten, gewichten sie die Menschen, die sie bereits haben, einfach neu.

Die Analogie: Stellen Sie sich vor, Sie versuchen, die durchschnittliche Körpergröße einer ganzen Stadt zu verstehen, aber Sie haben nur Menschen gemessen, die in einem Fitnessstudio stehen (die wahrscheinlich größer sind).
- Der alte Weg: Sie raten, wie groß die Menschen im Park sind, schreiben diese Schätzungen auf und berechnen dann den Durchschnitt aller Werte.
- Der neue Weg (Kalibrierung): Sie schauen sich die Menge im Fitnessstudio an. Sie bemerken, dass es dort sehr wenige kleine Menschen gibt, aber Sie wissen aus einer Volkszählung der Stadt, dass kleine Menschen in der Stadt häufig vorkommen. Also legen Sie eine „Lupe“ (ein Gewicht) auf die wenigen kleinen Menschen im Fitnessstudio, damit diese mehr zählen. Sie legen eine „Dimm-Glasur“ auf die großen Menschen, damit diese weniger zählen.
- Das Ergebnis: Sie haben keine neuen Menschen erfunden oder deren Größe erraten. Sie haben nur die Bedeutung der Menschen, die Sie bereits haben, angepasst, damit die Menge im Fitnessstudio so aussieht wie die ganze Stadt.

Warum dieses Paper besonders ist

Die Autoren nennen ihre Methode „Auxiliary-Enhanced Survey Calibration“ (Hilfsvariablen-verstärkte Umfrage-Kalibrierung). Hier ist der Grund, warum sie besser funktioniert:

Keine gefälschten Labels: Sie erfinden keine Daten für die abgelehnten Antragsteller. Sie passen lediglich die Mathematik für die akzeptierten Personen an. Das bedeutet, wenn die Methode fehlschlägt, kehrt sie einfach zum ursprünglichen „unperfekten“ Modell zurück. Sie kann das Modell niemals versehentlich schlechter machen, als es vorher war.
Verwendung versteckter Hinweise: Die abgelehnten Antragsteller hatten einige Informationen (wie ihre Kreditwürdigkeit/Credit Score), die die Bank vor der Ablehnung kannte. Die akzeptierten Antragsteller hatten zusätzliche Informationen (wie ihre spezifische Kredithistorie).
- Die „Rate“-Methoden können die zusätzlichen Informationen nicht nutzen, da sie diese für die abgelehnten Personen nicht haben.
- Die „Kalibrierungs“-Methode nutzt die gemeinsamen Informationen (Credit Scores), um die Gewichte zu korrigieren, erlaubt dem endgültigen Modell dann aber, alle zusätzlichen Informationen der akzeptierten Personen zu nutzen. Dies verleiht ihr eine Superkraft, die andere Methoden nicht haben.
Stabilität: Einige alte Methoden versuchen, sehr hohe Gewichte für seltene Menschen zu vergeben, was die Mathematik instabil macht (wie der Versuch, eine Wippe mit einer Feder auf der einen Seite und einem Felsbrocken auf der anderen Seite zu balancieren). Diese neue Methode verwendet einen „begrenzten“ Ansatz, der die Gewichte in einem sicheren Bereich hält, damit die Mathematik stabil bleibt.

Die Ergebnisse

Die Autoren testeten dies mit echten Kreditdaten (Lending Club) und einem simulierten Datensatz, bei dem sie die „wahre“ Antwort kannten.

Genauigkeit: Die neue Methode behielt die Fähigkeit zur Rangfolge (wer riskanter ist als wer) genauso gut bei wie das ursprüngliche Modell, während die „Rate“-Methoden sie verschlechterten.
Kalibrierung: Das ist der große Sieg. Die neue Methode korrigierte die Zahlen. Sie sagte korrekt voraus, dass die Gesamtpopulation ein höheres Ausfallrisiko hat, als die Stichprobe der Akzeptierten vermuten ließ. Die „Rate“-Methoden lagen völlig daneben.
Die Grenze: Die Methode funktioniert hervorragend, wenn die Ablehnung auf Dingen basierte, die die Bank sehen konnte (wie ein niedriger Credit Score). Wenn die Bank jedoch jemanden aus einem geheimen Grund abgelehnt hat, den sie nicht sehen konnte (wie eine verborgene Schuld), kann diese Methode das nicht beheben. Es ist, als würde man versuchen, eine Waage auszubalancieren, wenn man nicht weiß, dass auf der anderen Seite ein Gewicht fehlt.

Zusammenfassend

Anstatt sich die fehlenden Menschen vorzustellen, schlägt dieses Paper vor, die Bedeutung der vorhandenen Menschen neu anzuordnen. Dies ist ein sichererer, stabilerer Weg, um Kreditmodelle zu korrigieren, und stellt sicher, dass die Vorhersagen der Bank die reale Welt widerspiegeln und nicht nur die glücklichen Wenigen, die tatsächlich einen Kredit erhalten haben.

Technisches Resümee: Hilfsvariablen-gestützte Survey-Kalibrierung für Reject Inference

Problemstellung
Kreditscoring-Modelle werden typischerweise auf akzeptierten Antragstellern trainiert, was zu einem Stichproben-Selektionsbias führt, bei dem die Trainingsverteilung $P(Y|X, Z=1)$ von der Zielpopulation $P(Y|X)$ abweicht. Dieses Phänomen, bekannt als Reject Inference (Ablehnungs-Inferenz), entsteht, weil Kreditgeber systematisch jene Antragsteller ablehnen, die sie als hochriskant einstufen, was zu einem Trainingsdatensatz führt, der durch „gute Zahler“ angereichert ist. Infolgedessen neigen Modelle, die ausschließlich auf akzeptierten Daten trainiert wurden, dazu, die Ausfallraten im gesamten Bewerberpool zu unterschätzen. Bestehende Methoden zur Reject Inference lassen sich im Wesentlichen in zwei Kategoren unterteilen: solche, die fehlende Ergebnisse für abgelehnte Antragsteller imputieren (z. B. Augmentierung, Reklassifizierung, generative Modelle), und solche, die die akzeptierte Stichprobe umgewichten (z. B. Inverse Propensity Score Weighting). Die Autoren argumentieren, dass imputationsbasierte Methoden fundamental fehlerhaft sind, da sie Labels fabricieren, die bereits durch Selektionsbias korrumpiert sind, wodurch die Verzerrung propagiert und verstärkt wird. Umgekehrt leiden Standard-Umgewichtungsverfahren oft unter Instabilität aufgrund extremer Gewichte, wenn die Positivitätsannahme verletzt wird.

Methodik
Das Paper schlägt einen neuartigen Rahmen vor, der auf der Survey-Kalibrierungstheorie (Deville und Sarndal, 1993) basiert und vollständig auf die Imputation von Ergebnissen verzichtet. Der Kernmechanismus besteht darin, Beobachtungsgewichte für akzeptierte Antragsteller zu berechnen, um die Kovariatenverteilung der gewichteten Stichprobe so anzupassen, dass sie den bekannten Populationsgesamtheiten von Hilfsvariablen entspricht.

Rahmenbedingungen:
- Seien $U$ die gesamte Population der Antragsteller, $A$ die Menge der Akzeptierten und $R$ die Menge der Abgelehnten.
- Merkmale werden unterteilt in gemeinsame Variablen $X^{(c)}$ (für alle Antragsteller beobachtet, werden zur Gewichtung verwendet) und unübliche/Underwriting-Variablen $X^{(u)}$ (nur für akzeptierte Antragsteller beobachtet, werden für das endgültige Outcome-Modell verwendet).
- Das Ziel ist die Schätzung des Populationsparameters $\theta^*$ durch Maximierung einer gewichteten Log-Likelihood auf der akzeptierten Menge $A$ .
Kalibrierungsgewichte:
- Gewichte $w_i$ werden durch das Lösen eines optimierten Problem unter Nebenbedingungen abgeleitet, das eine Distanzfunktion $D(w_i, d_i)$ minimiert (wobei $d_i$ ein Design-Gewicht ist, typischerweise 1), unter der Nebenbedingung, dass die gewichtete Summe der gemeinsamen Variablen den bekannten Populationsgesamtheiten entspricht: $\sum_{i \in A} w_i X^{(c)}_i = T^{(c)}$ .
- Die Autoren verwenden beschränkte Distanzfunktionen (speziell die bounded logit und truncated-linear Distanzen) anstelle von unbeschränkten Funktionen (wie Raking/Exponential). Dies stellt sicher, dass die Gewichte innerhalb eines benutzerdefinierten Intervalls $[L, U]$ bleiben, was einen Kollaps der effektiven Stichprobengröße verhindert und die mit dem Inverse Propensity Score (IPS) Weighting assoziierte Instabilität vermeidet.
Schätzung:
- Die Gewichte werden mittels eines Newton-Raphson-Algorithmus berechnet, um die Lagrange-Multiplikatoren zu bestimmen.
- Das endgültige logistische Regressionsmodell wird durch Maximierung der Kalibrierungs-gewichteten Log-Likelihood gefittet: $\tilde{\ell}(\theta; w) = \sum_{i \in A} w_i [Y_i(\beta_0 + \beta^\top X_i) - \log(1 + \exp(\beta_0 + \beta^\top X_i))]$ .
- Entscheidend ist, dass der Gewichtungsschritt nur $X^{(c)}$ nutzt, während das Outcome-Modell den vollständigen Merkmalsvektor $X = (X^{(c)}, X^{(u)})$ verwendet. Dies ermöglicht es der Methode, die reichhaltigeren Underwriting-Daten zu nutzen, die nur für akzeptierte Antragsteller verfügbar sind – eine Fähigkeit, die Imputationsmethoden fehlt.

Wesentliche Beiträge

Imputationsfreier Rahmen: Die Autoren führen einen Reject-Inference-Schätzer ein, der keine Labels fabriziert. Durch die ausschließliche Nutzung der Umgewichtung vermeiden sie die Vererbung des Bias des ursprünglichen nur-akzeptierten Modells, ein Fehler, der Augmentierungs- und Reklassifizierungsmethoden inhärent ist.
Theoretische Garantien: Das Paper beweist, dass der kalibrierungsgewichtete Schätzer unter der Annahme von Missing At Random (MAR) konsistent und $\sqrt{n}$ - asymptotisch normal ist. Es leitet eine geschlossene asymptotische Varianz und einen Sandwich-Varianzschätzer her, um die durch die Gewichtungsschätzung eingeführte Unsicherheit zu berücksichtigen.
Charakterisierung der Populationsprojektion: Die Autoren klären, dass der Schätzer für akzeptierte Fälle unter Modellmisspezifikation zur selektierten-Stichproben-Projektion der Wahrheit konvergiert, während der Kalibrierungs-Schätzer die Populations-Projektion anstrebt. In dieser Unterscheidung liegt der Wert der Methode gegenüber dem Baseline-Modell.
Gewichtsstabilität: Durch die Verwendung beschränkter Distanzfunktionen vermeidet die Methode die extremen Gewichte und den Kollaps der effektiven Stichprobengröße, die unbeschränkte Umgewichtungsverfahren wie IPS und Raking plagen.

Experimentelle Ergebnisse
Die Studie evaluiert die Methode gegen neun Strategien (einschließlich Fuzzy Augmentation, Reklassifizierung, IPS, Heckman Two-Step und generative Modelle) über drei Datensätze hinweg: den Lending Club Datensatz, einen semi-synthetischen Taiwan Credit Benchmark (mit Ground-Truth-Labels für abgelehnte Antragsteller) und kontrollierte Simulationen.

Diskriminierung (AUC): Auf dem Lending Club Datensatz hielt die Kalibrierungsmethode die Diskriminierung auf dem Baseline-Niveau (AUC $\approx$ 0,703 vs. 0,706 für die Baseline unter Verwendung voller Features). Im Gegensatz dazu verschlechterten Imputationsmethoden die Performance, mit Verlusten von bis zu 11 AUC-Punkten im Taiwan-Benchmark und 3,6 Punkten auf Lending Club. Die Autoren führen die leichten Gewinne in Full-Feature-Modellen auf die Fähigkeit zurück, Underwriting-Variablen ( $X^{(u)}$ ) zu nutzen, auf die Imputationsmethoden keinen Zugriff haben.
Kalibrierung (Risikoschätzung): Der primäre Gewinn der Kalibrierung liegt in der Populationsrisikoschätzung. Auf Lending Club reduzierte die Kalibrierung den Expected Calibration Error (ECE) um fast das Dreifache (von 0,0112 auf 0,0042) im Vergleich zur Baseline. Im Taiwan-Misspezifikationsregime betrug die Reduktion das Sechsfache. Imputationsmethoden erhöhten den Kalibrierungsfehler signifikant (um das bis zu 16-fache).
Misspezifikation: In Simulationsstudien, in denen das Modell misspezifiziert war (Auslassen eines Interaktionsterms), blieb der Kalibrierungs-Schätzer nahe am Oracle (Populationswahrheit), während der nur-akzeptierte Baseline-Schätzer mit zunehmender Selektionsstärke signifikant divergierte.
MNAR-Limitierung: Wie erwartet, konnte die Methode die Populationsparameter unter Missing Not At Random (MNAR) Selektion (wo die Ablehnung von der unobservierten Zielgröße abhängt) nicht wiederherstellen, was die theoretische Grenze des Ansatzes bestätigt.

Bedeutung und Ansprüche
Das Paper behauptet, dass die Kalibrierung eine sichere Standardlösung (Safe Default) für Reject Inference bietet. Da das Setzen aller Gewichte auf eins exakt die Baseline wiederherstellt, kann die Methode nicht schlechter performen als das Modell der nur akzeptierten Fälle. Ihre Bedeutung liegt in:

Korrektur des Populationsrisikos: Sie bietet eine statistisch valide Methode zur Schätzung von Populations-Default-Raten und Kalibrierungsmetriken, die für die Preisgestaltung und Kapitalrückstellungen entscheidend sind, ohne das Risiko der Bias-Propagation, das der Imputation inhärent ist.
Robustheit gegenüber Misspezifikation: Sie übertrifft die Baseline, wenn das Arbeitsmodell misspezifiziert ist, indem sie effektiv den Populationsparameter anstatt den verzerrten selektierten-Stichproben-Parameter schätzt.
Praktische Stabilität: Die Verwendung beschränkter Distanzen löst die numerische Instabilität, die bei anderen Umgewichtungsverfahren häufig auftritt.

Die Autoren kommen zu dem Schluss, dass die Methode zwar nicht das MNAR-Problem löst oder die Notwendigkeit eines gemeinsamen Supports zwischen akzeptierten und abgelehnten Antragstellern eliminiert, sie jedoch eine überlegene Alternative zu imputationsbasierten Strategien darstellt, insbesondere um die Zuverlässigkeit von populationsweiten Risikoschätzungen im Kreditscoring zu gewährleisten.