📈 economics

Hard and Soft Label Assignment for Cost-Sensitive Semi-Supervised Reject Inference in Credit Scoring

Dit artikel stelt RI-CSCEM voor, een kostengevoelig semi-gesuperviseerd Expectation-Maximization-raamwerk dat harde of zachte pseudo-labels toekent aan afgewezen aanvragers bij kredietbeoordeling, waardoor selectiebias en asymmetrische misclassificatiekosten effectief worden gemitigeerd om geaccepteerde-alleen-baselines op Lending Club-data te overtreffen.

Oorspronkelijke auteurs: Abderrahim EL AMRANI, Mounir EL ANNAS, Badreddine BENYACOUB, Mohammed EL HAJ TIRARI

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abderrahim EL AMRANI, Mounir EL ANNAS, Badreddine BENYACOUB, Mohammed EL HAJ TIRARI

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een bankdirecteur bent die moet beslissen wie een lening krijgt. Je hebt een lange lijst met aanvragers, maar je hebt alleen de resultaten gezien van de mensen die je hebt geaccepteerd. Je weet wie de leningen heeft terugbetaald en wie in gebreke is gebleven. Maar wat met de duizenden mensen die je hebt afgewezen? Je hebt geen idee of zij goede leners zouden zijn geweest of slechte. Je hebt ze gewoon weggegooid.

Dit creëert een blinde vlek. Als je alleen leert van de mensen die je hebt geaccepteerd, kan je "risicoscore" bevooroordeeld zijn omdat je je regels nooit hebt getest op de mensen tegen wie je "nee" hebt gezegd. Dit wordt Reject Inference genoemd: proberen te raden wat er met de mensen zou zijn gebeurd die je hebt afgewezen.

Echter, er is een tweede probleem: in de kredietverlening is een fout niet gelijk aan een andere fout.

Fout A: Je wijst een goed persoon af. Je verliest een klein beetje rente-inkomsten.
Fout B: Je accepteert een slecht persoon (een wanbetaler). Ze betalen je niet terug en je verliest het volledige leningbedrag.
Fout B is veel duurder. De meeste standaard computermodellen behandelen deze twee fouten alsof ze evenveel kosten, wat is alsof je zegt dat het verliezen van een dollar hetzelfde is als het verliezen van een huis.

De Oplossing: RI-CSCEM

De auteurs van dit paper hebben een nieuwe tool gebouwd genaamd RI-CSCEM. Denk aan dit als een slimme, kostenbewuste leraar die leert van zowel de leerlingen die geslaagd zijn (geaccepteerde aanvragers) als de leerlingen die uit de klas zijn gezet (afgewezen aanvragers).

Zo werkt het, met behulp van eenvoudige analogieën:

1. De "Zachte" vs. "Harde" gok

Wanneer het model naar een afgewezen aanvrager kijkt, moet het een gok wagen: "Zou deze persoon de lening hebben terugbetaald?"

De Harde Manier (Oude Methode): Het model dwingt een binaire keuze af. Het zegt: "Deze persoon is definitief een goede betaler," of "Deze persoon is definitief een slechte betaler." Het is alsof een scheidsrechter op een fluitje blaast en een actie "Veilig" of "Uit" noemt met 100% zekerheid. Het probleem is dat als de scheidsrechter onzeker is, het afdwingen van een beslissing het spel kan verpesten.
De Zachte Manier (De Innovatie van dit Paper): Het model zegt: "Deze persoon heeft een kans van 60% om een goede betaler te zijn en 40% kans om een slechte betaler te zijn." Het wijst een zachte verantwoordelijkheid toe. In plaats van één label, verspreidt het de aanvrager over beide mogelijkheden.
- Analogie: Stel je een jury voor. In plaats van te stemmen op "Schuldig" of "Onschuldig", stemmen ze "60% Schuldig, 40% Onschuldig". Dit behoudt de nuance en onzekerheid, wat helpt om beter patronen te leren.

2. De "Kostgevoelige" Balans

Het model weet dat het vangen van een "slechte betaler" belangrijker is dan het vermijden van een "vals alarm".

Het gebruikt een speciale schaal. Als het model denkt dat iemand een wanbetaler zou kunnen zijn, weegt het die mogelijkheid veel zwaarder dan wanneer het denkt dat iemand een goede betaler zou kunnen zijn.
Het heeft ook een regel om de boel in balans te houden. Het zorgt ervoor dat het aantal "slechte betalers" dat het model raadt onder de afgewezen groep, overeenkomt met het werkelijke percentage slechte betalers dat het zag in de geaccepteerde groep. Dit voorkomt dat het model door het nek verloren gaat en besluit dat iedereen een slechte betaler is, puur om veilig te spelen.

3. De Leercyclus (De "Leraar"-methode)

Het model gebruikt een techniek genaamd Classification EM (Expectation-Maximization). Stel je een leraar voor die probeert een toets te nakijken waarbij de helft van de antwoorden ontbreekt:

Stap 1 (De Gok): De leraar maakt een beste gok voor de ontbrekende antwoorden op basis van wat hij tot nu toe weet.
Stap 2 (De Les): De leraar gebruikt die gokken om de hele klas opnieuw te bestuderen (zowel de bekende antwoorden als de geraden antwoorden) om de beoordelingsregels te verbeteren.
Stap 3 (Herhalen): De leraar maakt nieuwe, betere gokken op basis van de verbeterde regels, en de cyclus herhaalt zich totdat de beoordelingsregels perfect zijn.

Wat hebben ze gevonden?

De auteurs hebben dit getest op echte gegevens van Lending Club (een groot online leenplatform). Ze vergeleken hun nieuwe tool met 12 andere methoden, inclusief standaardmodellen en andere "reject inference"-trucs.

Het Resultaat: Hun nieuwe tool (RI-CSCEM) presteerde net zo goed als de beste modellen die alleen naar geaccepteerde aanvragers keken. Het werd niet magisch superieur, maar het slaagde erin om de "afgewezen" data te gebruiken zonder de prestaties te schaden.
De Belangrijkste Ontdekking: De "Zachte" methode was het geheime ingrediënt. Wanneer ze het model dwongen om "Harde" gokken te maken (definitief goed/slecht), raakte het model in de war en verloor het zijn vermogen om onderscheid te maken tussen goede en slechte leners. Wanneer ze "Zachte" gokken gebruikten (kansen), steeg het vermogen van het model om het verschil te zien (de zogenaamde AUC) aanzienlijk.
De "Waarom": Het paper legt uit dat omdat de afwijzingsregels van de bank gebaseerd waren op zichtbare data (zoals kredietscores), de "afgewezen" groep niet stiekem vol zat met verborgen genieën of verborgen criminelen. Ze waren simpelweg een mix die vergelijkbaar was met de geaccepteerde groep. Het model hoefde dus geen magiër te zijn om hun uitkomsten te raden; het moest alleen voorzichtig zijn om geen dure fouten te maken.

De Kernboodschap

Dit paper introduceert een slimmere manier voor banken om te leren van de mensen die ze hebben afgewezen. Door afgewezen aanvragers te behandelen als "misschien goed, misschien slecht" (zachte labels) in plaats van een ja/nee-beslissing af te dwingen, en door het gewicht van het financiële verlies zwaar mee te wegen, wordt het model robuuster. Het voorspelt de toekomst niet noodzakelijkerwijs beter dan bestaande methoden wanneer de afwijzingsregels eerlijk zijn, maar het zorgt ervoor dat het model niet bezwijkt bij het proberen te leren van onvolledige data.

Technische Samenvatting: Hard en Soft Label Toewijzing voor Kostgevoelige Semi-Superviserende Reject Inference in Credit Scoring

1. Probleemstelling

Credit risicoscorecards worden traditioneel uitsluitend getraind op geaccepteerde aanvragers, omdat alleen deze individuen een geregistreerde terugbetalingsuitkomst hebben. Deze praktijk introduceert steekproefselectiebias, waardoor modellen goed presteren op de geaccepteerde populatie, maar slecht op de bredere groep aanvragers. Bovendien negeren standaard classificatiebenaderingen vaak de asymmetrische kosten van misclassificatie in credit scoring: de kosten van een False Negative (het goedkeuren van een wanbetaler) zijn aanzienlijk hoger dan die van een False Positive (het afwijzen van een goede betaler).

Bestaande reject inference-methoden falen vaak in het tegelijkertijd adresseren van deze problemen. Veel methoden gaan uit van gebalanceerde klassenverdelingen of behandelen misclassificatiefouten als gelijkwaardig qua kosten, wat leidt tot suboptimale economische resultaten. Daarnaast bieden weinig frameworks die semi-superviserend leren toepassen op afgewezen aanvragers (die worden behandeld als instanties met ontbrekende labels) formele theoretische garanties met betrekking tot consistentie onder specifieke afwijzingsmechanismen (bijv. Missing at Random), terwijl ze tegelijkertijd kostgevoelige doelstellingen integreren.

2. Methodologie: RI-CSCEM

Het paper stelt RI-CSCEM voor (Reject Inference - Cost-Sensitive Classification Expectation-Maximisation), een verenigd framework dat semi-supervisieve logistische regressie integreert met kostgevoelig leren. De methode werkt op een dataset $D = D_l \cup D_u$ , waarbij $D_l$ de gelabelde (geaccepteerde) aanvragers bevat en $D_u$ de ongelabelde (afgewezen) aanvragers bevat.

2.1 Kernalgoritme

Het algoritme volgt een Classification EM (CEM) procedure met twee alternerende stappen:

E-stap (Label Toewijzing):
In plaats van een enkele harde label toe te wijzen aan afgewezen aanvragers, maakt de methode gebruik van een soft responsibility mechanisme. Voor elke ongelabelde aanvrager $j$ wordt een kostgegewogen verschilcriterium berekend:
$\text{Diff}(j) = C_{FN} \log(1 + e^{-z_j}) - C_{FP} \log(1 + e^{z_j})$
waarbij $z_j = \beta^\top x_j$ , en $C_{FN}, C_{FP}$ de kosten zijn van false negatives en false positives, respectievelijk.

Dit criterium wordt via een sigmoidfunctie gekalibreerd door een temperatuurparameter $\tau$ naar een zachte default-waarschijnlijkheid $q_j \in (0, 1)$ gemapt. Cruciaal is dat de toewijzing wordt beperkt door een balansrestrictie: de verwachte proportie defaults binnen de afgewezen set moet gelijk zijn aan de empirische default rate $r$ die wordt waargenomen in de geaccepteerde set ( $D_l$ ). Dit voorkomt degeneratieve oplossingen waarbij alle afwijzingen aan een enkele klasse worden toegewezen.

Een hard-label variant is eveneens gedefinieerd als een speciaal geval, waarbij de $\lfloor r \cdot m \rfloor$ afgewezen aanvragers met de laagste kostgegewogen loss de harde label 1 (default) krijgen, en de rest 0.

M-stap (Parameter Schatting):
Het model past een kostgevoelige $\ell_1$ -gepenaliseerde logistische regressie opnieuw toe op de uitgebreide dataset. De doelfunctie $L(\beta, q)$ combineert:

Gewogen logistische loss op gelabelde data ( $D_l$ ).
Soft-assigned gewogen loss op ongelabelde data ( $D_u$ ), geschaald door een hyperparameter $\lambda \in [0, 1]$ .
Een $\ell_1$ penalty ( $\mu \|\beta\|_1$ ) voor feature selectie en sparsiteit.

De bijdrage van de ongelabelde data wordt geschaald door $\lambda$ , wat interpolatie mogelijk maakt tussen puur gesuperviseerde ( $\lambda=0$ ) en volledig semi-supervisieve ( $\lambda=1$ ) regimes.

2.2 Theoretische Garanties

Het paper biedt twee belangrijke theoretische resultaten:

Monotone Daling: Voor de hard-label variant garanderen de alternerende E- en M-stappen een monotoon niet-stijgende doelfunctie, wat convergentie verzekert.
Consistentie onder MAR: Onder de Missing at Random (MAR) aanname — waarbij de afwijzingsbeslissing afhangt van geobserveerde covariaten en niet van de ongeobserveerde default uitkomst — is de RI-CSCEM estimator consistent. De auteurs bewijzen dat onder MAR de accepted-only estimator al onbevooroordeeld is; de reject inference procedure verbetert de estimator dus niet asymptotisch, maar dient als een diagnostisch instrument om te meten wanneer reject inference waarde toevoegt (specifiek wanneer MAR niet geldt).

3. Belangrijkste Bijdragen

Verenigd Framework: RI-CSCEM verenigt semi-superviserend leren en kostgevoelig leren binnen één gepenaliseerd likelihood framework, waarmee zowel sample selectiebias als klassenimbalans tegelijkertijd worden geadresseerd.
Soft vs. Hard Assignment: Het paper introduceert een soft responsibility toewijzing die afgewezen aanvragers over klassen verdeelt op basis van kostgegewogen criteria. Empirische resultaten tonen aan dat dit de discriminatiekracht behoudt die door hard pseudo-labelling wordt vernietigd.
Theoretische Rigor: Het werk vestigt formele garanties voor monotone daling van de hard variant en consistentie onder MAR, wat een gecontroleerde setting biedt om de noodzaak van reject inference te evalueren.
Grondige Benchmarking: De studie maakt gebruik van een robuust experimenteel ontwerp met 30 gestratificeerde trekkingen en statistische testen (Friedman en Nemenyi tests) tegenover 12 concurrerende modellen, inclus\u00en traditionele reject inference, resampling strategieën en semi-supervisieve baselines.

4. Experimentele Resultaten

De methode werd geëvalueerd op Lending Club data (ongeveer 1,27 miljoen geaccepteerde en 2,06 miljoen afgewezen aanvragen).

Prestaties: Over 30 gestratificeerde trekkingen behaalde RI-CSCEM een gemiddelde totale misclassificatiekosten van 1120.3.
Vergelijking: Deze prestatie was statistisch niet te onderscheiden van de beste accepted-only baselines: Cost-Sensitive Logistic Regression (1070.4) en SMOTE-balanced Logistic Regression (1104.7).
Ablatie Studie:
- Kostgevoelige Weging: Het overgaan van een basis CEM model naar kostgevoelige wegings (CEM+CS) verminderde de kosten aanzienlijk (van 1401.5 naar 1215.6) en bracht het model weg van de triviale "alle niet-default" oplossing.
- Soft Responsibility: Het vervangen van harde labels door soft responsibilities (de volledige RI-CSCEM) verminderde de kosten verder naar 1120.3 en herstelde de discriminatie, waarbij de AUC steeg van 0.589 naar 0.614.
- Hard vs. Soft: De hard-label variant (RI-CSCEM-hard) presteerde vergelijkbaar met CEM+CS (1214.3 vs 1215.6), wat bevestigt dat de soft assignment de primaire drijfveer is voor de verbetering van de AUC.
Statistische Significantie: De Friedman test verwierp de nulhypothese van gelijke prestaties over alle modellen ( $p < 10^{-3}$ ). De Nemenyi post-hoc test bevestigde dat RI-CSCEM tot dezelfde statistisch significante groep behoort als de best presterende accepted-only baselines.

5. Betekenis en Claims

Het paper claimt dat RI-CSCEM een diagnostische baseline biedt voor de credit scoring literatuur. De primaire betekenis ligt in het aantonen dat onder een Missing at Random (MAR) afwijzingsmechanisme, reject inference weinig waarde toevoegt bovenop een goed afgestemd, kostgevoelig accepted-only model. De auteurs stellen dat de accepted-only estimator onder MAR al onbevooroordeeld is, en het voorgestelde framework bevestigt dit zowel theoretisch als empirisch.

Het paper concludeert bescheiden dat het werkelijke voordeel van reject inference zou moeten verschijnen in Missing Not at Random (MNAR) scenario's, waar afwijzing afhangt van ongeobserveerde factoren. Het huidige werk legt een rigoureuze fundering voor dergelijke toekomstige uitbreidingen door consistentie onder MAR te bewijzen en de specifieke componenten (kostgevoeligheid en soft assignment) te isoleren die de modelprestaties verbeteren wanneer reject inference wordt toegepast. De auteurs beweren niet dat RI-CSCEM universeel beter presteert dan alle baselines in alle regimes, maar dat het de sterkste baselines evenaart onder MAR, terwijl het een robuust, theoretisch gefundeerd mechanisme biedt voor het afhandelen van ongelabelde data wanneer het afwijzingsmechanisme verwerpbaar is.