📈 economics

Hard and Soft Label Assignment for Cost-Sensitive Semi-Supervised Reject Inference in Credit Scoring

Questo articolo propone RI-CSCEM, un framework di Expectation-Maximization semi-supervisionato e sensibile ai costi che assegna pseudo-label hard o soft ai richiedenti rifiutati nel credit scoring, mitigando efficacemente il bias di selezione del campione e i costi di misclassificazione asimmetrici per superare i baseline basati solo sugli accettati su dati di Lending Club.

Autori originali: Abderrahim EL AMRANI, Mounir EL ANNAS, Badreddine BENYACOUB, Mohammed EL HAJ TIRARI

Pubblicato 2026-06-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Abderrahim EL AMRANI, Mounir EL ANNAS, Badreddine BENYACOUB, Mohammed EL HAJ TIRARI

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un direttore di banca che deve decidere a chi concedere un prestito. Hai una lunga lista di richiedenti, ma hai visto solo i risultati delle persone che hai accettato. Sai chi ha restituito i prestiti e chi è insolvente. Ma che dire di migliaia di persone che hai rifiutato? Non hai idea se sarebbero state dei buoni clienti o dei cattivi. Li hai semplicemente scartati.

Questo crea un punto cieco. Se impari solo dalle persone che hai accettato, il tuo "punteggio di rischio" potrebbe essere distorto perché non hai mai testato le tue regole su chi hai respinto. Questo si chiama Inferenza dal Rifiuto (Reject Inference): cercare di indovinare cosa sarebbe successo alle persone che hai rifiutato.

Tutt'altro che, nel settore dei prestiti, commettere un errore non è uguale per tutti.

Errore A: Rifiuti una persona valida. Perdi un po' di entrate da interessi.
Errore B: Accetti una persona non valida (un insolvente). Non ti restituisce l'intero prestito e tu perdi l'intero importo del prestito.
L'Errore B è molto più costoso. La maggior parte dei modelli informatici standard tratta questi due errori come se avessero lo stesso costo, il che è come dire che perdere un dollaro è la stessa cosa che perdere una casa.

La Soluzione: RI-CSCEM

Gli autori di questo articolo hanno costruito un nuovo strumento chiamato RI-CSCEM. Immaginalo come un insegnante intelligente e consapevole dei costi che impara sia dagli studenti che sono stati promossi (i richiedenti accettati) sia dagli studenti che sono stati espulsi dalla classe (i richiedenti rifiutati).

Ecco come funziona, usando analogie semplici:

1. Il "Soft" vs. "Hard" Guess (Indovinare in modo "morbido" o "rigido")

Quando il modello osserva un richiedente rifiutato, deve indovinare: "Questa persona avrebbe restituito il prestito?"

Il modo Rigido (Metodo Vecchio): Il modello impone una scelta binaria. Dice: "Questa persona è sicuramente un buon pagatore" oppure "Questa persona è sicuramente un cattivo pagatore". È come un arbitro che fischia e dichiara un'azione "Sicura" o "Fuori" con il 100% di certezza. Il problema è che, se l'arbitro è incerto, forzare una decisione può rovinare la partita.
Il modo Morbido (L'innovazione di questo articolo): Il modello dice: "Questa persona ha il 60% di probabilità di essere un buon pagatore e il 40% di probabilità di essere un cattivo pagatore". Assegna una responsabilità "soft". Inveve di un'unica etichetta, distribuisce il richiedente tra entrambe le possibilità.
- Analogia: Immagina una giuria. Invece di votare "Colpevole" o "Non Colpevole", votano "60% Colpevole, 40% Non Colpevole". Questo preserva la sfumatura e l'incertezza, il che aiuta il modello a imparare meglio i pattern.

2. L'Equilibrio "Cost-Sensitive" (Sensibile ai Costi)

Il modello sa che individuare un "cattivo pagatore" è più importante che evitare un "falso allarme".

Utilizza una scala speciale. Se il modello pensa che qualcuno possa essere un insolvente, pesa quella possibilità molto più pesantemente rispetto al pensiero che possa essere un buon pagatore.
Ha anche una regola per mantenere l'equilibrio. Si assicura che il numero di "cattivi pagatori" che ipotizza tra il gruppo dei rifiutati corrisponda al tasso effettivo di cattivi pagatori che ha visto nel gruppo degli accettati. Questo evita che il modello impazzisca e decida che tutti sono cattivi pagatori solo per sicurezza.

3. Il Ciclo di Apprendimento (Il Metodo dell'Insegnante)

Il modello utilizza una tecnica chiamata Classification EM (Expectation-Maximization). Immagina un insegnante che cerca di correggere un test dove metà delle risposte mancano:

Fase 1 (L'ipotesi): L'insegnante fa una stima basata su ciò che sa finora.
Fase 2 (La lezione): L'insegnante usa quelle ipotesi per ri-studiare l'intera classe (sia le risposte note che quelle ipotizzate) per migliorare le sue regole di valutazione.
Fase 3 (Ripetizione): L'insegnante fa nuove ipotesi migliori basate sulle regole migliorate, e il ciclo si ripete finché le regole di valutazione non sono perfette.

Cosa hanno scoperto?

Gli autori hanno testato questo metodo su dati reali di Lending Club (una grande piattaforma di prestito online). Hanno confrontato il loro nuovo strumento con altri 12 metodi, inclusi i modelli standard e altri trucchi di "inferenza dal rifiuto".

Il Risultato: Il loro nuovo strumento (RI-CSCEM) ha performato altrettanto bene dei migliori modelli che guardavano solo gli accettati. Non è diventato magicamente sovrumano, ma ha utilizzato con successo i dati dei "rifiutati" senza danneggiare le prestazioni.
La Scoperta Chiave: Il metodo "Soft" è stato l'ingrediente segreto. Quando hanno costretto il modello a fare ipotesi "Hard" (sicuramente buono/cattivo), il modello si è confuso e ha perso la capacità di distinguere tra buoni e cattivi pagatori. Quando hanno usato ipotesi "Soft" (probabilità), la capacità del modello di distinguere (chiamata AUC) è aumentata significativamente.
Il "Perché": L'articolo spiega che poiché le regole di rifiuto della banca si basavano su dati visibili (come il punteggio di credito), il gruppo dei "rifiutati" non era segretamente pieno di geni nascosti o criminali nascosti. Erano solo un mix simile al gruppo degli accettati. Quindi, il modello non aveva bisogno di essere un mago per indovinare i loro esiti; doveva solo stare attento a non commettere errori costosi.

In sintesi

Questo articolo introduce un modo più intelligente per le banche di imparare dalle persone che hanno rifiutato. Trattando i richiedenti rifiutati come "forse buoni, forse cattivi" (etichette soft) invece di forzare una decisione sì/no, e pesando pesantemente il costo della perdita di denaro, il modello diventa più robusto. Non predice necessariamente il futuro meglio dei metodi esistenti quando le regole di rifiuto sono eque, ma assicura che il modello non si rompa nel tentativo di imparare da dati incompleti.

Sintesi Tecnica: Assegnazione di Etichette Hard e Soft per l'Inferenza dei Rifiuti Semi-Supervisionata e Sensibile ai Costi nel Credit Scoring

1. Definizione del Problema

I modelli di rischio di credito vengono tradizionalmente addestrati esclusivamente su richiedenti accettati, poiché solo questi individui dispongono di esiti di rimborso registrati. Questa pratica introduce un bias di selezione del campione (sample selection bias), che causa prestazioni ottimali sulla popolazione accettata ma scarse sull'intero pool di richiedenti. Inoltre, gli approcci di classificazione standard spesso ignorano gli asimmetrie dei costi di classificazione errata nel credit scoring: il costo di un Falso Negativo (approvare un insolvente) è significativamente più alto di quello di un Falso Positivo (rifiutare un buon pagatore).

I metodi esistenti di inferenza dei rifiuti (reject inference) spesso non riescono ad affrontare simultaneamente questi problemi. Molti assumono distribuzioni di classe bilanciate o trattano gli errori di classificazione come aventi costi uguali, portando a risultati economici subottimali. Inoltre, sebbene l'apprendimento semi-supervisionato tratti i richiedenti rifiutati come istanze con etichette mancanti, pochi framework forniscono garanzie teoriche formali riguardo alla consistenza sotto specifici meccanismi di rifiuto (ad esempio, Missing at Random) integrando al contempo obiettivi sensibili ai costi.

2. Metodologia: RI-CSCEM

Il documento propone RI-CSCEM (Reject Inference - Cost-Sensitive Classification Expectation-Maximisation), un framework unificato che integra la regressione logistica semi-supervisionata con l'apprendimento sensibile ai costi. Il metodo opera su un dataset $D = D_l \cup D_u$ , dove $D_l$ contiene richiedenti etichettati (accettati) e $D_u$ contiene richiedenti non etichettati (rifiutati).

2.1 Algoritmo Core

L'algoritmo segue una procedura di Classification EM (CEM) con due fasi alternate:

E-Step (Assegnazione delle Etichette):
Inveve di assegnare un'unica etichetta hard a ogni richiedente rifiutato, il metodo impiega un meccanismo di responsabilità soft (soft responsibility). Per ogni richiedente non etichettato $j$ , viene calcolato un criterio di differenza pesato sui costi:
$\text{Diff}(j) = C_{FN} \log(1 + e^{-z_j}) - C_{FP} \log(1 + e^{z_j})$
dove $z_j = \beta^\top x_j$ , e $C_{FN}, C_{FP}$ sono i costi dei falsi negativi e dei falsi positivi, rispettivamente.

Questo criterio viene mappato in una probabilità di default soft $q_j \in (0, 1)$ tramite una funzione sigmoide calibrata da un parametro di temperatura $\tau$ . Fondamentalmente, l'assegnazione è vincolata da un vincolo di bilanciamento: la proporzione attesa di default tra i rifiutati deve essere uguale al tasso di default empirico $r$ osservato nel gruppo degli accettati ( $D_l$ ). Ciò evita soluzioni degenerate in cui tutti i rifiuti vengono assegnati a una singola classe.

Una variante hard-label è inoltre definita come un caso speciale, in cui i $\lfloor r \cdot m \rfloor$ richiedenti rifiutati con il minor costo di perdita sono assegnati a un'etichetta hard di 1 (default), mentre gli altri sono assegnati a 0.

M-Step (Stima dei Parametri):
Il modello ri-adatta una regressione logistica con penalizzazione $\ell_1$ sensibile ai costi sul dataset aumentato. La funzione obiettivo $L(\beta, q)$ combina:

Perdita logistica pesata sui dati etichettati ( $D_l$ ).
Perdita pesata con etichette soft sui dati non etichettati ( $D_u$ ), scalata da un iperparametro $\lambda \in [0, 1]$ .
Una penalità $\ell_1$ ( $\mu \|\beta\|_1$ ) per la selezione delle caratteristiche e la sparsità.

Il contributo dei dati non etichettati è scalato da $\lambda$ , permettendo l'interpolazione tra i regimi puramente supervisionati ( $\lambda=0$ ) e quelli completamente semi-supervisionati ( $\lambda=1$ ).

2.2 Garanzie Teoriche

Il documento fornisce due risultati teorici chiave:

Discesa Monotona: Per la variante hard-label, le fasi alternate E ed M garantiscono una funzione obiettivo monotonicamente non crescente, assicurando la convergenza.
Consistenza sotto MAR: Sotto l'assunto di Missing at Random (MAR) — dove la decisione di rifiuto dipende solo dalle covariate osservate e non dall'esito di default non osservato — lo stimatore RI-CSCEM è consistente. Gli autori dimostrano che, sotto MAR, lo stimatore basato solo sugli accettati è già non distorto; pertanto, la procedura di inferenza dei rifiuti non migliora asintoticamente lo stimatore, ma serve come strumento diagnostico per misurare quando l'inferenza dei rifiuti aggiunge valore (specificamente quando MAR non è rispettato).

3. Contributi Chiave

Framework Unificato: RI-CSCEM unifica l'apprendimento semi-supervisionato e l'apprendimento sensibile ai costi all'interno di un singolo framework di verosimiglianza penalizzata, affrontando simultaneamente il bias di selezione del campione e lo sbilanciamento delle classi.
Assegnazione Soft vs. Hard: Il documento introduce un'assegnazione di responsabilità soft che distribuisce i richiedenti rifiutati tra le classi in base a criteri pesati sui costi. I risultati empirici mostrano come questo preservi il potere discriminante che l'etichettatura pseudo-hard distruggerebbe.
Rigore Teorico: Il lavoro stabilisce garanzie formali di discesa monotona per la variante hard e consistenza sotto MAR, fornendo un contesto controllato per valutare la necessità dell'inferenza dei rifiuti.
Benchmarking Rigoroso: Lo studio impiega un design sperimentale robusto con 30 campionamenti stratificati e test statistici (test di Friedman e Nemenyi) contro 12 modelli concorrenti, inclusi la tradizionale inferenza dei rifiuti, strategie di resampling e baseline semi-supervisionate.

4. Risultati Sperimentali

Il metodo è stato valutato su dati di Lending Club (circa 1,27 milioni di domande accettate e 2,06 milioni di domande rifiutate).

Performance: Attraverso 30 campionamenti stratificati, RI-CSCEM ha raggiunto un costo totale medio di classificazione errata di 1120.3.
Confronto: Questa performance è statisticamente indistinguibile dalle migliori baseline basate solo sugli accettati: Cost-Sensitive Logistic Regression (1070.4) e SMOTE-balanced Logistic Regression (1104.7).
Studio di Ablazione:
- Pesatura Sensibile ai Costi: Passare da un modello CEM base a una pesatura sensibile ai costi (CEM+CS) ha ridotto significativamente il costo (da 1401.5 a 1215.6) e ha allontanato il modello dalla soluzione banale "tutti non-default".
- Responsabilità Soft: Sostituire le etichette hard con le responsabilità soft (il pieno RI-CSCEM) ha ulteriormente ridotto il costo a 1120.3 e ha recuperato la discriminazione, elevando l'AUC da 0.589 a 0.614.
- Hard vs. Soft: La variante hard-label (RI-CSCEM-hard) ha performato in modo simile a CEM+CS (1214.3 vs 1215.6), confermando che l'assegnazione soft è il driver principale del miglioramento dell'AUC.
Significatività Statistica: Il test di Friedman ha rigettato l'ipotesi nulla di uguaglianza di performance tra tutti i modelli ( $p < 10^{-3}$ ). Il test post-hoc di Nemenyi ha confermato che RI-CSCEM appartiene allo stesso gruppo statisticamente significativo delle migliori baseline basate solo sugli accettati.

5. Significato e Rivendicazioni

Il documento sostiene che RI-CSCEM fornisca un baseline diagnostica per la letteratura del credit scoring. Il suo significato primario risiede nel dimostrare che, sotto un meccanismo di rifiuto Missing at Random (MAR), l'inferenza dei rifiuti aggiunge poco valore rispetto a un modello ben tarato e sensibile ai costi basato solo sugli accettati. Gli autori sostengono che lo stimatore basato solo sugli accettati è già non distorto sotto MAR, e il framework proposto conferma ciò sia teoricamente che empiricamente.

Il documento conclude con modestia che il vero beneficio dell'inferenza dei rifiuti dovrebbe emergere in scenari Missing Not at Random (MNMNR), dove il rifiuto dipende da fattori non osservati. Il presente lavoro stabilisce una base rigorosa per tali estensioni future, provando la consistenza sotto MAR e isolando i componenti specifici (sensibilità ai costi e assegnazione soft) che migliorano la performance del modello quando l'inferenza dei rifiuti viene applicata. Gli autori non pretendono che RI-CSCEM superi universalmente tutte le baseline in ogni regime, ma piuttosto che si allinei alle migliori baseline sotto MAR, offrendo al contempo un meccanismo robusto e teoricamente fondato per gestire i dati non etichettati quando il meccanismo di rifiuto è ignorabile.