📊 statistics

Ablation Study of Class Imbalance Techniques for Credit Default Prediction with SHAP-based Explainability Analysis

Questo studio dimostra che nei compiti di previsione del default creditizio, il parametro integrato `scale_pos_weight` di XGBoost supera significativamente la tradizionale tecnica di resampling SMOTE in termini di recall, evidenziando che la strategia ottimale per gestire lo sbilanciamento delle classi dipende dal classificatore specifico utilizzato piuttosto che da un metodo di resampling universale.

Autori originali: Atharv Tiwari

Pubblicato 2026-07-30

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Atharv Tiwari

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un detective che cerca di trovare un singolo ladro nascosto in una folla di 100 persone. Novantadue di loro sono innocenti, e solo otto sono colpevoli. Se dovessi indovinare semplicemente "tutti sono innocenti", avresti ragione il 92% delle volte! Ma non prenderesti zero ladri. Nel mondo dell'informatica, questo è chiamato il problema del "class imbalance" (squilibrio delle classi). Accade quando un modello di computer viene addestrato su dati in cui un risultato (come il rimborso di un prestito) accade molto più spesso di un altro (come il mancato rimborso di un prestito). Poiché il computer vede così tanti esempi "buoni", diventa pigro e predice semplicemente "buono" per tutti, fallendo nel individuare i rari casi "negativi".

Per anni, la soluzione standard per questo è stata una tecnica chiamata SMOTE. Pensa a SMOTE come a una fotocopiatrice per i casi rari. Se hai solo otto foto di ladri, SMOTE crea nuove foto sintetiche e finte di ladri mescolando e abbinando i dettagli di quelli reali, sperando di dare al computer abbastanza pratica per imparare il modello. Ma c'è un altro modo. Alcuni modelli di computer, nello specifico un tipo potente chiamato XGBoost, hanno un "pomello del volume" integrato per gli errori. Invece di inventare dati falsi, puoi semplicemente dire al computer: "Ehi, se ti sfugge un ladro, questo è un errore enorme! Se ti sfugge una persona innocente, è un errore piccolo". Questo costringe il modello a prestare un'attenzione extra ai casi rari senza mai toccare i dati originali.

La grande domanda è: è meglio creare dati di pratica falsi (SMOTE), o semplicemente alzare il volume degli errori (il pomello integrato)? Un nuovo studio di Atharv Tiwari, della Punjab Engineering College, mette questi due approcci testa a testa per vedere quale dei due riesce effettivamente a catturare più ladri nel mondo reale del credit scoring.

Il Grande Scontro delle Carte di Credito

In questo studio, il ricercatore ha allestito un esperimento massiccio utilizzando un dataset del mondo reale di oltre 300.000 domande di prestito. In questa folla, il 92% delle persone ha rimborsato i propri prestiti e solo l'8% è insolvente. Era la configurazione perfetta per testare quanto bene diversi modelli di computer potessero individuare l'8% senza farsi distrarre dal 92%.

Il ricercatore non ha scelto un solo modello; ha testato tre diversi "detective":

Regressione Logistica: Il detective vecchio stile e affidabile che segue regole rigide.
Random Forest: Una squadra di detective che ognuno guarda gli indizi in modo diverso e vota la risposta.
XGBoost: Un detective super intelligente che impara dai suoi errori uno alla volta, diventando sempre più acuto a ogni giro.

Ogni detective gli è stata data tre diverse strategie di addestramento:

La strategia "Non fare nulla": Lancia semplicemente i dati grezzi e vedi cosa succede.
La strategia del "Pomello del Volume": Usa le impostazioni integrate del modello per penalizzare pesantemente la mancata individuazione di un insolvente (senza dati falsi).
La strategia della "Fotocopiatrice": Usa SMOTE per creare insolventi falsi per bilanciare i dati di addestramento.

Il Risultato Scioccante

I risultati sono stati simili alla trama di un film misterioso. La strategia "Non fare nulla" è fallita miseramente per tutti, catturando quasi nessun insolvente (meno del 2,2% di recall). Questo era previsto. Ma la battaglia tra il "Pomello del Volume" e la "Fotocopiatrice" è stata dove le cose si sono fatte interessanti.

Quando il ricercatore ha usato XGBoost, la strategia del "Pomello del Volume" integrato ha schiacciato la concorrenza. È riuscita a catturare il 64,8% degli effettivi insolventi. La strategia della "Fotocopiatrice" (SMOTE), che è stata la soluzione preferita per decenni, ha catturato solo il 43,3%. Questo è un divario enorme di 21,5 punti percentuali. Il ricercatore ha eseguito test statistici rigorosi (chiamati test di McNemar) e ha confermato che non si trattava di una fortuna del caso; la differenza era così grande da essere statisticamente certa ( $p < 10^{-6}$ ).

Tuttavia, la storia è cambiata completamente quando hanno cambiato in Random Forest. Per questo modello, la strategia del "Pomello del Volume" ha funzionato a malapena (catturando solo il 7,8% degli insolventi), mentre la "Fotocopiatrice" (SMOTE) ha fatto molto meglio, catturando il 41,2%.

Ciò suggerisce che non esiste una singola "soluzione magica" per risolvere il problema dei dati sbilanciati. Ciò che funziona per un tipo di modello di computer potrebbe fallire per un altro. Lo studio suggerisce che per il modello specifico e potente XGBoost, semplicemente dire al computer di prestare più attenzione agli errori rari è molto più efficace che nutrirlo con dati sintetici e falsi.

Perché la Fotocopiatrice è fallita (e il Pomello ha vinto)

Quindi, perché creare dati falsi ha danneggiato il modello XGBoost? Il ricercatore spiega che quando si ha un dataset complesso con 192 diverse caratteristiche (come reddito, età e storia creditizia), creare una persona falsa mescolando due persone reali può dare origine a un "mostro" che non esiste nella realtà. È come cercare di fondere l'immagine di un gatto e di un cane per creare un nuovo animale; il risultato potrebbe sembrare strano e confondere il computer. Il modello finisce per imparare dal rumore invece che dai pattern reali.

Il "Pomello del Volume" integrato evita interamente questa trappola. Non tocca i dati né crea esempi falsi. Cambia solo la matematica dietro le quinte per dire: "Non mancare i casi rari!". Questo ha mantenuto l'addestramento pulito e ha permesso a XGBoost di dare il meglio di sé.

Il "Perché" dietro il "Chi"

Per assicurarsi che questo modello vincente non fosse solo una scatola nera che faceva ipotesi casuali, il ricercatore ha utilizzato uno strumento chiamato SHAP (che sta per SHapley Additive exPlanations). Pensa a SHAP come a una lente d'ingrandimento che mostra esattamente quali indizi il detective ha usato per prendere una decisione.

L'analisi ha rivelato che il modello si stava comportando in modo logico. L'indizio più importante era il punteggio esterno del bureau (un punteggio di credito da altre banche). Questo ha perfettamente senso: se qualcuno ha una storia di rimborso con altri prestatori, è probabile che lo farà anche con te. Il modello ha guardato anche il rapporto tra l'importo del prestito e l'importo del rimborso e l'età del richiedente. Fondamentalmente, il ragionamento del modello era trasparente e difendibile, il che è un grande punto a favore per le banche che devono spiegare le loro decisioni ai regolatori.

Il Punto Fondamentale

Lo studio conclude che prima di iniziare a generare miglia di punti dati falsi per correggere uno squilibrio, si dovrebbe provare gli strumenti integrati più semplici che il proprio modello già possiede. Per XGBoost, la ponderazione integrata non era solo più facile da usare, ma era significativamente più efficace, catturando quasi il 22% di insolventi in più rispetto al metodo tradizionale.

Tuttiché, il ricercatore avverte che questa non è una regola universale. Poiché Random Forest ha ottenuto risultati migliori con il metodo della "Fotocopiatrice", non si può assumere che una tecnica funzioni per ogni modello. Il miglior approccio dipende interamente da quale "detective" si sta utilizzando. Nel mondo regolamentato del settore bancario, dove catturare gli insolventi è vitale ma spiegare le decisioni è obbligatorio, questo risultato offre un percorso più chiaro ed efficiente: prova prima il semplice pomello, ma controlla sempre se si adatta al tuo modello specifico.

Sintesi Tecnica: Studio di Ablazione delle Tecniche di Sbilanciamento delle Classi per la Predizione del Default del Credito con Analisi di Spiegabilità basata su SHAP

Problematica
I dataset relativi alla predizione del default del credito, come il dataset Home Credit Default Risk, presentano un grave sbilanciamento delle classi (circa il 92% di non inadempienti contro l'8% di inadempienti). In tali scenari, le metriche di accuratezza standard sono fuorvianti, poiché un modello che predice "nessun default" per tutti i richiedenti ottiene un'accuratezza elevata ma un'utilità nulla. La risposta standard del settore dal 2002 è stata la tecnica Synthetic Minority Over-sampling Technique (SMOTE), che genera esempi sintetici della classe minoritaria per riequilibrare l'insieme di addestramento. Tuttavia, rimane da verificare se i modelli di gradient boosting, specificamente XGBoost, possano gestire intrinsecamente questo sbilanciamento attraverso l'aggiustamento della funzione di perdita (tramite il parametro scale_pos_weight) senza introdurre dati sintetici o potenziali perdite di dati (data leakage). Inoltre, la letteratura esistente spesso non integra la gestione dello sbilanciamento delle classi con la spiegabilità del modello, un requisito critico per la conformità normativa nel settore finanziario.

Metodologia
Lo studio conduce uno studio di ablazione controllato su tre classificatori — Regressione Logistica, Random Forest e XGBoost — valutati su 307.511 domande di prestito con 122 caratteristiche originali (estese a 192 dopo l'ingegneria delle caratteristiche e il pre-processing).

Disegno Sperimentale: Sono state testate nove configurazioni, combinando tre classificatori con tre strategie di sbilanciamento:
1. Baseline (A): Nessun riequilibrio; iperparametri predefiniti.
2. Riponderazione Nativa (B): Pesatura delle classi integrata (class_weight='balanced' per RF/LogReg; scale_pos_weight per XGBoost).
3. SMOTE + Ottimizzazione della Soglia (C): SMOTE applicato all'insieme di addestramento per raggiungere la parità di classe, seguito dall'ottimizzazione della soglia sulla curva precisione-richiamo per massimizzare l'F1.
Valutazione: Le prestazioni sono state misurate utilizzando Recall, Precision, F1-score e ROC-AUC. La significatività statistica è stata determinata tramite il test esatto di McNemar sugli confronti a coppie. La stabilità è stata verificata tramite cross-validazione stratificata a cinque pieghe (five-fold).
Spiegabilità: La configurazione con le migliori prestazioni è stata analizzata utilizzando SHAP (SHapley Additive exPlanations) per decomporre le predizioni nei contributi per singola caratteristica, garantendo che la logica del modello sia allineata ai requisiti di trasparenza normativa.

Risultati Chiave
Lo studio ha prodotto risultati distinti riguardanti l'interazione tra l'architettura del modello e la gestione dello sbilanciamento:

Superiorità di XGBoost con Pesatura Nativa: XGBoost utilizzando scale_pos_weight (Strategia B) ha raggiunto un recall del 64,8%, superando significativamente l'approccio SMOTE (Strategia C), che ha raggiunto il 43,3%. Il divario di 21,5 punti percentuali è statisticamente significativo ( $p < 10^{-6}$ ).
Efficacia Dipendente dal Modello: I risultati non sono stati uniformi tra tutti i modelli. Mentre la pesatura nativa eccelleva in XGBoost e nella Regressione Logistica, ha performato scarsamente in Random Forest (7,8% di recall). Al contrario, Random Forest ha ottenuto le migliori prestazioni con SMOTE (41,2% di recall). Ciò dimostra che la gestione dello sbilanciamento non è una soluzione "taglia unica" ma dipende fortemente dalla famiglia di classificatori.
Stabilità: La cross-validazione a cinque pieghe ha confermato la stabilità dell'approccio di pesatura nativa di XGBoost, con un recall medio del 64,1% ( $\pm 0,7\%$ ) e un ROC-AUC di 0,755 ( $\pm 0,003$ ).
Importanza delle Caratteristiche: L'analisi SHAP ha rivelato che EXT_SOURCE_AVG (punteggi aggregati degli uffici di credito esterni) era il driver dominante della valutazione del rischio. Il ragionamento del modello era monotono e difendibile: punteggi di bureau più bassi aumentavano la probabilità di default. Significativamente, il genere (CODE_GENDER_M) è emerso come la terza caratteristica più importante, identificata autonomamente dal modello.

Significatività e Rivendicazioni
Il documento rivendica tre contributi primari al campo della modellazione del rischio di credito:

Mettere in discussione il Default di SMOTE: Lo studio fornisce prove empiriche del fatto che, per XGBoost, l'aggiustamento nativo della funzione di perdita (scale_pos_weight) è superiore a SMOTE su dati di credito ad alta dimensionalità. Gli autori sostengono che SMOTE possa introdurre rumore negli spazi ad alta dimensionalità interpolando tra istanze minoritarie che differiscono lungo molti assi, mentre la pesatura nativa evita interamente la modifica dei dati.
Contestualizzare le Strategie di Sbilanciamento: La ricerca evidenzia che l'efficacia di una tecnica di sbilanciamento è contingente sull'algoritmo sottostante. Una strategia validata su una famiglia di modelli (ad esempio, SMOTE per Random Forest) non si trasferisce necessariamente a un'altra (ad esempio, XGBoost), esortando i professionisti a validare le strategie per singolo modello piuttosto che presumere l'universalità.
Integrazione della Spiegabilità: Accoppiando la gestione dello sbilanciamento ad alte prestazioni con l'analisi SHAP, lo studio affronta il "Gap 3" dove la ricerca sullo sbilanciamento spesso manca dello strato di interpretabilità richiesto per l'implementazione normativa (ad esempio, sotto la guida draft della RBI). Lo stack proposto (XGBoost + scale_pos_weight + SHAP) offre una soluzione implementabile che non richiede pipeline di dati sintetici, riduce i rischi di data leakage e fornisce una logica decisionale trasparente.

Limitazioni
Gli autori riconoscono che le conclusioni si basano su un singolo dataset pubblico e potrebbero non generalizzarsi a dati bancari proprietari con diverse distribuzioni di caratteristiche. Inoltre, lo studio non ha incorporato i costi di classificazione errata specifici per il business, l'analisi di equità tra gruppi demografici o funzioni di perdita avanzate come la focal loss. La calibrazione della soglia per SMOTE non era annidata all'interno della cross-validazione, portando potenzialmente a stime delle prestazioni leggermente ottimistiche per quella specifica strategia.