Benchmarking Gradient Boosting and Explainable AI for Credit Default Prediction on Imbalanced Financial Data: A Leakage-Safe Multi-Seed Evaluation with SHAP and LIME

Ogni volta che una persona richiede una carta di credito o un piccolo prestito, nel background avviene un calcolo nascosto. Le banche e i prestatori devono decidere se fidarsi di quella persona, una decisione che dipende dalla previsione che essa non sia in grado di restituire il denaro. Questa non è solo una supposizione; è un giudizio finanziario ad alta posta in gioco che determina chi ottiene l'accesso all'economia e a quale costo. Per prendere queste decisioni, le istituzioni si affidano a modelli informatici che scansionano la storia di una persona: il suo reddito, le sue bollette passate e come ha gestito il debito in precedenza. Questi modelli devono essere accurati, ma devono anche essere equi e trasparenti. Le leggi negli Stati Uniti richiedono che, se un prestito viene rifiutato, il prestatore debba spiegare esattamente il perché. Ciò significa che il computer non può semplicemente dire "no"; deve indicare le ragioni specifiche, come un pagamento in ritardo o un saldo elevato, che hanno portato alla decisione. Se il modello è una "scatola nera" che nessuno comprende, crea rischi legali e risultati ingiusti per i richiedenti.

Per anni, i ricercatori hanno cercato di costruire modelli migliori per prevedere questi insoluti, spesso utilizzando un'intelligenza artificiale complessa. Tuttavia, uno studio recente suggerisce che molti di questi tentativi precedenti siano stati costruiti su basi fragili. I ricercatori hanno scoperto che le pratiche comuni nel testare questi modelli spesso introducono errori metodologici, facendo apparire i computer più intelligenti di quanto non siano in realtà. Hanno anche scoperto che alcuni trucchi popolari utilizzati per risolvere i problemi dei dati sono in realtà superflui. Stabilendo un modo più rigoroso e onesto per testare questi sistemi, il team ha identificato quali modelli funzionano davvero meglio e come spiegare le loro decisioni senza confusione. Il loro lavoro fornisce uno standard nuovo e affidabile su come le istituzioni finanziarie debbano valutare gli strumenti che decidono chi riceve il credito.

Lo studio si è concentrato su una vasta collezione di dati reali provenienti da una società di carte di credito di Taiwan, che coinvolgeva trentamila clienti. Circa il ventidue percento di questi clienti ha infine smesso di pagare le bollette, creando una situazione in cui i casi di "insoluto" erano inferiori ai casi "buoni". Questo squilibrio è comune nella finanza e ha portato molti ricercatori a utilizzare una tecnica chiamata sovracampionamento sintetico (synthetic oversampling). Questo metodo crea punti dati finti per bilanciare i numeri, sperando che aiuti il computer a imparare meglio. I ricercatori di questo studio, tuttavia, hanno testato se questo passaggio extra fosse effettivamente necessario. Hanno costruito un protocollo di test rigoroso che manteneva i dati strettamente separati, assicurandosi che il computer non vedesse mai le risposte del test mentre stava imparando. Hanno eseguito i test dieci volte diverse con diversi punti di partenza casuali per garantire che i risultati fossero stabili e non solo un colpo di fortuna.

Quando hanno confrontato sei diversi tipi di modelli informatici, i risultati sono stati chiari. Gli strumenti più potenti sono una famiglia di modelli noti come gradient boosting ensembles. Questi sono sistemi che combinano molti alberi decisionali semplici per creare una singola previsione altamente accurata. Tre versioni specifiche di questi modelli — XGBoost, LightGBM e CatBoost — hanno performato in modo quasi identico, formando un livello superiore che ha superato significativamente i metodi più vecchi e semplici come la regressione logistica e i nuovi approoli di deep learning. I modelli di punta hanno classificato correttamente il rischio di insoluto circa il settantanove percento delle volte, una cifra statisticamente indistinguibile tra loro ma chiaramente migliore rispetto alle alternative. Lo studio ha rilevato che le differenze tra questi tre modelli principali erano così piccole che nessuno di essi poteva essere dichiarato l'assoluto vincitore; sono semplicemente tutti ottime scelte per questo tipo di problema.

Forse la scoperta più sorprendente riguardava i dati sintetici. I ricercatori hanno testato se l'aggiunta di quei punti dati finti e bilanciati migliorasse i modelli. Hanno scoperto che non era così. Una volta che i ricercatori hanno regolato la soglia decisionale — il punto specifico in cui il computer decide di dire "sì" o "no" — basandosi su un set di validazione separato, la necessità di dati sintetici è scomparsa. Infatti, per questo tipo di dati finanziari moderatamente sbilanciati, la semplice calibrazione del punto decisionale è stata sufficiente per gestire lo squilibrio. Creare punti dati finti non era solo ridondante, ma poteva potenzialmente introdurre rumore che confondeva il modello. Ciò suggerisce che le istituzioni finanziarie possono saltare il complesso passaggio della generazione di dati sintetici e concentrarsi invece sulla calibrazione attenta delle proprie regole decisionali.

Oltre a prevedere chi andrà in insoluto, lo studio ha anche esaminato quanto bene questi modelli potessero spiegare le proprie decisioni, un requisito per la conformità legale. I ricercatori hanno utilizzato due metodi diversi per generare queste spiegazioni: uno basato sulla teoria dei giochi e un altro basato su approssimazioni locali. Hanno scoperto che, sebbene questi due metodi concordassero generalmente sui fattori più importanti, non concordavano sempre su ogni singolo individuo. Per circa il sessantadue percento dei casi, le spiegazioni erano ragionevolmente coerenti, ma per alcuni individui, i due metodi indicavano ragioni diverse per un rifiuto. Questo disaccordo è un rischio critico. Se una banca si affida a un solo metodo per spiegare a un cliente il motivo del suo rifiuto, e quel metodo è instabile, la banca potrebbe affrontare sfide legali. Lo studio conclude che le istituzioni dovrebbero verificare l'accordo tra diversi strumenti di spiegazione e far revisionare i casi in cui il ragionamento del computer è poco chiaro da esperti umani.

I ricercatori hanno anche testato le loro scoperte su un dataset più piccolo e datato della Germania per vedere se i risultati reggevano con meno dati. Hanno scoperto che, con meno esempi, il vantaggio dei modelli complessi rispetto a quelli più semplici diventava più difficile da dimostrare statisticamente, suggerendo che il potere di questi strumenti avanzati dipenda dall'avere abbastanza dati da cui imparare. Infine, il team ha controllato l'equità tra diversi gruppi, come uomini e donne o persone con diversi livelli di istruzione. Hanno riscontrato solo piccole differenze nel modo in cui il modello trattava questi gruppi, ma hanno notato che per i gruppi molto piccoli, i dati erano troppo scarsi per trarre conclusioni certe. Lo studio sottolinea che, sebbene i modelli abbiano performato bene nel complesso, essi sono addestrati su dati storici specifici e non possono essere applicati ciecamente a popolazioni diverse o crisi economiche senza una rivalutazione.

Questo lavoro stabilisce un modo nuovo e più pulito per testare i modelli di credit scoring. Dimostra che gli strumenti più efficaci sono già disponibili e che non hanno bisogno di trucchi con dati artificiali per funzionare bene. Più importante ancora, evidenzia che l'accuratezza non è sufficiente; le spiegazioni dietro le decisioni devono essere coerenti e affidabili. Seguendo il protocollo rigoroso e privo di perdite (leakage-free) delineato dallo studio, le istituzioni finanziarie possono costruire sistemi che siano non solo più accurati, ma anche più affidabili e legalmente solidi. Il codice e i dati utilizzati in questa ricerca sono ora aperti all'uso di chiunque, garantendo che questo nuovo standard possa essere adottato e verificato dalla comunità scientifica più ampia.