Enhancing Interpretability in Credit Risk Modeling: A Synergistic Approach Integrating SHAP and Counterfactual Explanations

Ogni volta che una banca decide se concedere un prestito, si affida a un modello per pesare la storia finanziaria di una persona rispetto al rischio di un insoluto. Per decenni, questi modelli erano abbastanza semplici da permettere a un essere umano di tracciarne la logica: se saltavi i pagamenti, il tuo punteggio scendeva. Ma man mano che le banche hanno iniziato a utilizzare sistemi informatici più potenti per trovare schemi sottili in enormi quantità di dati, la logica è diventata nascosta all'interno di una "scatola nera". Questi sistemi avanzati potevano prevedere il rischio con grande precisione, ma non potevano spiegare perché prendessero una specifica decisione. Ciò ha creato un problema serio. Le leggi in molti luoghi ora richiedono ai prestatori di spiegare le loro decisioni ai richiedenti e, senza una ragione chiara, un rifiuto del credito sembra arbitrario e ingiusto. La sfida per gli scienziati è stata quella di trovare un modo per mantenere l'elevata precisione di questi sistemi complessi aprendo al contempo la scatola nera per rivelare il ragionamento interno.

Due nuovi strumenti sono emersi per aiutare a risolvere questo enigma. Il primo è un metodo che agisce come una lente d'ingrandimento, mostrando esattamente quali pezzi di informazione — come il saldo di un conto corrente o la durata di un prestito — hanno spinto il modello verso una specifica conclusione. Il secondo strumento è più simile a un simulatore "e se". Chiede al computer di immaginare i minimi cambiamenti possibili che una persona potrebbe apportare al proprio profilo finanziario per trasformare un rifiuto in un'approvazione. Sebbene ciascuno strumento sia utile da solo, i ricercatori della Arizona State University si sono chiesti se combinando questi due metodi si potesse creare un quadro più chiaro. Si sono posti l'obiettivo di testare se l'uso congiunto di questi due metodi potesse non solo spiegare perché è stata presa una decisione, ma anche fornire un percorso pratico e giusto per la persona che è stata respinta.

Per testare questa idea, i ricercatori hanno utilizzato una nota collezione di dati contenente mille vere domande di credito dalla Germania. Hanno costruito due diversi tipi di modelli di previsione per vedere come si comportassero. Un modello utilizzava un approccio lineare e diretto, mentre l'altro utilizzava un sistema più complesso che costruisce molti alberi decisionali per trovare schemi. Hanno poi applicato il loro metodo di spiegazione combinato a entrambi i modelli. I risultati hanno mostrato che il modello complesso non era in realtà molto migliore del semplice in termini di accuratezza complessiva, ma i due modelli commettevano tipi diversi di errori. Il modello semplice era migliore nel catturare le persone che probabilmente sarebbero insolventi, mentre il modello complesso era migliore nell'evitare falsi allarmi. Ancora più importante, il metodo di spiegazione combinato ha funzionato in modo straordinario. Utilizzando lo strumento della "lente d'ingrandimento" per identificare prima i fattori più importanti, i ricercatori sono stati in grado di guidare il simulatore "e se" per trovare le migliori soluzioni molto più velocemente.

Lo studio ha dimostrato che questo approccio combinato rendeva le spiegazioni significativamente più efficienti. Quando i ricercatori hanno chiesto al computer di trovare i cambiamenti minimi necessari per trasformare un rifiuto in un'approvazione, il vecchio metodo richiedeva a un richiedente di immaginare di cambiare circa tre cose contemporaneamente. Con il nuovo metodo guidato, il richiedente doveva immaginare di cambiare solo circa due cose. Questa riduzione della complessità rende il consiglio molto più facile da comprendere e da attuare per un essere umano. Il sistema ha generato con successo suggerimenti validi il cento per cento delle volte, dimostrando che poteva trovare in modo affidabile un percorso verso un esito diverso senza infrangere le regole del modello.

Oltre a rendere il processo più chiaro, i ricercatori hanno utilizzato questo framework per cercare l'ingiustizia. Hanno scoperto che i modelli trattavano le diverse categorie di persone in modo differente, anche quando i richiedenti avevano profili finanziari simili. Ad esempio, gli uomini single venivano segnalati come ad alto rischio più spesso degli uomini sposati o vedovi, anche quando le loro situazioni finanziarie erano comparabili. L'analisi ha mostato che il modello era più severo con gli uomini single, richiedendo loro miglioramenti finanziari maggiori per ottenere l'approvazione. Utilizzando gli strumenti combinati, i ricercatori sono stati in grado di individuare esattamente dove avveniva questo pregiudizio. Hanno visto che la mancanza di un conto corrente danneggiava i punteggi degli uomini single più di quanto danneggiasse quelli degli uomini sposati, suggerendo che il modello avesse appreso un pregiudizio nascosto dai dati storici su cui era stato addestrato.

I ricercatori hanno anche scoperto che i fattori più potenti in queste decisioni non erano i dettagli demografici come l'età o il genere, ma le concrete realtà finanziarie. Lo stato di un conto corrente e la storia dei rimborsi del credito erano le forze dominanti che guidavano le decisioni. Questa è una scoperta rassicurante, poiché suggerisce che i modelli si concentrino sulla reale capacità di rimborsare piuttosto che su caratteristiche personali irrilevanti. Tuttavia, lo studio ha anche evidenziato che anche quando i fattori principali sono equi, il modo in cui il modello li pesa può comunque creare esiti diseguali per diversi gruppi. Il metodo di spiegazione combinato è stato in grado di esporre queste sottili disuguaglianze, mostrando esattamente quanto sforzo extra un gruppo dovesse esercitare rispetto a un altro per ottenere lo stesso risultato.

In definitiva, questo lavoro suggerisce che non dobbiamo scegliere tra un modello intelligente e uno equo e comprensibile. Intrecciando la capacità di spiegare il passato con la capacità di suggerire un futuro migliore, le istituzioni finanziarie possono costruire sistemi che siano sia accurati che trasparenti. Lo studio dimostra che, quando guidiamo la ricerca di soluzioni utilizzando i fattori più importanti, possiamo offrire ai richiedenti consigli chiari e attuabili che rispettino le loro circostanze specifiche. Questo approccio va oltre il semplice dire a una persona che le è stato negato un credito; offre una tabella di marcia concreta e giusta su come potrebbero migliorare la propria posizione, garantendo che la tecnologia che serve le nostre vite finanziarie rimanga responsabile nei confronti delle persone che influenza.