A Counterfactual Diagnostic Framework for Explaining KS Deterioration in Credit Risk Model Validation

Questo articolo propone un quadro diagnostico controfattuale per spiegare il deterioramento della statistica KS nella validazione dei modelli di rischio creditizio, attribuendo sistematicamente le cause a variabilità campionaria, cambiamenti nella composizione del portafoglio, shift delle covariate o deriva del modello, al fine di garantire valutazioni delle violazioni delle prestazioni più coerenti, trasparenti e difendibili.

L'essenziale

🕵️‍♂️ Il Detective dei Prestiti: Come capire perché un modello "invecchia" male

Immagina che una banca sia come un cuoco esperto che ha una ricetta perfetta per preparare un piatto delizioso (il modello di credito). Questa ricetta serve a distinguere chi mangerà tutto e pagherà il conto (i clienti "buoni") da chi lascerà il piatto mezzo vuoto e scapperà senza pagare (i clienti "cattivi").

Per anni, questa ricetta ha funzionato benissimo. Ma un giorno, il cuoco nota che il punteggio di successo del piatto è sceso. In termini bancari, il KS (un numero che misura quanto bene il modello separa i buoni dai cattivi) è diminuito.

La domanda è: È colpa della ricetta? O è colpa degli ingredienti?

Spesso, quando le banche vedono questo calo, vanno nel panico e pensano: "La ricetta è rotta! Buttiamola via e ricominciamo!". Ma questo è un errore. A volte la ricetta è perfetta, ma gli ingredienti sono cambiati (magari oggi usiamo pomodori più acidi di ieri).

Questo articolo propone un metodo di indagine in 4 passaggi (un "Framework Diagnostico") per capire esattamente cosa sta succedendo, prima di prendere decisioni costose. È come avere una guida passo-passo per un detective.

---

🚦 I 4 Passaggi dell'Investigazione

1. Il Controllo della "Sfortuna" (Variabilità Statistica)

L'analogia: Immagina di lanciare una moneta. Se lanci 10 volte e esce "Testa" 8 volte, pensi che la moneta sia truccata? No, è solo sfortuna. Se la lanci 1000 volte e esce "Testa" 800 volte, allora la moneta è truccata.

• Cosa fa il metodo: Prima di urlare "Allarme!", il metodo chiede: "È davvero un calo grave o è solo un'oscillazione casuale?". Usa un trucco matematico (chiamato bootstrap) per simulare migliaia di scenari possibili.
• Il verdetto: Se il calo è solo "sfortuna", si chiude il caso. Se è reale e grave, si passa al passo successivo.

2. Il Controllo degli "Ingredienti" (Cambiamento del Portafoglio)

L'analogia: Immagina che il cuoco abbia sempre cucinato per un ristorante di lusso (clienti ricchi). Un giorno, il proprietario decide di aprire anche un fast-food accanto. Il cuoco usa la stessa ricetta per entrambi.
Il punteggio di successo crolla. È colpa della ricetta? No! È colpa del fatto che ora sta cucinando per gente diversa (ingredienti diversi).

• Cosa fa il metodo: Il metodo guarda se la banca ha cambiato i suoi clienti.
  • Ha aperto nuovi prodotti? (Nuovi ingredienti).
  • Ha chiuso vecchi prodotti? (Ingredienti rimossi).
  • Ha cambiato le proporzioni? (Più clienti giovani, meno anziani).
• Il verdetto: Se il calo del punteggio è spiegato dal fatto che la "mappa dei clienti" è cambiata, allora non serve cambiare la ricetta. Serve solo monitorare i nuovi clienti separatamente. Se il problema persiste anche dopo aver corretto per questi cambiamenti, si passa al passo 3.

3. Il Controllo del "Terreno di Gioco" (Spostamento delle Variabili)

L'analogia: Immagina di giocare a calcio. La tua squadra è la stessa, la tattica è la stessa. Ma oggi il campo è fangoso e piovoso, mentre ieri era asciutto. La squadra gioca peggio, non perché i giocatori sono diventati brutti, ma perché il terreno è cambiato.

• Cosa fa il metodo: A volte, anche se la "mappa" dei clienti è la stessa, le loro caratteristiche interne sono cambiate. Forse oggi i clienti hanno più debiti o redditi più bassi rispetto a ieri, anche se appartengono alla stessa categoria.
• Il trucco: Il metodo usa una bilancia magica (chiamata pesi di importanza) per dire: "Se provassimo a far giocare la nostra vecchia squadra su questo nuovo campo fangoso, come si comporterebbe?".
• Il verdetto: Se la vecchia squadra, adattata al nuovo campo, performa bene quanto la squadra di oggi, allora il problema è il campo (i dati sono cambiati), non la squadra. Se invece la squadra performa male anche sul campo adattato, allora c'è un problema vero.

4. L'Ultimo Passo: La Ricetta è Rotta? (Deterioramento Intrinseco)

L'analogia: Hai controllato la sfortuna, hai controllato gli ingredienti e hai controllato il campo. E la squadra gioca ancora male? Allora il problema è che i giocatori hanno perso la forma o la tattica non funziona più.

• Cosa fa il metodo: Se dopo tutti i controlli precedenti il punteggio è ancora basso, allora è la prova definitiva che il modello non funziona più.
• Il verdetto: È il momento di agire. Bisogna ricalibrare la ricetta, cambiare gli ingredienti o, nel caso peggiore, scrivere una nuova ricetta da zero.

---

💡 Perché è importante?

Prima di questo metodo, le banche spesso reagivano in modo caotico: vedevano un calo e cambiavano subito tutto, sprecando soldi e tempo, oppure ignoravano problemi veri perché pensavano fosse solo "rumore".

Questo articolo offre una mappa chiara:

1. Non fatevi prendere dal panico per la sfortuna.
2. Controllate se è colpa dei nuovi clienti.
3. Controllate se è colpa del "terreno" (i dati).
4. Solo se tutto il resto è a posto, ammettete che la ricetta è vecchia.

È un modo per rendere le decisioni delle banche più giuste, trasparenti e difendibili davanti ai regolatori, assicurandosi che si intervenga solo quando è davvero necessario.

Sommario tecnico

Titolo

Un Framework Diagnostico Controfattuale per Spiegare il Deterioramento della Statistica KS nella Validazione dei Modelli di Rischio di Credito

1. Il Problema

Nella gestione del rischio di credito, la statistica Kolmogorov-Smirnov (KS) è ampiamente utilizzata per monitorare la capacità discriminatoria dei modelli. Un calo significativo (deterioramento) della KS è spesso un trigger formale per le revisioni di governance e richiede l'identificazione della causa radice.
Tuttavia, l'attuale pratica diagnostica presenta diverse criticità:

• Approccio Ad Hoc: Le indagini sono spesso condotte su base caso per caso, basandosi sul giudizio individuale piuttosto che su un framework analitico standardizzato.
• Ambiguità delle Cause: Un deterioramento osservato della KS può derivare da fenomeni fondamentalmente diversi: variabilità campionaria, cambiamenti nella composizione del portafoglio (es. nuovi prodotti o canali), covariate shift (cambiamenti nella distribuzione delle variabili di input) o vero e proprio deterioramento intrinseco del modello (concept drift).
• Rischi Operativi: Confondere questi driver o investigarli senza un ordine logico porta a due rischi opposti: sottostimare un fallimento reale del modello o sovrastimare il problema reagendo eccessivamente a "rumore" causato da cambiamenti nella composizione del business.

2. Metodologia: Il Framework Diagnostico a 4 Passi

L'autore propone un framework sequenziale che attribuisce il deterioramento osservato della KS a cause specifiche in un ordine gerarchico. Ogni passo genera una condizione di gateway quantitativa che determina se procedere al passo successivo o fermarsi.

Passo 1: Conferma Statistica del Deterioramento

Prima di cercare cause, si deve verificare se il calo è reale o dovuto alla variabilità campionaria.

• Metodo: Utilizzo di un bootstrap stratificato sui campioni di riferimento e corrente per costruire un intervallo di confidenza (es. 95%) per la variazione percentuale della KS (%∆KS).
• Logica di Decisione:
  • Se l'intervallo include lo 0: Nessun deterioramento statisticamente supportato.
  • Se l'intervallo è sotto zero ma sopra la soglia di governance ($\tau$): Deterioramento significativo ma non materiale.
  • Se l'intero intervallo è sotto la soglia $\tau$: Violazione materiale confermata. Si procede al Passo 2.

Passo 2: Decomposizione per Cambiamenti di Regime (Composizione del Business)

Si analizza se il deterioramento è dovuto a cambiamenti nella struttura del portafoglio (es. nuovi prodotti, uscita di segmenti, cambiamenti nei mix) piuttosto che alla capacità intrinseca del modello.

• Decomposizione: La variazione della KS viene scomposta in quattro componenti:
  1. Effetto Universo Corrente: Segmenti presenti solo nel periodo corrente (nuovi prodotti/canali).
  2. Effetto Universo di Riferimento: Segmenti presenti solo nel periodo di riferimento (usciti dal portafoglio).
  3. Effetto Mix (nel supporto comune): Variazioni nelle proporzioni relative dei segmenti comuni ai due periodi.
  4. Gap di Performance Residuo Allineato: Il deterioramento rimanente dopo aver rimosso gli effetti universi e allineato il mix.
• Azione: Si applicano pesi per allineare il campione di riferimento alla composizione attuale. Se il deterioramento residuo non supera più la soglia di governance, la causa è attribuita alla composizione del business e l'analisi si ferma.

Passo 3: Rilevamento dello Covariate Shift

Se il deterioramento persiste dopo l'allineamento del mix, si verifica se è causato da uno spostamento nella distribuzione delle variabili di input (covariate shift), mantenendo stabile la relazione condizionale tra input e output.

• Metodo: Si utilizza un classificatore di dominio (addestrato per distinguere tra osservazioni di riferimento e correnti) per stimare i pesi di importanza (importance weighting).
• Logica: Si ripesa il campione di riferimento in modo che la sua distribuzione delle covariate corrisponda a quella corrente.
  • Se la KS del riferimento ripesato si avvicina alla KS corrente: Il deterioramento è dovuto allo covariate shift (la popolazione è cambiata, non il modello).
  • Se il gap persiste: Si procede al Passo 4.

Passo 4: Deterioramento Residuo del Modello

Se il deterioramento non è spiegabile né dalla composizione del business né dallo covariate shift, viene attribuito al deterioramento intrinseco del modello (concept drift).

• Cause possibili: Cambiamento nella relazione tra attributi e variabile target, indebolimento dell'ordinamento dei punteggi, o specifiche del modello inadeguate per l'ambiente attuale.
• Azione: Questo è il trigger finale per azioni di governance correttive: ricalibrazione, analisi di sfida, revisione delle feature o riprogettazione completa del modello.

3. Risultati delle Simulazioni

L'autore ha validato il framework attraverso esperimenti di simulazione controllata:

• Passo 1: La simulazione ha dimostrato che l'uso degli intervalli di confidenza bootstrap distingue correttamente tra fluttuazioni casuali e violazioni materiali, evitando falsi positivi e negativi.
• Passo 2: In scenari di "Pure Mix Shift" (cambiamento solo delle proporzioni) e "Universe Change" (nuovi/vecchi prodotti), il framework ha correttamente isolato l'effetto della composizione, fermando l'analisi al Passo 2 senza attribuire erroneamente il problema al modello.
• Passo 3:
  • In uno scenario di puro covariate shift (aumento della popolazione ad alto rischio), il framework ha attribuito il calo della KS allo spostamento della distribuzione, fermandosi al Passo 3.
  • In uno scenario di vero decadimento del modello (con distribuzioni identiche), il framework ha rilevato che il covariate shift non spiegava il gap, procedendo correttamente al Passo 4.

4. Contributi Chiave

1. Decomposizione Formale della KS: Introduce una metodologia matematica rigorosa per separare gli effetti di mix, universo e residuo, cosa che la letteratura esistente non faceva in modo sistematico.
2. Struttura a Gateway Sequenziale: Mappa direttamente i requisiti di governance (come la SR 11-7 della Federal Reserve), fornendo un processo auditabile, riproducibile e proporzionato al rischio.
3. Approccio Controfattuale: Utilizza tecniche di pesatura (bootstrap e importance weighting) per rispondere alla domanda: "Cosa sarebbe successo alla KS di riferimento se il portafoglio avesse avuto la composizione e le covariate attuali?".

5. Significatività e Implicazioni

• Gestione del Rischio Modello: Il framework riduce il rischio di azioni di governance inappropriate, fornendo una spiegazione chiara e difendibile per ogni violazione delle performance.
• Efficienza Operativa: Evita di avviare costosi processi di riprogettazione del modello quando il problema è semplicemente un cambiamento nella composizione del portafoglio o nella distribuzione dei dati.
• Conformità Normativa: Offre un metodo strutturato per soddisfare i requisiti di monitoraggio continuo e investigazione delle cause radice richiesti dalle autorità di vigilanza (es. OCC, Federal Reserve).
• Trasparenza: Rende il processo di validazione trasparente per i revisori interni ed esterni, chiarendo esattamente quale componente del portafoglio o del modello sta guidando il deterioramento.

In sintesi, il paper trasforma la diagnosi del deterioramento della KS da un esercizio qualitativo e soggettivo in un processo quantitativo, strutturato e scientificamente fondato, essenziale per la robustezza dei sistemi di credito moderni.