Joint Estimation of Credit Risk in Consumer Lending: A Multi-Gate Mixture-of-Experts Approach

Sintesi Tecnica: Stima Congiunta del Rischio di Credito nel Prestito al Consumo tramite Multi-Gate Mixture-of-Experts

Definizione del Problema

Nella gestione del rischio di credito nel prestito al consumo, la gestione del rischio si basa sul calcolo della Perdita Attesa (Expected Loss, EL), che è il prodotto della Probabilità di Default (PD) e della Perdita in Caso di Default (LGD). La pratica standard del settore prevede la stima sequenziale di PD e LGD utilizzando modelli separati (ad esempio, regressione logistica, XGBoost o LightGBM). Questo approccio presenta tre limitazioni primarie:

1. Sottoutilizzo delle Informazioni Condivise: PD e LGD dipendono da caratteristiche sovrapposte del mutuatario e del prestito (ad esempio, capacità di rimborso, leva finanziaria, storia creditizia), ma la modellazione sequenziale tratta questi come problemi indipendenti, fallendo nel sfruttare le rappresentazioni condivise.
2. Propagazione dell'Errore: Poiché l'EL è il prodotto della PD predetta e della LGD predetta, gli errori in uno dei due modelli componenti si cumulano nella stima finale dell'EL.
3. Disallineamento degli Obiettivi: L'ottimizzazione delle metriche dei singoli componenti (ad esempio, l'AUC della PD o la MAE della LGD) non garantisce la calibrazione ottimale della perdita attesa combinata, che è l'input critico per il capitale regolamentare e il pricing basato sul rischio.

Inoltre, la stima della LGD affronta una sfida specifica di censura a destra (right-censoring), in cui i prestiti sono ancora attivi o presentano storie di recupero incomplete al momento dell'analisi, distorcendo la distribuzione empirica della severità della perdita.

Metodologia

Lo studio propone un framework Multi-Gate Mixture-of-Experts (MMoE) per la stima congiunta di PD e LGD. Questa architettura è progettata per consentire la condivisione selettiva dei parametri, permettendo ai task di utilizzare diverse combinazioni di reti "expert" condivise.

Dati e Pre-elaborazione:

• Fonte: Dati dei prestiti di Lending Club (anni di origini 2013–2016).
• Filtraggio: Per affrontare la censura a destra, il campione è stato limitato ai prestiti che hanno raggiunto la maturità contrattuale alla data di osservazione e che avevano uno stato terminale di "Interamente Pagato" (Fully Paid) o "Cancellato" (Charged Off).
• Suddivisione: Suddivisione cronologica in set di training (2013–2014), validazione (2015) e test (gennaio–febbraio 2016).
• Target:
  • PD: Indicatore binario (1 per Charged Off, 0 per Fully Paid).
  • LGD: Tasso di perdita economica netta per i prestiti in default, calcolato come $1 - \frac{\text{Capitale Totale Recuperato} + \text{Recuperi} - \text{Commissioni di Recupero}}{\text{Importo Finanziato}}$. I prestiti non in default ricevono un valore sentinella ed sono esclusi dal calcolo della perdita LGD.

Architettura del Modello:

• Expert: Un pool condiviso di $K=4$ reti expert. Ogni expert è un Multi-Layer Perceptron (MLP) con due strati nascosti (dimensioni 128 e 64), che utilizza batch normalization, attivazione ReLU e dropout (0.2).
• Meccanismi di Gating: Due reti di gating specifiche per task (una per PD, una per LGD) calcolano pesi soft su un pool di expert utilizzando una funzione softmax. Ciò consente al modello di instradare le feature di input verso diverse miscele di expert a seconda del task.
• Heads (Teste): Teste di predizione dedicate per PD (attivazione sigmoidale) e LGD (regressione limitata).
• Funzione di Perdita: Il modello ottimizza un obiettivo combinato utilizzando l'incertezza omoschedastica (homoscedastic uncertainty weighting) (Kendall et al., 2018). Questo approccio apprende i parametri di log-varianza ($s_{PD}, s_{LGD}$) per bilanciare automaticamente la Binary Cross-Entropy loss per la PD e la Mean Squared Error (MSE) per la LGD (calcolata solo sulle osservazioni in default).

Baseline:
Il modello MMoE viene confrontato con:

1. XGBoost Sequenziale: Classificatori/regressori separati per PD e LGD.
2. LightGBM Sequenziale: Classificatori/regressori separati per PD e LGD.
3. Hard-Sharing Multitask Learning (MTL): Un singolo tronco MLP condiviso con teste di output separate, che rappresenta la piena condivisione dei parametri senza routing selettivo.

Metriche di Valutazione:

• Metriche dei Componenti: AUC-ROC per la PD; Mean Absolute Error (MAE) per la LGD.
• Metrica Primaria: EL-Cal RMSE (Expected Loss Calibration Root Mean Squared Error). Questa misura l'accordo tra i tassi di EL previsti e quelli realizzati attraverso i bucket decisili del portafoglio.

Risultati Chiave

1. Calibrazione Superiore della Perdita Attesa:
Sebbene i modelli sequenziali e i modelli multitask mostrino prestazioni comparabili sulle metriche dei singoli componenti (PD AUC e LGD MAE), gli approcci di stima congiunta superano significativamente le baseline sequenziali nella calibrazione dell'EL.

• Gli XGBoost e LightGBM sequenziali hanno prodotto valori di EL-Cal RMSE rispettivamente di 0.1114 e 0.1016.
• Il modello Hard-Sharing MTL ha ridotto questo valore a 0.0222.
• Il modello MMoE ha ottenuto l'EL-Cal RMSE più basso, pari a 0.0202, rappresentando un miglioramento del 9.0% rispetto al benchmark di hard-sharing.

2. Prestazioni Specifiche per Segmento:
I benefici di MMoE non sono uniformi attraverso lo spettro del rischio di credito:

• Basso Rischio (Grades A–B): L'hard-sharing MTL ha leggermente superato MMoE (0.0098 vs 0.0303 EL-Cal RMSE), probabilmente perché i tassi di perdita sono bassi e omogenei in questo segmento, offrendo scarso margine per il routing specifico per task.
• Rischio Medio (Grades C–D): MMoE ha ridotto l'EL-Cal RMSE di circa il 18.3% rispetto all'hard sharing.
• Alto Rischio (Grades E–G): MMoE ha ridotto l'EL-Cal RMSE di circa il 3.5% rispetto all'hard sharing.

3. Diagnostica dei Pesi di Gating:
L'analisi dei pesi di gating appresi ha rivelato che il modello utilizza efficacemente il routing selettivo:

• Differenziazione dei Task: Il gate della PD instrada principalmente in base a una dimensione di "qualità del credito" (ad esempio, punteggio FICO, tasso di interesse), mentre il gate della LGD incorpora variabili più specifiche per la severità della perdita (ad esempio, dimensione dell'esposizione, saldi rotativi, storia lavorativa).
• Segmentazione del Rischio: Man mano che la qualità del credito peggiora (passando dal Grado A al Grado E–G), i pattern di routing cambiano sistematicamente. Ad esempio, il gate della PD sposta il peso verso gli expert associati allo stress creditizio, mentre il gate della LGD rialloca il peso dagli expert associati a saldi più elevati a quelli associati a profili di rischio più alti. Ciò conferma che il modello apprende miscele di expert distinte per diversi task e segmenti di mutuatari.

4. Robustezza:
L'analisi di sensibilità sul numero di expert ($K \in \{2, 4, 6, 8\}$) ha mostrato che $K=4$ ha fornito le migliori prestazioni. L'aumento della capacità a $K=8$ ha degradato le prestazioni, suggerendo che un eccesso di capacità può destabilizzare il meccanismo di routing.

Significato e Rivendicazioni

Il documento rivendica tre contributi primari alla letteratura e alla pratica della modellazione del rischio di credito:

1. Spostamento del Focus della Valutazione: Lo studio sottolinea che l'obiettivo ultimo della modellazione del rischio di credito è la calibrazione della perdita attesa combinata, non solo l'accuratezza dei singoli componenti. Dimostra che modelli con simili PD AUC e LGD MAE possono produrre stime di EL drasticamente diverse, sostenendo che le metriche a livello di componente sono insufficienti per valutare i modelli di rischio operativo.
2. Adattamento di MMoE al Rischio di Credito: Adatta con successo l'architettura Multi-Gate Mixture-of-Experts alla stima congiunta di PD e LGD. I risultati validano che la condivisione selettiva dei parametri (tramite gate specifici per task) fornisce un valore aggiuntivo rispetto sia alla stima sequenziale che all'hard-sharing multitask learning, in particolare nei segmenti di rischio medio-alto dove la relazione tra l'insorgenza del default e la severità della perdita è più complessa.
3. Evidenza Empirica del Routing Selettivo: Lo studio fornisce prove a livello di portafoglio e di segmento che il routing selettivo migliora la calibrazione. L'analisi dei pesi di gating offre una prova descrittiva che il modello impara a utilizzare diverse combinazioni di rappresentazioni condivise per PD e LGD, e che tali strategie di routing variano sistematicamente attraverso i segmenti di rischio creditizio.

Gli autori concludono che, sebbene la stima congiunta contribuisca alla maggior parte del miglioramento nella calibrazione della perdita attesa, la capacità dell'architettura MMoE di indirizzare i task verso specifici mix di expert fornisce un ulteriore guadagno statisticamente significativo, rendendola un framework flessibile per la modellazione di esiti di rischio di credito correlati ma distinti.