Transfer Learning for Loan Recovery Prediction under Distribution Shifts with Heterogeneous Feature Spaces

Il documento presenta FT-MDN-Transformer, un'architettura Transformer basata su densità di miscela che utilizza l'apprendimento trasferito per migliorare le previsioni dei tassi di recupero dei prestiti in scenari con scarsità di dati e spazi di caratteristiche eterogenei, superando le prestazioni dei modelli di base soprattutto in presenza di spostamenti di covariate e condizioni.

L'essenziale

🏦 Il Grande Problema: "Abbiamo pochi dati, ma dobbiamo prevedere il futuro"

Immagina di essere un banchiere che deve prevedere quanto denaro riuscirà a recuperare se un cliente non paga il suo prestito (questo si chiama "Tasso di Recupero").

Il problema è che i clienti che non pagano sono rari. È come cercare di imparare a guidare in mezzo alla neve guardando solo due foto di incidenti passati. Non hai abbastanza dati per capire le regole del gioco.

Inoltre, ogni banca ha i suoi dati: una banca ha i dati dei prestiti alle navi, un'altra ha i dati delle obbligazioni. I loro "libri di appunti" (i dati) hanno colonne diverse: una parla di "tonnellaggio della nave", l'altra di "tasso di interesse del bond". Sembrano lingue diverse.

🚀 La Soluzione: "Imparare da chi ne sa di più" (Transfer Learning)

L'idea del paper è geniale: invece di imparare da zero con i pochi dati che hai, perché non imparare prima da un banchiere esperto che ha milioni di dati, e poi adattare quella conoscenza alla tua situazione specifica?

È come se un cuoco stellato (che ha lavorato in 100 ristoranti diversi) venisse a lavorare nel tuo piccolo ristorante. Lui sa già come tagliare le verdure, come gestire il fuoco e come condire. Tu gli dai solo le ricette specifiche del tuo menu locale. Lui impara in un attimo, perché ha già le basi.

🤖 Il "Super-Cuoco": FT–MDN–Transformer

Gli autori hanno creato un'intelligenza artificiale speciale chiamata FT–MDN–Transformer. Ecco come funziona, con delle metafore semplici:

1. Il Trucco dei "Post-it" (Token Masking):
   Immagina che il modello sia un detective che legge un dossier.

   • Se il dossier del "Banchiere Esperto" ha una colonna "Tipo di Nave" e il tuo dossier no, il modello non va in tilt. Mette un post-it (un "mask") su quella colonna e dice: "Ok, questa parte non esiste qui, saltiamola".
   • Se il tuo dossier ha una colonna "Codice Fiscale" che l'esperto non ha, il modello impara a leggere quella nuova colonna mentre lavora con te, senza dimenticare quello che ha imparato prima.
   • Risultato: Il modello riesce a lavorare anche se i due "libri di appunti" hanno colonne diverse.

2. Non solo un numero, ma un "Oroscopo" (Mixture Density):
   La maggior parte delle intelligenze artificiali ti dà una sola risposta: "Il recupero sarà del 60%". È come dire "Domani pioverà".
   Il nostro modello, invece, ti dà un oroscopo completo: "C'è il 40% di probabilità che recuperi il 10%, e il 60% di probabilità che recuperi il 90%".

   • Perché è utile? Perché nel mondo reale, i recuperi sono spesso "bimodali": o recuperi quasi tutto (se hai una garanzia solida) o quasi nulla (se non hai nulla). Un numero medio (es. 50%) è inutile perché non esiste nessun caso reale che recuperi esattamente il 50%. Il modello ti mostra la doppia possibilità, aiutandoti a prepararti per lo scenario peggiore.

🧪 La Prova: Simulazioni e Realtà

Gli autori hanno fatto due cose per provare che il loro modello funziona:

1. Il Mondo Virtuale (Simulazione Monte Carlo):
   Hanno creato un "videogioco" finanziario dove hanno generato milioni di prestiti finti. Hanno cambiato le regole del gioco per vedere come reagiva il modello:

   • Cosa succede se cambiano i dati di input? (Es. i tassi di interesse salgono). Il modello resiste bene.
   • Cosa succede se cambiano le regole di recupero? (Es. le leggi cambiano e ora si recupera meno). Qui il modello fa fatica, ma è comunque meglio degli altri.
   • Cosa succede se mancano dati? Il modello impara molto più velocemente degli altri, proprio come il cuoco stellato.

2. Il Mondo Reale (Dati GCD vs UP5):
   Hanno preso dati reali di prestiti aziendali (GCD) e obbligazioni (UP5). Erano molto diversi tra loro.

   • Il modello ha preso la conoscenza dai prestiti aziendali e l'ha adattata alle obbligazioni.
   • Risultato: Anche con pochissimi dati reali sulle obbligazioni, il modello ha previsto i recuperi molto meglio di chi aveva provato a imparare solo dai dati delle obbligazioni.

💡 Le Conclusioni in Pillole

Ecco cosa ci insegna questo studio, tradotto in linguaggio umano:

• Non serve avere tutto: Se hai pochi dati, non disperare. Puoi "rubare" l'intelligenza da un dataset più grande e simile al tuo.
• L'adattabilità è tutto: I vecchi modelli si rompevano se cambiava una colonna del foglio Excel. Il nuovo modello è come un camaleonte: si adatta se mancano colonne o se ne aggiungono di nuove.
• Non guardare solo la media: Nel rischio finanziario, la media inganna. È meglio sapere che ci sono due scenari possibili (tutto o niente) piuttosto che una media noiosa.
• Il limite: Funziona benissimo se le "regole di base" sono simili. Se il mondo cambia completamente (es. da un'economia stabile a una guerra totale), anche il modello esperto fa fatica. Ma finché le regole non cambiano radicalmente, questo approccio è una manna dal cielo per le banche.

In sintesi: Gli autori hanno costruito un "ponte" intelligente che permette di trasferire la saggezza di grandi banche a quelle piccole o specializzate, anche quando parlano "lingue diverse" (dati diversi), aiutandole a non farsi cogliere impreparate dai rischi.

Sommario tecnico

1. Il Problema

La previsione accurata dei tassi di recupero (Recovery Rates - RR), definiti come la frazione dell'esposizione su un prestito recuperata dopo un default (RR = 1 - LGD), è fondamentale per la gestione del rischio creditizio, la determinazione del capitale regolamentare e la pianificazione delle portafogli. Tuttavia, la modellazione dei RR affronta tre sfide principali:

1. Scarsità di dati: In molti portafogli (es. finanza navale, project finance, PMI), i default sono eventi rari. Di conseguenza, il numero di osservazioni di recupero disponibili è limitato, rendendo difficile l'addestramento e la validazione di modelli complessi.
2. Eterogeneità degli spazi delle caratteristiche (Feature Spaces): I portafogli diversi spesso registrano informazioni diverse. Un portafoglio potrebbe avere dettagli sulla garanzia o classificazioni interne assenti in un altro. La maggior parte degli approcci di Transfer Learning (TL) assume spazi di caratteristiche identici, fallendo di fronte a questo disallineamento (schema mismatch).
3. Complessità della distribuzione e Shift Distribuzionali: I RR non seguono distribuzioni semplici; sono spesso multimodali (es. picchi vicini a 0 e 1), asimmetrici e limitati all'intervallo [0, 1]. Inoltre, quando si trasferisce un modello da un dominio sorgente a uno target, si verificano inevitabilmente shift distribuzionali:
   • Covariate Shift: Cambiamenti nella distribuzione delle caratteristiche $P(X)$.
   • Conditional Shift: Cambiamenti nella relazione tra caratteristiche e target $P(R|X)$.
   • Label Shift: Cambiamenti nella distribuzione marginale dei tassi di recupero $P(R)$.

L'obiettivo della ricerca è sviluppare un metodo di Transfer Learning che sia robusto alla scarsità di dati, capace di gestire spazi di caratteristiche eterogenei e in grado di modellare l'intera distribuzione condizionale dei RR, non solo una stima puntuale.

2. Metodologia: FT–MDN–Transformer

Gli autori propongono FT–MDN–Transformer, un'architettura di rete neurale basata su Transformer, specificamente progettata per dati tabulari in contesti di Transfer Learning.

Componenti Chiave dell'Architettura:

1. Tokenizzazione per Caratteristica (Feature-wise Tokenization):

   • Ogni caratteristica (colonna) della tabella viene mappata in un "token" individuale all'interno di una sequenza a lunghezza fissa.
   • Questo permette di gestire dinamicamente l'assenza di caratteristiche: se una caratteristica esiste nel dominio sorgente ma non in quello target, viene sostituita da un token di riempimento (padding token) e mascherata nell'attenzione del Transformer.
   • Le caratteristiche condivise mantengono i loro token pre-addestrati, mentre le nuove caratteristiche target-specifiche vengono inizializzate e apprese durante il fine-tuning.

2. Backbone Transformer:

   • Utilizza blocchi di codificatori con self-attention mascherata per apprendere interazioni complesse (lineari e non lineari) tra le caratteristiche.
   • L'uso di maschere assicura che il modello non utilizzi informazioni provenienti da caratteristiche non presenti nel dominio target, mantenendo la coerenza strutturale.

3. Testa a Densità di Misto (Mixture Density Network - MDN):

   • Invece di prevedere un singolo valore (media), il modello outputta i parametri di una distribuzione di Gaussiana mista: $\hat{p}(R | X) = \sum \alpha_k \mathcal{N}(R | \mu_k, \sigma^2_k)$.
   • Questo permette di catturare la multimodalità (es. scenari di recupero alto vs. basso) e l'eteroschedasticità, fornendo previsioni probabilistiche complete invece di semplici stime puntuali.

Strategia di Transfer Learning:

Il processo avviene in due fasi:

1. Pre-addestramento (Source Domain): Il modello viene addestrato su un portafoglio sorgente ricco di dati. Può avvenire su tutte le caratteristiche sorgente o solo su quelle condivise con il target.
2. Fine-tuning (Target Domain): Il modello viene adattato al portafoglio target (spesso piccolo).
   • Le caratteristiche condivise riutilizzano i pesi pre-addestrati.
   • Le caratteristiche assenti nel target vengono mascherate.
   • Le nuove caratteristiche del target vengono apprese da zero, integrando le rappresentazioni pre-addestrate.

3. Contributi Chiave

1. Nuova Architettura per TL Eterogeneo: Introduzione di FT–MDN–Transformer, il primo modello che combina Transformer per dati tabulari, gestione nativa di spazi di caratteristiche eterogenei (tramite masking e tokenizzazione) e previsione di distribuzioni complete (MDN) per il rischio creditizio.
2. Studio Empirico Reale: Valutazione su dataset reali collegati: GCD (Global Credit Data, prestiti garantiti, sorgente) e UP5 (obbligazioni non garantite, target). Questi dataset presentano una sovrapposizione di caratteristiche molto bassa (solo 37 su oltre 150/250), simulando un caso d'uso reale e difficile.
3. Framework di Simulazione Controllata: Sviluppo di un framework Monte Carlo per generare dati sintetici di recupero con shift distribuzionali controllati (covariate, conditional, label) e diversi gradi di sovrapposizione delle caratteristiche. Questo permette di isolare e analizzare l'impatto di ciascun tipo di shift, cosa impossibile con dati reali puri.

4. Risultati Principali

Studi su Dati Reali (GCD $\to$ UP5):

• Modellazione Distribuzionale: Il modello FT–MDN–T riesce a catturare la struttura bimodale dei RR (picchi vicino a 0 e 1), che i modelli basati su stime puntuali (come XGBoost o MLP standard) tendono a "appiattire" verso la media, perdendo informazioni cruciali sul rischio di coda.
• Gestione delle Caratteristiche: L'uso di embedding nativi per le variabili categoriali e il masking per quelle mancanti ha dimostrato prestazioni superiori rispetto alla codifica dummy (one-hot), specialmente quando i set di categorie non coincidono perfettamente tra sorgente e target.
• Efficacia del Transfer: Il Transfer Learning ha migliorato significativamente le prestazioni (R² e MAE) rispetto all'addestramento solo sul target quando i dati target sono scarsi.
  • La strategia "Shared $\to$ Full" (pre-addestramento solo sulle caratteristiche condivise, poi espansione al set completo target) ha funzionato meglio di "Full $\to$ Full". Pre-addestrare su caratteristiche che poi scompaiono nel target sembra introdurre un bias che ostacola l'adattamento.

Studi di Simulazione (Monte Carlo):

• Robustezza agli Shift:
  • Il modello è molto robusto agli shift di covariate e agli shift condizionali, mantenendo prestazioni elevate anche con differenze significative nelle distribuzioni delle caratteristiche o nelle relazioni feature-label.
  • Lo shift di label (cambiamento nella distribuzione marginale dei RR) rimane la sfida principale. Se la distribuzione dei tassi di recupero cambia drasticamente (es. da prestiti garantiti a non garantiti), i benefici del pre-addestramento diminuiscono, sebbene il modello rimanga più stabile rispetto ai baseline.
• Efficienza del Campione: Il Transfer Learning offre il massimo vantaggio quando i dati target sono estremamente limitati (es. $n_t < 500$). Man mano che il numero di osservazioni target aumenta, i modelli addestrati solo sul target tendono a recuperare il gap, ma FT–MDN–T mantiene un vantaggio di stabilità.
• Confronto con Baseline: Modelli come XGBoost e MLP soffrono notevolmente quando le caratteristiche cambiano tra pre-addestramento e fine-tuning (mismatch dello schema), mentre FT–MDN–T mantiene prestazioni stabili.

5. Significato e Implicazioni

Questo lavoro fornisce indicazioni pratiche fondamentali per i gestori del rischio e i regolatori:

1. Superamento della Scarsità di Dati: Il Transfer Learning è una soluzione praticabile per portafogli di nicchia o piccoli, a condizione che esista una sovrapposizione moderata di caratteristiche e che le distribuzioni di recupero non siano radicalmente diverse.
2. Importanza della Modellazione Distribuzionale: Per la gestione del rischio (stress testing, provisioning), non è sufficiente prevedere una media. La capacità di prevedere l'intera distribuzione (inclusi i rischi di coda e la multimodalità) è cruciale per decisioni regolamentari accurate.
3. Gestione dell'Eterogeneità: Le architetture flessibili che possono gestire spazi di caratteristiche parzialmente sovrapposti senza bisogno di mappature manuali complesse sono essenziali per l'adozione del TL nel settore finanziario reale.
4. Monitoraggio dello Shift: È fondamentale monitorare continuamente lo shift distribuzionale (specialmente lo shift di label) tra sorgente e target. Se la distribuzione dei recupero cambia drasticamente, il trasferimento del modello potrebbe non essere efficace senza correzioni specifiche.

In sintesi, il paper dimostra che combinare architetture Transformer flessibili con la modellazione probabilistica (MDN) permette di superare le barriere tradizionali del Transfer Learning nel credito, rendendo possibile un'apprendimento efficace anche in scenari di dati scarsi e caratteristiche eterogenee, pur con i limiti imposti da grandi cambiamenti nella distribuzione dei target.