Transfer Learning for Loan Recovery Prediction under Distribution Shifts with Heterogeneous Feature Spaces

Dit paper introduceert FT-MDN-Transformer, een nieuw model dat transfer learning en een Transformer-architectuur combineert om de voorspelling van herstelpercentages bij leningen te verbeteren in data-schaarse omgevingen met heterogene kenmerken en distributieveranderingen.

De kern

Stel je voor dat je een verzekeraar bent die probeert te voorspellen hoeveel geld er terugkomt als een klant niet kan betalen (een "uitval"). Dit percentage heet de terugvorderingsgraad (Recovery Rate).

Het probleem? In de echte wereld gebeuren uitvallen zelden. Het is alsof je probeert te leren hoe je een auto moet repareren, maar je hebt maar één auto die kapot is gegaan. Je hebt te weinig ervaring om een goede voorspelling te doen.

Hier komt dit wetenschappelijke papier om de hoek kijken. Het introduceert een slimme nieuwe manier om dit probleem op te lossen, genaamd FT–MDN–Transformer. Laten we dit uitleggen met een paar alledaagse metaforen.

1. Het Probleem: De "Kleine Winkel" vs. de "Grote Supermarkt"

Stel je twee winkels voor:

• De Grote Supermarkt (Bron): Heeft duizenden klanten, duizenden uitvallen en heel veel gegevens over wat er gebeurt als iemand niet betaalt. Ze weten precies hoe het werkt.
• De Kleine Winkel (Doel): Heeft maar een paar klanten en heel weinig uitvallen. Ze hebben te weinig data om zelf een goed systeem te bouwen.

Normaal gesproken zou de kleine winkel moeten wachten tot ze genoeg data hebben. Maar dat duurt te lang. De oplossing? Transfer Learning (Overdrachtsleren). De kleine winkel leert van de grote supermarkt.

Maar er is een addertje onder het gras:
De grote supermarkt gebruikt een heel ander systeem dan de kleine winkel.

• De supermarkt vraagt om: Naam, Leeftijd, Woonplaats, Gebruikte Creditcard.
• De kleine winkel vraagt om: Naam, Leeftijd, Type Huurcontract, Herkomst van het Geld.

Ze hebben wel iets gemeen (Naam, Leeftijd), maar de rest is anders. De meeste AI-modellen gaan hierop vastlopen omdat ze niet weten hoe ze met die "verschillende vragenlijsten" om moeten gaan.

2. De Oplossing: De "Meester-Bakker" met een Magische Schort

De auteurs hebben een nieuw model gebouwd, de FT–MDN–Transformer. Laten we dit zien als een meester-bakker die voor beide winkels werkt.

• De Magische Schort (Token-maskering):
  De bakker draagt een speciale schort. Als hij in de grote supermarkt werkt, gebruikt hij alle gereedschappen. Als hij naar de kleine winkel gaat, ziet hij dat er gereedschappen ontbreken (bijv. geen "Creditcard"-sensor). In plaats van te zeggen "Ik kan niet werken!", past hij zijn schort aan. Hij bedekt de ontbrekende plekken met een magisch masker en gebruikt alleen de gereedschappen die er wel zijn. Hij kan dus moeiteloos schakelen tussen verschillende winkels zonder dat zijn hoofd erbij omverwaait.

• De Magische Voorspelling (Mixture Density):
  De meeste AI-modellen geven je één getal: "De kans op terugbetaling is 60%."
  Dit is als een weersvoorspelling die alleen zegt: "Het regent." Maar is het een lichte motregen of een orkaan?
  De nieuwe bakker (FT–MDN–Transformer) geeft je een volledig weerbeeld. Hij zegt: "Er is een kans dat het een lichte motregen is, maar er is ook een kans op een orkaan, en hier is de kansverdeling voor beide."
  Voor verzekeraars is dit cruciaal. Ze willen niet alleen het gemiddelde weten, maar ook weten hoe groot het risico is op een slecht scenario (de orkaan).

3. Wat hebben ze ontdekt? (De Proef)

De auteurs hebben dit getest op twee manieren:

1. Echte Data: Ze namen echte data van een grote bank (GCD) en probeerden het toe te passen op een dataset van obligaties (UP5). Het waren twee heel verschillende werelden (leningen vs. obligaties).
2. Simulatie: Ze bouwden een virtuele wereld waar ze de regels zelf konden veranderen om te zien wat er gebeurt als de wereld verandert.

De resultaten:

• Wanneer het werkt: Als de kleine winkel heel weinig data heeft, helpt de "meester-bakker" enorm. Hij kan zijn kennis van de grote supermarkt gebruiken om de kleine winkel te redden, zelfs als de vragenlijsten (features) niet helemaal overeenkomen.
• Wanneer het lastig is: Als de wereld zelf verandert (bijvoorbeeld: in de grote supermarkt betalen mensen altijd terug, maar in de kleine winkel is de economie ingestort en betalen niemand), dan helpt het oude leren niet meer. Dit noemen ze "Label Shift". Als de basisrealiteit te anders is, moet je toch opnieuw leren.
• De winst: Het model is veel flexibeler dan de oude methoden (zoals XGBoost). Die oude methoden vallen vaak uit als de vragenlijst verandert. De nieuwe bakker past zich aan.

Samenvatting in één zin

Dit papier introduceert een slimme AI die kan leren van een rijke bron (veel data) om een arme bron (weinig data) te helpen, zelfs als ze verschillende vragen stellen, en die niet alleen een simpel getal voorspelt, maar een heel plaatje van de mogelijke risico's schetst.

Voor de praktijk: Voor banken en verzekeraars betekent dit dat ze nu beter kunnen inschatten wat er gebeurt als klanten niet betalen, zelfs als ze maar weinig eigen ervaring hebben, zolang ze maar een beetje gelijkenis hebben met andere, grotere banken. Maar ze moeten wel oppassen als de economische situatie drastisch verandert.

Technische samenvatting

1. Probleemstelling

Het paper adresseert twee fundamentele uitdagingen bij het modelleren van herstelpercentages (Recovery Rates, RR) in de kredietrisicobeheer:

• Data-schaarste: Hersteluitkomsten worden alleen waargenomen bij wanbetaling (default). In veel portefeuilles (bijv. niche-segmenten of kleine banken) zijn dergelijke gebeurtenissen zeldzaam, wat leidt tot onvoldoende data voor het trainen van robuuste modellen.
• Heterogeniteit en Distributieveranderingen: Traditionele Transfer Learning (TL) methoden gaan vaak uit van identieke feature-schema's tussen bron- en doeldomeinen. In de praktijk verschillen portefeuilles echter sterk in:
  • Feature-schema's: Sommige variabelen zijn aanwezig in de bron maar ontbreken in het doel (en vice versa).
  • Distributieveranderingen (Distribution Shifts): Er kunnen verschillen zijn in covariaten (covariate shift), de relatie tussen variabelen en labels (conditional shift), of de verdeling van de labels zelf (label shift).
  • Complexiteit van RR: Herstelpercentages vertonen vaak een bimodale verdeling (bijv. hoge herstel bij onderpand, lage herstel zonder onderpand) en zware staarten, wat moeilijk te modelleren is met eenvoudige punt-schattingen.

Het doel is om een TL-aanpak te ontwikkelen die effectief is ondanks beperkte doel-data, heterogene feature-ruimtes en verschillende soorten distributieveranderingen.

2. Methodologie: FT–MDN–Transformer

De auteurs introduceren FT–MDN–Transformer, een nieuw architectuurontwerp dat specifiek is ontworpen voor tabulaire data in TL-scenario's. De kerncomponenten zijn:

• Feature-wise Tokenisatie:

  • In plaats van alle features te concateneren tot één vector, wordt elke feature afzonderlijk gemapt naar een 'token' in een vaste sequentie.
  • Masking Mechanisme: Features die ontbreken in een specifiek domein (bijv. in het doel-domein maar wel in de bron) worden vervangen door een leere 'PAD'-token en gemaskeerd in de attention-mechanismen. Dit voorkomt dat het model probeert informatie te extraheren uit niet-bestaande data.
  • Categorische Embeddings: Categorieën worden verwerkt via leerbare lookup-tabellen. Voor categorieën die alleen in het doel-domein voorkomen, worden nieuwe embeddings geïnitieerd tijdens de fine-tuning-fase, terwijl embeddings voor gedeelde categorieën worden hergebruikt.

• Transformer Backbone:

  • Het model gebruikt een FT-Transformer (Feature Tokenized Transformer) backbone die via self-attention complexe interacties tussen features leert, zelfs als de feature-set verandert.

• Mixture Density Network (MDN) Head:

  • In plaats van een enkele punt-schatting (mean) te voorspellen, gebruikt de output-laag een MDN.
  • Dit genereert een volledige conditionele verdeling $P(R|X)$, gemodelleerd als een som van Gaussische componenten (mixture model).
  • Dit stelt het model in staat om bimodaliteit (verschillende herstelregimes) en heteroscedasticiteit (variabele onzekerheid) te vangen, wat cruciaal is voor risicomanagement en stress-tests.

• Twee-staps Transfer Strategie:

  1. Pre-training: Het model wordt getraind op een rijk bron-domein (bijv. GCD dataset). Dit kan gebeuren op de volledige feature-set of alleen op de gedeelde features.
  2. Fine-tuning: Het model wordt aangepast aan het doel-domein (bijv. UP5 dataset). Tijdens deze fase worden tokens voor ontbrekende bron-features gemaskeerd, en nieuwe doel-specifieke features worden geleerd zonder de reeds geleerde structuren te vernietigen.

3. Belangrijkste Bijdragen

1. Nieuwe Architectuur: De ontwikkeling van FT–MDN–Transformer, de eerste tabulaire Transformer die TL combineert met probabilistische uitkomsten (MDN) en expliciet omgaat met heterogene feature-schema's via masking.
2. Empirische Validatie: Een uitgebreide studie met twee real-world datasets (Global Credit Data als bron, een obligatie-dataset UP5 als doel) die laat zien dat het model werkt onder realistische beperkingen (kleine steekproeven, gedeeltelijke overlap van features).
3. Gestuurde Simulatie Framework: Een Monte Carlo simulatie-omgeving die systematisch covariaten-, conditionele- en label-shifts kan manipuleren. Dit stelt de auteurs in staat om de grenzen van TL te testen en de impact van specifieke veranderingen te isoleren, wat in real-world data vaak onmogelijk is.

4. Resultaten

De evaluatie omvat zowel real-world data als synthetische simulaties:

• Prestatie bij Data-schaarste: FT–MDN–Transformer presteert aanzienlijk beter dan baseline modellen (XGBoost, Random Forest, MLP) wanneer de doel-dataset klein is. De prestatieverbetering is het grootst bij zeer kleine steekproeven ($n < 500$).
• Robuustheid tegen Schema-mismatch:
  • Het model slaagt erin kennis over te dragen zelfs als de feature-sets niet volledig overlappen.
  • Baseline modellen zoals XGBoost presteren slecht wanneer features tijdens de fine-tuning ontbreken die wel in de pre-training waren gebruikt (schema-mismatch).
  • De "Shared-only" pre-training strategie (trainen op alleen de gedeelde features) bleek in de real-world studie effectiever dan pre-training op de volledige, heterogene bron-set, omdat dit bias voorkomt.
• Impact van Shift-types:
  • Covariate en Conditional Shift: Het model is zeer robuust tegen veranderingen in de verdeling van de input-variabelen of de relatie tussen input en output.
  • Label Shift: Dit blijft de grootste uitdaging. Als de verdeling van de herstelpercentages zelf (de labels) sterk verschilt tussen bron en doel, neemt het voordeel van transfer learning af, zelfs na fine-tuning.
• Probabilistische Voorspelling: Het model levert niet alleen een punt-schatting, maar een volledige verdeling. De voorspelde verdelingen volgen de empirische verdelingen nauwkeurig, inclusief de bimodale structuur, wat waardevoller is voor kapitaalvereisten en stress-tests dan alleen een gemiddelde.

5. Betekenis en Conclusie

Dit paper biedt een praktische oplossing voor kredietrisicomanagers die te maken hebben met data-schaarste en heterogene data-omgevingen.

• Praktische Toepassing: Het model maakt het mogelijk om modellen te trainen voor niche-portefeuilles door gebruik te maken van data van grotere, gerelateerde portefeuilles, zelfs als de beschikbare variabelen verschillen.
• Risicobeheer: Door de volledige verdeling te modelleren in plaats van alleen een gemiddelde, krijgen risicomanagers inzicht in staartrisico's en multimodale scenario's, wat essentieel is voor regulering (zoals Basel en IFRS 9).
• Beperkingen: De studie waarschuwt dat transfer learning niet wonderbaarlijk is bij grote verschillen in de onderliggende herstelverdeling (label shift). In dergelijke gevallen is continu monitoren van drift en mogelijk hertraining noodzakelijk.

Kortom, de auteurs tonen aan dat een schema-flexibele, distributie-bewuste Transformer-architectuur een krachtig instrument is om de voorspellende nauwkeurigheid van herstelpercentages te verbeteren in data-arme contexten, mits de distributies van bron en doel redelijk overeenkomen.