Transfer Learning for Loan Recovery Prediction under Distribution Shifts with Heterogeneous Feature Spaces

Diese Studie stellt FT-MDN-Transformer vor, ein auf Transfer Learning basierendes Mixture-Density-Transformer-Modell für heterogene Merkmalsräume, das die Vorhersage von Kreditausfallquoten in datenarmen Zielbereichen unter Verteilungsverschiebungen signifikant verbessert und dabei sowohl präzise Punktschätzungen als auch informative Wahrscheinlichkeitsverteilungen liefert.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein erfahrener Kredit-Experte, der seit Jahren für eine große Bank in den USA arbeitet. Sie kennen sich perfekt damit aus, wie viel Geld zurückkommt, wenn ein Kunde einen Kredit nicht mehr zurückzahlen kann (das nennt man „Rückgewinnungsrate" oder Recovery Rate). Sie haben Tausende von Fällen analysiert und wissen genau, welche Muster sich abzeichnen.

Jetzt wird Sie die Bank nach Singapur versetzt. Dort soll ein neues Geschäft mit Anleihen (Bonds) aufgebaut werden. Das Problem: In Singapur gibt es bisher nur sehr wenige Fälle von ausgefallenen Anleihen. Sie haben kaum Daten, um ein genaues Modell zu bauen.

Hier kommt die Idee des Transfer Learning (Wissenstransfer) ins Spiel: „Warum nutzen wir nicht das Wissen aus den US-Krediten, um das neue Anleihen-Geschäft zu starten?"

Das klingt einfach, aber es gibt zwei große Hürden, die dieses Papier löst:

1. Die Hürde der „unterschiedlichen Aktenordner" (Heterogene Feature Spaces)

In den USA haben Sie in den Aktenordnern des Kunden vielleicht 147 verschiedene Informationen notiert (z. B. „Höhe der Sicherheit", „Branche", „Zinssatz"). In Singapur haben die Anleihen-Akten aber nur 256 andere Informationen, und nur 37 davon sind die gleichen wie in den USA!

• Das alte Problem: Herkömmliche Computermodelle sind wie starre Formulare. Wenn das Formular in Singapur andere Felder hat als das in den USA, stürzt das Modell ab oder muss komplett neu gelernt werden – genau dann, wenn die Daten knapp sind.
• Die Lösung dieses Papiers (FT–MDN–Transformer): Stellen Sie sich unser neues Modell wie einen intelligenten Übersetzer mit einem flexiblen Notizblock vor.
  • Es kann Informationen aus den USA lesen.
  • Wenn es nach Singapur kommt, ignoriert es einfach die Felder, die es dort nicht gibt (wie ein „Platzhalter" oder eine Maske).
  • Es lernt sofort die neuen singapurischen Felder dazu, ohne das alte Wissen zu vergessen.
  • Es ist wie ein Musiker, der ein Lied auf der Gitarre gelernt hat und es nun problemlos auf einer Geige spielt, auch wenn die Saiten anders sind.

2. Die Hürde der „Zufallszahlen" (Distribution Shifts)

Selbst wenn die Daten da sind, sind die Umstände oft anders. Vielleicht sind die Kunden in Singapur risikoreicher, oder die Wirtschaftslage ist eine andere.

• Das alte Problem: Ein einfaches Modell sagt oft nur einen einzigen Wert voraus (z. B. „Wir erwarten 50 % Rückzahlung"). Das ist wie ein Wetterbericht, der nur sagt: „Es wird regnen". Aber sagt er, ob es ein Nieselregen oder ein Orkan ist?
• Die Lösung dieses Papiers (MDN – Mixture Density Network): Unser Modell sagt nicht nur einen Wert voraus, sondern malt ein Wahrscheinlichkeits-Bild.
  • Es sagt: „Es gibt eine 50 % Chance auf eine hohe Rückzahlung (wie bei gesicherten Krediten) und eine 50 % Chance auf eine sehr niedrige (wie bei ungesicherten)."
  • Das ist wie ein Wetterbericht, der sagt: „Es könnte ein leichter Nieselregen sein, aber es besteht auch eine Gefahr für einen Sturm." Das ist für Risikomanager viel wertvoller, weil sie sich auf das Schlimmste vorbereiten können.

Was haben die Forscher herausgefunden?

Die Autoren haben ihr neues Modell („FT–MDN–Transformer") in zwei Szenarien getestet:

1. Echte Daten: Sie haben echte US-Kreditdaten (Quelle) auf singapurische Anleihen (Ziel) übertragen.
   • Ergebnis: Das Modell funktionierte hervorragend, besonders wenn nur wenige Daten in Singapur verfügbar waren. Es war deutlich besser als herkömmliche Methoden, die bei unterschiedlichen Datenfeldern versagten.
2. Künstliche Simulationen: Sie haben Computer-Simulationen gebaut, um verschiedene Arten von „Veränderungen" zu testen.
   • Ergebnis: Das Modell war sehr robust, wenn sich die Eingabedaten änderten (z. B. andere Kundenprofile).
   • Die Schwäche: Wenn sich aber die Grundregeln selbst änderten (z. B. wenn die Art und Weise, wie Ausfälle passieren, komplett anders ist), wurde es schwieriger. Das ist wie wenn man in Singapur plötzlich eine völlig neue Art von Wettergesetzen hätte, die es in den USA gar nicht gibt.

Die einfache Zusammenfassung

Dieses Papier stellt ein super-flexibles KI-Modell vor, das hilft, Risiken bei Krediten besser einzuschätzen, selbst wenn:

1. Man nur wenige Daten für das neue Geschäft hat.
2. Die Datenstrukturen (die Aktenordner) zwischen den alten und neuen Geschäften völlig unterschiedlich sind.
3. Man nicht nur eine Zahl, sondern ein ganzes Bild der Risiken (inklusive Worst-Case-Szenarien) braucht.

Es ist wie ein Allrounder-Sportler, der nicht nur auf dem Rasen (US-Kredite) spielt, sondern sich sofort auf den Sand (Singapur-Anleihen) anpassen kann, ohne neu trainieren zu müssen – und dabei weiß er genau, ob er heute nur joggen muss oder gegen einen Sturm ankämpfen muss.

Technische Zusammenfassung

1. Problemstellung

Die genaue Vorhersage von Rückzahlungsquoten (Recovery Rates, RR) ist für das Kreditrisikomanagement, die Preisgestaltung und die Bestimmung regulatorischer Eigenkapitalanforderungen von zentraler Bedeutung. Die Modellierung von RR stößt jedoch auf zwei wesentliche Herausforderungen:

• Datenknappheit: Ausfälle (Defaults) sind in vielen Portfolios selten, was zu wenigen Beobachtungen für Rückzahlungen führt. Dies erschwert das Training robuster Modelle, insbesondere für spezialisierte oder kleine Portfolios.
• Verteilungsverschiebungen und heterogene Merkmalsräume: Beim Transfer von Wissen von einem datenreichen Quell-Portfolio zu einem datenarmen Ziel-Portfolio treten oft signifikante Unterschiede auf. Dazu gehören:
  • Verteilungsverschiebungen (Distribution Shifts): Unterschiede in den Kovariaten (Covariate Shift), den bedingten Beziehungen zwischen Merkmalen und Labels (Conditional Shift) oder der Verteilung der Labels selbst (Label Shift).
  • Heterogene Merkmalsräume: Quell- und Zielportfolios erfassen oft unterschiedliche Merkmale (z. B. unterschiedliche Sicherheiten, Vertragsklauseln oder Klassifikationen). Herkömmliche Transfer-Learning-Ansätze gehen meist von identischen Merkmalsvektoren aus und scheitern bei dieser Schema-Mismatch-Problematik.

Zudem ist die Verteilung der RR oft multimodal (z. B. getrennte Verteilungen für besicherte und unbesicherte Kredite) und schwer durch einfache Punktschätzer (wie den Mittelwert) abzubilden, was für das Risikomanagement und die Erfassung von Tail-Risiken unzureichend ist.

2. Methodik: FT–MDN–Transformer

Die Autoren stellen FT–MDN–Transformer vor, eine neuartige Architektur, die Tabular-Transformer mit einem Mixture-Density-Netzwerk (MDN) kombiniert, um Transfer Learning (TL) unter den oben genannten Bedingungen zu ermöglichen.

Kernkomponenten der Architektur:

• Feature-wise Tokenisierung: Jedes Merkmal (numerisch oder kategorisch) wird als eigenständiges Token in einer festen Sequenz kodiert. Dies ermöglicht eine flexible Handhabung heterogener Merkmalsräume.
• Schema-Aware Masking:
  • Gemeinsame Merkmale werden durch geteilte Token-Embeddings repräsentiert.
  • Merkmale, die nur im Quell- oder nur im Ziel-Portfolio existieren, werden durch gelernte Padding-Token (für fehlende Merkmale) oder neu initialisierte Embeddings (für neue Merkmale) behandelt.
  • Ein binärer Maskierungsmechanismus verhindert, dass der Attention-Mechanismus auf nicht-existente Merkmale zugreift.
• Transformer-Backbone: Ein auf FT-Transformer basierender Encoder verarbeitet die Token-Sequence mittels Self-Attention, um komplexe nichtlineare Interaktionen zwischen den Merkmalen zu lernen.
• Mixture-Density-Head (MDN): Anstelle einer deterministischen Regression gibt der Kopf die Parameter einer Mischverteilung (z. B. einer Mischung aus Gauß-Verteilungen) aus. Dies erlaubt die Vorhersage der gesamten bedingten Verteilung $p(R|X)$, nicht nur eines Punktwerts. Dies erfasst Multimodalität und Heteroskedastizität.

Transfer-Learning-Strategie (Zweistufiger Prozess):

1. Pretraining: Das Modell wird auf dem Quell-Portfolio trainiert. Dabei können entweder nur die gemeinsamen Merkmale oder das gesamte Quell-Schema verwendet werden (wobei nicht-geteilte Merkmale maskiert werden).
2. Fine-Tuning: Das Modell wird auf das Ziel-Portfolio angepasst. Neue Ziel-Merkmale werden initialisiert und gemeinsam mit den vortrainierten Gewichten optimiert.

3. Wichtige Beiträge

• Neue Architektur: Entwicklung des FT–MDN–Transformer als erste Lösung, die Transfer Learning über heterogene Merkmalsräume hinweg mit einer verteilungsbasierten Vorhersage für Kreditrückzahlungen kombiniert.
• Umfassende Evaluation:
  • Echte Daten: Eine empirische Studie mit dem Global Credit Data (GCD) als Quelle (Kredite) und einem Bond-Datensatz (UP5) als Ziel. Dies stellt einen extremen Fall dar (nur 37 von über 100 Merkmalen überlappen).
  • Simulation: Ein kontrollierter Monte-Carlo-Simulationsrahmen, der systematisch verschiedene Arten von Verteilungsverschiebungen (Kovariaten, bedingt, Label) und Überlappungsszenarien untersucht.
• Methodische Einsichten: Demonstration, dass Token-Level-Masking und Embeddings Schema-Mismatches effektiv lösen und dass verteilungsbasierte Vorhersagen für die Validierung von Transfer-Modellen essenziell sind.

4. Ergebnisse

Die Evaluation zeigt folgende zentrale Ergebnisse:

• Überlegenheit bei Datenknappheit: FT–MDN–Transformer übertrifft Baseline-Modelle (XGBoost, Random Forest, MLP, FT-Reg) signifikant, wenn die Datenmenge im Ziel-Portfolio begrenzt ist. Die Vorteile sind besonders ausgeprägt bei kleinen Stichprobengrößen ($n_t < 500$).
• Robustheit gegenüber Schema-Unterschieden:
  • Das Modell bleibt stabil, auch wenn Merkmale zwischen Quell- und Ziel-Domain hinzukommen oder wegfallen.
  • Im Gegensatz dazu leiden herkömmliche Modelle (insbesondere XGBoost) unter Schema-Mismatch stark, wenn Merkmale, die im Pretraining genutzt wurden, im Fine-Tuning fehlen.
  • Die Verwendung von nativen kategorischen Embeddings führt zu stabileren Trainingsverläufen und besseren Ergebnissen als Dummy-Encoding.
• Einfluss der Verteilungsverschiebungen:
  • Kovariaten- und Conditional Shift: Das Modell ist robust gegenüber Verschiebungen in den Merkmalen oder deren Beziehung zum Ziel.
  • Label Shift: Dies bleibt die größte Herausforderung. Wenn sich die Verteilung der Rückzahlungsquoten selbst stark ändert (z. B. durch Änderung der Mischung aus besicherten/unbesicherten Fällen), nimmt der Transfer-Erfolg ab, da vortrainierte Muster weniger informativ sind.
• Verteilungsbasierte Vorhersagen: Das Modell liefert nicht nur Punktschätzer, sondern rekonstruiert die empirische Verteilung der RR (inkl. Multimodalität) sehr genau. Dies bietet Risikomanagern wertvolle Informationen über Tail-Risiken, die bei reinen Punktschätzern verloren gehen.

5. Bedeutung und Implikationen

• Praktische Anwendbarkeit: Die Studie zeigt, dass Transfer Learning in der Kreditrisikomodellierung auch bei stark unterschiedlichen Datenstrukturen (z. B. Übertragung von Kredit- auf Bond-Daten) erfolgreich eingesetzt werden kann, solange eine moderate Merkmalsüberlappung besteht und die Ziel-Datenmenge für das Fine-Tuning ausreicht.
• Risikomanagement: Die Fähigkeit, die gesamte bedingte Verteilung vorherzusagen, ist entscheidend für regulatorische Anforderungen (z. B. IFRS 9, Stress-Testing), da sie Unsicherheit und Extremrisiken besser abbildet als traditionelle Mittelwerte.
• Grenzen: Die Ergebnisse warnen davor, Transfer Learning blind einzusetzen. Ein starker Label-Shift (Änderung der zugrundeliegenden Rückzahlungsverteilung) kann den Transfer-Erfolg zunichtemachen. Daher ist ein kontinuierliches Monitoring von Verteilungsverschiebungen (z. B. mittels KL-Divergenz) unerlässlich.
• Zukunftsausblick: Die vorgestellte Architektur und der Simulationsrahmen bieten eine solide Basis für zukünftige Forschung zu robustem Transfer Learning in heterogenen Finanzdatenumgebungen, insbesondere für semi-supervised oder domain-adversarial Szenarien.

Zusammenfassend demonstriert das Paper, dass eine Kombination aus Transformer-Architekturen, die Schema-Heterogenität handhaben, und Mixture-Density-Netzen, die Verteilungen modellieren, ein vielversprechender Weg ist, um die Datenknappheit in der Kreditrisikomodellierung zu überwinden.