Transfer Learning for Loan Recovery Prediction under Distribution Shifts with Heterogeneous Feature Spaces

Este artículo presenta FT-MDN-Transformer, un modelo de Transformer basado en densidad de mezclas diseñado para mejorar la predicción de tasas de recuperación de préstamos mediante aprendizaje transferido en escenarios con escasez de datos y espacios de características heterogéneos, demostrando un rendimiento superior frente a modelos base bajo diversos tipos de desplazamiento de distribución.

Lo esencial

Imagina que eres un bombero experto que ha salvado miles de casas de incendios en una ciudad grande y llena de rascacielos (el "Dominio Fuente"). Conoces cada rincón, sabes qué materiales arden rápido y cómo se comportan las llamas en edificios altos.

Ahora, te piden que vayas a un pueblo pequeño de madera (el "Dominio Objetivo") para predecir qué pasará si hay un incendio allí. El problema es que en el pueblo solo hay 5 casas quemadas en los registros. Tienes muy poca información local para aprender por ti mismo.

Aquí es donde entra el Aprendizaje por Transferencia (Transfer Learning). La idea es: "¡Usa tu experiencia de la ciudad grande para ayudar en el pueblo!". Pero hay un truco:

1. En la ciudad usabas mangueras de alta presión y escaleras de metal. En el pueblo solo tienen cubos de agua y escaleras de madera. (Los datos o características son diferentes).
2. En la ciudad, los incendios solían ser por cortocircuitos. En el pueblo, suelen ser por fogatas mal apagadas. (La distribución de los problemas es distinta).

Este paper presenta una nueva herramienta llamada FT–MDN–Transformer. Vamos a desglosarla con analogías sencillas:

1. El Problema: "Demasiado poco para aprender"

En el mundo de los préstamos bancarios, predecir cuánto dinero se recuperará cuando alguien no paga (la "Tasa de Recuperación") es difícil.

• La analogía: Es como intentar predecir el clima de un pueblo pequeño donde solo ha llovido 3 veces en 10 años. No tienes suficientes datos para hacer un pronóstico fiable.
• La solución tradicional: Intentar aprender solo con esos 3 datos. Resultado: Un pronóstico muy malo.

2. La Solución: El "Bombero Inteligente" (FT–MDN–Transformer)

Los autores crearon un modelo de Inteligencia Artificial que actúa como ese bombero experto, pero con superpoderes especiales para adaptarse:

A. El "Cinturón de Herramientas Adaptable" (Espacios de Características Heterogéneos)

• El problema: En la ciudad tenías 100 herramientas. En el pueblo solo tienes 30, y algunas son totalmente nuevas (como un extintor de espuma que nunca viste). Los modelos antiguos se rompían si faltaba una herramienta o si aparecía una nueva.
• La magia del modelo: Este modelo tiene un cinturón de herramientas mágico.
  • Si falta una herramienta (una característica que no existe en el pueblo), el modelo simplemente la "oculta" con una máscara y sigue trabajando con las que tiene.
  • Si aparece una herramienta nueva, el modelo la aprende rápidamente sin tener que reiniciar todo su cerebro.
  • Analogía: Es como un chef que sabe cocinar con 50 ingredientes. Si va a un pueblo donde solo hay 10 ingredientes comunes, cocina con esos. Si el pueblo tiene un ingrediente nuevo (como un fruto exótico), el chef lo prueba, aprende cómo usarlo y lo incorpora a su receta sin perder su estilo.

B. No solo un número, sino una "Caja de Sorpresas" (Predicción de Distribución)

• El problema: Los modelos antiguos te daban un solo número: "Recuperarás el 60% del dinero". Pero eso es peligroso. ¿Y si en realidad recuperas el 10% o el 90%?
• La magia del modelo: Este modelo no te da un solo número. Te da una probabilidad completa.
  • Analogía: En lugar de decirte "Mañana hará 25°C", te dice: "Hay un 40% de probabilidad de que haga 20°C, un 30% de que haga 25°C y un 30% de que haga 30°C".
  • Esto es vital para los bancos porque les permite prepararse para el "peor escenario" (el riesgo de cola), no solo para el promedio. El modelo sabe que la recuperación de préstamos suele tener dos caras (o "modos"): o recuperas casi todo (préstamos seguros) o casi nada (préstamos sin garantía), y este modelo captura esa dualidad perfectamente.

3. Los Experimentos: ¿Funciona de verdad?

Los autores probaron su modelo de dos maneras:

• Prueba Real (Bancos vs. Bonos): Usaron datos reales de un banco grande (GCD) y los aplicaron a un conjunto de bonos corporativos (UP5).

  • Resultado: El modelo funcionó increíblemente bien cuando había pocos datos en el objetivo, incluso cuando las herramientas (características) eran diferentes. Aprendió de la experiencia del banco grande y se adaptó a los bonos.
  • La lección: Funciona mejor si las "herramientas" que compartes son las correctas. Si intentas usar herramientas que no existen en el nuevo lugar, el modelo se confunde un poco.

• Prueba de Simulación (El Laboratorio): Crearon miles de escenarios falsos pero realistas para ver qué pasa cuando las cosas cambian drásticamente.

  • Cambio de Clima (Covariate Shift): Si cambia el entorno (ej. de ciudad a pueblo), el modelo se adapta bien.
  • Cambio de Reglas (Conditional Shift): Si la relación entre las causas y los efectos cambia un poco, el modelo aguanta bien.
  • Cambio de la Naturaleza del Problema (Label Shift): ¡Aquí está la trampa! Si la naturaleza del problema cambia radicalmente (ej. en la ciudad los incendios eran por electricidad, pero en el pueblo son por bombas), el modelo se confunde.
  • Analogía: Si entrenaste a tu perro para cazar conejos y lo llevas a un desierto donde solo hay serpientes, aunque el perro sea inteligente, tendrá dificultades si la "regla del juego" cambia por completo. El modelo avisa: "Oye, aquí las reglas son muy diferentes, ten cuidado".

Conclusión Simple

Este paper nos dice que:

1. No necesitas reinventar la rueda: Puedes usar la experiencia de grandes bancos para ayudar a bancos pequeños o nichos, incluso si tienen datos diferentes.
2. La flexibilidad es clave: El modelo propuesto es como un "camaleón" que se adapta si le faltan datos o si le sobran.
3. No mires solo el promedio: Es crucial entender el riesgo total (la probabilidad de todo), no solo un número medio.
4. El límite: Si el problema es demasiado diferente (la distribución de los datos cambia drásticamente), la transferencia de conocimiento pierde fuerza. Hay que vigilar siempre si el entorno ha cambiado demasiado.

En resumen, es una brújula inteligente para los gestores de riesgo que les permite navegar en mares de datos escasos y diferentes, sabiendo no solo hacia dónde ir, sino también qué tormentas podrían llegar.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Transfer Learning para la Predicción de Recuperación de Préstamos bajo Desplazamientos de Distribución con Espacios de Características Heterogéneos

1. El Problema

La predicción precisa de las tasas de recuperación (RR, Recovery Rates) es fundamental para la gestión de riesgos crediticios y la determinación del capital regulatorio. Sin embargo, este campo enfrenta dos desafíos principales:

• Escasez de datos: Los eventos de incumplimiento (default) son raros en muchas carteras de préstamos, lo que limita la cantidad de datos observados para entrenar modelos robustos.
• Complejidad de la distribución: La distribución de las tasas de recuperación es a menudo irregular, multimodal (con picos cerca de 0 y 1) y heterocedástica, lo que los modelos de estimación puntual tradicionales no capturan adecuadamente.
• Desafíos de Transferencia (TL): Aunque el Transfer Learning (aprendizaje por transferencia) ofrece una vía para aprovechar datos de dominios fuente más ricos, su aplicación en RR es difícil debido a:
  • Desplazamientos de distribución: Diferencias en covariables, relaciones condicionales y distribuciones de etiquetas entre carteras.
  • Heterogeneidad de características: Los portafolios a menudo tienen esquemas de características diferentes (algunas variables presentes en el origen pero ausentes en el destino, y viceversa), lo que rompe los enfoques de TL estándar que asumen espacios de características idénticos.

2. Metodología: FT–MDN–Transformer

Los autores proponen FT–MDN–Transformer, una arquitectura de Transformer tabular diseñada específicamente para abordar la escasez de datos, la heterogeneidad de características y la complejidad de la distribución.

• Tokenización por Característica (Feature-wise Tokenization):

  • En lugar de concatenar todas las características en un vector fijo, cada característica se mapea a un "token" individual en una secuencia.
  • Esto permite manejar esquemas heterogéneos dinámicamente: las características compartidas se reutilizan, las características exclusivas del origen se enmascaran (usando tokens de relleno o PAD) durante el ajuste fino, y las nuevas características del destino se inicializan y entrenan desde cero.
  • Se utilizan embeddings aprendidos para variables categóricas, evitando la expansión one-hot rígida y permitiendo la adaptación a nuevas categorías.

• Backbone Transformer:

  • Utiliza un encoder Transformer (basado en FT-Transformer) con mecanismos de atención enmascarada. Esto asegura que el modelo ignore las características ausentes en el dominio objetivo mientras aprende interacciones ricas entre las características disponibles.

• Cabeza de Densidad de Mezcla (Mixture-Density Network - MDN):

  • En lugar de predecir un solo valor (punto), la salida es una distribución de probabilidad condicional modelada como una mezcla de Gaussianas: $\hat{p}(R | X) = \sum \alpha_k \mathcal{N}(\mu_k, \sigma_k^2)$.
  • Esto permite capturar la multimodalidad (ej. recuperación baja vs. alta) y la incertidumbre, proporcionando tanto estimaciones puntuales (media de la mezcla) como distribuciones predictivas completas.

• Estrategia de Transferencia en Dos Etapas:

  1. Pre-entrenamiento: Se entrena en el dominio fuente (con todo el esquema de características o solo el compartido).
  2. Ajuste Fino (Fine-tuning): Se adapta al dominio objetivo. Las características compartidas se ajustan, las nuevas se aprenden y las faltantes se enmascaran, permitiendo una adaptación suave sin reentrenar desde cero.

3. Contribuciones Clave

1. Nueva Arquitectura: Propuesta de un modelo Transformer tabular con salida de densidad de mezcla capaz de realizar transferencia de aprendizaje a través de espacios de características heterogéneos y parciales.
2. Marco de Evaluación Empírico y Simulado:
   • Datos Reales: Estudio cruzado utilizando el conjunto de datos Global Credit Data (GCD, préstamos) como fuente y un conjunto de datos de bonos (UP5) como objetivo, enfrentando una superposición de características muy baja (solo 37 de ~200+).
   • Simulación Controlada: Desarrollo de un marco de simulación Monte Carlo para generar datos sintéticos con desplazamientos de covariables, condicionales y de etiquetas controlados, permitiendo aislar los efectos de cada tipo de desplazamiento.
3. Análisis de Robustez: Demostración de cómo la arquitectura maneja la escasez de datos y la heterogeneidad, superando a los modelos baselines (XGBoost, MLP, Random Forest) en escenarios de transferencia.

4. Resultados Principales

• Superioridad en Escasez de Datos: FT–MDN–Transformer supera significativamente a los modelos entrenados solo en el objetivo (Target-Baseline) cuando los datos del objetivo son limitados (ej. $N < 500$).
• Robustez ante Desplazamientos:
  • El modelo es altamente resiliente a desplazamientos de covariables y condicionales, manteniendo un rendimiento estable incluso cuando las distribuciones de características o sus relaciones cambian.
  • El desplazamiento de etiquetas (cambio en la distribución marginal de las tasas de recuperación) sigue siendo el desafío más difícil, degradando el rendimiento de todos los modelos, aunque FT–MDN–T se mantiene más estable que los baselines.
• Manejo de Heterogeneidad de Características:
  • El mecanismo de enmascaramiento de tokens permite una transferencia efectiva incluso cuando el esquema de características cambia (ej. características del origen que desaparecen en el destino).
  • Se encontró que pre-entrenar en un subconjunto de características compartidas y luego expandir al esquema completo del objetivo funciona mejor que pre-entrenar en un esquema completo que incluye características que luego desaparecen.
• Valor de la Modelización Distribucional: La capacidad de predecir distribuciones completas permite capturar la bimodalidad de las tasas de recuperación, ofreciendo información crítica para la gestión de riesgos (riesgo de cola) que las métricas puntuales (como $R^2$ o MAE) ocultan.

5. Significado e Implicaciones

• Para la Gestión de Riesgos: El estudio demuestra que el aprendizaje por transferencia es viable y beneficioso para carteras de crédito pequeñas o nicho, siempre que exista una superposición moderada de características y las distribuciones de recuperación no diverjan drásticamente.
• Adaptabilidad Operativa: La arquitectura propuesta ofrece una solución práctica para entornos financieros donde los datos son heterogéneos y escasos, eliminando la necesidad de alineación manual de características.
• Límites y Futuro: Se identifica que el desplazamiento de etiquetas es la principal barrera para la transferencia efectiva. Se sugiere que la monitorización continua de la deriva de la distribución (usando medidas como la divergencia KL) es crucial antes de desplegar modelos transferidos.
• Herramienta Metodológica: El marco de simulación desarrollado sirve como una herramienta reutilizable para evaluar modelos de predicción de recuperación bajo condiciones controladas de desplazamiento de distribución.

En resumen, el papel establece que combinar arquitecturas flexibles de Transformers con modelado de densidad de mezcla permite superar las limitaciones tradicionales de la predicción de recuperación en entornos de datos escasos y heterogéneos, aunque advierte sobre los riesgos inherentes cuando la distribución subyacente de las pérdidas cambia drásticamente.