A Unified Framework for Modeling Heterogeneous Financial Data via Dual-Granularity Prompting

1. El Problema

La evaluación de riesgo crediticio en la industria financiera sigue dependiendo en gran medida de métodos estadísticos de aprendizaje manual (como XGBoost con ingeniería de características extensiva). A pesar del potencial de las arquitecturas de aprendizaje profundo, estas han luchado por superar consistentemente a los modelos tradicionales debido a dos desafíos principales:

• Complejidad de los datos heterogéneos: Los datos financieros provienen de múltiples fuentes (informes de crédito, historial de transacciones, uso de productos) que son ruidosos, de alta dimensión, dispersos y discretos.
• Dinámica temporal evolutiva: La solvencia de un usuario no es estática; evoluciona dinámicamente. Los modelos actuales suelen realizar predicciones en un solo punto en tiempo, fallando en capturar cómo cambia el riesgo a lo largo de múltiples horizontes temporales futuros (corto, medio y largo plazo).

2. Metodología: FinLangNet

Los autores proponen FinLangNet, un marco híbrido que reformula la puntuación crediticia como un problema de aprendizaje secuencial multi-escala. La arquitectura consta de dos módulos complementarios:

A. Módulo No Secuencial (Datos Estáticos)

• Propósito: Capturar interacciones complejas en los atributos estáticos del usuario (perfil, edad, ingresos).
• Tecnología: Utiliza DeepFM. Combina una Máquina de Factorización (FM) para interacciones de bajo orden (segundo orden) y una Red Neuronal Profunda (DNN) para interacciones no lineales de alto orden.
• Salida: Genera una representación de interacción estática ($O_m$).

B. Módulo Secuencial (SRG - Sequence Representation Generator)

• Propósito: Modelar comportamientos temporales de múltiples fuentes (registros de consultas, cuentas, comportamiento de préstamos).
• Innovación Clave: Mecanismo de Prompting de Doble Granularidad. Inspirado en los transformadores, introduce "prompts" aprendibles en dos niveles:
  1. Prompt a Nivel de Característica ($e_{\phi_c}$): Se añade al inicio de cada canal de secuencia para capturar patrones temporales finos específicos de esa característica.
  2. Prompt a Nivel de Usuario ($P_s$): Se añade a la secuencia unificada de todas las fuentes para capturar el perfil de riesgo holístico del usuario.
• Procesamiento: Los datos continuos se discretizan en tokens, se procesan mediante un codificador Transformer y se fusionan con los prompts para generar una representación secuencial dinámica ($O_{ns}$).

C. Predicción Multi-Escala y Optimización

• Fusión: Se concatenan las representaciones estáticas y secuenciales ($O = [O_m; O_{ns}]$).
• Salida: El modelo predice distribuciones de probabilidad de comportamiento de impago en múltiples horizontes temporales ($L$ escalas de tiempo).
• Función de Pérdida: Se utiliza una Pérdida Híbrida Ponderada Dinámicamente que combina:
  • Pérdida Logarítmica Ponderada (WLL) para manejar el desequilibrio de clases.
  • Minería de Ejemplos Difíciles Dinámica (basada en la norma del gradiente) para dar más peso a las muestras donde el modelo tiene más incertidumbre.

3. Contribuciones Clave

1. Reformulación del Problema: Cambiar la puntuación crediticia de una clasificación binaria estática a una predicción dinámica multi-escala, permitiendo modelar la evolución de la solvencia.
2. Arquitectura Híbrida Innovadora: Integración de DeepFM para datos tabulares y un módulo secuencial con mecanismo de doble prompting (característica y usuario) para manejar datos financieros heterogéneos y dispersos.
3. Rendimiento Superior: Logro de resultados de vanguardia (SOTA) tanto en benchmarks públicos de series temporales (UEA) como en datos industriales masivos.
4. Implementación Industrial Real: Despliegue exitoso en una plataforma financiera global, demostrando viabilidad técnica y económica.

4. Resultados Experimentales

En Datos Industriales (DiDi)

• Comparativa: Se comparó contra XGBoost (línea base de producción), modelos secuenciales (Transformer, Mamba, TimesNet) y LLMs (DeepSeek, GPT-4).
• Métricas:
  • KS (Kolmogorov-Smirnov): Mejora absoluta de 6.3 puntos porcentuales (pp) frente a XGBoost.
  • Tasa de Morosidad (Bad Debt Rate): Reducción relativa del 9.9%.
  • AUC: Mejoras consistentes en todas las escalas de tiempo (desde 30 hasta 180 días).
• Observación: La fusión de FinLangNet + XGBoost ofrece el mejor rendimiento general, pero FinLangNet por sí solo supera a XGBoost en predicciones a largo plazo, donde los modelos estáticos fallan.

En Benchmarks Públicos (UEA)

• El módulo SRG (sin la parte estática) superó o igualó a los métodos más avanzados (ShapeNet, TStamp, Rocket) en 5 tareas de clasificación de series temporales multivariadas, demostrando su generalización más allá del dominio financiero.

Análisis de Despliegue (A/B Test)

• En un entorno de producción, el marco híbrido redujo la tasa de impago del 9.1% al 8.2% en un umbral de aprobación del 60%.
• Identificó correctamente al 68% de los usuarios de alto riesgo que el modelo base (XGBoost) aprobaba erróneamente.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Puente entre Academia e Industria: Demuestra que los modelos de aprendizaje profundo complejos pueden superar a los métodos tradicionales de la industria (XGBoost) en escenarios de riesgo crediticio, un dominio donde históricamente han tenido dificultades.
• Manejo de Datos Heterogéneos: El mecanismo de "doble prompting" ofrece una solución elegante para integrar datos de múltiples fuentes y escalas temporales sin necesidad de una ingeniería de características manual masiva.
• Impacto Financiero Directo: La reducción del 9.9% en la tasa de morosidad y la mejora del KS tienen un impacto financiero tangible y masivo en una plataforma que procesa millones de transacciones diarias.
• Escalabilidad: A diferencia de otros modelos académicos que requieren preprocesamiento costoso, FinLangNet está diseñado para inferencia en tiempo real, haciéndolo viable para sistemas de riesgo a gran escala.

En resumen, FinLangNet establece un nuevo estándar para la modelización de riesgo crediticio, demostrando que el aprendizaje secuencial multi-escala con mecanismos de prompting avanzados puede capturar dinámicas de riesgo evolutivas que los modelos estáticos no pueden detectar.