Resumen Técnico: V4FinBench

Enunciado del Problema

La predicción de quiebras corporativas es una tarea financiera de alto riesgo caracterizada por un desequilibrio de clases severo y la necesidad de pronósticos multi-horizonte. A pesar de su importancia práctica para inversores, acreedores y reguladores, los recursos públicos para estudiar este problema siguen siendo escasos. Los benchmarks gratuitos ampliamente utilizados (por ejemplo, los conjuntos de datos de mercados de valores polaco, taiwanés y estadounidense de la UCI) típicamente contienen entre 6.000 y 80.000 observaciones empresa-año, lo cual es insuficiente para el ajuste fino significativo de modelos fundacionales modernos. Existen recursos más grandes y ricos, pero están detrás de muros de pago por suscripción, lo que limita la reproducibilidad y la evaluación de métodos que requieren datos sustanciales para su adaptación. Además, los conjuntos de datos públicos existentes a menudo carecen de etiquetas multi-horizonte o definiciones consistentes de dificultades financieras, lo que dificulta evaluar comportamientos dependientes del horizonte o comparar métodos bajo condiciones financieras realistas.

Metodología y Construcción del Benchmark

Para abordar estas brechas, los autores introducen V4FinBench, un benchmark público que comprende 1.106.879 observaciones empresa-año de las economías del Grupo de Visegrád (V4) (República Checa, Hungría, Polonia y Eslovaquia) que abarcan el periodo 2006–2021.

Datos y Características

• Fuente: Los datos se extraen del servicio EMIS, cubriendo 203.900 empresas únicas.
• Características: Cada observación se describe mediante 131 características, incluyendo metadatos de la empresa, ratios financieros, medidas de crecimiento, medidas de tamaño e indicadores relativos al sector.
• Definición de Dificultades Financieras: A diferencia de estudios anteriores que se basan en presentaciones legales formales de bancarrota, V4FinBench utiliza un criterio compuesto de dificultades financieras. Una empresa se etiqueta como en dificultades en su último año de reporte solo si satisface simultáneamente tres condiciones:
  1. Solvencia: Patrimonio neto negativo sobre activos totales ($< 0$).
  2. Rentabilidad: EBITDA negativo sobre activos totales ($< 0$).
  3. Liquidez: Ratio corriente por debajo de 0.6 ($< 0.6$).
• Tareas Multi-Horizonte: El benchmark define seis tareas de predicción binaria correspondientes a horizontes $h \in \{0, 1, \dots, 5\}$ años hacia adelante. Para cada horizonte, se eliminan los últimos $h$ años de datos de las empresas en dificultades, y la observación resultante se etiqueta como positiva.
• Desequilibrio: Las tareas resultantes exhiben un desequilibrio de clases severo, con tasas positivas que oscilan entre 0.19% y 0.36%.

Protocolo de Evaluación

Los autores definen un protocolo de evaluación fijo y reproducible:

• Plegado: Validación cruzada estratificada de 5 pliegues con agrupamiento a nivel de empresa dentro de los países para evitar la fuga de datos.
• Preprocesamiento: Los valores faltantes se imputan utilizando las medianas del conjunto de entrenamiento; las características se estandarizan utilizando estadísticas del conjunto de entrenamiento.
• Métricas: Dado el desequilibrio, la puntuación F1 y el ROC-AUC son las métricas principales. Los umbrales de decisión se calibran en el pliegue de validación maximizando la F1 en la curva de precisión-recall.

Métodos Evaluados

El artículo evalúa tres familias de métodos:

1. Líneas Base Clásicas de Tablas: Regresión Logística (LR), Perceptrón Multicapa (MLP), Random Forest, XGBoost, CatBoost y LightGBM.
2. Modelo Fundacional de Tablas (TabPFN): Un aprendiz en contexto preentrenado ajustado fino con construcción de contexto consciente del desequilibrio. Los autores comparan tres estrategias para construir el contexto de 10.000 muestras:
   • Sin remuestreo: Muestreo uniforme (deja la clase minoritaria débilmente representada).
   • Submuestreo aleatorio: Submuestreo aleatorio de la clase mayoritaria hasta una proporción de 0.3.
   • Submuestreo por prototipos: Selección de representantes mayoritarios mediante clustering K-means para preservar la estructura de la población no en dificultades.
3. Modelo de Lenguaje Grande (LLM): Llama-3-8B ajustado fino mediante QLoRA sobre registros financieros serializados formateados como conversaciones estilo instrucción.

Resultados Clave

1. TabPFN vs. Líneas Base Clásicas

• La Construcción del Contexto Importa: El submuestreo por prototipos obtuvo los mejores resultados para TabPFN, superando al submuestreo aleatorio y a la ausencia de remuestreo. Esto indica que preservar la diversidad estructural de la clase mayoritaria es crucial más allá de simplemente aumentar la exposición a la minoría.
• Rendimiento: Con el submuestreo por prototipos, TabPFN igualó o superó a los árboles impulsados por gradiente (las líneas base clásicas más fuertes) en ROC-AUC en cada horizonte. En la puntuación F1, TabPFN igualó al impulso por gradiente en el horizonte inmediato ($h=0$) y lo superó desde $h=2$ en adelante.

2. Rendimiento del LLM (Llama-3-8B)

• Comparación: Llama-3-8B ajustado fino con QLoRA quedó por detrás de los árboles impulsados por gradiente (específicamente XGBoost) en ROC-AUC en cada horizonte y fue generalmente más débil en la puntuación F1.
• Dependencia del Horizonte: El LLM tuvo el mejor rendimiento en el horizonte inmediato, pero su capacidad de clasificación disminuyó bruscamente más allá de $h=0$, permaneciendo cerca del azar en horizontes más largos. La brecha entre el LLM y XGBoost se amplió significativamente a medida que aumentaba el horizonte de predicción.

3. Transferencia entre Conjuntos de Datos

• Validación Externa: Los autores evaluaron un punto de control de TabPFN ajustado fino con V4FinBench en el Conjunto de Datos de Bancarrota Estadounidense (una economía, periodo y conjunto de características diferentes).
• Resultado: El modelo ajustado fino mejoró al TabPFN vanilla (preentrenado) tanto en ROC-AUC (0.818 $\to$ 0.842) como en puntuación F1 (0.372 $\to$ 0.409). Esto sugiere que la adaptación capturó una estructura de dificultades financieras transferible en lugar de simplemente sobreajustarse a patrones específicos de V4.

Significado y Contribuciones

El artículo hace tres contribuciones principales:

1. Conjunto de Datos V4FinBench: Un benchmark público de dificultades corporativas a gran escala diseñado específicamente para apoyar el ajuste fino de modelos fundacionales. Cubre 1.1M de observaciones en cuatro países, seis horizontes de predicción y un criterio compuesto de dificultades, abordando la escasez de conjuntos de datos financieros grandes y de libre acceso.
2. Protocolo de Evaluación Reproducible: Un marco estandarizado para comparar métodos clásicos de tablas, modelos fundacionales de tablas y enfoques basados en LLM bajo condiciones realistas de desequilibrio de clases y pronóstico multi-horizonte.
3. Información Empírica:
   • Demuestra que la construcción de contexto consciente del desequilibrio (específicamente el submuestreo por prototipos) es crítica para adaptar modelos fundacionales de tablas a datos financieros severamente desequilibrados, permitiéndoles competir con o superar fuertes líneas base de impulso por gradiente.
   • Muestra que, en esta configuración de predicción estructurada, el ajuste fino de LLM con registros serializados aún no es competitivo con fuertes líneas base de tablas, particularmente para horizontes de predicción más largos.
   • Proporciona evidencia preliminar de que benchmarks como V4FinBench pueden apoyar adaptaciones que se transfieren a distribuciones externas, capturando estructuras financieras reutilizables.

Los autores enfatizan que V4FinBench está destinado para evaluación comparativa e investigación, no para la toma de decisiones automatizada directa. Señalan limitaciones relacionadas con el alcance geográfico (Europa Central) y el uso de etiquetas compuestas de dificultades financieras en lugar de presentaciones legales formales de bancarrota, instando a la precaución en la implementación sin validación adicional y análisis de equidad.