Resumen Técnico: Hacia la evaluación de los priors de datos para modelos fundacionales tabulares

Planteamiento del problema

Los modelos fundacionales tabulares (TFMs), como TabPFN, dependen fuertemente de priors de generación de datos para definir la distribución de las tareas durante el preentrenamiento. Si bien estos priors son centrales para moldear el comportamiento predictivo posterior, rara vez se evalúan como componentes independientes. Típicamente, un prior se introduce junto con elecciones arquitectónicas específicas, estrategias de optimización y protocolos de entrenamiento, lo que dificulta aislar el impacto específico del prior en sí mismo. Esta falta de aislamiento impide la capacidad de comparar priors de diferentes modelos o comprender cómo las propiedades a nivel de datos se traducen al rendimiento posterior. El artículo aborda la cuestión metodológica: ¿Cómo se pueden comparar los priors de diferentes modelos fundacionales tabulares independientemente de las arquitecturas y los protocolos de entrenamiento con los que fueron introducidos originalmente?

Metodología

Para abordar esto, los autores proponen un pipeline de evaluación unificado que estandariza la generación de datos, el entrenamiento del modelo y la evaluación posterior. Este marco está construido como una extensión del TFM-Playground.

1. Interfaz unificada de priors

Los autores implementaron una interfaz unificada para generar tareas de entrenamiento a partir de cinco familias distintas de priors:

• TabPFNv1: Utiliza priors basados en funciones (MLPs, procesos gaussianos y mezclas) para muestrear funciones objetivo sobre entradas aleatorias.
• TabICL: Genera tareas muestreando variables gaussianas latentes y propagándolas a través de transformaciones de Modelos Causales Estructurales (SCM) por capas. Las variantes incluyen mapeos MLP, mapeos basados en árboles o mezclas.
• TICL: Similar a TabPFNv1, pero utiliza rutinas alternativas de preprocesamiento y conversión de objetivos basadas en generadores de MLP y procesos gaussianos.
• TabForestPFN: Ajusta modelos de ML estándar (árboles de decisión, k-vecinos más cercanos, clasificadores de proyección aleatoria) a datos muestreados aleatoriamente y utiliza sus predicciones en entradas no vistas como objetivos.
• Datos Reales: Un pipeline controlado utilizando conjuntos de datos curados de OpenML. Implica la curación de conjuntos de datos, reducción de fugas (eliminación de duplicados mediante huellas estadísticas) y construcción de tareas donde los conjuntos de datos se particionan en pools de clasificación/regresión. Las tareas se generan muestreando conjuntos de datos y seleccionando objetivos (ya sean los originales o columnas compatibles aleatorias).

2. Configuración experimental controlada

• Generación de tareas: Cada prior genera un presupuesto fijo de 250,000 tareas. Las tareas están restringidas a un máximo de 512 muestras y 16 características para asegurar la viabilidad computacional.
• Arquitectura del modelo: Todos los priors se utilizan para entrenar un modelo nanoTabPFN idéntico. Se elige esta arquitectura ligera para retener un rendimiento competitivo en regímenes de pocos datos, permitiendo al mismo tiempo experimentos controlados y repetibles bajo recursos fijos.
• Protocolo de entrenamiento: Se aplica un protocolo fijo a todos los priors, incluyendo un tamaño de lote de 1 para manejar variaciones en la longitud de las secuencias sin necesidad de padding.
• Evaluación posterior: Los modelos se evalúan en un subconjunto fijo de tareas de clasificación de TabArena v0.1 (16 tareas con ≤500 características y ≤5000 instancias). El rendimiento se mide mediante ROC-AUC a través de tres folds.

3. Métricas de evaluación

El estudio compara los priors utilizando dos dimensiones:

1. Caracterización a nivel de datos: Las tareas generadas se resumen mediante un vector compartido de estadísticas de conjuntos de datos (meta-características) para calcular la similitud por pares en el espacio de datos.
2. Rendimiento posterior: Los priors se clasifican según el rendimiento absoluto (Raw Avg. ROC-AUC) y la consistencia relativa (Norm. Avg. ROC-AUC normalizado min-máx y rango promedio).

Resultados clave

Variabilidad del rendimiento

Diferentes priors favorecen distintos comportos posteriores, sin que un solo prior domine todas las métricas:

• Rendimiento absoluto: El prior TICL logró el mayor ROC-AUC promedio bruto (0.866) y la mayor cantidad de victorias en datasets (5).
• Consistencia relativa: El prior TabICL Mix SCM logró el mejor rango promedio (2.69) y el promedio normalizado más alto (0.937), indicando una competitividad más consistente a través de diversas tareas en comparación con otros.
• Rendimiento de Datos Reales: Sorprendentemente, Real Random Targets (selección aleatoria de columnas de objetivos de datasets reales) superó significativamente a Real Default Targets (uso de objetivos originales) (0.675 vs. 0.123 de promedio normalizado). Los autores atribuyen esto a la diversidad de tareas; la selección aleatoria permite que un solo dataset genere múltiples problemas de predicción distintos, mientras que los objetivos fijos pueden llevar a problemas repetitivos y similares.

Similitud de datos vs. Rendimiento

• Espacio de datos: Los priors de la misma librería (por ejemplo, variantes de TabICL) son generalmente más similares entre sí que con otros priors de otras librerías, lo que sugiere que el marco de generación influye en la distribución de los datos más que el mecanismo subyacente específico.
• Espacio de rendimiento: Aunque algunas similitudes en el espacio de datos se correlacionan con similitudes de rendimiento (por ejemplo, variantes de TabPFN), la correlación no es perfecta.
  • Datos disímiles, rendimiento similar: El prior TabForest Neighbor es estadísticamente muy disímil a los datos reales, pero logra un rendimiento posterior competitivo.
  • Datos similares, rendimiento diferente: Real Random Targets y Real Default Targets son estadísticamente similares en el espacio de datos, pero su rendimiento posterior difiere drásticamente.
• Conclusión: La similitud estadística a nivel de datos es un proxy informativo pero incompleto para el comportamiento predictivo posterior. Factores como la diversidad de tareas y las señales de aprendizaje no se capturan completamente mediante estadísticas de resumen.

Estudio de ablación

Un estudio de ablación sobre la dimensionalidad de los datos reveló que aumentar el número de características manteniendo fijo el tamaño de la muestra generalmente llevó a un peor rendimiento posterior. Los autores sugieren que esto crea una relación característica-muestra poco realista en comparación con las tareas de evaluación.

Significación y afirmaciones

El artículo afirma dar un "primer paso" hacia la exploración de cómo los priors de generación de datos afectan el comportamiento posterior bajo un entorno controlado. Sus contribuciones principales son:

1. Aislamiento de los priors: Lograr el aislamiento de los priors como componentes independientes al fijar la arquitectura y el protocolo de entrenamiento, una tarea raramente intentada en la literatura previa de TFMs.
2. Interfaz unificada: Proporcionar una interfaz estandarizada para comparar priors sintéticos y de datos reales a través de múltiples marcos existentes (TabPFN, TabICL, TabForest, etc.).
3. Insights empíricos: Demostrar que, si bien la similitud a nivel de datos ofrece cierta información, no explica completamente el comportamiento posterior. El estudio destaca que la diversidad de tareas (por ejemplo, mediante la selección aleatoria de objetivos) puede ser un factor crítico en el éxito de los priors de datos reales, independientemente de la similitud estadística con los datos de origen.

Los autores mantienen la modestia, señalando que las diferencias de rendimiento observadas suelen ser pequeñas en magnitud y deben interpretarse con cautela. Sugieren que trabajos futuros podrían examinar si el ajuste de hiperparámetros específico de cada prior podría alterar estas clasificaciones relativas.