Shaping the Prior: How Synthetic Task Distributions Determine Tabular Foundation Model Quality

Resumen Técnico: Moldeando el Prior – Cómo las Distribuciones de Tareas Sintéticas Determinan la Calidad de los Modelos Fundacionales Tabulares

1. Declaración del Problema

Los modelos fundacionales tabulares (TFM) han surgido como una clase de métodos que reformulan el aprendizaje tabular supervisado como inferencia amortizada, permitiendo que los modelos predigan etiquetas de consulta a partir de un conjunto de soporte etiquetado sin entrenamiento específico del conjunto de datos. A diferencia de los modelos fundacionales de lenguaje o visión, que adquieren sesgos inductivos a partir de datos que ocurren naturalmente, los TFM derivan sus sesgos inductivos casi en su totalidad de distribuciones de preentrenamiento sintéticas.

El artículo identifica una brecha crítica: el diseño de estos priores sintéticos está poco comprendido. Los priores sintéticos existentes a menudo son "demasiado bien comportados", generando datos con márgenes de características suaves, sin valores faltantes y filas de soporte/consulta intercambiables. No logran capturar las irregularidades, el confusión, los efectos de selección y los desplazamientos de distribución inherentes a los datos tabulares del mundo real. En consecuencia, los modelos preentrenados en tareas sintéticas idealizadas pueden carecer de la robustez necesaria para su despliegue. La pregunta científica central abordada es: ¿Qué determina la calidad de un modelo fundacional tabular y, específicamente, cómo influye el diseño del prior sintético en el rendimiento aguas abajo?

2. Metodología: O'PRIOR

Para abordar esto, los autores introducen O'PRIOR, un prior de realismo composicional diseñado para generar tareas de preentrenamiento sintéticas que imiten mejor la complejidad de los datos tabulares reales. La metodología se estructura como una pipeline generativa secuencial y segura contra fugas, compuesta por cuatro componentes acoplados:

1. Meta-Generador Jerárquico de SCM:

   • En lugar de depender de una única familia funcional (por ejemplo, solo MLP), O'PRIOR muestrea de un Modelo Causal Estructural (SCM) Híbrido.
   • Compone mecanismos base de cinco familias diversas: Perceptrones Multicapa (MLP), Árboles de Decisión (incluyendo XGBoost, Random Forest, Extra Trees), capas de convolución 1D, Procesos Gaussianos (kernels RBF) y Vectores Autoregresivos con Retardo Temporal (VAR).
   • Estos mecanismos se organizan en un Grafo Acíclico Dirigido (DAG) aleatorio donde los valores de los nodos se agregan mediante operadores como media, softmax ponderado o máximo. Las características y los objetivos se seleccionan utilizando estrategias conscientes de la diversidad (por ejemplo, k-medias, selección del punto más lejano) para asegurar que la tarea abarque regiones diversas del espacio representacional.

2. Motor de Realismo Modular:

   • Este componente transforma la salida cruda del SCM en una tabla observacional introduciendo artefactos realistas.
   • Preprocesamiento solo de soporte: Las estadísticas (media, varianza) se calculan exclusivamente a partir del conjunto de soporte para prevenir la fuga de información hacia las filas de consulta.
   • Aumento de Características y Morfología Marginal: Incluye características ingenierizadas (interacciones polinómicas, proyecciones de rango bajo) y transforma los márgenes para incluir colas pesadas (Student-t, Pareto), variables acotadas, distribuciones similares a conteos y ruido heterocedástico.
   • Valores Faltantes Estructurados: Introduce mecanismos de Valores Faltantes Completamente Al Azar (MCAR), Valores Faltantes Al Azar (MAR) y Valores Faltantes No Al Azar (MNAR), con estrategias de imputación almacenadas como metadatos.
   • Transformaciones de Objetivo: Aplica transformaciones de asimetría, ruido de cola pesada y transformaciones de tipo censura a los objetivos de regresión, y discretización con ruido de etiquetas para la clasificación.
   • Estructura de Subgrupos: Opcionalmente añade subgrupos categóricos con interceptos o interacciones específicos del grupo.

3. Módulo de Desplazamiento de Distribución y Estrés de Atajos:

   • Este módulo inyecta explícitamente condiciones que causan modos de fallo en el despliegue del mundo real.
   • Confusión Latente: Añade un vector latente compartido a las características y objetivos para crear correlaciones espurias.
   • Predictores de Soporte Espurios: Crea características que son altamente predictivas en el conjunto de soporte pero poco fiables o invertidas en el conjunto de consulta.
   • Desplazamiento de Covariable: Aplica perturbaciones afines a las filas de consulta para desplazar las distribuciones marginales.
   • Deriva Temporal/Estacional: Introduce no estacionariedad mediante señales periódicas y cambios de régimen.

4. Protocolo Gobernado por Currículo y Seguro contra Fugas:

   • La pipeline hace cumplir un contrato seguro contra fugas: todas las estadísticas ajustadas deben ser medibles desde el conjunto de soporte (medibles $F_n$). Las filas de consulta se transforman solo mediante funciones del soporte.
   • Un currículo controla la dificultad del prior durante el preentrenamiento, comenzando con un realismo "BAJO" (mecanismos simples, artefactos leves) y transitando a "DURO" (mecanismos complejos, desplazamientos severos) para facilitar una convergencia estable.

3. Protocolo Experimental

Los autores establecen un protocolo de evaluación controlado para aislar el prior como la única variable independiente.

• Restricciones Fijas: La arquitectura del modelo (NANOTABPFN, una reimplementación ligera de TABPFN V2), el optimizador y el presupuesto de cómputo (40,000 conjuntos de datos sintéticos, 10 épocas) se mantienen constantes en todos los experimentos.
• Líneas Base: Las comparaciones se realizan frente a TabPFN v1 (SCM basado en MLP), TabICL-v1 (MLP + XGBoost) y TabICL-v2 (diversidad SCM extendida).
• Grupos de Ablación: Se prueban nueve variantes de O'PRIOR para aislar la contribución de la diversidad de SCM, los SCM Híbridos, el Realismo (Moderado/Fuerte), el Estrés de Desplazamiento y el Currículo.
• Benchmarks: La evaluación se realiza en TabArena v0.1 (21 conjuntos de datos) y OpenML-CC18 (31 conjuntos de datos filtrados), centrándose en regímenes de muestras pequeñas a medianas.

4. Resultados Clave

• Rendimiento Aguas Abajo: O'PRIOR produce mejoras consistentes y sustanciales sobre las líneas base. La configuración completa de O'PRIOR (G4) mejora el ROC-AUC de TabArena en 2.8 puntos y el ROC-AUC de OpenML-CC18 en 10.1 puntos en comparación con TabICL-v2.
• Contribuciones de los Componentes:
  • Diversidad de Mecanismos: El SCM Híbrido (G1b) se identifica como el componente individual más impactante, representando la mayoría de la brecha de rendimiento entre la línea base más débil y las mejores configuraciones de O'PRIOR.
  • Realismo: El realismo fuerte (G2b) supera monótonamente al realismo moderado, lo que indica que la exposición a irregularidades (colas pesadas, valores faltantes) es beneficiosa.
  • Estrés de Desplazamiento: Aunque mejora la robustez, la contribución del módulo de desplazamiento a la precisión i.i.d. promedio es menor que la del realismo, ya que está diseñado principalmente para la robustez distribucional.
  • Currículo: Bajo presupuestos fijos y cortos, los priores fuertes estáticos a veces superan a la configuración del currículo porque la fase de calentamiento reduce la exposición a la distribución más difícil. El currículo es una elección dependiente del calendario, no universalmente superior.
• Alineación Estructural: Utilizando una métrica TabStruct adaptada, O'PRIOR genera tablas con espectros de correlación y decaimientos de valores propios que coinciden más estrechamente con conjuntos de datos del mundo real (por ejemplo, Churn, Home Credit) que TabICL-v2, particularmente en la captura de dependencias inter-características.
• Representaciones Internas: Los experimentos de sondeo revelan que los modelos preentrenados con O'PRIOR desarrollan representaciones internas progresivamente más discriminativas a través de las capas del transformador, especialmente en conjuntos de datos estructuralmente desafiantes (por ejemplo, Vehicle, Ionosphere). En contraste, las líneas base a menudo muestran un rendimiento plano o degradado a través de las capas.

5. Significado y Afirmaciones

El artículo afirma que la construcción de priores sintéticos es un determinante de primer orden, en gran medida pasado por alto, de la calidad de los modelos fundacionales tabulares.

• Contribución Científica: Al aislar el prior como la variable, el trabajo demuestra que los cambios arquitectónicos no son el único motor del rendimiento de los TFM; el diseño de la distribución de tareas sintéticas es igualmente crítico.
• Perspectiva Mecanística: El estudio establece que la diversidad de mecanismos estructurales (mediante SCM Híbridos) es el motor principal de la mejora en la transferencia, mientras que el realismo observacional y el estrés consciente del desplazamiento proporcionan ganancias complementarias e independientes.
• Marco Práctico: O'PRIOR proporciona un marco principiado y modular para generar datos de preentrenamiento sintéticos que reflejan mejor la "desorden" de los datos tabulares reales, lo que conduce a modelos que no solo son más precisos, sino que también poseen representaciones internas más profundas y robustas.

Los autores concluyen que el trabajo futuro debería centrarse en escalar este marco a presupuestos más grandes y explorar módulos de realismo especializados por dominio, pero los resultados actuales establecen firmemente que mejores priores producen mejores modelos fundacionales tabulares tanto a nivel de generación de datos como de aprendizaje de representaciones.