Resumen Técnico: Hacia el preentrenamiento de codificadores de texto para TabPFN

Declaración del Problema

Los modelos fundacionales tabulares, ejemplificados por TabPFN, han demostrado capacidades predictivas sólidas en conjuntos de datos que contienen datos numéricos y categóricos. Sin embargo, carecen de soporte nativo para características de texto de alta cardinalidad. Los flujos de trabajo estándar actuales abordan esto mediante la incrustación de texto a través de un modelo de lenguaje (LM) y la compresión de los vectores de alta dimensión resultantes en un pequeño número de características escalares utilizando el Análisis de Componentes Principales (PCA) antes de ingresarlos en TabPFN.

Este enfoque introduce dos limitaciones críticas:

1. Cuello de botella de información: El paso de PCA descarta la mayoría de las dimensiones de la incrustación, eliminando la riqueza semántica antes de que los datos lleguen al modelo tabular.
2. No diferenciabilidad: La compresión impide que el flujo de trabajo sea totalmente diferenciable, lo que elimina la capacidad de realizar un ajuste fino (fine-tuning) del modelo de lenguaje basado en las señales predictivas de TabPFN.

Los enfoques alternativos de extremo a extremo (por ejemplo, ConTextTab, TabSTAR) que evitan el PCA a menudo requieren un preentrenamiento extensivo en colecciones de datos del mundo real (como T4), que frecuentemente son extracciones de la web de baja calidad. Estos métodos pueden degradar el rendimiento en tareas puramente numéricas y categóricas en comparación con los modelos preentrenados en grandes cantidades de datos sintéticos, y pueden vincular el modelo a LMs o estrategias de verbalización específicas.

Metodología

Los autores proponen el Adaptador de Texto de TabPFN, una estrategia de alineación de post-entrenamiento ligera, inspirada en las técnicas de alineación multimodal en Modelos de Lenguaje Grandes (LLMs, como LLaVA, TableGPT). El objetivo central es proyectar las incrustaciones de texto del LM directamente en el espacio de incrustación interno de TabPFN sin actualizar los pesos ni del modelo fundacional ni del codificador de frases.

Arquitectura y Flujo de Trabajo

1. Separación de Características: Las columnas de texto se separan de las columnas numéricas y categóricas. TabPFN procesa estas últimas utilizando su codificador estándar para preservar su robusto rendimiento.
2. Verbalización de Texto: Para las columnas de texto libre, cada celda es verbalizada anteponiendo el nombre de la columna (ej. nombre_de_la_columna: texto). Esta contextualización ayuda al modelo de lenguaje a disambiguar valores de texto idénticos con significados diferentes.
3. Generación de Incrustaciones: El texto verbalizado es codificado utilizando un transformador de frases (específicamente all-MiniLM-L6-v2), produciendo incrustaciones de alta dimensión.
4. Proyección del Adaptador: Un adaptador ligero mapea estas incrustaciones en una secuencia corta de tokens (1 a 10) dentro del espacio de incrustación de 192 dimensiones de TabPFN.
   • Estructura: El adaptador refleja el codificador de características de TabPFN: una capa lineal para tareas de clasificación y un MLP de 2 capas para tareas de regresión.
   • Conteo de Tokens: Los estudios de ablación sugieren usar 5 tokens por celda de texto para clasificación (equilibrando rendimiento y cómputo) y 1 token para regresión (obteniendo resultados óptimos).
5. Fusión: Los tokens de texto adaptados se concatenan con las incrustaciones tabulares estándar y se alimentan a los bloques de transformador de TabPFN.

Procedimiento de Entrenamiento

• Congelación: Tanto el transformador de frases como la arquitectura de TabPFN están congelados. Solo se actualizan los pesos del adaptador.
• Inicialización: El adaptador se inicializa a partir de los pesos originales del codificador de TabPFN para proporcionar un punto de partida sólido alineado con la distribución de incrustación esperada de TabPFN.
• Datos: El preentrenamiento utiliza un subconjunto del benchmark STRABLE, seleccionando específicamente conjuntos de datos con columnas de texto libre significativas (distinguidas del texto categórico por tener >20 valores únicos).
• Invarianza a la Permutación: Para fomentar que el adaptador aprenda mapeos invariantes al orden de las dimensiones de la incrustación, se aplica una permutación aleatoria a las dimensiones de la incrustación del LM antes del adaptador durante el entrenamiento. Durante el ensamblado de inferencia, se utilizan diferentes permutaciones para cada miembro del ensamble y se promedian las predicciones.

Contribuciones Clave

1. Eliminación del Cuello de Botella de PCA: El adaptador elimina la pérdida de información asociada con la compresión PCA al proyectar el texto directamente en el espacio de tokens del modelo.
2. Preservación de Fortalezas Numéricas: Al mantener los pesos principales de TabPFN congelados y entrenar solo un adaptador ligero, el método retiene el rendimiento superior de TabPFN en señales numéricas y categóricas, que a menudo se ve comprometido en los flujos de trabajo de texto-tabular de extremo a extremo.
3. Eficiencia: El enfoque es computacionalmente más eficiente de entrenar que el preentrenamiento de extremo a extremo y evita las penalizaciones de complejidad cuadrática de un exceso de conteo de tokens mediante la optimización del número de tokens proyectados por tipo de tarea.
4. Alineación de Modalidades: Transfiere con éxito el principio de alineación de la sintonización de instrucciones visuales (LLaVA) y los sistemas de tabla-a-LLM (TableGPT) al dominio de la predicción tabular.

Resultados

El método fue evaluado en TextTabBench, un benchmark que comprende 13 conjuntos de datos (6 de clasificación, 7 de regresión) con columnas de texto largo libre.

• Regresión: El Adaptador de Texto de TabPFN superó a todos los baselines, incluyendo a ConTextTab y el baseline PCA-30. Logró esto utilizando significativamente menos tokens que el enfoque PCA-30, ofreciendo una ventaja computacional debido a la complejidad cuadrática de los mecanismos de atención.
• Clasificación: El adaptador logró un rendimiento muy cercano al baseline PCA-30 (84.5% vs. 86.4% de ROC-AUC normalizado) pero no lo superó. Quedó notablemente por detrás de ConTextTab (97.65%), lo que sugiere que para la clasificación, el preentrenamiento específico de ConTextTab en datos reales ricos en texto sigue manteniendo una ventaja, o que la estrategia de compresión de tokens requiere un mayor refinamiento para este tipo de tarea.

Perspectivas de Ablación:

• Conteo de Tokens: Los conteos de tokens óptimos difieren por tarea (10 tokens para clasificación, 1 para regresión), probablemente debido a las diferencias arquitectónicas en los codificadores de características de TabPFN (lineal vs. MLP) y los sesgos de preentrenamiento.
• Profundidad de Fusión: La fusión temprana (antes de la primera capa del transformador) superó consistentemente a la fusión tardía, indicando que TabPFN se beneficia de procesar los tokens de texto junto con las características numéricas desde el inicio.
• Inicialización: Inicializar el adaptador con los pesos de TabPFN proporcionó beneficios claros para la regresión, aunque el efecto fue modesto para la clasificación.

Significado y Limitaciones

El artículo posiciona al Adaptador de Texto de TabPFN como un primer paso vital hacia la optimización del flujo completo de codificador de texto para TabPFN. Ofrece una alternativa más simple, barata y flexible al preentrenamiento de extremo a extremo, permitiendo con éxito que el modelo fundacional tabular de vanguardia aproveche las características textuales sin sacrificar su destreza numérica.

Limitaciones:
Los autores reconocen que el adaptador actual aplica la misma capa lineal o MLP preentrenada para todas las tareas, mientras que la importancia de dimensiones de incrustación específicas puede variar según la tarea. Hipotetizan que mapear las incrustaciones de alto rendimiento del LM en un solo token de TabPFN introduce una pérdida de información significativa. Se propone como trabajo futuro desarrollar un adaptador que pueda condicionarse a la columna de texto completa o incluso a otras columnas de la tabla (incluyendo los objetivos) para determinar dinámicamente cómo reducir las dimensiones, aprovechando así más eficazmente las capacidades de razonamiento estadístico de TabPFN.