Resumen Técnico: Un Estudio Mecanístico de Modelos Fundacionales Tabulares

Planteamiento del Problema

Los modelos fundacionales tabulares (TFM, por sus siglas en inglés) como TabPFNv2, TabICLv2 y Mitra han demostrado un rendimiento de vanguardia en tareas de clasificación y regresión sin entrenamiento específico para la tarea, dependiendo enteramente del aprendizaje en contexto (ICL). A pesar de lograr una precisión comparable en las pruebas de referencia, estos modelos emplean arquitecturas sustancialmente diferentes (por ejemplo, atención por celda frente a atención por token de fila frente a espacios de etiquetas factorizados). Esta convergencia en el rendimiento plantea preguntas mecanísticas críticas que las tablas de clasificación estándar no pueden responder:

1. ¿Ejecutan estos modelos el mismo algoritmo subyacente de aprendizaje en contexto?
2. ¿De dónde provienen sus invarianzas a la permutación de filas, columnas y clases, y son impuestas por diseño o aprendidas?
3. ¿Qué tan robustos son frente a perturbaciones diseñadas específicamente contra sus mecanismos inferidos?

Trabajos anteriores han catalogado algunas invarianzas o han rastreado la lógica relevante para la tarea hacia capas intermedias, pero no han caracterizado sistemáticamente los mecanismos de lectura, los componentes de soporte de las arquitecturas ni los modos de fallo específicos inducidos por vulnerabilidades mecanísticas.

Metodología

Los autores realizan una auditoría mecanística exhaustiva en tres familias de TFMs (TabPFNv2, TabICLv2 y Mitra) utilizando una combinación de intervenciones causales, sondeo por capas y pruebas adversarias. El estudio abarca 49 conjuntos de datos de clasificación y 10 de regresión.

Los componentes metodológicos clave incluyen:

• Sondeo por Capas: Entrenamiento de clasificadores lineales simples (sondas) sobre activaciones congeladas en cada capa para determinar cuándo se forman representaciones legibles de clase.
• Intervenciones Causales:
  • Apagado de Bloques: Poner a cero bloques de transformadores específicos o MLPs para identificar componentes de soporte.
  • Transplante de Lectura: Aplicar la regla de lectura de un modelo a las representaciones congeladas de otro para probar el acoplamiento arquitectónico.
  • Manipulación de Atención: Forzar una atención uniforme o reemplazar patrones de atención para probar la necesidad.
• Ingeniería de Invarianzas: Eliminación sistemática de codificaciones posicionales (por ejemplo, poner a cero matrices de pesos $W$, eliminar RoPE) para probar si la invarianza exacta a permutaciones puede restaurarse sin reentrenamiento ni pérdida de precisión.
• Ataques Fundamentados en el Mecanismo: Diseño de ocho perturbaciones específicas (por ejemplo, envenenamiento de nodos centrales, distorsión de rango, entierro por SVD) dirigidas a los mecanismos de lectura hipotetizados (votación basada en similitud frente a prototipo más cercano) para exponer modos de fallo distintos.
• Pruebas de Estrés: Evaluación de modelos en datos propensos al colapso (por ejemplo, conjuntos de datos de escala de balance con marginales de columna idénticas) para probar hipótesis de colapso de representaciones.

Contribuciones y Resultados Clave

1. Mecanismos de Lectura Distintos

El estudio establece que, a pesar de puntuaciones similares en las pruebas de referencia, los modelos utilizan algoritmos cualitativamente diferentes para generar predicciones:

• TabPFNv2 y Mitra: Ambos dependen de una votación ponderada por atención en una capa tardía (Capa 9). El modelo afina su distribución de atención para centrarse en un puñado de filas de contexto, realizando efectivamente una votación de similitud aprendida sobre las etiquetas de contexto. Esta lectura depende en gran medida de los patrones de atención específicos de las capas tardías.
• TabICLv2: Utiliza una lectura de prototipo más cercano basada en la representación final (Capa 11). La estructura de clase se establece en gran medida al principio por la red de incrustación de columnas, y el modelo clasifica las consultas basándose en la distancia euclidiana o coseno a los centroides de clase.
• Evidencia: Trasplantar una lectura de una columna vertebral a otra provoca caídas catastróficas de precisión (33–40 puntos porcentuales), confirmando que la lectura y la columna vertebral están diseñadas conjuntamente.

2. Componentes de Soporte Arquitectónico

La auditoría identifica bloques "críticos" específicos que son esenciales para la operación de los modelos, mientras que descubre que gran parte de la red es redundante:

• TabPFNv2/Mitra: El cálculo crítico se concentra en un bloque temprano (Bloque 0) que establece el marco de coordenadas, y en un bloque tardío (Bloque 9) que organiza la representación para la lectura. Los bloques intermedios son en gran medida intercambiables.
• TabICLv2: La red de incrustación de columnas (específicamente el bloque final, ColEmb-2) es crítica para establecer el marco de coordenadas. El transformador ICL subsiguiente de 12 bloques es en gran medida redundante; los apagados de bloques individuales tienen un impacto mínimo, y la señal de clase ya está presente en la entrada de la pila ICL.

3. Invarianza a Permutaciones y Colapso de Representaciones

• Invarianza: Los modelos no imponen invarianza por construcción (excepto Mitra para columnas). Sin embargo, los autores demuestran que la invarianza exacta puede restaurarse mediante simples "ediciones quirúrgicas" (por ejemplo, poner a cero matrices de pesos posicionales en TabPFNv2, eliminar RoPE en TabICLv2) con cero costo para la precisión.
• Colapso de Representaciones: El artículo revisa la preocupación de que las arquitecturas invariantes a columnas colapsen filas distintas en representaciones idénticas cuando las columnas comparten marginales. El estudio encuentra que:
  • TabICLv2 y TabPFNv2 poseen defensas redundantes dentro de la fila (por ejemplo, agrupación de características, incrustaciones conscientes del objetivo) que previenen el colapso en la práctica.
  • Eliminar una sola defensa en estos modelos a menudo es "gratis" (sin caída de precisión), pero eliminar todas las defensas expone el colapso.
  • Mitra es único en que no tiene rompe-simetrías dentro de la fila por diseño, pero evita el colapso, lo que sugiere que su arquitectura (inyección temprana de etiquetas y falta de compresión de filas) elude inherentemente el modo de fallo.

4. Vulnerabilidades Adversarias Fundamentadas en el Mecanismo

El estudio valida las hipótesis mecanísticas diseñando ataques que se dirigen específicamente a las lecturas identificadas:

• Envenenamiento de Nodos Centrales (Hub Poisoning): Invertir las etiquetas de los puntos de contexto "centrales" (a los que más se atiende) degrada significativamente TabPFNv2 y TabICLv2, confirmando su dependencia de puntos de contexto específicos.
• Distorsión de Rango (Rank Warp): Reemplazar valores por su rango por columna destruye las distancias absolutas requeridas para la lectura de prototipos de TabICLv2 y las métricas de similitud de TabPFNv2, causando grandes caídas de precisión.
• Robustez Diferencial: Si bien los modelos fundacionales son generalmente más robustos a distorsiones monótonas (cubo, soft-exp) que las MLPs ajustadas recientemente (debido a su prior ICL), son únicos en su fragilidad frente a ataques basados en rango y nodos centrales en comparación con las líneas base reajustadas.

Significado y Afirmaciones

El artículo afirma proporcionar la primera cuenta mecanística de los modelos fundacionales tabulares contemporáneos, avanzando más allá de la evaluación de referencia de caja negra para explicar cómo funcionan estos modelos y por qué fallan.

• Guía de Diseño: Los resultados ofrecen orientación concreta para el diseño futuro de modelos. Los autores proponen que la próxima generación de TFMs debería combinar la arquitectura invariante a columnas de Mitra, la inyección temprana de etiquetas (como un espacio visible para la atención) y una cabeza de salida Uno-contra-Todos para la invarianza de clase. Se argumenta que esta combinación es neutral en precisión o mejor, mientras elimina la necesidad de ensamblaje de permutaciones y reduce la superficie de ataque.
• Interpretabilidad: Al identificar que capas específicas (por ejemplo, L9 para TabPFN, L11 para TabICL) y componentes (por ejemplo, ColEmb-2) soportan la carga, el artículo permite la poda, depuración y mejoras de eficiencia dirigidas.
• Robustez: El estudio destaca que, si bien estos modelos son poderosos, su dependencia de similitudes aprendidas específicas los hace vulnerables a perturbaciones específicas y conscientes del mecanismo que las líneas base estándar podrían no exhibir en el mismo grado.

Los autores mantienen una postura modesta, señalando que sus hallazgos son específicos de la generación actual de modelos y de los priores sintéticos utilizados en su preentrenamiento. No afirman haber resuelto todos los problemas de robustez, sino haber identificado los sesgos inductivos específicos que gobiernan los éxitos y fracasos actuales.