🤖 machine learning

Do Tabular Foundation Models Agree with Themselves?

Este artículo revela que los Modelos Fundacionales Tabulares (TFMs) no logran producir distribuciones conjuntas fieles porque violan los requisitos de consistencia de marginalización y factorización en todos los conjuntos de datos y tareas evaluados.

Autores originales: Christian Klötergens, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme, Tom Hanika

Publicado 2026-08-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Christian Klötergens, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme, Tom Hanika

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un detective intentando resolver un misterio, pero en lugar de buscar pistas en la escena de un crimen, buscas pistas en una hoja de cálculo gigante. Este es el mundo de los Modelos Fundacionales Tabulares, un área nueva y candente de la inteligencia artificial donde las computadoras aprenden a predecir cosas basándose en filas y columnas de datos, como predecir si se pagará un préstamo o cuál podría ser el precio de una casa. Estos modelos se construyen sobre una idea ingeniosa llamada inferencia bayesiana, que es básicamente una forma elegante de decir: "Actualicemos nuestras creencias basadas en nueva evidencia". Piensa en ello como un pronosticador del clima que comienza con una suposición general sobre la lluvia, pero tan pronto como ve nubes oscuras, actualiza su predicción para decir: "Está bien, definitivamente va a llover".

Durante mucho tiempo, los científicos esperaron que estos modelos de IA fueran pronosticadores del clima perfectos para los datos. Creían que si le pedías al modelo que predijera una cosa, y luego usaras esa predicción para adivinar otra, toda la historia que contara encajaría perfectamente, tal como una novela bien escrita donde cada capítulo conecta lógicamente con el siguiente. Pero aquí está el truco: en el mundo real, a menudo no conocemos la respuesta "verdadera" para contrastar. Es como intentar calificar el ensayo de un estudiante sin tener la clave de respuestas. Así que, en lugar de preguntar "¿Es este modelo correcto?", un grupo de investigadores se hizo una pregunta más simple y complicada: "¿Cuenta este modelo siquiera una historia coherente consigo mismo?". Querían saber si la IA solo estaba inventando números aleatorios que casualmente se veían bien, o si realmente estaba siguiendo las estrictas reglas de la lógica y la probabilidad.

El artículo que estás a punto de escuchar, titulado "¿Están los Modelos Fundacionales Tabulares de acuerdo consigo mismos?", se sumerge directamente en este misterio. Los investigadores, liderados por Christian Klötergens y su equipo, decidieron someter a los modelos de IA más populares para datos tabulares (como TabPFN, TabICL y TabFM) a una rigurosa "prueba de lógica". No se limitaron a pedirles que predijeran; les pidieron que contaran la misma historia de dos maneras diferentes y verificaron si las historias coincidían.

Imagina que estás tratando de adivinar el sabor de un batido misterioso.

Prueba 1 (Consistencia de Marginalización): Le preguntas a la IA: "¿Qué sabor tiene este batido?". Luego, le preguntas: "Si el batido es rojo, ¿qué sabor tiene? Y si es azul, ¿qué sabor tiene?". Finalmente, mezclas esas dos respuestas basándote en qué tan probable es que el batido sea rojo o azul. Si la IA es consistente, esta respuesta "mezclada" debería ser exactamente igual a la primera respuesta directa.
Prueba 2 (Consistencia de Factorización): Le pides a la IA que cuente la historia de los ingredientes del batido en dos órdenes diferentes. Primero, adivina la fruta, luego el endulzante. Segundo, adivina el endulzante, luego la fruta. Si la IA realmente entiende los datos, la imagen final del batido debería ser idéntica, sin importar qué ingrediente adivinó primero.

Los investigadores aplicaron estas pruebas a una gran variedad de conjuntos de datos del mundo real, desde calificaciones de calidad de vino hasta precios de autos y registros médicos. Utilizaron una regla matemática llamada Distancia de Variación Total para medir qué tan alejadas estaban las respuestas. Una puntuación de 0 significa que el modelo es perfectamente consistente; una puntuación más alta significa que se contradice a sí mismo.

Los resultados fueron un choque. Cada uno de los modelos probados falló en ambas pruebas. En cada conjunto de datos, tanto para preguntas simples de sí/no (clasificación) como para preguntas de predicción numérica (regresión), los modelos dieron respuestas diferentes dependiendo de cómo se les preguntara. Es como si la IA te dijera que el batido es de "fresa" cuando se le pregunta directamente, pero cuando le preguntas primero por el color, de repente decide que es de "arándano", a pesar de que el color es el mismo.

El artículo encontró que, si bien algunos modelos eran ligeramente mejores contando una historia consistente que otros (por ejemplo, un modelo llamado TabFM fue el clasificador más consistente, y TabPFNv3 fue el regresor que más se acercó a la consistencia), ninguno de ellos era verdaderamente consistente. De hecho, las inconsistencias eran tan generalizadas que los investigadores concluyeron que estos modelos no representan realmente una "distribución conjunta" única de los datos. En lenguaje sencillo: los modelos no están siguiendo las estrictas leyes de la probabilidad que se supone que están imitando. Esencialmente, están "alucinando" diferentes versiones de la realidad dependiendo del orden en que se les haga la pregunta.

Los autores también descubrieron algo interesante: ser un "buen" predictor (obtener la respuesta correcta la mayor parte del tiempo) no significa que seas un predictor "consistente". Un modelo puede ser muy preciso al adivinar el precio de una casa, pero aun así contradecirse a sí mismo cuando le pides que explique su razonamiento en un orden diferente. Esto sugiere que la consistencia es un defecto oculto y separado que los puntos de referencia actuales pasan por alto.

Entonces, ¿qué significa esto para el futuro? El artículo no dice que estos modelos sean inútiles —siguen siendo las mejores herramientas que tenemos para muchas tareas—. Sin embargo, suena una alarma fuerte de que no podemos confiar ciegamente en estos modelos para que nos hablen de relaciones complejas entre variables si necesitamos que sean lógicamente coherentes. Los investigadores sugieren que los modelos futuros deben construirse con la "consistencia" como una característica central, quizás entrenándolos para penalizar estas contradicciones, en lugar de solo enfocarse en obtener la respuesta final correcta. Hasta entonces, debemos recordar que estos poderosos detectives de IA son excelentes encontrando pistas, pero a veces cuentan versiones diferentes de la historia dependiendo de quién pregunte.

Título: ¿Están los Modelos de Fundación Tabulares de acuerdo consigo mismos?

Planteamiento del Problema
Los Modelos de Fundación Tabulares (TFM, por sus siglas en inglés), como TabPFN, TabICL y TabFM, representan actualmente el estado del arte para la predicción tabular. Estos modelos se construyen como transformadores entrenados para aproximar la distribución predictiva posterior bayesiana (PPD) bajo un prior sintético. Aunque sus cabezales predictivos son univariantes, los profesionales los utilizan para modelar distribuciones multivariantes mediante el muestreo autoregresivo de objetivos y la adición de estos como características. Sin embargo, la fidelidad de la distribución conjunta resultante no ha sido investigada. Crucialmente, debido a que la distribución real de los conjuntos de datos del mundo real es desconocida, los TFM no pueden evaluarse frente al verdadero posterior bayesiano. Esto deja un vacío en la comprensión de si las predicciones univariantes de estos modelos realmente convergen en una distribución conjunta única y bien definida.

Metodología
Para abordar la incapacidad de medir la distancia respecto a un verdadero posterior, los autores proponen un enfoque libre de etiquetas: determinar si las predicciones de un modelo podrían haber sido inducidas por cualquier distribución conjunta en absoluto. Una distribución conjunta bien definida impone restricciones matemáticas estrictas sobre sus marginales y condicionales. Los autores formalizan dos requisitos de consistencia que cualquier modelo inducido por una distribución conjunta válida debe satisfacer:

Consistencia de Marginalización: Requiere que los condicionales marginalizados sean iguales a los marginales predichos directamente. Específicamente, si un modelo predice un objetivo $A$ directamente, y también predice $A$ condicionado a un segundo objetivo $B$ (el cual es marginalizado utilizando la propia predicción del modelo para $B$ ), las distribuciones resultantes deben ser idénticas. Este es un caso de la ley de la probabilidad total y de la propiedad de martingala de los sistemas predictivos coherentes.
Consistencia de Factorización: Este es un requisito más fuerte relacionado con la distribución conjunta misma. Exige que diferentes órdenes de factorización autoregresiva (por ejemplo, predecir $A$ luego $B$ , frente a $B$ luego $A$ ) resulten exactamente en la misma distribución conjunta.

Los autores demuestran que la consistencia de factorización implica la consistencia de marginalización, pero la inversa no es cierta. Para evaluar estas propiedades, derivan métricas basadas en la distancia de Variación Total (TV) entre las distribuciones generadas por el modelo bajo estas diferentes condiciones. Estas métricas funcionan sin conocimiento de la distribución de verdad de campo (ground-truth) o del prior de preentrenamiento.

Configuración Experimental
El estudio evalúa varios TFM de vanguardia (TabPFNv2/v3, TabICLv1/v2, TabDPTv1.2 y TabFM) a través de un amplio conjunto de bases de datos de OpenML, cubriendo tanto tareas de clasificación como de regresión. Para cada conjunto de datos, se seleccionan dos columnas de objetivos que dependen plausiblemente entre sí dados los demás atributos. Los modelos se prueban bajo un esquema de validación cruzada de 5 pliegues para medir la discrepancia entre:

Predicciones marginales directas frente a mezclas marginalizadas (Consistencia de Marginalización).
Distribuciones conjuntas derivadas de diferentes órdenes de muestreo (Consistencia de Factorización).

Resultos Clave
Los experimentos revelan violaciones sistemáticas y significativas de ambos requisitos de consistencia en todos los modelos, conjuntos de datos y tipos de tareas evaluados:

Violación Universal: Cada TFM evaluado viola tanto la consistencia de marginalización como la de factorización en cada conjunto de datos. La inconsistencia observada es una propiedad estructural de los TFM actuales.
Magnitud de la Violación: Las violaciones no son meramente ruido de muestreo, sino que representan brechas estructurales donde la estimación de un objetivo cambia dependiendo de si se condiciona a un objetivo intermedio o si se marginaliza.
Comparación de Modelos:
- Clasificación: TabFM (el modelo más nuevo) demuestra la mayor consistencia entre los clasificadores, logrando la menor distancia TV promedio en la mayoría de los conjuntos de datos. TabICLv1 es identificado como el clasificador más inconsistente.
- Regresión: Ningún modelo emerge como el más consistente en todos los conjuntos de datos. TabDPT parece relativamente consistente para la marginalización, pero es uno de los más inconsistentes para la factorización. TabPFNv3 es el regresor más consistente respecto a la factorización.
Correlación: Existe una fuerte correlación positiva entre las violaciones de la consistencia de marginalización y de factorización. Sin embargo, no hay una correlación fuerte entre la precisión predictiva (o RMSE) de un modelo y su consistencia; los modelos de alto rendimiento no son necesariamente más coherentes.
Conteo de Características: Contrario a la intuición, las tablas más anchas (más características) no conducen necesariamente a una mayor inconsistencia; en las tareas de clasificación, las brechas de consistencia fueron a menudo mayores en conjuntos de datos con menos características.

Significancia y Contribuciones
El artículo realiza tres contribuciones principales:

Formulación de Requisitos: Define dos condiciones necesarias (consistencia de marginalización y de factorización) para que la distribución conjunta implícita de un TFM esté bien definida.
Métricas Libres de Etiquetas: Deriva métricas para cuantificar la extensión de las violaciones sin requerir etiquetas de verdad de campo o conocimiento del prior de preentrenamiento.
Evaluación Empírica: Aplica estas métricas para mostrar que los TFM de vanguardia actuales no logran producir distribuciones conjuntas coherentes.

Los autores concluyen que las predicciones univariantes de los TFM actuales no surgen de una única distribución conjunta sobre las columnas de la tabla. En consecuencia, estos modelos no pueden ser confiables para tareas posteriores que dependan de la estructura de dependencia entre los objetivos, como la generación de datos autoregresiva. El artículo posiciona la consistencia como un eje de evaluación distinto, separado de la precisión, que actualmente falta en los benchmarks como TabArena. Aunque las condiciones son actualmente diagnósticas, los autores sugieren que el trabajo futuro debería centrarse en el diseño de modelos —como objetivos de entrenamiento que penalicen las brechas de consistencia o arquitecturas que impongan un latente conjunto compartido— para construir TFM que sean provablemente coherentes.

Más como este