🤖 machine learning

High Performance, Low Reliability: Uncertainty Benchmarking for Tabular Foundation Models

Este artículo revela que, si bien los Modelos Fundacionales Tabulares superan a los Árboles de Decisión con Impulso de Gradiente en precisión predictiva, adolecen de una cuantificación de la incertidumbre y una calibración inferiores, destacando un compromiso crítico entre rendimiento y fiabilidad que debe abordarse para su adopción confiable.

Autores originales: José Lucas De Melo Costa, Fabrice Popineau, Arpad Rimmel, Bich-Liên Doan

Publicado 2026-05-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: José Lucas De Melo Costa, Fabrice Popineau, Arpad Rimmel, Bich-Liên Doan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás contratando un equipo de detectives para resolver un misterio basado en una lista de pistas (los "datos tabulares"). Algunos detectives son veteranos de la vieja escuela que han resuelto miles de casos utilizando un método específico y confiable (como los Árboles de Decisión con Impulso Gradiente, o GBDT). Otros son detectives de IA totalmente nuevos, superinteligentes, entrenados con millones de casos falsos antes de ver uno real (estos son los Modelos Fundacionales Tabulares, o TFM).

Este artículo es un boletín de calificaciones que compara el rendimiento de estos dos tipos de detectives, pero con un giro: no solo pregunta "¿Quién obtuvo más respuestas correctas?". También pregunta: "¿Quién sabe cuándo está adivinando?".

Aquí está el desglose de sus hallazgos:

1. La trampa de "Inteligente pero demasiado seguro"

Los nuevos detectives de IA (TFM) son increíblemente rápidos y precisos. Cuando se les pide elegir al sospechoso correcto, obtienen la puntuación más alta (AUC). Parecen el futuro del trabajo de detective.

Sin embargo, los investigadores encontraron un defecto oculto. Cuando estos detectives de IA no están seguros, no lo admiten. En su lugar, señalan con confianza a un solo sospechoso, incluso cuando las pistas están desordenadas o confusas. Son como un estudiante que adivina la respuesta en un examen con un 100% de confianza, aunque en realidad no tenga idea de lo que está hablando.

2. El veterano "Seguro pero honesto"

Los detectives de la vieja escuela (GBDT) son ligeramente menos precisos en general. Podrían perderse unas cuantas pistas más que la IA. Pero, son mucho mejores para conocer sus límites. Cuando las pistas son confusas, dicen: "No estoy seguro, podría ser cualquiera de estas cinco personas".

En el mundo de este artículo, esta honestidad se mide mediante un concepto llamado Predicción Conformada. Piensa en esto como una "red de seguridad".

El objetivo: Si quieres estar un 90% seguro de que atrapaste a la persona correcta, tu "red de seguridad" (la lista de sospechosos que proporcionas) debería contener al culpable real el 90% de las veces.
El resultado: Los detectives de la vieja escuela construyeron redes que realmente funcionaron el 90% de las veces. Los nuevos detectives de IA construyeron redes que parecían pequeñas y precisas, pero se perdieron al culpable real con más frecuencia de la que deberían. Estaban "demasiado seguros".

3. La compensación: Velocidad vs. Seguridad

El artículo llama a esto una "Compensación Rendimiento-Incertidumbre".

La IA (TFM): Alto rendimiento, baja fiabilidad. Son excelentes cuando los datos están limpios y son simples, pero se vuelven inestables y demasiado seguros cuando los datos son ruidosos o desordenados.
Los veteranos (GBDT): Rendimiento ligeramente inferior, pero alta fiabilidad. Se mantienen tranquilos y honestos incluso cuando las pistas son confusas.

4. La prueba de estrés "Sintética"

Para estar seguros, los investigadores crearon una escena del crimen falsa y caótica con mucho ruido y pistas confusas.

Los detectives de IA obtuvieron la puntuación más alta, pero cometieron errores enormes y seguros.
Los detectives veteranos fueron más consistentes. Admitieron la incertidumbre cuando las pistas no tenían sentido, lo que los hace más seguros de confiar en situaciones complicadas.

La conclusión

El artículo concluye que, aunque estos nuevos modelos de IA son increíbles para obtener la "respuesta correcta" en datos limpios, aún no han aprendido a ser humildes. Actualmente son alto rendimiento pero baja fiabilidad.

Si necesitas un detective para un caso simple y claro, la IA es una gran opción. Pero si estás tratando con una situación desordenada, compleja o de alto riesgo donde equivocarse es peligroso, los detectives honestos de la vieja escuela (GBDT) siguen siendo la opción más segura porque saben cuándo están adivinando.

En resumen: La nueva IA es el corredor más rápido, pero tropieza con sus propios cordones cuando la pista se vuelve irregular. El corredor viejo es un poco más lento, pero nunca tropieza cuando el camino se vuelve áspero.

Resumen Técnico: Alto Rendimiento, Baja Fiabilidad: Evaluación de Incertidumbre para Modelos Fundacionales Tabulares

Enunciado del Problema
Recientes Modelos Fundacionales Tabulares (TFMs), como TabPFN y TabICL, han demostrado un rendimiento predictivo de vanguardia en conjuntos de datos tabulares de escala pequeña y media, superando a menudo a los Árboles de Decisión Potenciados por Gradiente (GBDTs) tradicionales. Sin embargo, la fiabilidad de estos modelos, específicamente en lo que respecta a su cuantificación de la incertidumbre, permanece en gran medida inexplorada. Si bien la precisión predictiva (AUC) es la métrica principal para las evaluaciones actuales, la fiabilidad de la confianza del modelo es crítica para aplicaciones de seguridad crítica en finanzas y atención médica. La literatura existente se centra casi exclusivamente en la precisión, dejando un vacío en la comprensión de si los TFMs proporcionan estimaciones de incertidumbre bien calibradas o si exhiben sobreconfianza, particularmente bajo condiciones ruidosas o complejas.

Metodología
Los autores proponen un protocolo de evaluación integral que va más allá de las métricas de precisión estándar para incluir la cuantificación de la incertidumbre mediante Predicción Conformal (CP). El estudio evalúa cuatro familias de modelos en 112 conjuntos de datos tabulares de escala pequeña y media procedentes de la evaluación TALENT, complementados con 20 conjuntos de datos sintéticos diseñados para aislar regímenes de alto ruido y baja separabilidad.

Modelos Evaluados:
- TFMs: TabPFN, TabICL, PFN-v2 y Mitra.
- GBDTs: XGBoost, LightGBM y CatBoost.
- Líneas Base: Métodos clásicos (k-NN, Regresión Logística) y Aprendizaje Profundo (MLP, TabM).
Marco de Predicción Conformal:
- El estudio utiliza la puntuación de la Clase Menos Ambigua (LAC), $s(x, y) = 1 - \hat{p}(y|x)$ , para transformar predicciones puntuales en conjuntos de predicción.
- Se utiliza un conjunto de calibración (disjunto de los datos de entrenamiento) para calcular puntuaciones de no conformidad y determinar un umbral de cuantil $q_\alpha$ para una cobertura objetivo de $1-\alpha = 0.90$ .
- Esto garantiza garantías libres de distribución de que la etiqueta verdadera se encuentra dentro del conjunto de predicción con probabilidad $\geq 1-\alpha$ .
Métricas de Evaluación:
- AUC: Rendimiento predictivo estándar.
- Tasa de Cobertura (CR): La proporción de muestras de prueba donde la etiqueta verdadera está en el conjunto de predicción.
- Tamaño Promedio del Conjunto (SS): Mide la informatividad de los conjuntos de predicción (conjuntos más pequeños implican mayor confianza).
- Puntuación de Cobertura Estratificada por Tamaño (SSCS): Una métrica crítica introducida para evaluar la cobertura condicional. Mide la cobertura empírica a través de grupos de muestras con tamaños de conjunto similares. Un SSCS bajo indica que el modelo es sobreconfiado (produciendo conjuntos pequeños) cuando en realidad está equivocado, un fallo de calibración que la cobertura marginal podría pasar por alto.

Resultados Clave
Los resultados empíricos, promediados sobre 15 semillas, revelan un distinto compromiso rendimiento-fiabilidad:

Rendimiento Predictivo vs. Fiabilidad: Los TFMs logran las puntuaciones AUC más altas (por ejemplo, TabICL en 0.890, PFN-v2 en 0.889) en comparación con los GBDTs (por ejemplo, LightGBM en 0.864). Sin embargo, los TFMs exhiben puntuaciones SSCS significativamente más bajas (oscilando entre 0.494 y 0.517) en comparación con los GBDTs (oscilando entre 0.532 y 0.544).
El Compromiso: Existe una tendencia inversa entre la precisión y la calidad de la incertidumbre. Mientras que los TFMs son más precisos, su confianza no refleja fielmente la incertidumbre predictiva. Tienden a producir "errores sobreconfiados": conjuntos de predicción estrechos que no incluyen la etiqueta verdadera.
Hallazgos con Datos Sintéticos: En conjuntos de datos sintéticos con alto ruido y baja separabilidad de clases, la brecha se amplía. Los TFMs producen predicciones de alta varianza y sobreconfiadas, mientras que los modelos basados en árboles (GBDTs) permanecen robustos y mantienen una mayor cobertura condicional (SSCS de 0.840 para GBDTs frente a 0.614 para TFMs en pruebas sintéticas).
Comportamiento de las Líneas Base: La Regresión Logística Clásica mostró una buena calibración marginal pero tuvo dificultades con la cobertura condicional cerca de fronteras no lineales. Las líneas base de aprendizaje profundo (MLP, TabM) generalmente rindieron peor que los TFMs tanto en precisión como en calibración.

Significado y Afirmaciones
El artículo concluye que, si bien los TFMs avanzan la frontera de la precisión predictiva, actualmente sufren un déficit mayor de fiabilidad en lo que respecta a la cuantificación de la incertidumbre. Los autores afirman que:

Los TFMs aún no están listos para despliegues de alto riesgo donde se requiere incertidumbre calibrada, ya que sistemáticamente producen puntuaciones de cobertura estratificada por tamaño más bajas que los modelos tradicionales.
Los GBDTs siguen siendo la opción más fiable para conjuntos de datos de tamaño pequeño a mediano, particularmente aquellos con alto ruido, heterogeneidad o distribuciones de características complejas, ofreciendo mejor calibración y robustez a pesar de un AUC ligeramente inferior.
Trabajo Futuro: Los autores identifican que lograr una incertidumbre bien calibrada es un desafío abierto importante. Sugieren que la investigación futura debería explorar desplazamientos de distribución, mecanismos de incertidumbre específicos del modelo (por ejemplo, ensamblaje, cabezas bayesianas) y distribuciones de preentrenamiento alternativas para reducir la sobreconfianza.

El estudio proporciona la primera evaluación sistemática de la incertidumbre de los TFM, demostrando que un alto rendimiento no garantiza intrínsecamente una alta fiabilidad en el aprendizaje tabular.