Tabular Foundation Models for Clinical Survival Analysis via Survival-Aware Adaptation

Resumen Técnico: Modelos Fundacionales Tabulares para el Análisis de Supervivencia Clínica mediante Adaptación Consciente de la Supervivencia

Planteamiento del Problema
La predicción de resultados de tiempo hasta un evento, como la mortalidad o la progresión de una enfermedad, es una tarea fundamental en la toma de decisiones clínicas, abordada típicamente mediante el análisis de supervivencia. Si bien se utilizan ampliamente los métodos estadísticos clásicos (p. ej., riesgos proporcionales de Cox) y modelos de aprendizaje profundo (p. ej., DeepSurv, DeepHit), estos suelen requerir un entrenamiento específico para la tarea, un ajuste extensivo de hiperparámetros y grandes cantidades de datos etiquetados, recursos que frecuentemente escasean en entornos clínicos reales. Además, estos modelos deben manejar datos con censura por la derecha, donde el evento de interés no se observa para todos los pacientes.

Los avances recientes en modelos fundacionales (FM) tabulares, como TabPFN, TabDPT y TabICL, ofrecen una alternativa prometedora al aprender representaciones de propósito general a partir de tareas tabulares sintéticas, permitiendo un sólido rendimiento mediante el aprendizaje en contexto sin necesidad de entrenamiento en el conjunto de datos objetivo. Sin embargo, su aplicabilidad al análisis de supervivencia clínica sigue siendo poco explorada. Los FM existentes están diseñados principalmente para clasificación discreta o regresión y no admiten de forma nativa la predicción de tiempo hasta el evento censurado. Los intentos previos de adaptarlos suelen implicar la reformulación de la supervivencia como una secuencia de tareas de clasificación binaria sobre intervalos de tiempo discretizados, lo que introduce sobrecarga computacional, desequilibrio de clases e inconsistencias en el modelado temporal.

Metodología
Los autores proponen un enfoque de adaptación ligero para aplicar modelos fundacionales tabulares al análisis de supervivencia clínica. La estrategia central consiste en mantener fijo el núcleo preentrenado del modelo fundacional y entrenar únicamente una cabeza de predicción ligera y consciente de la supervivencia. El estudio evalúa dos paradigmas:

1. Aprendizaje en Contexto Zero-Shot: El modelo preentrenado se aplica directamente a una tarea de supervivencia discretizada. Para cada intervalo de tiempo, el modelo predice la probabilidad de que ocurra un evento utilizando la cohorte de entrenamiento como soporte en contexto. La función de supervivencia se reconstruye a partir de estas probabilidades, con un post-procesamiento para imponer la monotonicidad.
2. Adaptación Consciente de la Supervivencia (Propuesta): Se adjunta una cabeza de Regresión Logística Multitarea (MTLR) a las representaciones preentrenadas. A diferencia de la clasificación discretizada, MTLR modela la distribución de supervivencia como una probabilidad conjunta sobre secuencias de supervivencia válidas. Este enfoque:
   • Codifica los resultados de supervivencia como secuencias binarias que representan la transición de la supervivencia al evento.
   • Define un modelo log-lineal sobre secuencias válidas, manejando naturalmente la censura al marginalizar sobre las secuencias consistentes con la supervivencia más allá del tiempo de censura.
   • Impone la monotonicidad por construcción sin requerir expansión temporal o corrección post-hoc.

Los autores evalúan tres arquitecturas representativas (TabPFN, TabDPT, TabICL) a través de un diverso conjunto de benchmarks de supervivencia públicos (SUPPORT, METABRIC, GBSG, WHAS, FLCHAIN, SEER, VETERANS) y dos cohortes de UCI a gran escala (MIMIC-IV y eICU).

Contribuciones Clave

• Marco de Adaptación: El artículo introduce un método eficiente en parámetros para extender los modelos fundacionales tabulares a la predicción de tiempo hasta el evento censurado mediante el entrenamiento de cabezas conscientes de la supervivencia (específicamente MTLR) sobre representaciones preentrenadas congeladas.
• Evaluación Exhaustiva: El estudio proporciona una comparación rigurosa contra líneas de base sólidas, incluyendo modelos estadísticos clásicos, métodos basados en árboles y modelos de supervivencia de redes neuronales profundas, a través de benchmarks de pequeño a mediano tamaño y conjuntos de datos de registros de salud electrónicos (EHR) a gran escala.
• Validación Empírica: El trabajo demuestra que la combinación de representaciones tabulares preentrenadas con objetivos conscientes de la supervivencia produce un rendimiento competitivo o superior en comparación con las líneas de base de vanguardia, particularmente en conjuntos de datos grandes y heterogéneos.

Resultados
Los resultados experimentales indican que la adaptación consciente de la supervivencia es la estrategia más consistente entre los conjuntos de datos:

• Rendimiento: En el conjunto de datos MIMIC-IV, el modelo TabDPT-FT-MTLR alcanzó un C-index de 0.856, lo que representa una mejora relativa del +1.4% sobre la mejor línea de base no-FM (DeepSurv, 0.844) y un +6.7% de mejora sobre el mejor modelo zero-shot (0.802). Del mismo modo, en eICU, TabICL-FT-MTLR alcanzó un C-index de 0.797, superando a DeepSurv (0.784) y al mejor modelo zero-shot (0.749).
• Zero-Shot vs. Adaptación: Aunque la inferencia zero-shot es competitiva, particularmente en conjuntos de datos más pequeños o más limpios, es superada consistentemente por la adaptación consciente de la supervivencia. Los autores lo atribuyen a las limitaciones de las reformulaciones discretizadas zero-shot, que tratan los intervalos de tiempo de forma independiente y sufren de desequilibrio de clases.
• Calidad de la Representación: Los núcleos (backbones) tabulares preentrenados superaron consistentemente a los codificadores MLP estándar cuando se combinaron con el mismo objetivo MTLR, lo que sugiere que los modelos fundacionales codifican sesgos inductivos útiles para los datos tabulares que se transfieren eficazmente a las tareas de supervivencia.
• Estratificación de Riesgo: En el análisis de utilidad clínica, los modelos conscientes de la supervivencia produjeron una separación más clara y estable de los grupos de riesgo bajo, medio y alto en comparación con los modelos zero-shot. Los modelos adaptados mostraron una divergencia más temprana de los grupos de riesgo y menos cruces de curvas, lo que indica un ranking de riesgo más fiable a lo largo del tiempo.

Significancia y Reivindicaciones
El artículo sostiene que los modelos fundacionales tabulares, cuando se combinan con una adaptación ligera consciente de la supervivencia, proporcionan una alternativa práctica y efectiva a los enfoques tradicionales de modelado de supervivencia. La significancia de este trabajo radica en:

• Eficiencia: El enfoque elimina la necesidad de un entrenamiento extensivo específico de la tarea para el núcleo, simplificando el despliegue y reduciendo los requisitos de datos para una predicción de supervivencia de alto rendimiento.
• Robustez: El método demuestra una fuerte generalizabilidad a través de diversos dominios clínicos y regímenes de datos, desde pequeños benchmarks públicos hasta cohortes de UCI grandes y heterogéneas.
• Utilidad Clínica: Al permitir una estratificación de riesgo más precisa y una identificación más temprana de pacientes de alto riesgo, el enfoque respalda una toma de decisiones más oportuna y accionable en entornos de cuidados críticos.

Los autores concluyen que, si bien la inferencia zero-shot sirve como una línea de base sólida en entornos de bajos recursos, la adaptación consciente de la supervivencia resulta cada vez más beneficiosa a medida que el tamaño y la complejidad del conjunto de datos crecen, ofreciendo una forma fundamentada de manejar la censura y las dependencias temporales sin modificar el modelo fundacional preentrenado.