🤖 machine learning

SurvPFN: Towards Foundation Models for Survival Predictions

El artículo presenta SurvPFN, una red ajustada a datos previos preentrenada en millones de tareas sintéticas para permitir que los modelos fundacionales manejen datos censurados para la predicción de supervivencia, logrando un rendimiento competitivo en conjuntos de datos del mundo real sin requerir el ajuste por conjunto de datos o arquitecturas especializadas.

Autores originales: Samuel Böhm (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany), Lennart Purucker (Department of Compute

Publicado 2026-06-04

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Samuel Böhm (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany), Lennart Purucker (Department of Computer Science, University of Freiburg, Freiburg, Germany, PriorLabs, Freiburg, Germany), Frank Hutter (Department of Computer Science, University of Freiburg, Freiburg, Germany, PriorLabs, Freiburg, Germany), Pascal Schlosser (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany, Department of Epidemiology, Johns Hopkins Bloomberg School of Public Health, Baltimore, Maryland, US, CIBSS - Centre for Integrative Biological Signalling Studies, University of Freiburg, Freiburg, Germany)

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando predecir exactamente cuándo se fundirá una bombilla. En un mundo perfecto, podrías esperar hasta que cada una de las bombillas falle y registrar el momento exacto. Pero en el mundo real, no puedes esperar para siempre. Algunas bombillas todavía funcionan cuando detienes el experimento y otras se tiran antes de que se fundan. En estadística, esto se llama censura. Sabes que la bombilla duró al menos hasta que dejaste de observarla, pero no conoces el momento exacto en que moriría.

Durante mucho tiempo, las nuevas y potentes herramientas de IA llamadas Modelos de Fundación (específicamente "TabPFN") han sido excelentes para predecir cosas como "¿Este correo electrónico es spam?" o "¿Por cuánto se venderá esta casa?", pero tuvieron dificultades con las predicciones de supervivencia (como "¿Cuándo recaerá este paciente?") porque no sabían cómo manejar estas bombillas que "aún funcionan". Si les alimentabas con datos censurados, se confundirían y harían suposiciones sesgadas.

Aquí entra SurvPFN. Los autores construyeron una nueva versión de esta IA diseñada específicamente para entender el "problema de la bombilla".

Así lo hicieron, utilizando algunas analogías cotidianas:

1. El "Gimnasio de Entrenamiento" (Datos Sintéticos)

No puedes entrenar a un luchador permitiéndole solo luchar en combates reales; necesita un gimnasio para practicar. Los autores construyeron un gimnasio sintético masivo utilizando millones de escenarios de supervivencia falsos.

La Configuración: Utilizaron una receta matemática (llamada Modelo Causal Estructural) para generar "bombillas" falsas con diferentes duraciones de vida.
El Giro: Intencionadamente "censuraron" algunas de estas bombillas falsas, deteniendo el temporizador antes para algunas, tal como ocurre en la vida real.
La Lección: Enseñaron a la IA que una bombilla "detenida" no es una bombilla rota; es solo una bombilla que sobrevivió al menos ese tiempo. Utilizaron un sistema de puntuación especial (una "pérdida censurada") que recompensa a la IA por ser honesta sobre estos límites inferiores en lugar de adivinar un momento de muerte específico.

2. El "Cerebro de Dos Vías" (La Arquitectura del Modelo)

La IA que construyeron se basa en una versión más pequeña y eficiente de los modelos existentes llamada NanoTabPFN. Para que funcione para la supervivencia, añadieron una característica especial:

El Indicador de Evento: Piensa en esto como una pequeña bandera que la IA observa para cada uno de los puntos de datos.
- Bandera = 0: "Esta bombilla se fundió en el tiempo X". (Sabemos el momento exacto).
- Bandera = 1: "Esta bombilla todavía funcionaba en el tiempo X". (Solo sabemos que sobrevivió más allá de X).
La IA tiene dos "vías" separadas en su cerebro para procesar estos dos tipos de banderas. Esto le permite aprender que una bombilla que "sobrevivió" es diferente de una que "murió", incluso si ocurrieron en el mismo momento.

3. El Enfoque de "Talla Única"

Normalmente, para predecir la supervivencia, un médico o un científico de datos tiene que dedicar semanas a ajustar un modelo específico para un conjunto de datos específico (como sintonizar una radio para una estación específica).

El Superpoder de SurvPFN: Fue entrenada una sola vez en ese enorme gimnasio sintético. Después de eso, puede entrar en un nuevo conjunto de datos del mundo real (como un registro hospitalario o un registro de fiabilidad de maquinaria) y empezar a hacer predicciones inmediatamente. No necesita ser reentrenada ni "ajustada" para ese grupo específico de personas. Es como un traductor universal que habla todos los idiomas sin necesidad de un diccionario para cada nuevo país.

4. Los Resultados: ¿Qué tan bueno es?

Los autores probaron SurvPFN en 22 conjuntos de datos del mundo real (que van desde estudios de cáncer hasta datos de desempleo) y la compararon con los métodos de "estándar de oro":

Peligros Proporcionales de Cox: El método estadístico clásico y tradicional.
Bosques de Supervivencia Aleatorios (Random Survival Forests): Un método popular de aprendizaje automático.
DeepSurv: Un enfoque moderno de aprendizaje profundo.
BinSurv: Un método más nuevo que intenta convertir la supervivencia en una serie de preguntas de "sí/no".

El Veredicto:
SurvPFN se desempeñó tan bien como todos estos expertos especializados y altamente ajustados.

No necesitó ser reentrenada para cada nuevo conjunto de datos.
No necesitó "ingeniería de características" especial (ajuste manual de los datos).
Ni siquiera necesitó una arquitectura compleja y personalizada.

El Problema (Limitaciones)

El artículo es honesto sobre dónde se encuentran actualmente los límites de esta IA:

Tamaño: Funciona mejor en conjuntos de datos pequeños (hasta 1,000 filas y 10 características). Es como un coche deportivo: excelente para carreras rápidas y ágiles, pero aún no está construido para una enorme flota de camiones.
El Sesgo "Weibull": La IA fue entrenada con una forma matemática específica de curvas de supervivencia (llamada Weibull). Aunque maneja bien muchos escenarios del mundo real, podría tener dificultades si los datos del mundo real no se parecen en nada a las formas que vio en el gimnasio.
Vista Estática: Asume que los factores que influyen en la supervivencia (como la edad o el tipo de trabajo) no cambian con el tiempo. No maneja los "riesgos competitivos" (por ejemplo, un paciente que muere en un accidente de coche antes de que su enfermedad progrese).

La Gran Conclusión

El artículo demuestra que el análisis de supervivencia es solo un tipo de regresión de distribución con una regla especial para los "límites inferiores". Al enseñar a una IA de propósito general a respetar la regla de la "censura" (la bandera del indicador de evento), desbloquearon la capacidad de utilizar estos potentes modelos de fundación preentrenados para predicciones de tiempo hasta el evento sin necesidad de construir un nuevo modelo desde cero cada vez.

Resumen Técnico: SurvPFN: Hacia Modelos Fundacionales para Predicciones de Supervivencia

Planteamiento del Problema

Los Modelos Fundacionales Tabulares (TFMs, por sus siglas en inglés), como TabPFN, han logrado un éxito rápido en tareas estándar de clasificación y regresión mediante el aprovechamiento de redes de datos previos ajustados (PFNs) entrenadas con datos sintéticos. Sin embargo, las tareas de predicción de supervivencia han permanecido prácticamente inalteradas por este paradigma. La barrera principal es la censura: en el análisis de supervivencia, el evento de interés (por ejemplo, muerte, falla) a menudo no se observa para todos los sujetos dentro del periodo de estudio (censura por la derecha). Las arquitecturas y objetivos de regresión de los TFMs estándar no pueden manejar de forma nativa los datos censurados; tratar los tiempos censurados como objetivos de regresión o descartarlos introduce un sesgo sistemático y predicciones inexactas. Los métodos de supervivencia existentes (por ejemplo, Cox Proportional Hazards, Random Survival Forests, DeepSurv) modelan explícitamente la censura en sus funciones de verosimilitud, pero típicamente requieren un ajuste por cada conjunto de datos y carecen de la capacidad de "modelo fundacional" para la adaptación zero-shot.

Metodología

Los autores proponen SurvPFN, una red de datos previos ajustados diseñada específicamente para la predicción de supervivencia. El enfoque trata la supervivencia como un problema de regresión de distribución de tiempo continuo con una función de pérdida censurada.

1. Generación de Prior Sintético

Para entrenar el modelo sin ajuste por cada conjunto de datos, los autores generan millones de tareas de supervivencia sintéticas utilizando Modelos Causales Estructurales (SCMs):

Tiempos de Evento: Generados a partir de una distribución de Weibull, una elección estándar en el análisis de supervivencia. El modelo soporta tanto regímenes de riesgos proporcionales (PH) como de riesgos no proporcionales (non-PH). En escenarios non-PH, un segundo nodo de resultado modifica el parámetro de forma por sujeto, induciendo curvas de supervivencia que se cruzan.
Mecanismo de Censura: Se aplica un mecanismo de censura no informativa. Esto incluye:
- Censura administrativa: Un horizonte de seguimiento ($FU$) a nivel de dataset establecido en un cuantil de la distribución del tiempo del evento.
- Inscripción escalonada: Tiempos de inicio variables para las observaciones.
- Abandono a mitad del estudio: Las observaciones pueden terminar en un tiempo dibujado uniformemente antes de su tiempo de censura administrativa.
Estructura de Datos: Los conjuntos de datos sintéticos contienen de 2 a 10 covariables (incluyendo características categóricas) y hasta 1,000 filas.

2. Arquitectura y Entrenamiento del Modelo

SurvPFN está construido sobre NanoTabPFN, un backbone de TFM ligero y fácil de usar (4.4M de parámetros, 6 capas).

Representación de Entrada: El indicador de evento (0 para censurado, 1 para evento observado) se añade como una columna de característica explícita. Esto permite al modelo distinguir entre tiempos de eventos observados y límites inferiores (tiempos censurados).
Codificación de Objetivos (Target Encoding): Un codificador de objetivos de dos rutas procesa los eventos observados y las filas censuradas a través de codificadores separados de arquitectura idéntica, permitiendo al modelo aprender representaciones distintas para los tiempos de eventos reales y los límites inferiores.
Objetivo de Entrenamiento: El modelo se entrena para minimizar una NLL (log-verosimilitud negativa) censurada:
- Para eventos observados: Pesados por la probabilidad inversa de censura (IPCW) para corregir la censura informativa.
- Para filas censuradas: Penaliza al modelo por colocar masa de probabilidad antes del tiempo de censura.
- Término de Clasificación (Ranking): Se añade opcionalmente un término de clasificación por pares diferenciable para alinear los tiempos de supervivencia predichos con el orden de riesgo subyacente inducido por el SCM.
Inferencia: El modelo devuelve una densidad discreta $\hat{p}_j$ , a partir de la cual se derivan directamente la función de supervivencia $\hat{S}(t)$ y el tiempo de la mediana predicha.

3. Protocolo de Evaluación

El modelo fue evaluado en SurvSet, una colección curada de 22 conjuntos de datos de supervivencia del mundo real que abarcan dominios clínicos, económicos y de fiabilidad.

Restricciones: Los conjuntos de datos fueron filtrados a $\le 1000$ filas y $\le 10$ características para coincidir con el régimen de entrenamiento del pequeño backbone.
Líneas Base (Baselines): Las comparaciones se realizaron contra:
- Cox Proportional Hazards (CoxPH): La línea base clásica dominante.
- Random Survival Forests (RSF): Ensamblaje no paramétrico estándar.
- DeepSurv: El enfoque de aprendizaje profundo más ampliamente utilizado.
- BinSurv: Un enfoque reciente basado en TFM que discretiza el tiempo en tareas de clasificación binaria.
Métricas: El rendimiento se evaluó mediante el C-índice de Uno (discriminación), el Brier Score Integrado (IBS) (exactitud) y el Índice de Calibración Integrado (ICI) (calibración).

Resultados Clave

Rendimiento Competitivo: SurvPFN es altamente competitivo con todas las líneas base a través de los 22 conjuntos de datos. En promedio, iguala o supera ligeramente a RSF, DeepSurv y BinSurv, y tiene un rendimiento comparable a CoxPH.
Capacidad Zero-Shot: Crucialmente, SurvPFN logra este rendimiento sin ajuste por cada conjunto de datos, sin una arquitectura específica de supervivencia y sin ingeniería de características. Se basa únicamente en el prior preentrenado.
Estudios de Ablación:
- Indicador de Evento: Eliminar el indicador de evento como característica (forzándolo a 1) preserva la discriminación (C-índice) pero degrada significamente la calibración (ICI). Esto confirma que, si bien el orden de riesgo relativo puede inferirse del tiempo por sí solo, la calibración absoluta requiere conocimiento explícito de qué puntos de datos están censurados.
- Variantes de Pérdida: Las variantes que utilizan objetivos de oráculo (disponibles solo durante el preentrenamiento sintético) funcionaron de manera comparable a la pérdida censurada nativa en datos del mundo real, lo que sugiere que la pérdida nativa es suficiente para la transferencia.

Significado y Reivindicaciones

El artículo afirma que el análisis de supervivencia puede enmarcarse con éxito como un problema de regresión de distribución de tiempo continuo resoluble mediante PFNs. Las contribuciones clave son:

Cerrar la Brecha: Demostrar que los modelos fundacionales pueden manejar datos censurados, una tarea previamente considerada inadecuada para los PFNs de regresión estándar.
Simplicidad: Mostrar que una arquitectura de PFN de regresión estándar, aumentada solo con una característica de indicador de evento y una función de pérdida censurada, es suficiente para recuperar el rendimiento de los modelos de supervivencia especializados.
Eficiencia: Proporcionar un modelo que no requiere ajuste de hiperparámetros ni reentrenamiento en nuevos conjuntos de datos, ofreciendo una solución de "conectar y usar" para tareas de supervivencia tabulares de pequeño a mediano tamaño.

Los autores mantienen la modestia respecto a las limitaciones, señalando que la evaluación actual está restringida a conjuntos de datos pequeños ( $\le 1000$ filas) y covariables estáticas. Reconocen que el prior sintético se limita a distribuciones de Weibull y aún no aborda los riesgos competitivos o las covariables que varían en el tiempo, sugiriendo estas como direcciones necesarias para el escalado y la expresividad futuros.