🤖 machine learning

SurvPFN: Towards Foundation Models for Survival Predictions

O artigo apresenta o SurvPFN, uma rede ajustada a dados prévios pré-treinada em milhões de tarefas sintéticas para permitir que modelos de fundação lidem com dados censurados para predição de sobrevivência, alcançando um desempenho competitivo em conjuntos de dados do mundo real sem exigir ajuste por conjunto de dados ou arquiteturas especializadas.

Autores originais: Samuel Böhm (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany), Lennart Purucker (Department of Compute

Publicado 2026-06-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Samuel Böhm (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany), Lennart Purucker (Department of Computer Science, University of Freiburg, Freiburg, Germany, PriorLabs, Freiburg, Germany), Frank Hutter (Department of Computer Science, University of Freiburg, Freiburg, Germany, PriorLabs, Freiburg, Germany), Pascal Schlosser (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany, Department of Epidemiology, Johns Hopkins Bloomberg School of Public Health, Baltimore, Maryland, US, CIBSS - Centre for Integrative Biological Signalling Studies, University of Freiburg, Freiburg, Germany)

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando prever exatamente quando uma lâmpada irá queimar. Em um mundo perfeito, você poderia esperar até que cada uma das lâmpadas falhasse e registrar o momento exato. Mas, no mundo real, você não pode esperar para sempre. Algumas lâmpadas ainda estão funcionando quando você interrompe o experimento e outras são jogadas fora antes de queimarem. Em estatística, isso é chamado de censura. Você sabe que a lâmpada durou pelo menos até você parar de observar, mas não sabe o momento exato em que ela morreria.

Por muito tempo, novas ferramentas poderosas de IA chamadas Modelos de Fundação (especificamente o "TabPFN") foram ótimas para prever coisas como "Este e-mail é spam?" ou "Por quanto esta casa será vendida?", mas elas tinham dificuldade com previsões de sobrevivência (como "Este paciente terá uma recaída?") porque não sabiam como lidar com essas lâmpadas que "ainda estão funcionando". Se você alimentasse esses modelos com dados censurados, eles ficariam confusos e fariam suposições tendenciosas.

Apresentamos o SurvPFN. Os autores construíram uma nova versão desta IA especificamente projetada para entender o "problema da lâmpada".

Aqui está como eles fizeram isso, usando algumas analogias do cotidiano:

1. O "Ginásio de Treinamento" (Dados Sintéticos)

Você não pode treinar um lutador permitindo que ele lute apenas em combates reais; ele precisa de um ginásio para praticar. Os autores construíram um ginásio sintético massivo usando milhões de cenários de sobrevivência falsos.

A Configuração: Eles usaram uma receita matemática (chamada Modelo Causal Estrutural) para gerar "lâmpadas" falsas com diferentes tempos de vida.
A Reviravolta: Eles propositalmente "censuraram" algumas dessas lâmpadas falsas — interrompendo o cronômetro precocemente para algumas, exatamente como na vida real.
A Lição: Eles ensinaram à IA que uma lâmpada "parada" não é uma lâmpada quebrada; é apenas uma lâmpada que sobreviveu pelo menos até aquele tempo. Eles usaram um sistema de pontuação especial (uma "perda censurada") que recompensa a IA por ser honesta sobre esses limites inferiores, em vez de adivinhar um tempo de morte específico.

2. O "Cérebro de Duas Vias" (A Arquitetura do Modelo)

A IA que eles construíram é baseada em uma versão menor e eficiente de modelos existentes chamada NanoTabPFN. Para fazê-la funcionar para sobrevivência, eles adicionaram um recurso especial:

O Indicador de Evento: Pense nisso como uma pequena bandeira que a IA observa para cada ponto de dado.
- Bandeira = 0: "Esta lâmpada queimou no tempo X." (Sabemos o momento exato).
- Bandeira = 1: "Esta lâmpada ainda estava funcionando no tempo X." (Só sabemos que ela sobreviveu além de X).
A IA possui dois "caminhos" separados em seu cérebro para processar esses dois tipos de bandeiras. Isso permite que ela aprenda que uma lâmpada que "sobreviveu" é diferente de uma lâmpada que "morreu", mesmo que tenham ocorrido no mesmo tempo.

3. A Abordagem "Tamanho Único"

Normalmente, para prever a sobrevivência, um médico ou cientista de dados precisa gastar semanas ajustando um modelo específico para um conjunto de dados específico (como sintonizar um rádio para uma estação específica).

O Superpoder do SurvPFN: Ele foi treinado uma única vez naquele enorme ginásio sintético. Depois disso, ele pode entrar em um novo conjunto de dados do mundo real (como um registro hospitalar ou um log de confiabilidade de máquinas) e começar a fazer previsções imediatamente. Ele não precisa ser retreinado ou "ajustado" para aquele grupo específico de pessoas. É como um tradutor universal que fala todas as línguas sem precisar de um dicionário para cada novo país.

4. Os Resultados: Quão Bom é?

Os autores testaram o SurvPFN em 22 conjuntos de dados do mundo real (variando de estudos de câncer a dados de desemprego) e o compararam com os métodos "padrão ouro":

Riscos Proporcionais de Cox: O método estatístico clássico e antigo.
Florestas de Sobrevivência Aleatórias (Random Survival Forests): Um método popular de aprendizado de máquina.
DeepSurv: Uma abordagem moderna de aprendimento profundo.
BinSurv: Um método mais novo que tenta transformar a sobrevivência em uma série de perguntas de "sim/não".

O Veredito:
O SurvPFN teve um desempenho tão bom quanto todos esses especialistas especializados e altamente ajustados.

Ele não precisou ser retreinado para cada novo conjunto de dados.
Ele não precisou de "engenharia de atributos" especial (ajuste manual dos dados).
Ele nem sequer precisou de uma arquitetura complexa e personalizada.

A Ressalva (Limitações)

O artigo é honesto sobre onde esta IA possui limites atualmente:

Tamanho: Funciona melhor em conjuntos de dados menores (até 1.000 linhas e 10 atributos). É como um carro esportivo: ótimo para corridas rápidas e ágeis, mas ainda não foi construído para uma frota massiva de caminhões.
O Viés "Weibull": A IA foi treinada em uma forma matemática específica de curvas de sobrevivência (chamada Weibull). Embora lide bem com muitos cenários do mundo real, ela pode ter dificuldades se os dados do mundo real não tiverem nada a ver com as formas que ela viu no ginásio.
Visão Estática: Assume que os fatores que influenciam a sobrevivência (como idade ou tipo de emprego) não mudam ao longo do tempo. Ela não lida com "riscos competitivos" (ex: um paciente morrendo em um acidente de carro antes que sua doença progrida).

A Grande Conclusão

O artigo prova que a análise de sobrevivência é apenas um tipo de regressão de distribuição com uma regra especial para "limites inferiores". Ao ensinar uma IA de propósito geral a respeitar a regra da "censura" (a bandeira do indicador de evento), eles desbloquearam a capacidade de usar esses poderosos modelos de fundação pré-treinados para previsões de tempo até o evento, sem a necessidade de construir um novo modelo do zero toda vez.

Resumo Técnico: SurvPFN: Rumo a Modelos de Fundação para Predições de Sobrevivência

Definição do Problema

Os Modelos de Fundação Tabulares (TFMs), como o TabPFN, alcançaram um sucesso rápido em tarefas padrão de classificação e regressão ao aproveitar redes de dados prévios ajustados (PFNs) treinadas em dados sintéticos. No entanto, tarefas de predição de sobrevivência permaneceram amplamente inexploradas por esse paradigma. A barreira principal é a censura: na análise de sobrevivência, o evento de interesse (ex: morte, falha) muitas vezes não é observado para todos os sujeitos dentro do período de estudo (censura à direita). Arquiteturas e objetivos de regressão padrão de TFMs não conseguem lidar nativamente com dados censurados; tratar tempos de censura como alvos de regressão ou descartá-los introduz viés sistemático e predições imprecisas. Métios de sobrevivência existentes (ex: Cox Proportional Hazards, Random Survival Forests, DeepSurv) modelam explicitamente a censura em suas funções de verossimilhança, mas tipicamente requerem ajuste por dataset e carecem da capacidade de "modelo de fundação" para adaptação zero-shot.

Metodologia

Os autores propõem o SurvPFN, uma rede de dados prévios ajustados especificamente projetada para predição de sobrevivência. A abordagem trata a sobrevivência como um problema de regressão de distribuição em tempo contínuo com uma função de perda censurada.

1. Geração de Prior Sintético

Para treinar o modelo sem ajuste por dataset, os autores geram milhões de tarefas de sobrevivência sintéticas usando Modelos Causais Estruturais (SCMs):

Tempos de Evento: Gerados a partir de uma distribuição de Weibull, uma escolha padrão na análise de sobrevivência. O modelo suporta regimes de riscos proporcionais (PH) e riscos não proporcionais (non-PH). Em cenários non-PH, um segundo nó de resultado modifica o parâmetro de forma por sujeito, induzindo curvas de sobrevivência que se cruzam.
Mecanismo de Censura: Um mecanismo de censura não informativo é aplicado. Isso inclui:
- Censura administrativa: Um horizonte de acompanhamento ($FU$) do nível do dataset definido em um quantil da distribuição do tempo de evento.
- Matrícula escalonada: Tempos de início variáveis para as observações.
- Abandono no meio do estudo: As observações podem terminar em um tempo extraído uniformemente antes de seu tempo de censura administrativa.
Estrutura de Dados: Datasets sintéticos contêm de 2 a 10 covariáveis (incluindo características categóricas) e até 1.000 linhas.

2. Arquitetura e Treinamento do Modelo

O SurvPFN é construído sobre o NanoTabPFN, um backbone de TFM leve e amigável (4,4M de parâmetros, 6 camadas).

Representação de Entrada: O indicador de evento (0 para censurado, 1 para evento observado) é anexado como uma coluna de característica explícita. Isso permite que o modelo distinga entre tempos de eventos observados e limites inferiores (tempos censurados).
Codificação de Alvo: Um codificador de alvo de duas rotas processa eventos observados e linhas censuradas através de codificadores separados de arquitetura idêntica, permitindo que o modelo aprenda representações distintas para tempos de eventos reais e limites inferiores.
Objetivo de Treinamento: O modelo é treinado para minimizar uma NLL (log-verossimilhança negativa) censurada:
- Para eventos observados: Pesado pela probabilidade inversa de censura (IPCW) para corrigir a censura informativa.
- Para linhas censuradas: Penaliza o modelo por colocar massa de probabilidade antes do tempo de censura.
- Termo de Ranking: Um termo de ranking pareado diferenciável é opcionalmente adicionado para alinhar os tempos de sobrevivência preditos com a ordem de risco subjacente induzida pelo SCM.
Inferência: O modelo produz uma densidade discreta $\hat{p}_j$ , a partir da qual a função de sobrevivência $\hat{S}(t)$ e o tempo mediano predito são derivados diretamente.

3. Protocolo de Avaliação

O modelo foi avaliado no SurvSet, uma coleção curada de 22 datasets de sobrevivência do mundo real abrangendo domínios clínicos, econômicos e de confiabilidade.

Restrições: Os datasets foram filtrados para $\le 1000$ linhas e $\le 10$ características para corresponder ao regime de treinamento do pequeno backbone.
Baselines: Comparações foram feitas contra:
- Cox Proportional Hazards (CoxPH): O baseline clássico dominante.
- Random Survival Forests (RSF): Ensemble não paramétrico padrão.
- DeepSurv: A abordagem de deep learning mais amplamente utilizada.
- BinSurv: Uma abordagem recente baseada em TFM que discretiza o tempo em tarefas de classificação binária.
Métricas: O desempenho foi avaliado via C-índice de Uno (discriminação), Brier Score Integrado (IBS) (acurácia) e Índice de Calibração Integrado (ICI) (calibração).

Principais Resultados

Desempenho Competitivo: O SurvPFN é altamente competitivo com todos os baselines nos 22 datasets. Em média, ele iguala ou supera ligeiramente o RSF, DeepSurv e BinSurv, e performa de forma comparável ao CoxPH.
Capacidade Zero-Shot: Crucialmente, o SurvPFN alcança este desempenho sem ajuste por dataset, sem uma arquitetura específica de sobrevivência e sem engenharia de características. Ele depende exclusivamente do prior pré-treinado.
Estudos de Ablação:
- Indicador de Evento: Remover o indicador de evento como característica (forçando-o para 1) preserva a discriminação (C-índice), mas degrada significativamente a calibração (ICI). Isso confirma que, embora a ordenação de risco relativo possa ser inferida apenas pelo tempo, a calibração absoluta requer conhecimento explícito de quais pontos de dados são censurados.
- Variantes de Perda: Variantes usando alvos de oráculo (disponíveis apenas durante o pré-treino sintético) performaram comparavelmente à perda censurada nativa em dados do mundo real, sugerindo que a perda nativa é suficiente para transferência.

Significância e Alegações

O artigo afirma que a análise de sobrevivência pode ser implementada com sucesso como um problema de regressão de distribuição em tempo contínuo passível de ser resolvido por PFNs. As principais contribuições são:

Preenchendo a Lacuna: Demonstrar que modelos de fundação podem lidar com dados censurados, uma tarefa anteriormente considerada inadequada para PFNs de regressão padrão.
Simplicidade: Mostrar que uma arquitetura de PFN de regressão padrão, aumentada apenas com uma característica de indicador de evento e uma função de perda censurada, é suficiente para recuperar o desempenho de modelos de sobrevivência especializados.
Eficiência: Fornecer um modelo que não requer ajuste de hiperparâmetros ou retreinamento em novos datasets, oferecendo uma solução "plug-and-play" para tarefas de sobrevivência tabulares de pequeno a médio porte.

Os autores permanecem modestos quanto às limitações, observando que a avaliação atual é restrita a pequenos datasets ( $\le 1000$ linhas) e covariáveis estáticas. Eles reconhecem que o prior sintético é limitado a distribuições de Weibull e ainda não aborda riscos competitivos ou covariáveis variantes no tempo, sugerindo estas como direções necessárias para escalabilidade e expressividade futuras.