🤖 machine learning

SurvPFN: Towards Foundation Models for Survival Predictions

Il documento introduce SurvPFN, una rete preaddestrata su milioni di compiti sintetici tramite prior-data fitting per consentire ai modelli di fondazione di gestire dati censurati per la previsione della sopravvivenza, ottenendo prestazioni competitive su dataset del mondo reale senza richiedere l'adattamento per singolo dataset o architetture specializzate.

Autori originali: Samuel Böhm (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany), Lennart Purucker (Department of Compute

Pubblicato 2026-06-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Samuel Böhm (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany), Lennart Purucker (Department of Computer Science, University of Freiburg, Freiburg, Germany, PriorLabs, Freiburg, Germany), Frank Hutter (Department of Computer Science, University of Freiburg, Freiburg, Germany, PriorLabs, Freiburg, Germany), Pascal Schlosser (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany, Department of Epidemiology, Johns Hopkins Bloomberg School of Public Health, Baltimore, Maryland, US, CIBSS - Centre for Integrative Biological Signalling Studies, University of Freiburg, Freiburg, Germany)

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di prevedere esattamente quando una lampadina si brucerà. In un mondo perfetto, potresti aspettare finché ogni singola lampadina non si guasta e registrare il momento esatto. Ma nel mondo reale, non puoi aspettare per sempre. Alcune lampadine sono ancora funzionanti quando interrompi l'esperimento e altre vengono gettate via prima di bruciarsi. In statistica, questo è chiamato censura. Sai che la lampadina è durata almeno fino a quando hai smesso di osservarla, ma non conosci il momento esatto in cui sarebbe morta.

Per molto tempo, i potenti nuovi strumenti di IA chiamati Foundation Models (nello specifico "TabPFN") sono stati bravissimi a prevedere cose come "Questa email è spam?" o "A quanto verrà venduta questa casa?", ma hanno faticato con le previsioni di sopravvivenza (come "Quando un paziente avrà una ricaduta?") perché non sapevano come gestire queste lampadine "ancora funzionanti". Se li avessi nutriti con dati censurati, si sarebbero confusi ed avrebbero fatto ipotesi distorte.

Entra in scena SurvPFN. Gli autori hanno costruito una nuova versione di questa IA progettata specificamente per comprendere il "problema della lampadina".

Ecco come ci sono riusciti, usando alcune analogie quotidiane:

1. La "Palestra di Allenamento" (Dati Sintetici)

Non puoi addestrare un combattente lasciandolo combattere solo in veri incontri; ha bisogno di una palestra per esercitarsi. Gli autori hanno costruito una massiccia palestra sintetica utilizzando milioni di scenari di sopravvivenza falsi.

L'impostazione: Hanno usato una ricetta matematica (chiamata Modello Causale Strutturale) per generare "lampadine" false con diverse durate di vita.
Il colpo di scena: Hanno intenzionalmente "censurato" alcune di queste lampadine false — interrompendo il timer in anticipo per alcune, proprio come nella vita reale.
La lezione: Hanno insegnato all'IA che una lampadina "interrotta" non è una lampadina rotta; è solo una lampadina che è sopravvissuta almeno fino a quel momento. Hanno utilizzato un sistema di punteggio speciale (una "perdita censurata" o censored loss) che premia l'IA per essere onesta riguardo a questi limiti inferiori invece di indovinare un momento specifico di morte.

2. Il "Cervello a Due Percorsi" (L'Architettura del Modello)

L'IA che hanno costruito si basa su una versione più piccola ed efficiente di modelli esistenti chiamata NanoTabPFN. Per farla funzionare per la sopravvivenza, hanno aggiunto una funzione speciale:

L'Indicatore di Evento: Immaginalo come una piccola bandierina che l'IA osserva per ogni singolo dato.
- Bandiera = 0: "Questa lampadina si è bruciata al tempo X." (Conosciamo il momento esatto).
- Bandiera = 1: "Questa lampadina era ancora funzionante al tempo X." (Sappiamo solo che è sopravvissuta oltre X).
L'IA ha due percorsi separati nel suo cervello per elaborare questi due tipi di bandiere. Questo le permette di apprendere che una lampadina "sopravvissuta" è diversa da una lampadina "morta", anche se sono accadute nello stesso momento.

3. L'Approccio "Un Taglia per Tutti"

Di solito, per prevedere la sopravvivenza, un medico o un esperto di dati deve passare settimane a calibrare un modello specifico per un dataset specifico (come sintonizzare una radio per una specifica stazione).

Il Superpotere di SurvPFN: È stato addestrato una sola volta su quella massiccia palestra sintetica. Dopo di che, può entrare in un nuovo dataset del mondo reale (come un record ospedaliero o un registro di affidabilità delle macchine) e iniziare a fare previsioni immediatamente. Non ha bisogno di essere riaddestrato o "affinato" (fine-tuned) per quel gruppo specifico. È come un traduttore universale che parla ogni lingua senza bisogno di un dizionario per ogni nuovo paese.

4. I Risultati: Quanto è Buono?

Gli autori hanno testato SurvPFN su 22 dataset reali (che spaziano dagli studi sul cancro ai dati sulla disoccupazione) e l'hanno confrontato con i metodi "gold standard":

Cox Proportional Hazards: Il classico metodo statistico della vecchia scuola.
Random Survival Forests: Un popolare metodo di machine learning.
DeepSurv: Un moderno approccio di deep learning.
BinSurv: Un metodo più recente che cerca di trasformare la sopravvivenza in una serie di domande "sì/no".

Il Verdetto:
SurvPFN si è comportato al pari di tutti questi esperti specializzati e pesantemente calibrati.

Non ha avuto bisogno di essere riaddestrato per ogni nuovo dataset.
Non ha avuto bisogno di una particolare "ingegneria delle caratteristiche" (feature engineering, ovvero la modifica manuale dei dati).
Non ha nemmeno avuto bisogno di un'architettura complessa e personalizzata.

Il Problema (Limitazioni)

Il documento è onesto riguardo i limiti attuali di questa IA:

Dimensioni: Funziona meglio su dataset piccoli (fino a 1.000 righe e 10 caratteristiche). È come un'auto sportiva: ottima per gare agili e veloci, ma non ancora costruita per una massiccia flotta di camion.
Il Bias "Weibull": L'IA è stata addestrata su una specifica forma matematica di curve di sopravvivenza (chiamata Weibull). Sebbene gestisca bene molti scenari del mondo reale, potrebbe avere difficoltà se i dati del mondo reale non somigliano affatto alle forme viste in palestra.
Visione Statica: Assume che i fattori che influenzano la sopravvivenza (come l'età o il tipo di lavoro) non cambino nel tempo. Non gestisce i "rischi competitivi" (ad esempio, un paziente che muore per un incidente stradale prima che la sua malattia progredisca).

La Grande Conclusione

Il documento dimostra che l'analisi della sopravvivenza è solo un tipo di regressione distributiva con una regola speciale per i "limiti inferiori". Insegnando a un'IA general-purpose di rispettare la regola della "censura" (la bandiera dell'indicatore di evento), hanno sbloccato la capacità di utilizzare questi potenti modelli di base pre-addestrati per le previsioni del tempo di occorrenza senza dover costruire un nuovo modello da zero ogni volta.

Riepilogo Tecnico: SurvPFN: Verso i Modelli di Fondazione per le Predizioni di Sopravvivenza

Problema

I Modelli di Fondazione Tabulari (TFM), come TabPFN, hanno ottenuto un rapido successo nei compiti standard di classificazione e regressione sfruttando le reti basate su dati pregressi (PFN) addestrate su dati sintetici. Tuttavia, i compiti di predizione della sopravvivenza sono rimasti ampiamente inesplorati da questo paradigma. La barriera principale è la censura: nella l'analisi della sopravvivenza, l'evento di interesse (ad esempio, decesso, guasto) spesso non viene osservato per tutti i soggetti all'interno del periodo di studio (censura a destra). Le architetture TFM standard e gli obiettivi di regressione non possono gestire nativamente i dati censurati; trattare i tempi di censura come target di regressione o scartarli introduce un bias sistematico e predizioni imprecise. I metodi di sopravvivenza esistenti (ad esempio, Cox Proportional Hazards, Random Survival Forests, DeepSurv) modellano esplicitamente la censura nelle loro funzioni di verosimiglianza, ma tipicamente richiedono un adattamento per ogni singolo dataset e mancano della capacità di "modello di fondazione" per l'adattamento zero-shot.

Metodologia

Gli autori propongono SurvPFN, una rete basata su dati pregressi specificamente progettata per la predizione della sopravvivenza. L'approccio tratta la sopravvivenza come un problema di regressione distributiva a tempo continuo con una funzione di perdita per dati censurati.

1. Generazione del Prior Sintetico

Per addestrare il modello senza l'adattamento per ogni dataset, gli autori generano milioni di task di sopravvivenza sintetici utilizzando Modelli Causali Strutturali (SCM):

Tempi dell'Evento: Generati da una distribuzione di Weibull, una scelta standard nell'analisi della sopravvivenza. Il modello supporta sia regimi di rischi proporzionali (PH) che non proporzionali (non-PH). Negli scenari non-PH, un secondo nodo di esito modifica il parametro di forma per ogni soggetto, inducendo curve di sopravvivenza incrociate.
Meccanismo di Censura: Viene applicato un meccanismo di censura non informativa. Questo include:
- Censura amministrativa: Un orizzonte di follow-up ($FU$) a livello di dataset impostato su un quantile della distribuzione dei tempi dell'evento.
- Arruolamento scalato: Tempi di inizio variabili per le osservazioni.
- Abbandono durante lo studio: Le osservazioni possono terminare in un tempo estratto uniformemente prima del loro tempo di censura amministrativa.
Struttura dei Dati: I dataset sintetici contengono da 2 a 10 covariate (incluse caratteristiche categoriche) e fino a 1.000 righe.

2. Architettura del Modello e Addestramento

SurvPFN si basa su NanoTabPFN, un backbone TFM leggero e user-friendly (4,4 milioni di parametri, 6 strati).

Rappresentazione dell'Input: L'indicatore di evento (0 per censurato, 1 per evento osservato) viene aggiunto come una colonna di feature esplicita. Ciò consente al modello di distinguere tra tempi di evento osservati e limiti inferiori (tempi censurati).
Codifica del Target: Un encoder di target a due percorsi elabora gli eventi osservati e le righe censurate attraverso encoder separati di architettura identica, consentendo al modello di apprendere rappresentazioni distinte per i veri tempi di evento e i limiti inferiori.
Obiettivo di Addestramento: Il modello è addestrato per minimizzare una log-verosimiglianza negativa (NLL) censurata:
- Per gli eventi osservati: Pesata con la probabilità inversa di censura (IPCW) per correggere la censura informativa.
- Per le righe censurate: Penalizza il modello per l'assegnazione di massa di probabilità prima del tempo di censura.
- Termine di Ranking: Un termine di ranking a coppie differenziabile è opzionalmente aggiunto per allineare i tempi di sopravvivenza predetti con l'ordine di rischio sottostante indotto dall'SCM.
Inferenza: Il modello restituisce una densità discreta $\hat{p}_j$ , dalla quale si derivano direttamente la funzione di sopravvivenza $\hat{S}(t)$ e il tempo mediano predetto.

3. Protocollo di Valutazione

Il modello è stato valutato su SurvSet, una collezione curata di 22 dataset reali di sopravvivenza che spaziano dai domini clinici ed economici a quelli dell'affidabilità.

Vincoli: I dataset sono stati filtrati a $\le 1000$ righe e $\le 10$ feature per corrispondere al regime di addestramento del piccolo backbone.
Baseline: I confronti sono stati effettuati contro:
- Cox Proportional Hazards (CoxPH): Il dominante baseline classico.
- Random Survival Forests (RSF): Standard non-parametrico ensemble.
- DeepSurv: L'approccio di deep learning più ampiamente utilizzato.
- BinSurv: Un recente approccio basato su TFM che discretizza il tempo in compiti di classificazione binaria.
Metriche: Le prestazioni sono state valutate tramite l'indice C di Uno (discriminazione), l'Integrated Brier Score (IBS) (accuratezza) e l'Integrated Calibration Index (ICI) (calibrazione).

Risultati Chiave

Prestazioni Competitive: SurvPFN è altamente competitivo con tutte le baseline attraverso i 22 dataset. In media, eguaglia o supera leggermente RSF, DeepSurv e BinSurv, e performa comparabilmente a CoxPH.
Capacità Zero-Shot: Fondamentalmente, SurvPFN raggiunge queste prestazioni senza l'adattamento per ogni dataset, senza un'architettura specifica per la sopravvivenza e senza feature engineering. Si affida esclusivamente al prior pre-addestrato.
Studi di Ablazione:
- Indicatore di Evento: Rimuovere l'indicatore di evento come feature (forzandolo a 1) preserva la discriminazione (C-index) ma degrada significativamente la calibrazione (ICI). Ciò conferma che, mentre l'ordine di rischio relativo può essere inferito dal tempo da solo, la calibrazione assoluta richiede la conoscenza esplicita di quali dati siano censurati.
- Varianti di Loss: Le varianti che utilizzano target oracle (disponibili solo durante il pre-addestramento sintetico) hanno performato comparabilmente alla nativa funzione di perdita censurata sui dati reali, suggerendo che la loss nativa è sufficiente per il trasferimento.

Significato e Rivendicazioni

Il documento sostiene che l'analisi della sopravvivenza può essere gestita con successo inquadrandola come un problema di regressione distributiva a tempo continuo risolvibile dai PFN. I contributi chiave sono:

Colmare il Divario: Dimostrare che i modelli di fondazione possono gestire i dati censurati, un compito precedentemente considerato inadatto per gli standard PFN di regressione.
Semplicità: Mostrare che un'architettura standard di regressione PFN, aumentata solo con un indicatore di evento come feature e una funzione di perdita censurata, è sufficiente per recuperare le prestazioni dei modelli di sopravvivenza specializzati.
Efficienza: Fornire un modello che non richiede la sintonizzazione degli iperparametri o il ri-addestramento su nuovi dataset, offrendo una soluzione "plug-and-play" per compiti di sopravvivenza tabulari di piccole-medie dimensioni.

Gli autori rimangono modesti riguardo ai limiti, notando che la valutazione attuale è limitata a piccoli dataset ( $\le 1000$ righe) e covariate statiche. Riconoscono che il prior sintetico è limitato alle distribuzioni di Weibull e non affronta ancora i rischi competitivi o le covariate tempo-varianti, suggerendo questi come direzioni necessarie per la futura scalabilità ed espressività.