🤖 machine learning

Staying Alive: Uncensored Survival Analysis with Tabular Foundation Models

Questo articolo introduce un metodo di regressione della sopravvivenza privo di addestramento che sfrutta i Modelli Fondazionali per Dati Tabulari per imputare iterativamente i dati censurati a destra e costruire un modello di Tempo di Fallimento Accelerato, ottenendo prestazioni competitive rispetto ai modelli tradizamente addestrati su benchmark standard.

Autori originali: Mariana Vargas Vieyra

Pubblicato 2026-06-03

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mariana Vargas Vieyra

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: Predire il "Quando" senza addestramento

Immaginate di essere un medico che cerca di prevedere quanto vivrà un paziente dopo una diagnosi, o un meccanico che cerca di indovinare quando un componente specifico si romperà. Questo è chiamato Analisi della Sopravvivenza (Survival Analysis). La parte complicata è che spesso non si arriva a vedere l'evento finale. Magari il paziente si è trasferito altrove, o lo studio è terminato prima che il pezzo dell'auto si rompesse. In statistica, questo è chiamato censura a destra (right-censoring): sapete che l'evento non è ancora accaduto, ma non sapete quando accadrà.

Di solito, per risolvere questo problema, è necessario costruire un modello personalizzato da zero per ogni nuovo dataset, il che è come assumere un nuovo architetto per progettare una casa ogni volta che si acquista un terreno.

Questo paper introduce un nuovo modo per farlo utilizzando i Modelli di Fondazione Tabulari (TFM). Pensate a un TFM come a un "detective super intelligente e pre-addestrato" che ha già letto milioni di dataset differenti. Può guardare una nuova lista di fatti (una tabella di dati) e fare una previsione con un solo sguardo, senza bisogno di essere riaddestrato. Gli autori volevano vedere se questo "super-detective" potesse risolvere l'enigma del "tempo mancante" dell'analisi della sopravvivenza senza alcun addestramento extra.

Il problema: Il detective non vede la fine

Il problema è che questi super-detective (TFM) sono abituati a vedere la storia completa. Se chiedete loro: "Quanto vivrà questo paziente?", ma date loro solo i dati fino al punto in cui il paziente ha lasciato lo studio, il detective si confonde. Si aspetta una risposta definitiva, non un "non lo so ancora".

Se ignorate semplicemente i pazienti con tempi finali mancanti (dati censurati), il detective sarà influenzato (biased). Penserà che tutti muovano prima di quanto non facciano in realtà, perché sta guardando solo le persone che sono morte precocemente e ignorando quelle che sono ancora vive.

La soluzione: Il gioco del "Riempimento degli spazi vuoti"

Gli autori hanno creato un metodo chiamato TabSA (Tabular Survival Analysis) che permette al detective di risolvere l'enigma in due astuti passaggi:

Passaggio 1: Il "Indovina la media" (Il modello AFT)

Per prima cosa, usano il detective per indovinare il "log-tempo medio" per tutti in base alle loro caratteristiche (come età, indicatori di salute, ecc.). È come se il detective guardasse una folla e dicesse: "In base a ciò che ho visto in precedenza, questo gruppo di solito dura circa X anni".

Tuttamente, permettono al detective di guardare solo le persone che hanno effettivamente concluso lo studio per fare questa ipotesi. Per farlo funzionare, devono solo regolare un singolo numero (un parametro di scala). È come dire al detective: "Sei bravo a indovinare, dimmi solo quanto devi allungare o restringere le tue ipotesi".

Passaggio 2: Il "Gioco dell'immaginazione" (Imputazione iterativa)

Questa è la parte magica. Poiché il detective non può vedere la fine della storia per i pazienti censurati, gli autori giocano a un gioco di "riempimento degli spazi vuoti".

La prima ipotesi: Iniziano indovinando i tempi finali mancanti per i pazienti censurati usando un trucco statistico standard (come una stima approssimativa basata su chi è ancora in vita).
Il ciclo: Riportano queste ipotesi al detective. Il detective guarda l'intero gruppo (incluse le ipotesi) e dice: "In realtà, in base a questa nuova informazione, la mia ipotesi per quella persona dovrebbe essere un po' più lunga".
Raffinamento: Aggiornano le ipotesi e chiedono di nuovo al detective. Ripetono questo ciclo ancora e ancora (come affinare uno schizzo) finché le ipotesi non smettono di cambiare.

Questo processo si ispira a un vecchio metodo statistico chiamato stimatore di Buckley-James, ma invece di eseguire complessi calcoli matematici, lasciano che il "super-detective" (il TFM) faccia il lavoro pesante di capire quali dovrebbero essere i tempi mancanti.

I risultati: Come se la sono cavata?

Gli autori hanno testato il loro metodo su cinque dataset del mondo reale (attacchi cardiaci, tumore al seno, cure critiche, ecc.) e lo hanno confrontato con:

Modelli Classici: I tradizionali "architetti personalizzati" che richiedono un addestramento pesante.
Altri metodi Zero-Shot: Altri modi per usare questi detective senza addestramento.

Le scoperte:

Potere di classificazione (Ranking): Il loro metodo (TabSA-BJ) è stato eccellente nel classificare i pazienti. È riuscito a dire correttamente "Il Paziente A vivrà probabilmente più a lungo del Paziente B" quasi quanto i costosi modelli completamente addestrati.
Calibrazione: Sebbene fosse ottimo nella classificazione, era leggermente meno perfetto nel prevedere la probabilità esatta di sopravvivenza in un momento specifico rispetto a un metodo che suddivide il tempo in segmenti (discretizzazione).
Nessun addestramento necessario: La vittoria più grande è che hanno ottenuto questi risultati senza riaddestrare il modello sul dataset specifico. Hanno semplicemente inserito i dati, eseguito il ciclo di "riempimento degli spazi vuoti" e ottenuto un risultato.

Il concetto chiave

Il paper dimostra che non dobbiamo sempre costruire un nuovo modello da zero per prevedere i tempi di sopravvivenza. Usando un "modello di fondazione" pre-addestrato come motore intelligente e giocando a un semplice gioco di "indovina e affina" per gestire i dati mancanti, possiamo ottenere risultati che competono con i modelli statistici tradizionali pesantemente addestrati.

È come avere uno chef magistrale che ha assaggiato ogni piatto del mondo. Invece di insegnargli una nuova ricetta da zero, gli dai solo gli ingredienti e gli chiedi: "In base alla tua esperienza, quanto tempo ci vorrà per cucinare questo stufato?" e lo lasci regolare la sua ipotesi finché non sembra corretta.

Sintesi Tecnica: Staying Alive: Uncensored Survival Analysis with Tabular Foundation Models

Problematica
L'Analisi della Sopravvivenza (SA) è un quadro statistico utilizzato per modellare il tempo fino al verificarsi di un evento di interesse, con applicazioni che spaziano dall'assistenza sanitaria alla previsione del churn. Una sfida centrale nella SA è la censura a destra (right-censoring), in cui il tempo dell'evento per alcuni soggetti non è osservato perché lasciano lo studio o raggiungono l'orizzonte di osservazione prima che l'evento si verifichi. Mentre i modelli di sopravvivenza classici gestiscono naturalmente i dati censurati, i Modelli Fondativi Tabulari (TFM)—che eccellono nella classificazione e regressione in-context senza addestramento specifico per il dataset—faticano con questo compito. I TFM tipicamente si aspettano target di predizione completamente osservati, rendendo difficile l'applicazione diretta alla regressione di sopravvivenza. I tentativi esistenti di adattare i TFM, come la discretizzazione del tempo in bin per la classificazione, introducono un compromesso tra risoluzione e dimensione effettiva del contesto, spesso degradando le prestazioni con una discretizzazione troppo grossolana.

Metodologia
Gli autori propongono TabSA, un framework training-free che sfrutta i TFM congelati per eseguire la regressione di sopravvivenza inquadrando il compito come un problema di predizione in-context. Il metodo opera sotto l'assunzione di un modello di Tempo di Guasto Accelerato (AFT), dove il logaritmo del tempo dell'evento è modellato linearmente. L'innovazione principale è una strategia di imputazione iterativa non parametrica per i dati censurati, ispirata all'estimatore di Buckley-James.

L'algoritmo proposto procede come segue:

Costruzione del Modello: Il TFM viene utilizzato come backbone di regressione per predire la media del log-tempo ( $\hat{\mu}$ ) per i soggetti basandosi su esempi in-context.
Stima dei Parametri: Un singolo parametro scalare, il parametro di scala $\sigma$ , viene stimato tramite la Massima Verosimiglianza (MLE) sul set di addestramento. Questo è l'unico parametro che richiede l'adattamento; il backbone del TFM rimane congelato.
Imputazione Iterativa (TabSA-BJ): Per affrontare la censura a destra senza scartare i dati, il metodo imputa iterativamente i pseudo-target per i soggetti censurati:
- Inizializzazione: I pseudo-target sono inizializzati utilizzando un warm start guidato dai dati basato sull'estimatore jackknife di Kaplan-Meier.
- Iterazione: In ogni step, il TFM predice la media del log-tempo per i soggetti censurati utilizzando un contesto stocastico di soggetti non censurati e censurati sottocampionati (per prevenire l'auto-predizione degenerata).
- Aggiornamento: A differenza dello standard estimatore di Buckley-James che imputa la media condizionale, questo metodo aggiorna i pseudo-target campionando da una distribuzione troncata ( $p(\log T_i | T_i > C_i)$ ), imponendo rigorosamente il vincolo che il tempo imputato debba superare il tempo di censura.
- Raffinamento: Il parametro di scala $\sigma$ viene re-stimato tramite MLE sul dataset aggiornato. Questo ciclo continua finché i pseudo-target non si stabilizzano.
Inferenza: Al tempo di test, il modello esegue un passaggio in avanti per ottenere i log-tempi medi, che vengono combinati con il $\sigma$ finale per costruire la funzione di sopravvivenza.

Contributi Chiave

Regressione di Sopravvivenza Zero-Shot: Il paper introduce un metodo per eseguire la regressione di sopravvivenza utilizzando i TFM senza addestramento specifico per il dataset, richiedendo solo l'adattamento di un singolo parametro scalare ( $\sigma$ ).
Imputazione In-Context Non Parametrica: Gli autori propongono un nuovo meccanismo iterativo per gestire la censura a destra sfruttando il TFM come estimatore non parametrico per l'imputazione dei dati censurati, evitando i compromessi tra risoluzione e prestazioni associati alla discretizzazione temporale.
Integrazione AFT: Il framework costruisce con successo un modello AFT utilizzando un backbone TFM, colmando il divario tra i moderni modelli fondativi e le strutture classiche dell'analisi della sopravvivenza.

Risultati Sperimentali
Il metodo è stato valutato su cinque benchmark standard di analisi della sopravvivenza (WHAS500, GBSG, METABRIC, SUPPORT, FLCHAIN) che coprono malattie cardiovascolari, oncologia e cure critiche. Il metodo proposto (TabSA-BJ) è stato confrontato con modelli classici addestrati (Cox PH, Weibull AFT, Log-Normal AFT, Random Survival Forest) e un competitore zero-shot (TabSA-Bin, che utilizza la discretizzazione temporale).

Discriminazione (C-Index): TabSA-BJ ha ottenuto punteggi di C-Index competitivi, spesso eguagliando o superando i modelli classici addestrati e superando significativamente le varianti zero-shot più semplici (TabSA-CCA, TabSA-PO). Ha dimostrato una particolare forza sui dataset con tassi di censura più elevati.
Calibrazione (IBS): Sebbene TabSA-BJ abbia mostrato una forte capacità di discriminazione, il suo Integrated Brier Score (IBS) è stato generalmente inferiore rispetto a quello di TabSA-Bin e dei metodi classici. Gli autori attribuiscono ciò alla natura dei metodi: TabSA-Bin ottimizza le probabilità di sopravvivenza a quantili fissi (migliore per la calibrazione), mentre TabSA-BJ opera sulla scala del log-tempo, preservando la struttura del rango (migliore per la discriminazione).
Convergenza: L'analisi ha mostrato che il parametro di scala $\sigma$ converge verso valori stabili (spesso vicini a 1), suggerendo che il backbone del TFM cattura una frazione sostanziale della varianza nel log-tempo senza un addestramento esplicito sulla sopravvivenza.

Significatività e Rivendicazioni
Il paper sostiene che i Modelli Fondativi Tabulari codificano una conoscenza pregressa sufficiente sulle strutture di regressione per generalizzare ai compiti di sopravvivenza con un adattamento minimo. Introducendo una strategia di imputazione iterativa training-free, il lavoro dimostra che i TFM possono gestire efficacemente i dati con censura a destra, offrendo una direzione promettente per la modellazione statistica zero-shot in domini in cui i dati temporali degli eventi etichettati sono scarsi o dove è richiesto un rapido dispiegamento senza ri-addestramento. Gli autori posizionano TabSA-BJ e TabSA-Bin come meccanismi complementari, con il primo che eccelle nella discriminazione e il secondo nella calibrazione.