Tabular Foundation Models for Clinical Survival Analysis via Survival-Aware Adaptation

Sintesi Tecnica: Modelli Fondazionali Tabulari per l'Analisi della Sopravvivenza Clinica tramite Adattamento Consapevole della Sopravvivenza

Problematica
La previsione degli esiti relativi al tempo di occorrenza (time-to-event), come la mortalità o la progressione della malattia, è un compito fondamentale nel processo decisionale clinico, solitamente affrontato attraverso l'analisi della sopravvivenza. Sebbene vengano utilizzati ampiamente metodi statistici classici (es. rischi proporzionali di Cox) e modelli di deep learning (es. DeepSurv, DeepHit), questi richiedono spesso un addestramento specifico per il compito, un'estesa regolazione degli iperparametri e grandi quantità di dati etichettati—risorse che sono frequentemente scarse negli scenari clinici reali. Inoltre, questi modelli devono gestire i dati censurati a destra, in cui l'evento di interesse non viene osservato per tutti i pazienti.

Recenti progressi nei modelli fondazionali (FM) tabulari, come TabPFN, TabDPT e TabICL, offrono un'alternativa promettente apprendendo rappresentazioni general-purpose da compiti tabulari sintetici, consentendo prestazioni elevate tramite l'apprendimento in-context senza l'addestramento sul dataset target. Tuttavia, la loro applicabilità all'analisi della sopravvivenza clinica rimane poco esplorata. Gli attuali FM sono progettati principalmente per la classificazione discreta o la regressione e non supportano nativamente la previsione del tempo di occorrenza censurato. I precedenti tentativi di adattarli spesso comportano la riformulazione della sopravvivenza come una sequenza di compiti di classificazione binaria su intervalli temporali discretizzati, il che introduce overhead computazionale, squilibrio delle classi e incongruenze nella modellazione temporale.

Metodologia
Gli autori propongono un approccio di adattamento leggero per applicare i modelli fondazionali tabulari all'analisi della sopravvivenza clinica. La strategia centrale consiste nel mantenere fisso il backbone preaddestrato del modello fondazionale e nell'addestrare solo una testa di predizione leggera e consapevole della sopravvivenza (survival-aware). Lo studio valuta due paradigmi:

1. In-Context Learning Zero-Shot: Il modello preaddestrato viene applicato direttamente a un compito di sopravvivenza discretizzato. Per ogni intervallo temporale, il modello predice la probabilità che si verifichi un evento utilizzando la coorte di addestramento come supporto in-context. La funzione di sopravvivenza viene ricostruita da queste probabilità, con post-elaborazione per garantire la monotonicità.
2. Adattamento Consapevole della Sopravvivenza (Proposto): Una testa di Regressione Logistica Multi-Task (MTLR) viene attaccata alle rappresentazioni preaddestinate. A differenza della classificazione discretizzata, MTLR modella la distribuzione della sopravvivenza come una probabilità congiunta su sequenze di sopravvivenza valide. Questo approccio:
   • Codifica gli esiti di sopravvivenza come sequenze binarie che rappresentano la transizione dalla sopravvivenza all'evento.
   • Definisce un modello log-lineare su sequenze valide, gestendo naturalmente la censura tramite la marginalizzazione sulle sequenze coerenti con la sopravvivenza oltre il tempo di censura.
   • Garantisce la monotonicità per costruzione senza richiedere espansione temporale o correzioni post-hoc.

Gli autori valutano tre architetture rappresentative (TabPFN, TabDPT, TabICL) attraverso un set diversificato di benchmark di sopravvivenza pubblici (SUPPORT, METABRIC, GBSG, WHAS, FLCHAIN, SEER, VETERANS) e due coorti ICU su larga scala (MIMIC-IV ed eICU).

Contributi Chiave

• Framework di Adattamento: Il documento introduce un metodo efficiente in termini di parametri per estendere i modelli fondazionali tabulari alla previsione del tempo di occorrenza censurato, addestrando teste consapevoli della sopravvivenza (specificamente MTLR) sopra le rappresentazioni preaddestinate congelate.
• Valutazione Esaustiva: Lo studio fornisce un confronto rigoroso con solidi baseline, inclusi modelli statistici classici, metodi basati su alberi e modelli di sopravvivenza a rete neurale profonda, attraverso benchmark di piccole-medie dimensioni e dataset di cartelle clinhe elettroniche (EHR) su larga scala.
• Validazione Empirica: Il lavoro dimostra che combinare le rappresentazioni tabulari preaddestinate con obiettivi consapevoli della sopravvivenza produce prestazioni competitive o superiori rispetto ai baseline allo stato dell'arte, particolarmente in dataset grandi ed eterogenei.

Risultati
I risultati sperimentali indicano che l'adattamento consapevole della sopravvivenza è la strategia più consistente tra i dataset:

• Prestazioni: Sul dataset MIMIC-IV, il modello TabDPT-FT-MTLR ha raggiunto un C-index di 0,856, rappresentando un miglioramento relativo del +1,4% rispetto al miglior baseline non-FM (DeepSurv, 0,844) e un miglioramento del +6,7% rispetto al miglior modello zero-shot (0,802). Allo stesso modo, su eICU, TabICL-FT-MTLR ha ottenuto un C-index di 0,797, superando DeepSurv (0,784) e il miglior modello zero-shot (0,749).
• Zero-Shot vs. Adattamento: Sebbene l'inferenza zero-shot sia competitiva, specialmente in dataset più piccoli o più puliti, è costantemente superata dall'adattamento consapevole della sopravvivenza. Gli autori attribuiscono ciò ai limiti delle riformulazioni discrete zero-shot, che trattano gli intervalli temporali indipendentemente e soffrono di squilibrio delle classi.
• Qualità della Rappresentazione: I backbone tabulari preaddestinati hanno costantemente superato gli encoder MLP standard quando accoppiati con lo stesso obiettivo MTLR, suggerendo che i modelli fondazionali codificano bias induttivi utili per i dati tabulari che si trasferiscono efficacemente ai compiti di sopravvivenza.
• Stratificazione del Rischio: Nell'analisi dell'utilità clinica, i modelli consapevoli della sopravvivenza hanno prodotto una separazione più chiara e stabile dei gruppi di pazienti a rischio basso, medio e alto rispetto ai modelli zero-shot. I modelli adattati hanno mostrato una divergenza precoce dei gruppi di rischio e meno incroci di curve, indicando un ranking del rischio più affidabile nel tempo.

Significatività e Rivendicazioni
Il documento sostiene che i modelli fondazionali tabulari, se combinati con un adattamento leggero consapevole della sopravvivenza, forniscono un'alternativa pratica ed efficace agli approveri approcci tradizionali di modellazione della sopravvivenza. La significatività di questo lavoro risiede in:

• Efficienza: L'approccio elimina la necessità di un addestramento specifico per il compito del backbone, semplificando l'implementazione e riducendo i requisiti di dati per la previsione della sopravvivenza ad alte prestazioni.
• Robustezza: Il metodo dimostra una forte generalizzabilità attraverso diversi domini clinici e regimi di dati, dai piccoli benchmark pubblici alle coorti ICU su larga scala ed eterogenee.
• Utilità Clinica: Consentendo una stratificazione del rischio più accurata e un'identificazione più precoce dei pazienti ad alto rischio, l'approccio supporta un processo decisionale più tempestivo e azionabile in contesti di terapia intensiva.

Gli autori concludono che, sebbene l'inferenza zero-shot serva come un solido baseline in contesti a basse risorse, l'adattamento consapevole della sopravvivenza diventa sempre più vantaggioso man mano che la dimensione e la complessità del dataset crescono, offrendo un modo rigoroso per gestire la censura e le dipendenze temporali senza modificare il modello fondazionale preaddestinato.