Tabular Foundation Models for Clinical Survival Analysis via Survival-Aware Adaptation

Technische Samenvatting: Tabulaire Foundation Models voor Klinische Overlevingsanalyse via Survival-Aware Adaptatie

Probleemstelling
Het voorspellen van tijd-tot-gebeurtenis uitkomsten, zoals mortaliteit of ziekteprogressie, is een fundamentele taak binnen de klinische besluitvorming, die doorgaans wordt aangepakt via overlevingsanalyse (survival analysis). Hoewel klassieke statistische methoden (bijv. Cox proportional hazards) en deep learning-modellen (bijv. DeepSurv, DeepHit) breed worden gebruikt, vereisen deze vaak taakspecifieke training, uitgebreide hyperparameteroptimalisatie en grote hoeveelheden gelabelde data—bronnen die in de echte klinische praktijk vaak schaars zijn. Bov�eld moeten deze modellen omgaan met rechts-gecensureerde data, waarbij de gebeurtenis van belang niet voor alle patiënten is waargenomen.

Recente ontwikkelingen in tabulaire foundation models (FMs), zoals TabPFN, TabDPT en TabICL, bieden een veelbelovend alternatief door algemene representaties te leren van synthetische tabulaire taken, wat sterke prestaties mogelijk maakt via in-context learning zonder training op de doeldataset. Echter, de toepasbaarheid hiervan op klinische overlevingsanalyse is nog onvoldoende onderzocht. Bestaande FMs zijn primair ontworpen voor discrete classificatie of regressie en ondersteunen van nature geen gecensureerde tijd-tot-gebeurtenis voorspelling. Eerdere pogingen om deze aan te passen, omvatten vaak het herformuleren van overleving als een reeks binaire classificatietaken over gediscretiseerde tijdsintervallen, wat leidt tot computationele overhead, klassenimbalans en inconsistenties in de temporele modellering.

Methodologie
De auteurs stellen een lichtgewicht adaptatie-aanpak voor om tabulaire foundation models toe te passen op klinische overlevingsanalyse. De kernstrategie bestaat uit het vastzetten van de vooraf getrainde backbone van het foundation model en het trainen van enkel een lichtgewicht, survival-aware predictiekop (prediction head). De studie evalueert twee paradigma's:

1. Zero-Shot In-Context Learning: Het vooraf getrainde model wordt direct toegepast op een gediscretiseerde overlevingsopgave. Voor elk tijdsinterval voorspelt het model de waarschijnlijkheid dat een gebeurtenis plaatsvindt, waarbij de trainingscohort als in-context ondersteuning dient. De overlevingsfunctie wordt gereconstrueerd uit deze waarschijnlijkheden, met post-processing om monotoniciteit af te dwingen.
2. Survival-Aware Adaptation (Voorgesteld): Een Multi-Task Logistic Regression (MTLR) kop wordt aan de vooraf getrainde representaties bevestigd. In tegenstelling tot gediscretiseerde classificatie, modelleert MTLR de overlevingsverdeling als een gezamenlijke waarschijnlijkheid over geldige overlevingssequenties. Deze aanpak:
   • Codeert overlevingsuitkomsten als binaire sequenties die de transitie van overleving naar gebeurtenis vertegenwoordigen.
   • Definieert een log-lineair model over geldige sequenties, wat het censureren natuurlijk afhandelt door te marginaliseren over sequenties die consistent zijn met overleving voorbij de censuratietijd.
   • Dwingt monotoniciteit af door constructie zonder dat tijdelijke expansie of post-hoc correctie nodig is.

De auteurs evalueren drie representatieve architecturen (TabPFN, TabDPT, TabICL) over een diverse set publieke overlevingsbenchmarks (SUPPORT, METABRIC, GBSG, WHAS, FLCHAIN, SEER, VETERANS) en twee grootschalige ICU-cohorten (MIMIC-IV en eICU).

Belangrijkste Bijdragen

• Adaptatie-framework: Het artikel introduceert een parameterefficiënte methode om tabulaire foundation models uit te breiden naar gecensureerde tijd-tot-gebeurtenis voorspelling door survival-aware koppen (specifiek MTLR) te trainen op top van bevroren vooraf getrainde representaties.
• Uitgebreide Evaluatie: De studie biedt een rigoureuze vergelijking met sterke baselines, inclus_ief klassieke statistische modellen, boom-gebaseerde methoden en diepe neurale overlevingsmodellen, over zowel kleine- als middelgrote benchmarks als grootschalige elektronische patiëntendossier (EHR) datasets.
• Empirische Validatie: Het werk toont aan dat het combineren van vooraf getrainde tabulaire representaties met survival-aware doelstellingen competitieve of superieure prestaties oplevert vergeleken met state-of-the-art baselines, met name in grote, heterogene datasets.

Resultaten
De experimentele resultaten geven aan dat survival-aware adaptatie de meest consistente strategie is over de verschillende datasets:

• Prestaties: Op de MIMIC-IV dataset bereikte het TabDPT-FT-MTLR model een C-index van 0,856, wat een relatieve verbetering van +1,4% betekent ten opzichte van de beste niet-FM baseline (DeepSurv, 0,844) en een verbetering van +6,7% ten opzichte van het beste zero-shot model (0,802). Vergelijkbaar daarmee bereikte op eICU, TabICL-FT-MTLR een C-index van 0,797, waarmee het DeepSurv (0,784) en het beste zero-shot model (0,749) verslaat.
• Zero-Shot vs. Adaptatie: Hoewel zero-shot inferentie competitief is, met name in kleinere of schonere datasets, wordt het consistent overtroffen door survival-aware adaptatie. De auteurs schrijven dit toe aan de beperkingen van zero-shot gediscretiseerde herformuleringen, die tijdsintervallen onafhankelijk behandelen en lijden onder klassenimbalans.
• Representatiekwaliteit: Vooraf getrainde tabulaire backbones presteerden consequent beter dan standaard MLP-encoders wanneer zij met dezelfde MTLR-doelstelling werden gekoppeld, wat suggereert dat foundation models nuttige inductieve biases coderen voor tabulaire data die effectief worden overgedragen naar overlevingsopgaven.
• Risicostratificatie: In de klinische bruikbaarheidsanalyse produceerden survival-aware modellen een duidelijkere en stabielere scheiding tussen lage, gemiddelde en hoge risicogroepen vergeleken met zero-shot modellen. De aangepaste modellen vertoonden een eerdere divergentie van risicogroepen en minder kruisende curves, wat wijst op een betrouwbaardere risicoranking over de tijd.

Betekenis en Claims
Het artikel claimt dat tabulaire foundation models, wanneer gecombineerd met lichtgewicht survival-aware adaptatie, een praktisch en effectief alternatief bieden voor traditionele overlevingsmodellering-benaderingen. De betekenis van dit werk ligt in:

• Efficiëntie: De aanpak elimineert de noodzaak voor uitgebreide taakspecifieke training van de backbone, wat implementatie vereenvoudigt en de datavereisten voor hoogwaardige overlevingsvoorspelling vermindert.
• Robuustheid: De methode demonstreert sterke generaliseerbaarheid over diverse klinische domeinen en dataregimes, van kleine publieke benchmarks tot grootschalige, heterogene ICU-cohorten.
• Klinische Bruikbaarheid: Door een nauwkeurigere risicostratificatie en vroegtijdige identificatie van hoog-risico patiënten mogelijk te maken, ondersteunt de aanpak een meer tijdige en actiegerichte besluitvorming in kritieke zorginstellingen.

De auteurs concluderen dat hoewel zero-shot inferentie een sterke baseline vormt in situaties met beperkte middelen, survival-aware adaptatie steeds voordeliger wordt naarmate de datasetgrootte en complexiteit toenemen, waarbij het een principiële manier biedt om met censurering en temporele afhankelijkheden om te gaan zonder de vooraf getrainde foundation model te wijzigen.