🤖 machine learning

Staying Alive: Uncensored Survival Analysis with Tabular Foundation Models

Dit artikel introduceert een trainingsvrije survival regressiemethode die gebruikmaakt van Tabular Foundation Models om rechtsgecensureerde data iteratief te imputeren en een Accelerated Failure Time-model te construeren, waarmee het een competitieve prestatie levert ten opzien van traditionele getrainde modellen op standaard benchmarks.

Oorspronkelijke auteurs: Mariana Vargas Vieyra

Gepubliceerd 2026-06-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mariana Vargas Vieyra

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Voorspellen "Wanneer" Zonder Training

Stel je voor dat je een arts bent die probeert te voorspellen hoe lang een patiënt zal overleven na een diagnose, of een automonteur die raadt wanneer een specifiek onderdeel zal breken. Dit wordt overlevingsanalyse (Survival Analysis) genoemd. Het lastige deel is dat je vaak het uiteindelijke evenement niet ziet gebeuren. Misschien verhuist de patiënt weg, of eindigt de studie voordat het auto-onderdeel kapot gaat. In de statistiek wordt dit rechts-gecensureerd (right-censoring) genoemd — je weet dat het evenement nog niet heeft plaatsgevonden, maar je weet niet wanneer het zal gebeuren.

Normaal gesproken moet je om dit op te lossen voor elke nieuwe dataset een eigen model vanaf nul op te bouwen, wat lijkt op het inhuren van een nieuwe architect om telkens een nieuw huis te ontwerpen elke keer dat je een stuk grond koopt.

Dit paper introduceert een nieuwe manier om dit te doen met behulp van Tabulaire Fundatiemodellen (TFM's). Zie een TFM als een "super-slimme, vooraf getrainde detective" die al miljoenen verschillende datasets heeft gelezen. De detective kan naar een nieuwe lijst met feiten kijken (een tabel met gegevens) en met één blik een voorspelling doen, zonder dat er hertraining nodig is. De auteurs wilden zien of deze "super-detective" het puzzelstukje van de "ontbrekende tijd" in de overlevingsanalyse kon oplossen zonder extra training.

Het Probleem: De Detective Kan het Einde Niet Zien

Het probleem is dat deze super-detectives (TFM's) gewend zijn aan het zien van het volledige verhaal. Als je hen vraagt: "Hoe lang zal deze patiënt leven?", maar je geeft hen alleen gegevens tot het punt waarop ze de studie verlieten, raakt de detective in de war. De detective verwacht een definitief antwoord, geen "we weten het nog niet".

Als je de patiënten met ontbrekende eindtijden (gecensureerde data) simpelweg negeert, zal de detective bevooroordeeld raken. De detective zal denken dat iedereen eerder sterft dan ze in werkelijkheid doen, omdat hij alleen kijkt naar de mensen die vroeg stierven en de mensen die nog in leven zijn negeert.

De Oplossing: Het "Invul-de-Gaten-Spel"

De auteurs hebben een methode ontwikkeld genaamd TabSA (Tabular Survival Analysis) waarmee de detective het puzzelstukje in twee slimme stappen kan oplossen:

Stap 1: De "Raad het Gemiddelde" (Het AFT-model)

Eerst gebruiken ze de detective om de "gemiddelde log-tijd" voor iedereen te raden op basis van hun kenmerken (zoals leeftijd, gezondheidsmarkers, etc.). Dit is alsof de detective naar een menigte kijkt en raadt: "Op basis van wat ik eerder heb gezien, duurt deze groep meestal ongeveer X jaar."

Echter, ze laten de detective alleen kijken naar de mensen die de studie daadwerkelijk hebben afgerond om deze gok te maken. Om dit werkend te krijgen, hoeven ze slechts één enkel getal (een schaalparameter) af te stemmen. Het is alsof je tegen de detective zegt: "Je bent goed in het raden, vertel me gewoon hoeveel je je gokken moet uitrekken of inkrimpen."

Stap 2: Het "Verbeeldingsspel" (Iteratieve Imputatie)

Dit is het magische deel. Omdat de detective de afloop van het verhaal niet kan zien voor de gecensureerde patiënten, spelen de auteurs een spel van "het invullen van de gaten".

De Eerste Gok: Ze beginnen met het raden van de ontbrekende eindtijden voor de gecensureerde patiënten met behulp van een standaard statistische truc (zoals een ruwe schatting op basis van wie er nog steeds in leven is).
De Lus: Ze voeren deze gokken terug naar de detective. De detective kijelt naar de hele groep (inclusclusief de gokken) en zegt: "Eigenlijk, op basis van deze nieuwe informatie, zou mijn gok voor die persoon iets langer moeten zijn."
Verfijning: Ze werken de gokken bij en vragen de detective opnieuw. Ze herhalen deze lus keer op keer (zoals het verfijnen van een schets) totdat de gokken niet meer veranderen.

Dit proces is geïnspireerd door een oude statistische methode genaamd de Buckley-James estimator, maar in plaats van complexe wiskundige berekeningen uit te voeren, laten ze de "super-detective" (de TFM) het zware werk doen om te bepalen wat de ontbrekende tijden zouden moeten zijn.

De Resultaten: Hoe Hadden Ze het Gedaan?

De auteurs hebben hun methode getest op vijf echte datasets (hartaanvallen, borstkanker, kritieke zorg, etc.) en vergeleken hun methode met:

Klassieke Modellen: De traditionele "eigen architecten" die zware training vereisen.
Andere Zero-Shot Methoden: Andere manieren om deze detectives te gebruiken zonder training.

De Bevindingen:

Rangschikkingskracht: Hun methode (TabSA-BJ) was uitstekend in het rangschikken van patiënten. Het kon bijna net zo goed zeggen: "Patiënt A zal waarschijnlijk langer leven dan Patiënt B" als de dure, volledig getrainde modellen.
Kalibratie: Hoewel het uitstekend was in rangschikken, was het iets minder perfect in het voorspellen van de exacte overlevingskans op een specifiek tijdstip vergeleken met een methode die de tijd in bakjes verdeelt (discretisatie).
Geen Training Nodig: De grootste overwinning is dat ze deze resultaten behaalden zonder het model te hertrainen op de specifieke dataset. Ze voerden simpelweg de data in, draaiden de "vul-de-gaten-loop" en kregen een resultaat.

De Kernboodschap

Het paper laat zien dat we niet altijd een nieuw model vanaf nul moeten bouwen om overlevingstijden te voorspellen. Door een vooraf getraind "fundatiemodel" te gebruiken als een slimme motor en een eenvoudig spel van "raden en verfijnen" te spelen om ontbrekende gegevens af te handelen, kunnen we resultaten behalen die concurreren met traditionele, zwaar getrainde statistische modellen.

Het is alsoft een meesterkok die elke gerecht ter wereld heeft geproefd. In plaats van hem een nieuw recept vanaf nul te leren, geef je hem gewoon de ingrediënten en vraag je: "Op basis van je ervaring, hoe lang gaat deze stoofpot duren?" en laat je hem zijn gok aanpassen totdat het goed voelt.

Technische Samenvatting: Staying Alive: Uncensored Survival Analysis with Tabular Foundation Models

Probleemstelling
Survival Analysis (SA) is een statistisch kader dat wordt gebruikt om de tijd tot een gebeurtenis van belang te modelleren, met toepassingen variërend van de gezondheidszorg tot churn-voorspelling. Een centrale uitdaging in SA is rechtsgecensureerde data (right-censoring), waarbij de tijd tot de gebeurtenis voor sommige subjecten niet geobserveerd wordt omdat zij de studie verlaten of het observatiehorizon bereiken voordat de gebeurtenis plaatsvindt. Terwijl klassieke overlevingsmodellen van nature goed omgaan met gecensureerde data, worstelen Tabular Foundation Models (TFMs) — die uitblinken in in-context classificatie en regressie zonder dataset-specifieke training — met deze taak. TFMs verwachten doorgaans volledig geobserveerde voorspellingsdoelen, wat directe toepassing op survival regressie moeilijk maakt. Bestaande pogingen om TFMs aan te passen, zoals het discretiseren van de tijd in bins voor classificatie, introduceren een afruil tussen resolutie en effectieve contextgrootte, wat vaak leidt tot verminderde prestaties bij grovere binning.

Methodologie
De auteurs stellen TabSA voor, een training-vrij framework dat bevroren TFMs gebruikt om survival regressie uit te voeren door de taak te formuleren als een in-context voorspellingsprobleem. De methode werkt onder een Accelerated Failure Time (AFT) modelveronderstelling, waarbij de logaritme van de gebeurtijd lineair wordt gemodelleerd. De kerninnovatie is een iteratieve, niet-parametrische imputatiestrategie voor gecensureerde data, geïnspireerd door de Buckley-James estimator.

Het voorgestelde algoritme verloopt als volgt:

Modelconstructie: De TFM wordt gebruikt als een regressor-backbone om de gemiddelde log-tijd ( $\hat{\mu}$ ) voor subjecten te voorspellen op basis van in-context voorbeelden.
Parameterestimatie: Een enkele scalaire parameter, de schaalparameter $\sigma$ , wordt geschat via Maximum Likelihood Estimation (MLE) op de trainingsset. Dit is de enige parameter die vereist is voor fitting; de TFM-backbone blijft bevroren.
Iteratieve Imputatie (TabSA-BJ): Om rechtsgecensureerde data aan te pakken zonder data weg te gooien, imputeert deze methode iteratief pseudo-doelen voor gecensureerde subjecten:
- Initialisatie: Pseudo-doelen worden geïnitialiseerd met een data-gedreven warm start gebaseerd op de Kaplan-Meier jackknife estimator.
- Iteratie: In elke stap voorspelt de TFM de gemiddelde log-tijd voor gecensureerde subjecten met behulp van een stochastische context van gesubsampleerde ongecensureerde en gecensureerde subjecten (om degeneratieve zelf-voorspelling te voorkomen).
- Update: In tegen tegenstelling tot de standaard Buckley-James estimator, die de conditionele gemiddelde imputeert, werkt deze methode de pseudo-doelen bij door te trekken uit een getrunceerde distributie ( $p(\log T_i | T_i > C_i)$ ), waarbij strikt de beperking wordt afgedwongen dat de geïmputeerde tijd de censureringstijd moet overschrijden.
- Verfijning: De schaalparameter $\sigma$ wordt opnieuw geschat via MLE op de bijgewerkte dataset. Deze lus gaat door totdat de pseudo-doelen stabiliseren.
Inference: Tijdens de testfase voert het model een forward pass uit om de gemiddelde log-tijden te verkrijgen, die worden gecombineerd met de definitieve $\sigma$ om de overlevingsfunctie te construeren.

Belangrijkste Bijdragen

Zero-Shot Survival Regressie: Het artikel introduceert een methode om survival regressie uit te voeren met TFMs zonder dataset-specifieke training, waarbij alleen de fitting van een enkele scalaire parameter ( $\sigma$ ) nodig is.
Niet-parametrische In-Context Imputatie: De auteurs stellen een nieuw iteratief mechanisme voor om rechtsgecensureerde data aan te pakken door de TFM te gebruiken als een niet-parametrische estimator voor het imputeren van gecensureerde data, waardoor de resolutie-prestatie afruil van tijd-discretisatie wordt vermeden.
AFT Integratie: Het framework slaagt erin een AFT-model te construeren met een TFM-backbone, waarmee de kloof tussen moderne foundation models en klassieke survival analyse structuren wordt overbrugd.

Experimentele Resultaten
De methode werd geëvalueerd op vijf standaard survival analyse benchmarks (WHAS500, GBSG, METABRIC, SUPPORT, FLCHAIN) die variëren van cardiovasculaire ziekten tot oncologie en intensieve zorg. De voorgestelde methode (TabSA-BJ) werd vergeleken met klassieke getrainde modellen (Cox PH, Weibull AFT, Log-Normal AFT, Random Survival Forest) en een zero-shot concurrent (TabSA-Bin, die tijd-discretisatie gebruikt).

Discriminatie (C-Index): TabSA-BJ behaalde competitieve C-Index scores, die vaak gelijk waren aan of beter waren dan klassieke getrainde modellen, en presteerden significant beter dan simpelere zero-shot varianten (TabSA-CCA, TabSA-PO). Het toonde bijzondere kracht op datasets met hogere censureringspercentages.
Kalibratie (IBS): Hoewel TabSA-BJ een sterke discriminatie vertoonde, was de Integrated Brier Score (IBS) over het algemeen lager dan die van TabSA-Bin en klassieke methoden. De auteurs schrijven dit toe aan de aard van de methoden: TabSA-Bin optimaliseert overlevingskansen bij vaste kwantielen (beter voor kalibratie), terwijl TabSA-BJ opereert op de log-tijd schaal, waardoor de rangorde behouden blijft (beter voor discriminatie).
Convergentie: Analyse toonde aan dat de schaalparameter $\sigma$ convergeert naar stabiele waarden (vaak nabij 1), wat suggereert dat de TFM-backbone een substantieel deel van de variantie in log-tijd vangt zonder expliciete survival-specifieke training.

Significantie en Claims
Het artikel claimt dat Tabular Foundation Models voldoende voorkennis coderen over regressiestructuren om te generaliseren naar survival taken met minimale aanpassing. Door een training-vrije, iteratieve imputatiestrategie te introduceren, laat het werk zien dat TFMs effectief met rechtsgecensureerde data kunnen omgaan, wat een veelbelovende richting biedt voor zero-shot statistische modellering in domeinen waar gelabelde event-tijd data schaars is of waar snelle implementatie zonder hertraining vereist is. De auteurs positioneren TabSA-BJ en TabSA-Bin als complementaire mechanismen, waarbij de eerste uitblinkt in discriminatie en de tweede in kalibratie.