🤖 machine learning

Tabular Foundation Models Can Do Survival Analysis

Dit artikel toont aan dat tabulaire foundation models effectief overlevinganalyse kunnen uitvoeren door tijd-tot-gebeurtenisvoorspelling te herformuleren als een reeks binaire classificatieproblemen om censurering te verwerken, een methode die cumulatieve faalkansen direct modelleert en bestaande baselines empirisch overtreft over 48 real-world datasets.

Oorspronkelijke auteurs: Da In Kim, Wei Siang Lai, Kelly W. Zhang

Gepubliceerd 2026-07-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Da In Kim, Wei Siang Lai, Kelly W. Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: "Wanneer zal de gebeurtenis plaatsvinden?" In de wereld van data science wordt dit survival analysis (overlevingsanalyse) genoemd. Het gaat niet alleen om het voorspellen of iets zal gebeuren — zoals of een gloeilamp doorbrandt — maar om wanneer het zal gebeuren. Dit is cruciaal in velden zoals de geneeskunde (voorspellen wanneer een patiënt een terugval krijgt), techniek (uitzoeken wanneer een machineonderdeel faalt) of zelfs zaken (raden wanneer een klant vertrekt).

Maar er is een verraderlijke wending in dit mysterie: censoring (censurering). Stel je voor dat je een race bekijkt, maar sommige hardlopers verlaten het stadion voordat ze de finishlijn passeren. Je weet dat ze nog steeds aan het rennen waren toen ze vertrokken, maar je weet niet wanneer ze zouden zijn gefinisht. In datatermen is dit "right-censoring". De gebeurtenis heeft nog niet plaatsgevonden voor deze mensen, of we zijn de weg kwijtgeraakt. Traditionele wiskundige instrumenten worstelen hier vaak mee en vereisen meestal speciale, complexe formules die voor elk nieuw probleem vanaf nul moeten worden gebouwd.

Maak kennis met Tabular Foundation Models (TFMs). Beschouw deze als super-slimme, vooraf getrainde detectives. Ze hebben al miljoenen verschillende "dossiers" (datasets) gelezen over alles van huizenprijzen tot weerspatronen. Ze zijn experts in het herkennen van patronen in tabellen met getallen zonder dat ze voor elk nieuw mysterie opnieuw getraind hoeven te worden. De grote vraag waar wetenschappers zich aan hebben toegelegd is: Kunnen deze algemene detectives het "gecensureerde" mysterie van survival analysis oplossen zonder dat ze daarvoor een speciale graad in nodig hebben?

Het Grote Idee van het Papier: Een Mysterie Veranderen in een Serie Ja/Nee-Vragen

De onderzoekers van Imperial College London besloten een slimme truc toe te passen. In plaats van de super-slimme detective te vragen om de exacte tijd van een gebeurtenis te raden (wat moeilijk is wanneer de klok voortijdig kan stoppen), hebben ze het hele probleem geherformuleerd. Ze veranderden de complexe "wanneer zal het gebeuren?"-vraag in een reeks eenvoudige Ja/Nee-vragen.

Stel je voor dat je een vriend vraagt: "Eindigt de film voor 5 uur?" Dan: "Eindigt het voor 6 uur?" En dan: "Voor 7 uur?" Als je deze eenvoudige vragen correct kunt beantwoorden, kun je de hele tijdlijn uitzoeken.

De auteurs namen dit idee en pasten het toe op survival data. Ze hakten de tijdlijn in kleine, discrete stukjes (zoals het snijden van een brood). Voor elk tijdssegment stelden ze de model een binaire vraag: "Is de gebeurtenis tegen deze tijd al gebeurd?"

Ja: De gebeurtenis heeft plaatsgevonden.
Nee: De gebeurtenis heeft nog niet plaatsgevonden.

Hier zit de magie: Als de data "gecensureerd" is (de hardloper heeft het stadion verlaten), behandelt het model de toekomstige vragen simpelweg als "ontbrekende labels". Het raakt niet in de war; het negeert gewoon de vragen voor de tijdsperioden nadat de hardloper is vertrokken. Hierdoor kan het model zijn standaard "Ja/Nee"-trainingsvaardigheden gebruiken om een survivalprobleem op te lossen, zonder dat het specifieke survival-training nodig heeft.

Wat Ze Ontdekten: De "Cumulatieve" Truc Werkt het Best

Het team testte dit idee op 48 real-world datasets (43 statische en 5 dynamische waarbij informatie in de loop van de tijd verandert). Ze vergeleken hun methode met de oude experts (zoals Cox-modellen) en de nieuwe deep learning-modellen (zoals DeepHit).

Dit is wat ze ontdekten:

De "Ja/Nee"-aanpak wint: Wanneer ze de eenvoudige vraag "Is het al gebeurd?" gebruikten (wat ze Cumulative Failure modellering noemen), presteerden hun kant-en-klare Tabular Foundation Models (specifiek één genaamd MITRA) beter dan bijna alles anders. Het was de beste performer gemiddeld over alle datasets.
De Oude Manier Heeft een Fout: Er was een andere manier om de vraag te stellen: "Gebeurde de gebeurtenis precies in dit specifieke tijdssegment?" (Dit wordt het modelleren van de Discrete Hazard genoemd). Het papier vond dat hoewel dit redelijk werkte voor een paar tijdssegmenten, het volledig instortte naarmate ze meer segmenten toevoegden. Waarom? Omdat kleine fouten in het raden van het eerste segment zouden vermenigvuldigen en erger zouden worden naarmate je verder in de tijd ging, zoals een spelletje "telefoontje" waarbij de boodschap vervormd raakt. De "Cumulatieve" methode voorkwam dit door naar het hele plaatje tot dat moment te kijken, wat het veel robuuster maakte.
Geen Training Nodig: Het beste deel? Ze hoefden de modellen niet opnieuw te trainen. Ze voerden simpelweg de data in, en de modellen gebruikten hun bestaande "in-context learning" vaardigheden om het probleem direct op te lossen. Het is also[t een vooraf getrainde detective een nieuw dossier overhandigen en hem direct het mysterie laten oplossen omdat hij de regels van het spel al kent.

Het Bewijs en de Limieten

De auteurs gokten niet alleen; ze bewezen wiskundig dat als je genoeg data hebt, het minimaliseren van de fout op deze eenvoudige "Ja/Nee"-vragen zal leiden tot de ware overlevingskansen. Ze lieten zien dat de modellen die ze testten inderdaad beter werden in het voorspellen van de kansen naarmate de datasets groeiden.

Ze waren echter ook voorzichtig om de limieten te benoemen. Deze methode steunt op de aanname dat de "uitvallers" (censoring) willekeurig zijn en niet gerelateerd aan de gebeurtenis zelf. Als de hardlopers die het stadion verlieten juist degenen waren die stiekem gewond waren en achteraan zouden zijn geëindigd, zou het model in de war kunnen raken. Het papier merkte ook op dat het omzetten van continue tijd in segmenten (discretisatie) een klein beetje precisie kost, maar dat de ruil de enorme winst in nauwkeurigheid en snelheid waard was.

Uiteindelijk suggereert dit papier dat we niet voor elk survivalprobleem een nieuw, gespecialiseerd brein hoeven te bouwen. Soms is de beste manier om een complex "wanneer"-mysterie op te lossen, simpelweg een reeks eenvoudige "ja of nee" vragen stellen, waarbij we de vooraf getrainde AI-detectives het zware werk laten doen.

Technische Samenvatting: Tabulaire Foundation Models kunnen Survival Analyse uitvoeren

Probleemstelling
Survival analyse, of tijd-tot-gebeurtenis-analyse, heeft als doel te modelleren wanneer een gebeurtenis van belang plaatsvindt, in plaats van enkel te modelleren of deze plaatsvindt. Een definiërende uitdaging in dit domein is rechts-censurering (right-censoring), waarbij de observatieperiode eindigt voordat de gebeurtenis plaatsvindt, waardoor de werkelijke tijdstip van de gebeurtenis onbekend blijft. Hoewel Tabulaire Foundation Models (TFMs) opmerkelijk succes hebben behaald bij classificatie- en regressietaken—vaak met betere prestaties dan methoden zoals XGBoost in scenario's met kleine datasets—is het aanpassen van hen aan survival analyse niet triviaal. Standaard regressiearchitecturen kunnen rechts-censurering niet van nature verwerken, en bestaande survival-specifieke modellen vereisen vaak training vanaf nul op individuele datasets, wat hun nut in situaties met weinig data beperkt. Bovendien vereist survival modellering, terwijl TFMs vaak worden geëvalueerd op nauwkeurigheid of gemiddelde kwadratische fout, goed gekalibreerde waarschijnlijkheden om de risicodynamiek over de tijd te karakteriseren.

Methodologie
De auteurs stellen een framework voor dat survival analyse herformuleert als een reeks binaire classificatieproblemen om off-the-shelf TFMs te benutten via in-context learning, zonder dat hiervoor survival-specifieke pretraining, fine-tuning of architecturale wijzigingen nodig zijn.

Temporele Discretisatie: De continue tijdhorizon wordt opgedeeld in $K$ discrete intervallen.
Cumulatieve Faalformulering: In tegenstelling tot traditionele benaderingen die de discrete-tijd hazard rate modelleren (de kans dat een gebeurtenis plaatsvindt in een specifiek interval, gegeven overleving tot dat punt), modelleert deze methode direct de cumulatieve faalkans. Voor elk tijdstip $t_k$ wordt een binaire label $Y_{i,k}$ gedefinieerd als $1(T_i \le t_k)$ , wat aangeeft of de gebeurtenis vóór tijdstip $t_k$ heeft plaatsgevonden.
Afhandeling van Censurering: Gecensureerde observaties worden behandeld als voorbeelden met ontbrekende labels op tijdstippen voorbij de censureringstijd. Het trainingsdoel is een standaard binaire cross-entropy loss, die uitsluitend beperkt is tot geobserveerde labels (waar $t_k < C_i$ ).
In-Context Learning: De geherformuleerde dataset (kenmerken, tijdstippen en binaire labels) wordt ingevoerd in een TFM (bijv. MITRA, TabPFN) of een standaard classifier (XGBoost). Het model leert de faalkans tegen een specifieke tijd $t_k$ te voorspellen, gegeven de covariaten.
Dynamische Extensie: Voor dynamische settings met tijdsvariërende covariaten, neemt het model de historie van observaties tot tijd $t_k$ en voorspelt het de cumulatieve faalkans voor een toekomstige horizon $\Delta$ , onder de voorwaarde dat het subject tot tijd $t_k$ heeft overleefd.

Theoretische Garanties
Het artikel biedt een theoretisch bewijs (Theorem 4.2) dat onder de standaardveronderstelling van conditioneel onafhankelijke censurering, het minimaliseren van de voorgestelde binaire cross-entropy loss de ware onderliggende survival waarschijnlijkheden herstelt naarmate de omvang van de trainingsset naar oneindig gaat. Dit stelt vast dat de classificatieformulering statistisch consistent is met het survival-doel.

Belangrijkste Bijdragen

Classificatieformulering: De auteurs introduceren een specifieke classificatieformulering die direct cumulatieve faalkansen modelleert. Empirisch gezien presteert dit beter dan formuleringen gebaseerd op discrete hazard rates (die lijden onder multiplicatieve foutaccumulatie naarmate het aantal bins toeneemt) en multi-class formuleringen.
Consistentiebewijs: Zij bewijzen dat het minimaliseren van de binaire classificatie loss consistente survival waarschijnlijkheidsschattingen oplevert onder standaard censureringveronderstellingen.
Empirische Evaluatie: De aanpak wordt geëvalueerd over 48 real-world datasets (43 statisch en 5 dynamisch) uit de SurvSet repository. De studie vergelijkt off-the-shelf TFMs met deze formulering tegen klassieke baselines (CoxPH, Random Survival Forests) en deep learning modellen (DeepSurv, DeepHit, Joint Models).

Resultaten

Statische Setting: Over 43 datasets heen bereikten TFMs met de cumulatieve faalformulering (specifiek MITRA-CF en XGBoost-CF) de beste algehele prestaties over meerdere metrieken (C-Index, Geïntegreerde AUC, Geïntegreerde Brier Score). De CF-formulering bleek robuuster tegen het aantal discretisatie bins ( $K$ ) vergeleken met hazard-gebaseerde (DH) benaderingen, die verslechterden naarmate $K$ toenam door foutaccumulatie.
Dynamische Setting: In 5 dynamische datasets presteerde MITRA-CF beter dan alle baselines, inclus�clusief landmarked CoxPH/RSF en Dynamic DeepHit. De resultaten suggereren dat de temporele priors ingebed in TFMs bijzonder effectief zijn voor het modelleren van longitudinale data-complexiteiten.
Metriek Correlatie: De studie vond een sterke correlatie ( $r=0.89$ ) tussen de binaire cross-entropy loss en de Geïntegreerde Brier Score, wat de theoretische claim ondersteunt dat het optimaliseren van het classificatie-doel direct de survival waarschijnlijkheid kalibratie verbetert.

Betekenis en Claims
Het artikel claimt dat survival analyse capaciteiten kunnen worden opgeroepen uit off-the-shelf tabulaire foundation models door middel van een eenvoudige binaire classificatieherformulering. Deze aanpak biedt een computationeel efficiënt alternatief voor het trainen van gespecialiseerde survival modellen vanaf nul, met name in scenario's met kleine hoeveelheden data waarin foundation models excelleren.

De auteurs onderscheiden hun werk van gelijktijdige inspanningen (Survival In-Context en SurvivalPFN) die specifiek op synthetische survival taken pretrainen. In contrast hiermee demonstreert dit werk dat algemene TFMs, zonder enige survival-specifieke pretraining of architecturale modificatie, een state-of-the-art prestatie kunnen leveren op survival taken wanneer ze worden voorzien van de juiste classificatieformulering. De methode is flexibel met betrekking tot het aantal tijd-bins en toepasbaar op zowel statische als dynamische settings, hoewel het beperkt blijft tot scenario's die voldoen aan de aanname van conditioneel onafhankelijke censurering.

Het Grote Idee van het Papier: Een Mysterie Veranderen in een Serie Ja/Nee-Vragen

Wat Ze Ontdekten: De "Cumulatieve" Truc Werkt het Best

Het Bewijs en de Limieten

Meer zoals dit