🤖 machine learning

SurvPFN: Towards Foundation Models for Survival Predictions

Het artikel introduceert SurvPFN, een op prior-data passende netwerk dat is voorgetraind op miljoenen synthetische taken om foundation models in staat te stellen gecensureerde data te verwerken voor overlevingsvoorspelling, waarbij het competitieve prestaties behaalt op real-world datasets zonder dat er per dataset aanpassing of gespecialiseerde architecturen nodig zijn.

Oorspronkelijke auteurs: Samuel Böhm (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany), Lennart Purucker (Department of Compute

Gepubliceerd 2026-06-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Samuel Böhm (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany), Lennart Purucker (Department of Computer Science, University of Freiburg, Freiburg, Germany, PriorLabs, Freiburg, Germany), Frank Hutter (Department of Computer Science, University of Freiburg, Freiburg, Germany, PriorLabs, Freiburg, Germany), Pascal Schlosser (Institute of Epidemiology and Prevention, Medical Center - University of Freiburg, Faculty of Medicine, University of Freiburg, Freiburg, Germany, Department of Epidemiology, Johns Hopkins Bloomberg School of Public Health, Baltimore, Maryland, US, CIBSS - Centre for Integrative Biological Signalling Studies, University of Freiburg, Freiburg, Germany)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je precies probeert te voorspellen wanneer een gloeilamp zal doorbranden. In een perfecte wereld zou je kunnen wachten tot elke individuele lamp faalt en de exacte tijd kunnen noteren. Maar in de echte wereld kun je niet eeuwig wachten. Sommige lampen werken nog steeds wanneer je stopt met het experiment, en sommige worden weggegooid voordat ze doorbranden. In de statistiek wordt dit censurering genoemd. Je weet dat de lamp ten minste zo lang heeft meegedraaid als de tijd dat je nog keek, maar je weet niet het exacte moment waarop hij zou zijn gestorven.

Lama een tijd lang waren krachtige nieuwe AI-tools, genaamd Foundation Models (specifiek "TabPFN"), erg goed in het voorspellen van zaken als "Is deze e-mail spam?" of "Voor hoeveel verkoopt dit huis?". Maar ze hadden moeite met overlevingsvoorspellingen (zoals "Wanneer krijgt een patiënt een terugval?") omdat ze niet wisten hoe ze met die "nog werkende" gloeilampen om moesten gaan. Als je ze gecensureerde data voerde, raakten ze in de war en maakten ze bevooroordeelde gokken.

Maak kennis met SurvPFN. De auteurs hebben een nieuwe versie van deze AI gebouwd die specifiek is ontworpen om het "gloeilampenprobleem" te begrijpen.

Hier is hoe ze het deden, met behulp van alledaagse analogieën:

1. De "Trainingsgym" (Synthetische Data)

Je kunt een vechter niet trainen door hem alleen in echte wedstrijden te laten vechten; hij heeft een gym nodig om te oefenen. De auteurs bouwden een enorme synthetische gym met miljoenen nep-overlevingsscenario's.

De Opzet: Ze gebruikten een wiskundig recept (een Structureel Causaal Model) om nep-"gloeilampen" te genereren met verschillende levensduur.
De Twist: Ze "censureerden" bewust sommige van deze nep-lampen — ze stopten de timer voortijdig voor sommige lampen, net zoals in het echte leven.
De Les: Ze leerden de AI dat een "gestopte" lamp geen kapotte lamp is; het is gewoon een lamp die ten minste zo lang heeft overleefd. Ze gebruikten een speciaal scorensysteem (een "gecensureerde loss") dat de AI beloont voor het eerlijk zijn over deze ondergrenzen, in plaats van een specifieke sterftijd te raden.

2. Het "Tweesporenbrein" (De Modelarchitectuur)

De AI die ze hebben gebouwd, is gebaseerd op een kleinere, efficiëntere versie van bestaande modellen genaamd NanoTabPFN. Om het geschikt te maken voor overleving, voegden ze een speciale functie toe:

De Event Indicator: Zie dit als een klein vlaggetje waar de AI voor elk datapunt naar kijkt.
- Vlag = 0: "Deze lamp brandde door op tijd X." (We weten de exacte tijd).
- Vlag = 1: "Deze lamp werkte nog steeds op tijd X." (We weten alleen dat hij voorbij X heeft overleefd).
De AI heeft twee aparte "paden" in zijn brein om deze twee soorten vlaggetjes te verwerken. Dit stelt het model in staat om te leren dat een "overlevende" lamp anders is dan een "gestorven" lamp, zelfs als dit op hetzelfde moment gebeurde.

3. De "One-Size-Fits-All" Aanpak

Normaal gesproken moet een arts of datawetenschapper wekenlang een specifiek model afstemmen voor een specifieke dataset (zoals een radio afstemmen op een specifieke zender) om overleving te voorspellen.

SurvPFN's Superkracht: Het werd één keer getraind op die enorme synthetische gym. Daarna kan het een nieuwe, echte dataset binnenlopen (zoals een ziekenhuisrecord of een logboek van machinebetrouwbaarheid) en onmiddellijk beginnen met het doen van voorspellingen. Het hoeft niet opnieuw getraind of "fijn afgesteld" te worden voor die specifieke groep mensen. Het is als een universele vertaler die elke taal spreekt zonder voor elk nieuw land een woordenboek nodig te hebben.

4. De Resultaten: Hoe goed is het?

De auteurs hebben SurvPFN getest op 22 echte datasets (variërend van kankerstudies tot werkloosheidsgegevens) en vergeleken met de "gouden standaard" methoden:

Cox Proportional Hazards: De klassieke, ouderwetse statistische methode.
Random Survival Forests: Een populaire machine learning-methode.
DeepSurv: Een moderne deep learning-benadering.
BinSurv: Een nieuwere methode die probeert overleving om te zetten in een reeks "ja/nee"-vragen.

Het Oordeel:
SurvPFN presteerde net zo goed als al deze gespecialiseerde, zwaar afgestelde experts.

Het had geen her-training nodig voor elke nieuwe dataset.
Het had geen speciale "feature engineering" nodig (het handmatig aanpassen van de data).
Het had zelfs geen complexe, op maat gemaakte architectuur nodig.

De Keerzijde (Beperkingen)

Het paper is eerlijk over waar deze AI momenteel zijn grenzen heeft:

Grootte: Het werkt het beste op kleinere datasets (tot 1.000 rijen en 10 kenmerken). Het is als een sportwagen: geweldig voor snelle, wendbare races, maar nog niet gebouwd voor een enorme vrachtwagenvloot.
De "Weibull"-bias: De AI werd getraind op een specifieke wiskundige vorm van overlevingscurves (de Weibull-verdeling). Hoewel het veel real-world scenario's goed afhandelt, kan het moeite hebben als de echte data totaal niet lijkt op de vormen die het in de gym heeft gezien.
Statisch Perspectief: Het gaat ervan uit dat de factoren die de overleving beïnvloeden (zoals leeftijd of type baan) niet in de loop van de tijd veranderen. Het gaat niet goed om met "concurrerende risico's" (bijvoorbeeld een patiënt die overlijdt aan een auto-ongeluk voordat de ziekte vordert).

De Belangrijkste Conclusie

Het paper bewijst dat overlevingsanalyse simpelweg een vorm van distributionele regressie is met een speciale regel voor "ondergrenzen". Door een algemene AI te leren om de "censurering"-regel (de event indicator vlag) te respecteren, hebben ze de mogelijkheid ontsloten om deze krachtige, vooraf getrainde foundation models te gebruiken voor time-to-event voorspellingen, zonder telkens een nieuw model vanaf nul te hoeven bouwen.

Technische Samenvatting: SurvPFN: Naar Foundation Models voor Survival Predictie

Probleemstelling

Tabulaire Foundation Models (TFMs), zoals TabPFN, hebben snel succes geboekt in standaard classificatie- en regressietaken door gebruik te maken van prior-data fitted networks (PFNs) die getraind zijn op synthetische data. Echter, survival predictie-taken zijn grotendeels ongemoeid gebleven door dit paradigma. De primaire barrière is censurering: bij survival analyse is de gebeurtenis van belang (bijv. overlijden, falen) vaak niet waargenomen voor alle subjecten binnen de studieduur (rechts-gecensureerd). Standaard TFM-architecturen en regressiedoelstellingen kunnen gecensureerde data niet van nature aan; het behandelen van gecensureerde tijden als regressiedoelen of het weggooien ervan introduceert systematische bias en onnauwkeurige voorspellingen. Bestaande survival methoden (bijv. Cox Proportional Hazards, Random Survival Forests, DeepSurv) modelleren censurering expliciet in hun likelihood-functies, maar vereisen doorgaans per dataset aanpassing (per-dataset fitting) en missen de "foundation model"-capaciteit voor zero-shot adaptatie.

Methodologie

De auteurs stellen SurvPFN voor, een prior-data fitted network dat specifiek is ontworpen voor survival predictie. De aanpak behandelt survival als een continue-tijd distributionele regressieprobleem met een gecensureerde loss-functie.

1. Synthetische Prior Generatie

Om het model te trainen zonder per-dataset aanpassing, genereren de auteurs miljoenen synthetische survival-taken met behulp van Structurele Causale Modellen (SCMs):

Gebeurtenistijden: Gegeneerd vanuit een Weibull-distributie, een standaardkeuze in survival analyse. Het model ondersteunt zowel proportional hazards (PH) als non-proportional hazards (non-PH) regimes. In non-PH scenario's modificeert een tweede uitkomst-node de vormparameter per subject, wat kruisende survival-curves induceert.
Censurering-mechanisme: Een niet-informatieve censurering-mechanisme wordt toegepast. Dit omvat:
- Administratieve censurering: Een dataset-niveau follow-up horizon ($FU$) ingesteld op een kwantiel van de gebeurtenistijd-distributie.
- Staggered enrollment: Variabele starttijden voor observaties.
- Mid-study dropout: Observaties kunnen eindigen op een uniform getrokken tijd vóór hun administratieve censureringstijd.
Datastructuur: Synthetische datasets bevatten 2–10 covariaten (inclusief categorische kenmerken) en tot 1.000 rijen.

2. Modelarchitectuur en Training

SurvPFN is gebouwd op NanoTabPFN, een lichtgewicht, gebruiksvriendelijke TFM-backbone (4,4M parameters, 6 lagen).

Input Representatie: De gebeurtenis-indicator (0 voor gecensureerd, 1 voor waargenomen gebeurtenis) wordt toegevoegd als een expliciete feature kolom. Dit stelt het model in staat om onderscheid te maken tussen waargenomen gebeurtenistijden en ondergrenzen (gecensureerde tijden).
Target Encoding: Een twee-route target encoder verwerkt waargenomen gebeurtenissen en gecensureerde rijen via aparte encoders met een identieke architectuur, waardoor het model in staat is om onderscheidende representaties te leren voor ware gebeurtenistijden en ondergrenzen.
Trainingsdoelstelling: Het model wordt getraind om een gecensureerde negatieve log-likelihood (NLL) te minimaliseren:
- Voor waargenomen gebeurtenissen: Gewogen door de inverse kans van censurering (IPCW) om voor informatieve censurering te corrigeren.
- Voor gecensureerde rijen: Bestraft het model voor het plaatsen van waarschijnlijkheidsmassa vóór de censureringstijd.
- Ranking Term: Een differentieerbare pairwise ranking term wordt optioneel toegevoegd om voorspelde survival-tijden af te stemmen op de onderliggende risico-orde die door de SCM wordt geïnduceerd.
Inference: Het model geeft een discrete dichtheid $\hat{p}_j$ uit, waaruit de survival functie $\hat{S}(t)$ en de voorspelde mediane tijd direct worden afgeleid.

3. Evaluatieprotocol

Het model werd geëvalueerd op SurvSet, een gecureerde collectie van 22 real-world survival datasets die klinische, economische en betrouwbaarheidsdomeinen beslaan.

Restricties: Datasets werden gefilterd op $\le 1000$ rijen en $\le 10$ features om aan te sluiten bij het trainingsregime van de kleine backbone.
Baselines: Vergelijkingen werden gemaakt met:
- Cox Proportional Hazards (CoxPH): De dominante klassieke baseline.
- Random Survival Forests (RSF): Standaard non-parametrische ensemble.
- DeepSurv: De meest gebruikte deep learning benadering.
- BinSurv: Een recente TFM-gebaseerde benadering die de tijd discretiseert in binaire classificatietaken.
Metrics: Prestaties werden beoordeeld via de Uno's C-index (discriminatie), Integrated Brier Score (IBS) (accuratesse) en Integrated Calibration Index (ICI) (kalibratie).

Belangrijkste Resultaten

Competitieve Prestaties: SurvPFN is zeer competitief met alle baselines over de 22 datasets. Gemiddeld evenaart of overtreft het licht de RSF, DeepSurv en BinSurv, en presteert het vergelijkbaar met CoxPH.
Zero-Shot Capaciteit: Cruciaal is dat SurvPFN deze prestaties bereikt zonder per-dataset aanpassing, zonder survival-specifieke architectuur en zonder feature engineering. Het vertrouwt uitsluitend op de voorgetrainde prior.
Ablatie-studies:
- Gebeurtenis-indicator: Het verwijderen van de gebeurtenis-indicator als feature (waarbij deze op 1 wordt gedwongen) behoudt de discriminatie (C-index) maar verslechtert de kalibratie (ICI) aanzienlijk. Dit bevestigt dat hoewel relatieve risico-ordening geïnferred kan worden uit de tijd alleen, absolute kalibratie expliciete kennis vereist van welke datapunten gecensureerd zijn.
- Loss Varianten: Varianten die oracle targets gebruiken (beschikbaar tijdens de synthetische pretraining) presteerden vergelijkbaar met de natuurlijke gecensureerde loss op real-world data, wat suggereert dat de natuurlijke loss voldoende is voor transfer.

Betekenis en Claims

Het artikel claimt dat survival analyse succesvol kan worden geformuleerd als een continue-tijd distributele regressieprobleem dat oplosbaar is door PFN's. De belangrijkste bijdragen zijn:

De Kloof Overbruggen: Aantonen dat foundation models met gecensureerde data kunnen omgaan, een taak die voorheen als ongeschikt werd beschouwd voor standaard regressie PFN's.
Eenvoud: Laten zien dat een standaard regressie PFN-architectuur, enkel aangevuld met een gebeurtenis-indicator feature en een gecensureerde loss-functie, voldoende is om de prestaties van gespecialiseerde survival-modellen te evenaren.
Efficiëntie: Een model bieden dat geen hyperparameter tuning of hertraining op nieuwe datasets vereist, wat een "plug-and-play" oplossing biedt voor kleine- tot middelgrote tabulaire survival-taken.

De auteurs blijven bescheiden over beperkingen en merken op dat de huidige evaluatie beperkt is tot kleine datasets ( $\le 1000$ rijen) en statische covariaten. Ze erkennen dat de synthetische prior beperkt is tot Weibull-distributies en nog geen rekening houdt met competing risks en time-varying covariates, wat zij aanwijzen als noodzakelijke richtingen voor toekomstige schaling en expressiviteit.