🤖 machine learning

SurvBench: A Standardised Preprocessing Pipeline for Multi-Modal Electronic Health Record Survival Analysis

SurvBench is een open-source, gestandaardiseerde preprocessing-pijplijn die ruwe PhysioNet-electronische gezondheidsdossierdata omzet in modelklare tensors voor vier kritieke-zorgdatabases en vier modaliteiten, waarmee de inconsistentie in de upstream-dataverwerking wordt aangepakt die momenteel een eerlijke vergelijking van deep-learning-overlevingsmodellen belemmert.

Oorspronkelijke auteurs: Munib Mesinovic, Tingting Zhu

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Munib Mesinovic, Tingting Zhu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het ultieme recept te ontwikkelen om te voorspellen hoe lang een patiënt in het ziekenhuis zal blijven of of ze mogelijk zullen overlijden. Je hebt vier verschillende keukens (vier enorme databases met patiëntendossiers: MIMIC-IV, eICU, HiRID en MC-MED). Elke keuken heeft zijn eigen manier om ingrediënten op te slaan, zijn eigen maatbekers en zijn eigen rommelige aanrechtbladen.

In het verleden moest elke chef-kok (onderzoeker) die zijn nieuwe recept (AI-model) wilde testen, eerst zijn eigen keuken schoonmaken. De ene chef snijdt de groenten (data) in kleine blokjes, terwijl de andere ze heel laat. De ene wast het vlees (imputatie van ontbrekende data) met water, de ander met zeep. Omdat iedereen zijn keuken anders schoonmaakte, was het onmogelijk te zeggen of een nieuw recept echt beter was, of dat het alleen beter werkte omdat die chef-kok met een schonere keuken begon.

Maak kennis met SurvBench.

Beschouw SurvBench als een universeel, geautomatiseerd keukenvoorbereidingsstation. Het is een gratis, open-source tool die de ruwe, rommelige ingrediënten uit die vier verschillende ziekenhuizen omzet in perfect gestandaardiseerde, "modelklare" pakketten.

Hier is hoe het werkt, opgesplitst in eenvoudige onderdelen:

1. De Universele Vertaler (Preprocessing)

Het artikel stelt dat het grootste probleem op dit gebied niet de AI-modellen zelf zijn, maar de "preprocessing-kloof". SurvBench lost dit op door te fungeren als een strenge vertaler.

Standaardiseren van eenheden: Als het ene ziekenhuis de temperatuur in Fahrenheit registreert en het andere in Celsius, zet SurvBench ze allemaal om naar dezelfde schaal voordat iemand ze aanraakt.
Omgaan met ontbrekende data: Soms werd het hartritme van een patiënt een uur lang niet geregistreerd. SurvBench raadt niet zomaar; het vult het gat op met een specifieke regel (kijken naar de laatst bekende waarde) en, cruciaal, het plakt een "ontbrekendheidsmasker" eraan. Dit is als een post-it op het ingrediënt met de tekst: "Deze waarde is ingevuld door de machine, niet gemeten." Dit zorgt ervoor dat de AI het verschil kent tussen een echte nul en een geraamde nul.
Tijdsvensters: In plaats van te kijken naar een chaotische stroom data, snijdt SurvBench het verblijf van de patiënt op in nette, gelijkmatige tijdsblokken (zoals het snijden van een brood), zodat de data van elke patiënt dezelfde vorm heeft.

2. De Vier Keukens (De Databases)

SurvBench maakt verbinding met vier grote publieke databases, die lijken op vier verschillende soorten ziekenhuizen:

MIMIC-IV & eICU: Dit zijn enorme verzamelingen van Intensive Care Unit (ICU)-dossiers. Ze volgen patiënten vanaf het moment dat ze de ICU binnenkomen tot ze vertrekken of overlijden.
HiRID: Een andere ICU-database, maar dan uit Zwitserland, met zeer hoogwaardige data (metingen die elke paar minuten worden genomen).
MC-MED: Dit is een database voor de Spoedeisende Hulp (SEH). In plaats van alleen overlijden te volgen, volgt het waar een patiënt naartoe gaat: gaan ze naar huis, naar een regulier ziekenhuisbed, of worden ze naar de ICU gestuurd? Dit is een "concurrerende risico's"-scenario, zoals een race met meerdere mogelijke finishlijnen.

3. De Ingrediënten (Modaliteiten)

SurvBench kijkt niet naar slechts één ding; het combineert vier verschillende soorten "ingrediënten" in één tensor (een multidimensionaal datablok):

Statisch: Dingen die niet veranderen, zoals leeftijd, geslacht en gewicht.
Tijdreeksen: De hartslag, bloeddruk en laboratoriumresultaten die in de loop van de tijd veranderen.
ICD-codes: De medische diagnosecodes (zoals de voorgeschiedenis van ziekten van een patiënt).
Radiologieverslagen: De tekst uit röntgen- en CT-scanverslagen, die de tool omzet in wiskundige getallen met behulp van geavanceerde taalmodellen.

4. De Proeverij (De Resultaten)

Om te bewijzen dat hun keukenvoorbereidingsstation werkt, bouwden de auteurs niet alleen het station; ze bereidden vijf verschillende "recepten" (AI-modellen) met de gestandaardiseerde ingrediënten om te zien welke het beste smaakte.

Ze testten klassieke statistische methoden en moderne deep learning-modellen (zoals Transformers, die meestal voor taal worden gebruikt maar nu ook voor tijdreeksdata worden ingezet).
De Winnaar: Op de ICU-data presteerden modellen die naar de geschiedenis van de vitale functies van de patiënt (tijdreeksen) konden kijken, veel beter dan die welke alleen keken naar statische feiten zoals leeftijd.
De Multi-Modale Ster: Een nieuw model dat ze hebben gebouwd, genaamd TransformerSurv (dat alle vier de ingrediënttypes gebruikt), presteerde zeer goed, vooral op de SEH-data waar het laboratoriumresultaten kon combineren met de tekst uit radiologieverslagen.

De Grote Conclusie

Het artikel beweert dat SurvBench de eerste tool is die de "voorbereidingswerk" voor survivalanalyse over deze grote databases standaardiseert.

Voorheen was het vergelijken van twee AI-modellen als het vergelijken van twee hardlopers die bij verschillende startlijnen begonnen. Nu, met SurvBench, beginnen iedereen precies op dezelfde lijn, met dezelfde schoenen en op hetzelfde parcours. Dit stelt onderzoekers in staat om eindelijk te zeggen: "Model A is eigenlijk beter dan Model B", in plaats van: "Model A had gewoon een beter data-opschoningsproces."

De auteurs benadrukken dat deze tool geen wondermiddel is of een kant-en-klaar product dat morgen door ziekenhuizen kan worden gebruikt. Het is een fundament. Het biedt een eerlijk speelveld zodat toekomstige wetenschappers betere, veiligere en betrouwbaardere AI-modellen kunnen bouwen zonder vast te lopen in de rommelige details van het schoonmaken van de data.

Kortom: SurvBench is de grote gelijkmaker. Het neemt de rommelige, inconsistente data van verschillende ziekenhuizen, maakt het schoon met exact dezelfde regels en geeft het door aan AI-onderzoekers zodat ze eindelijk hun ideeën eerlijk kunnen vergelijken.

Technische Samenvatting: SurvBench

Probleemstelling

Deep learning-survivalmodellen voor data uit elektronische gezondheidsdossiers (EHR) staan voor een aanzienlijke barrière voor reproduceerbaarheid en eerlijke vergelijking: de "preprocessing-kloof". Hoewel downstream-modelleringsarchitecturen (bijv. DeepSurv, Dynamic-DeepHit) steeds geavanceerder worden, worden de upstream-stappen die nodig zijn om ruwe EHR-exporten om te zetten in model-klaar input zelden gedeeld, gedocumenteerd of gestandaardiseerd. Kritieke beslissingen met betrekking tot cohortdefinitie, tijdsdiscretisatie, hantering van ontbrekende waarden, feature-filtering en censureringsregels variëren tussen studies. Bijgevolg weerspiegelen gerapporteerde prestatieverschillen (bijv. in concordantie-indexen) vaak deze preprocessing-keuzes in plaats van echte modelleringbijdragen. Bovendien zijn bestaande benchmarks zoals MIMIC-III vervangen door MIMIC-IV en ontbreekt er ondersteuning voor moderne survivalanalyse-taken, waaronder concurrerende risico's en multi-modale inputs.

Methodologie

De auteurs presenteren SurvBench, een open-source, configureerbare preprocessing-pijplijn die is ontworpen om de creatie van survivalanalyse-cohorten uit ruwe PhysioNet-exporten te standaardiseren.

Kernpijplijnarchitectuur

SurvBench verwerkt data uit vier kritieke zorg-databases: MIMIC-IV, eICU, MC-MED en HiRID. Het ondersteunt vier input-modaliteiten:

Statische features: Demografie (leeftijd, geslacht, enz.).
Tijdreeksen: Vitaliteitssignalen en laboratoriumwaarden.
ICD-codes: Diagnosegeschiedenissen (multi-hot gecodeerd).
Radiologie: Embeddings van vrije tekst-rapporten (via HuggingFace-modellen zoals Clinical-Longformer).

De pijplijn werkt via de volgende fasen:

Cohortdefinitie: Configureerbaar via YAML. Het dwingt splitsing op patiëntniveau af om datalekken te voorkomen (zorgend dat alle verblijven van een enkele patiënt in één fold blijven). Het past specifieke filters per dataset toe (bijv. een minimum verblijfsduur van 24 uur voor IC-datasets, leeftijdsfilters).
Verwerking van survivallabels: Ondersteunt zowel single-risk (bijv. mortaliteit binnen de IC) als concurrerende-risico's (bijv. ED-afloop: opname, observatie, IC-opname) eindpunten. Censurering wordt verwerkt via administratieve truncatie op een configureerbare horizon (bijv. 240 uur voor IC, 24 uur voor ED).
Verwerking van tijdreeksen: Onregelmatig bemonsterde metingen worden geaggregeerd tot vaste tijdsvensters (bijv. 4-uurs bakken) met behulp van gemiddelde aggregatie. Features worden gefilterd op basis van een drempel voor ontbrekende waarden (standaard 1% van de trainingsvensters).
Hantering van ontbrekende waarden: Er wordt een lekveilige, twee-staps strategie toegepast:
1. Forward-fill: Forward-fill binnen de patiënt op uurlijkse resolutie.
2. Gemiddelde imputatie: Resterende ontbrekende waarden worden ingevuld met het per-feature gemiddelde, berekend uitsluitend op de trainingsfold.
3. Maskering: Een binaire masker wordt gegenereerd naast elke tensor om waargenomen waarden te onderscheiden van geïmputeerde waarden.
Schaling: Z-score normalisatie wordt toegepast met behulp van StandardScaler, uitsluitend gefit op de trainingsfold. Dynamische en statische featureblokken worden onafhankelijk geschaald om te voorkomen dat statische features de schalingsstatistieken van dynamische blokken domineren.
Multi-modale integratie: Statische features worden uitgezonden over alle tijdsvensters. ICD-codes en radiologie-embeddings worden geconcentreerd met de tijdreeks-tensor.

Referentiebaselines

Om de pijplijn te valideren en een benchmark te bieden, trainden de auteurs vijf modellen op de gegenereerde cohorten:

Cox Proportional Hazards: Gefit op gemiddeld gepoolde statische features.
DeepHit: Een discrete-tijd concurrerende-risico's netwerk dat statische features gebruikt.
Dynamic-DeepHit: Breidt DeepHit uit met een LSTM en temporele attention over tijdreeksdata.
DySurv: Een LSTM-variational autoencoder met cause-specifieke logistische-hazard heads.
TransformerSurv: Een nieuwe architectuur die een pre-LN Transformer-encoder gebruikt. Het werd getest in twee configuraties: (a) tijdreeksen + statisch, en (b) volledig multi-modaal (inclusief ICD en radiologie).

Belangrijkste Resultaten

De pijplijn genereerde cohorten variërend van ~15.000 (HiRID) tot ~128.000 (eICU) IC-verblijven. Belangrijkste bevindingen uit de evaluatie van referentiebaselines zijn:

Belang van Temporele Data: Alleen statische modellen (Cox, DeepHit) presteerden aanzienlijk slechter dan modellen die tijdreeksdata gebruikten. Op single-risk IC-taken behaalden temporele modellen concordantie ( $C_{td}$ ) scores van 0,82–0,86, terwijl statische modellen scoorden op 0,61–0,64.
Voordelen van Multi-modale Data: Op de MC-MED dataset (die ICD en radiologie bevat), behaalde het multi-modale TransformerSurv de hoogste concordantie ( $C_{td} = 0,774$ ) en verbeterde kalibratiemetrics (geïntegreerde Brier-score en Negatieve Binomiale Log-Likelihood) in vergelijking met de variant die alleen tijdreeksen gebruikte.
Cross-Dataset Transfer: In een externe validatietask waarbij getraind werd op eICU en getest op MIMIC-IV, behaalde het Transformer-model de hoogste out-of-distribution discriminatie ( $C_{td} = 0,812 \pm 0,007$ ), en presteerde het beter dan Dynamic-DeepHit en DySurv.
Kalibratie versus Discriminatie: De studie benadrukte een trade-off waarbij modellen patiënten goed konden rangschikken (hoge concordantie) terwijl ze onnauwkeurige waarschijnlijkheden produceerden. Bijvoorbeeld, op MC-MED had Cox proportional hazards de beste kalibratie (laagste IBS) maar de slechtste concordantie.

Betekenis en Claims

De auteurs positioneren SurvBench niet als een leverancier van een "state-of-the-art" model, maar als een gestandaardiseerde infrastructuur om eerlijke vergelijking mogelijk te maken.

Reproduceerbaarheid: Door het bieden van één enkele, end-to-end YAML-gestuurde pijplijn, elimineert SurvBench de "preprocessing-kloof" waar prestatievariaties vaak worden gedreven door niet-gedocumenteerde keuzes in datahantering in plaats van modelarchitectuur.
Multi-modale Ondersteuning: Het is de eerste publieke pijplijn die de integratie van tijdreeksen, statische, ICD- en radiologie-modaliteiten voor survivalanalyse ondersteunt over meerdere grote EHR-databases (MIMIC-IV, eICU, MC-MED, HiRID).
Lekveiligheid: De pijplijn dwingt strikt af dat imputatie, schaling en feature-filtering uitsluitend worden gefit op de trainingsfold, waardoor een veelvoorkomende bron van datalekken in survivalanalyse wordt aangepakt.
Fundering voor Toekomstig Werk: De auteurs stellen dat de geboden referentiebaselines en verwerkte cohorten dienen als een "substraat" waartegen toekomstige deep learning-methoden kunnen worden gemeten onder gelijkgestemde preprocessing-omstandigheden.

Het artikel concludeert dat hoewel de benchmark demografische beperkingen erft van de brondata (voornamelijk Amerikaanse en Zwitserse populaties), het een rigoureuze technische fundering biedt voor modelvergelijking, waardoor onderzoekers zich kunnen richten op algoritmische innovatie in plaats van data-engineering.