SurvHTE-Bench: A Benchmark for Heterogeneous Treatment Effect Estimation in Survival Analysis

Dit paper introduceert SurvHTE-Bench, het eerste uitgebreide benchmarkkader voor het schatten van heterogene behandelingseffecten in overlevingsanalyse, dat synthetische, semi-synthetische en real-world datasets omvat om bestaande methoden onder diverse omstandigheden rigoureus te evalueren.

De kern

SURVHTE-BENCH: De "Testbaan" voor Medische Beslissingen

Stel je voor dat je een arts bent. Je hebt een nieuwe medicijn en twintig verschillende patiënten. Je wilt weten: voor wie werkt dit medicijn het beste? Voor de ene patiënt is het een wondermiddel, voor de ander heeft het nauwelijks effect, en voor een derde kan het zelfs schadelijk zijn. Dit noemen we Heterogene BehandelingsEffecten (HTE). Het is als het vinden van de perfecte schoenmaat voor elke voet, in plaats van één maat voor iedereen te verkopen.

Maar hier zit de twist: in de echte wereld zien we niet alles. Sommige patiënten sterven voordat het medicijn zijn werk kan doen, anderen stoppen met de behandeling, en weer anderen verhuizen naar een ander land. In de statistiek noemen we dit censuur (censoring). Het is alsof je een race kijkt, maar halverwege verdwijnen sommige renners uit beeld. Je weet niet of ze gewonnen hebben of dat ze zijn gestopt.

De auteurs van dit paper (van o.a. Carnegie Mellon University en de NIH) zeggen: "We hebben veel slimme methoden bedacht om deze puzzel op te lossen, maar we hebben geen goede manier om te testen welke methode het beste werkt."

Daarom hebben ze SURVHTE-BENCH bedacht.

Wat is SURVHTE-BENCH?

Stel je een gigantische testbaan voor, zoals die voor Formule 1-auto's. Maar in plaats van auto's testen ze hier wiskundige algoritmen (computerprogramma's) die medische beslissingen moeten nemen.

Deze testbaan bestaat uit drie soorten circuits:

1. De Simulatie-Circuit (De "Zandbak"):
   Hier hebben de auteurs 40 verschillende virtuele werelden gecreëerd. Ze hebben alles zelf bedacht, inclusief de "waarheid". Ze weten precies wie zou winnen en wie zou verliezen.

   • De analogie: Het is alsof je een videospel speelt waarbij je de regels zelf hebt geschreven. Je kunt de zwaartekracht veranderen, de snelheid van de auto's, en zelfs de weg blokkeren. Zo testen ze of de algoritmen nog steeds werken als de regels veranderen (bijvoorbeeld: wat als de medicijnen alleen werken voor mensen met een bepaalde bloedgroep, of wat als de data erg onvolledig is?).

2. De Semi-Simulatie-Circuit (De "Realistische Nagebootste Wereld"):
   Hier nemen ze echte medische data (zoals patiëntgegevens uit ziekenhuizen) en vullen ze er virtuele behandelingen en uitkomsten bij.

   • De analogie: Het is alsof je een echt auto-onderdeel uit een oude auto haalt en dat in een nieuwe, nagebouwde motor plaatst om te zien hoe het zich gedraagt. Je hebt de echte "ruis" en complexiteit van de echte wereld, maar je weet nog steeds wat de uitkomst zou moeten zijn.

3. De Echte Circuit (De "Werkelijke Race"):
   Hier testen ze de algoritmen op twee echte datasets:

   • Een studie met tweelingen (waar je eigenlijk twee versies van dezelfde persoon hebt, dus je kunt de "wat als"-situatie echt zien).
   • Een echte HIV-studie (waar ze niet weten wat de perfecte uitkomst is, maar wel kunnen zien hoe de algoritmen reageren als je de data "verpest" met extra onzekerheid).

Wat hebben ze ontdekt?

Toen ze alle 53 verschillende methoden op deze testbaan lieten racen, kwamen ze tot een verrassende conclusie: Er is geen enkele "winnaar" die altijd wint.

Het is net als met gereedschap:

• Als de weg glad en droog is (weinig onzekerheid), werkt een simpele fiets (oude, simpele methoden) misschien prima.
• Maar als de weg modderig is, vol gaten zit en de regen valt (veel onzekerheid, veel patiënten die wegvallen uit de studie), dan heb je een off-road jeep nodig.

De paper laat zien dat methoden die specifiek zijn ontworpen om met "tijd tot gebeurtenis" om te gaan (de "off-road jeeps"), veel beter presteren als de data onvolledig is. Simpele methoden die proberen de ontbrekende stukjes gewoon in te vullen, zakken vaak door in deze moeilijke omstandigheden.

Waarom is dit belangrijk?

Vroeger probeerden onderzoekers hun nieuwe methoden te bewijzen met hun eigen kleine, handgemaakte testjes. Dat was alsof elke auto-ontwikkelaar zijn eigen testbaan bouwde en dan claimde: "Mijn auto is de snelste!" Maar omdat de banen anders waren, kon je de resultaten niet vergelijken.

Met SURVHTE-BENCH hebben ze nu één grote, eerlijke testbaan gebouwd waar iedereen zijn algoritmen kan testen.

• Het zorgt voor eerlijkheid: Niemand kan meer zijn eigen regels opstellen.
• Het zorgt voor herhaalbaarheid: Iedereen kan dezelfde test doen.
• Het helpt artsen: Ze kunnen zien welke computerhulpmiddelen betrouwbaar zijn als ze beslissingen moeten nemen over leven en dood.

Conclusie

Dit paper is als het bouwen van de Nürburgring voor medische AI. Het is een plek waar we kunnen zien welke algoritmen echt sterk zijn en welke alleen goed presteren als alles perfect loopt. Door deze testbaan te maken, hopen de auteurs dat we in de toekomst betere, veiligere en eerlijkere medische behandelingen kunnen ontwikkelen voor elke individuele patiënt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SURVHTE-BENCH: A Benchmark for Heterogeneous Treatment Effect Estimation in Survival Analysis", gepresenteerd op ICLR 2026.

Probleemstelling

Het schatten van Heterogene BehandelingsEffecten (HTE) uit rechts-gecensureerde overlevingsdata is cruciaal voor toepassingen zoals precisiegeneeskunde en gepersonaliseerd beleid. In tegenstelling tot gemiddelde behandelingseffecten (ATE), richt HTE zich op hoe de effectiviteit van een behandeling varieert tussen individuen.

De uitdagingen in dit domein zijn uniek vanwege:

1. Censering: Het gebeurtenismoment is niet voor alle onderwerpen waargenomen (rechts-gecensureerd).
2. Onwaargenomen contrafacten: We kunnen niet tegelijkertijd de uitkomst van een behandeling en een controle zien voor hetzelfde individu.
3. Complexe aannames: Identificatie vereist aannames zoals onafhankelijkheid (ignorability), positiviteit en niet-informatieve censering, die in de praktijk vaak worden geschonden.

Ondanks recente methodologische vooruitgang (zoals Causal Survival Forests en survival meta-learners) ontbreekt er een gestandaardiseerde benchmark. Bestaande evaluaties zijn vaak gefragmenteerd, gebruiken eigen simulaties met onbekende grondwahrheid, en missen een systematische vergelijking onder diverse schendingen van causale aannames.

Methodologie: SURVHTE-BENCH

De auteurs introduceren SURVHTE-BENCH, het eerste uitgebreide benchmarkplatform voor HTE-schatting met gecensureerde uitkomsten. Het platform omvat een modulaire suite van datasets en een uniforme implementatie van 53 methoden, verdeeld over drie families:

1. Outcome Imputation Methods: Censeren tijden worden vervangen door imputaties (bijv. via Margin, IPCW-T, of Pseudo-observations) waarna standaard CATE-methoden (zoals S-, T-, X-, DR-learners, Double-ML, Causal Forests) worden toegepast.
2. Direct-Survival CATE Methods: Methoden die direct werken met overlevingstijden zonder imputatie, zoals SurvITE en Causal Survival Forests (CSF).
3. Survival Meta-Learners: Aanpassingen van meta-learners (S-, T-, Matching-learners) die specifieke overlevingsmodellen (Random Survival Forests, DeepSurv, DeepHit) als basisleerders gebruiken.

Datasets:
Het benchmark omvat drie soorten data:

• Synthetische Data (40 datasets): Gecreëerd door 8 causale configuraties (variërend in randomisatie, ongemeten confounding, positiviteit en informatieve censering) te kruisen met 5 overlevingsscenario's (Cox, AFT, Poisson met verschillende censeringspercentages). Dit biedt grondwahrheid onder gecontroleerde schendingen van aannames.
• Semi-synthetische Data (10 datasets): Realistische covariaten uit de ACTG HIV-studie en MIMIC-IV ICU-records, gekoppeld aan gesimuleerde behandelingen en uitkomsten.
• Real-world Data:
  • Twins Dataset: Bekende grondwahrheid (tweelingen, waarbij de ene behandeling krijgt en de andere niet).
  • ACTG 175 HIV Trial: Geen grondwahrheid, gebruikt om robuustheid tegen censering te testen.

Evaluatiemetrics:
De prestaties worden gemeten aan de hand van:

• CATE RMSE: Root Mean Square Error van het geschatte heterogene effect.
• ATE Bias: Bias in het geschatte gemiddelde effect.
• Hulp-metrics: Imputatie-accuracy (MAE) en fit van de onderliggende modellen (C-index, AUC).

Belangrijkste Resultaten

De benchmarkresultaten tonen aan dat er geen enkele "beste" methode bestaat; de prestatie is sterk context-afhankelijk.

1. Algemene Prestaties:

   • Survival Meta-learners (met name S-Learner-Survival en Matching-Survival gebaseerd op DeepSurv) presteren over het algemeen het best, vooral onder zware censering en schendingen van aannames.
   • Outcome Imputation methoden (zoals Double-ML en X-Learner) doen het goed in lage-censering, gerandomiseerde settings, maar degraderen bij hoge censering.
   • Causal Survival Forests is competitief, maar toont kwetsbaarheid bij schendingen van de positiviteitsaanname.

2. Invloed van Censering:

   • Bij lage censering (<30%) presteren imputatiemethoden en Double-ML uitstekend.
   • Naarmate censering toeneemt (>70%), verschuift de superioriteit naar methoden die de overlevingsstructuur direct modelleren (Survival Meta-learners en CSF). Directe modellering van de onzekerheid door censering blijkt superieur aan het imputeren van tijden.

3. Invloed van Causale Aannames:

   • Bij onbekende confounding (ignorability violation) behouden survival-aware methoden een relatief stabiele bias, terwijl standaard meta-learners soms meer bias vertonen.
   • Bij informatieve censering (waarbij censering afhangt van het overlevingsrisico) presteren alle methoden slechter, maar survival-specifieke modellen blijven het meest robuust.
   • Bij schending van positiviteit (zeldzame behandelingen) presteren imputatiemethoden zoals Double-ML vaak beter, tenzij er sprake is van meerdere gelijktijdige schendingen, waarbij dan weer survival-methoden winnen.

4. Semi-synthetische en Real-world Bevindingen:

   • In realistische covariatenruimtes (zoals MIMIC-IV) zijn de verschillen in gemiddelde RMSE vaak klein. Hier wordt stabiliteit (lage variantie over herhalingen) een cruciale factor voor selectie.
   • Survival-methoden tonen vaak minder variabiliteit onder extreme censering in EHR-achtige data.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Eerste Standaardisatie: Het biedt het eerste uitgebreide, openbare benchmark voor HTE in overlevingsanalyse, wat reproduceerbaarheid en eerlijke vergelijkingen mogelijk maakt.
2. Methodologische Unificatie: Het categoriseert en implementeert 53 varianten van bestaande en nieuwe methoden in één modulaire framework, waardoor de "state-of-the-art" systematisch wordt geëvalueerd.
3. Robuustheidsonderzoek: Het onthult dat de keuze van de methode sterk afhangt van de data-kenmerken (censering, confounding). Het benadrukt dat methoden die de censering direct modelleren (in plaats van te imputeren) vaak robuuster zijn in realistische, hoog-gecensureerde scenario's.
4. Praktische Richtlijnen: Het paper biedt praktische richtlijnen voor onderzoekers en beoefenaars: gebruik imputatiemethoden bij lage censering en gerandomiseerde data, maar schakel over naar survival-specifieke meta-learners of CSF bij hoge censering, informatieve censering of complexe causale schendingen.

Conclusie:
SURVHTE-BENCH vult een kritieke leemte in het veld van causale inferentie voor overlevingsdata. Het demonstreert dat er geen universele oplossing is en dat de keuze van de estimator moet worden afgestemd op de specifieke schendingen van aannames en het niveau van censering in de dataset. De code en data zijn openbaar beschikbaar om verdere voortgang in dit domein te stimuleren.