A reproducible and extensible framework for benchmarking competing risks survival models

Technische Samenvatting: Een reproduceerbaar en uitbreidbaar framework voor het benchmarken van concurrent risico overlevingsmodellen

Probleemstelling

Overlevingsanalyse in de gezondheidszorg gaat vaak gepaard met concurrent risico's (CR), waarbij de gebeurtenis van één event (bijv. overlijden door kanker) de gebeurtenis van anderen (bijv. overlijden door cardiovasculaire aandoeningen) uitsluit. Hoewel talloze statistische en machine learning-methoden zijn voorgesteld om CR te behandelen, blijft hun systematische evaluatie en klinische adoptie beperkt. De huidige literatuur lijdt onder drie primaire tekortkomingen:

1. Gebrek aan reproduceerbare benchmarks: Studies maken vaak gebruik van uiteenlopende datasets, rapporteren onvolledige preprocessing-stappen of gebruiken inconsistente evaluatiemetrieken (vaak beperkt tot discriminatie), wat leidt tot overoptimisme en bemoeilijkt de vergelijking van nieuwe methoden.
2. Beperkte software-integratie: Nieuwe methoden worden vaak geïmplementeerd als ad-hoc code zonder integratie in bredere machine learning-frameworks, wat de toegankelijkheid belemmert.
3. Uitdagingen op het gebied van interpreteerbaarheid: In tegenstelling tot regressiemodellen die directe coëfficiëntschattingen bieden, vereisen complexe machine learning-modellen (bijv. deep learning) post-hoc interpreteerbaarheidsstappen, die vaak niet gestandaardiseerd zijn voor CR-omgevingen.

Bovendien leidt het behandelen van CR-events als gecensureerd tot een schending van de aanname van niet-informatieve censurering, wat leidt tot overschatte risico's en potentiële algoritmische bias, met name bij vergrijzende populaties met multimorbiditeit.

Methodologie

De auteurs hebben een open-source, reproduceerbare benchmarking-pipeline ontwikkeld die ontworispt is om CR-modellen te evalueren over meerdere datasets onder een uniforme experimentele setting. Het framework is geïmplementeerd in zowel R als Python, wat interoperabiliteit waarborgt.

1. Data en Modellen:

• Datasets: De studie maakte gebruik van vijf datasets met variërende steekproefgroottes en event-percentages (PBC, HD, METABRIC, Framingham en een subset van SEER Breast Cancer), waarbij een minimaal concurrent risico event-percentage van ~10% werd gegarandeerd.
• Modellen: Een diverse set van zes methoden werd gebenchmarkt, variërend van klassieke regressie tot deep learning:
  • Regressie-gebaseerd: Cause-specific Cox PH (csCPH), Fine-Gray regressie (FGR), Gepenaliseerde Proportional Subdistribution Hazard (FGRP).
  • Boom-gebaseerd: Random Survival Forests (RSF).
  • Deep Learning: DeSurv (continue tijd) en DeepHit (discrete tijd).
• Validatie: Een nested cross-validatie benadering werd toegepast om datalekken te voorkomen. De buitenste loop hanteerde de modelevaluatie, terwijl de binnenste loop het beheer van hyperparameter-tuning verzorgde.
• Ontbrekende data: Strategieën omvatten complete case-analyse, univariate imputatie (mediaan/modus) en Multiple Imputation by Chained Equations (MICE), alles toegepast binnen de CV-folds om lekken te voorkomen.

2. Prestatie-metrieken:
Het framework evalueert vier complementaire aspecten van voorspellende prestaties:

• Kalibratie: Visuele plots, Integrated Calibration Index (ICI) en Observed-to-Expected (O/E) ratio's, gebruikmakend van pseudo-observaties om censurering af te handelen.
• Discriminatie: Tijdafhankelijke AUC (tdAUC) voor vaste horizonten en C-index varianten ($C_{td}$ en $C_{\tau}$) voor een globale beoordeling. Dat laatste maakt gebruik van Restricted Mean Time Lost (RMTL) om de cumulatieve incidentie-functies (CIF's) samen te vatten.
• Totale Voorspellingsfout: Weighted Brier Score (BS) en Integrated Brier Score (IBS).
• Klinische Bruikbaarheid: Decision Curve Analysis (DCA) om het netto voordeel te beoordelen ten opzichte van "behandel-alles" en "behandel-niets" strategieën.

3. Interpreteerbaarheid:

• Model-specifiek: Regressiecoëfficiënten voor parametrische modellen.
• Model-agnostisch:
  • Permutatie Importantie: Gemeten via de degradatie van de IBS.
  • CifSHAP(t): Een nieuwe uitbreiding van SurvSHAP(t) naar CR-omgevingen. Deze methode deelt de oorzaak-specifieke Cumulatieve Incidentie Functie (CIF) over de tijd op om tijdafhankelijke, model-agnostische feature-bijdragen te leveren.

4. Experimenteel Ontwerp:
Hyperparameter-tuning werd gestandaardiseerd over modellen met behulp van een grid search geoptimaliseerd voor IBS (het minimaliseren van de totale voorspellingsfout) om eerlijke vergelijkingen te garanderen, in plaats van model-specifieke verliesfuncties. Deep learning-modellen werden getraind met een vaste epoch-budget (300) om te voorkomen dat tuning werd bevoordeeld door early stopping via specifieke verliesfuncties.

Belangrijkste Resultaten

• Voorspellingsconsistentie: Klassieke regressiemodellen (csCPH, FGR, FGRP) vertoonden bijna perfecte overeenstemming in individuele voorspellingen. Machine learning-modellen (RSF, DeSurv, DeepHit) produceerden meer onderscheidende risico-toewijzingen, waarbij DeepHit de laagste correlatie vertoonde met regressie-gebaseerde modellen.
• Prestatievariabiliteit: Geen enkel model domineerde over alle metrieken en datasets heen.
  • DeSurv presteerde vaak beter dan anderen in globale maten (IBS, $C_{\tau}$) op grotere datasets zoals METABRIC.
  • FGRP (Gepenaliseerde Fine-Gray) bleef zeer competitief, vooral op grotere datasets (Framingham, SEER), en leidde vaak in discriminatie ($C_{td}$).
  • DeepHit rangschikte frequent als de slechtste performer in deze benchmark, met name wat betreft kalibratie op latere tijdstippen.
• Metriek-gevoeligheid: De rangschikking van modellen was zeer gevoelig voor de gekozen metriek. Bijvoorbeeld, een model met de laagste IBS was niet noodzakelijkerwijs het model met de hoogste C-index. Dit onderstreept het risico van "metric-hacking" als evaluatiecriteria niet vooraf zijn gespecificeerd op basis van klinische doelen.
• Interpreteerbaarheid: Zowel permutatie importantie als CifSHAP(t) leverden zeer consistente covariaat-rangschikkingen op (bijv. Chemotherapie, MKI67, PGR waren top-voorspellers in METABRIC). CifSHAP(t) onthulde verder dat de bijdragen van covariaten (bijv. chemotherapie) kunnen variëren in teken en grootte afhankelijk van het geobserveerde event-type (oorzaak 1 vs. oorzaak 2) en de tijd.
• Optimalisatie-impact: Tuning van hyperparameters op basis van IBS produceerde meer gebalanceerde modellen (betere kalibratie en discriminatie) vergeleken met tuning op basis van model-specifieke verliesfuncties of $C_{td}$, wat vaak kalibratie opofferde voor discriminatie.
• Runtime: Regressie-gebaseerde methoden waren computationeel efficiënt. Machine learning-methoden, met name RSF en DeSurv, brachten aanzienlijk hogere computationele kosten met zich mee, waarbij RSF de grootste last veroorzaakte door het fitten van ensembles van bomen.

Betekenis en Claims

Het artikel positioneert dit werk niet als een definitieve rangschikking van de "beste" modellen, maar als een reproduceerbaar en uitbreidbaar fundament voor de systematische evaluatie van concurrent risico methoden.

• Standaardisatie: Het framework adresseert het gebrek aan onbevooroordeelde vergelijkingsstudies door een gemeenschappelijke experimentele opzet, consistente preprocessing en een verenigde set evaluatiemetrieken te bieden.
• Klinische Relevantie: Door verder te gaan dan discriminatie en ook kalibratie, totale fout en klinische bruikbaarheid (DCA) op te nemen, brengt het framework de modelevaluatie in lijn met praktische klinische besluitvormingsbehoeften.
• Innovatie in Interpreteerbaarheid: De introductie van CifSHAP(t) breidt de interpreteerbaarheid van modellen uit naar tijdafhankelijke, oorzaak-specifieke bijdragen, waarmee een gat wordt gevuld in het begrip van hoe covariaten het risico in CR-omgevingen drijven.
• Praktische Begeleiding: De auteurs benadrukken dat eenvoudigere regressie-gebaseerde methoden (zoals FGRP) vaak een competitieve prestatie leveren met lagere computationele kosten, wat suggereert dat zij als sterke baselines moeten dienen. Ze wijzen ook op het feit dat hyperparameter-tuning criteria (bijv. IBS vs. Loss) het gedrag en de rangschikking van modellen cruciaal beïnvloeden, wat oproept tot transparantie in het rapporteren van tuning-strategieën.

De auteurs concluderen dat hoewel hun bevindingen afhankelijk zijn van de specifieke datasets en de gebruikte opzet, het framework de ontwikkeling, validatie en adoptie van toekomstige CR-voorspellingsmodellen faciliteert door een robuust, open-source instrument te bieden voor ontwikkelaars en practitioners.