📊 statistics

Position: Stop Chasing the C-index when Evaluating Survival Analysis Models

Dit standpuntspaper betoogt dat de overlevingsanalysegemeenschap te veel heeft vertrouwd op misaligneerde metrieken zoals de C-index, en dringt er bij onderzoekers op aan evaluatiepraktijken aan te nemen die expliciet rekening houden met censureringsaannames en aansluiten bij specifieke modeldoelstellingen om misleidende conclusies te voorkomen.

Oorspronkelijke auteurs: Christian Marius Lillelund, Shi-ang Qi, Russell Greiner, Christian Fischer Pedersen

Gepubliceerd 2026-05-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Christian Marius Lillelund, Shi-ang Qi, Russell Greiner, Christian Fischer Pedersen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een coach bent die een nieuw trainingsprogramma voor een marathon moet evalueren. Je hebt twee doelen:

Rangschikking: Je wilt weten welke renners het snelst zijn (wie als eerste, tweede of derde over de finish komt).
Tijdsbepaling: Je wilt precies weten wanneer elke renner de finishlijn zal passeren (bijvoorbeeld na 3 uur, 4 uur).

Stel je nu voor dat tijdens de wedstrijd sommige renners gewond raken of de baan vroegtijdig moeten verlaten. In de statistiek noemt men dit censering. Je weet hun eindtijd niet, alleen dat ze niet klaar waren op het moment dat ze vertrokken.

Dit artikel betoogt dat de wetenschappelijke gemeenschap momenteel een enorme fout maakt in hoe ze overlevingsmodellen evalueren (de "trainingsprogramma's" om te voorspellen wanneer gebeurtenissen plaatsvinden, zoals ziekteprogressie of machinefalen). Ze gebruiken de verkeerde "stopwatches" en de verkeerde "scorekaarten".

Hier volgt de uiteenzetting van het argument van het artikel, met behulp van eenvoudige analogieën:

1. Het Probleem: De Verkeerde Scorekaart

Het artikel stelt dat de meeste onderzoekers bezeten zijn van een maatstaf die de C-index heet.

De Analogie: De C-index is als een jury die alleen om de volgorde geeft waarin renners finishen. Als Renner A voor Renner B finisht, geeft de jury een hoge score.
De Tekortkoming: De C-index maakt niet uit of Renner A in 2 uur of in 100 uur finisht, zolang ze maar sneller waren dan Renner B.
Het Mismatch: Veel onderzoekers beweren dat hun model uitstekend is in het voorspellen van exacte tijden (bijvoorbeeld: "Deze patiënt zal over 6 maanden ziek worden"). Maar ze tonen alleen de C-index-score als bewijs. Het is alsof een kok beweert dat zijn soep de perfecte temperatuur heeft, maar het enige bewijs dat hij biedt, is dat het "zouter" smaakt dan de andere soep. De scorekaart komt niet overeen met de bewering.

2. De Verborgen Valstrik: De "Willekeurige" Aanneming

Het artikel wijst op een tweede, gevaarlijker probleem: Censering-Aannames.

De Analogie: Stel je voor dat je de marathon beoordeelt, maar sommige renners verlaten de baan.
- Willekeurige Censering: Renners vertrekken omdat een bus ze op een willekeurig moment heeft opgehaald, ongeacht hoe moe ze zijn. (Dit is het "makkelijke" scenario).
- Afhankelijke Censering: Renners vertrekken omdat ze uitgeput of gewond zijn. Hun reden om te vertrekken hangt direct samen met hun prestatie. (Dit is het "moeilijke" scenario).
De Fout: De meeste onderzoekers doen alsof alle renners om willekeurige redenen vertrekken (zoals de bus). Ze gebruiken standaardformules die deze "willekeurigheid" veronderstellen.
De Realiteit: In de echte wereld stoppen mensen vaak met studies omdat ze zieker worden of machines sneller stukgaan. Dit is Afhankelijke Censering. Wanneer onderzoekers "Willekeurige" formules toepassen op "Afhankelijke" data, zijn hun resultaten als een kaart die zegt dat "Noorden Zuid is". De scores zien er goed uit, maar ze liegen.

3. De "Dubbelhelix-Ladder"

De auteurs introduceren een concept dat de Ladderhypothese heet.

De Analogie: Stel je een ladder voor waarbij de sporten verschillende niveaus van moeilijkheid vertegenwoordigen met betrekking tot hoe mensen uit een studie stappen.
- Onderste Sport: Makkelijke uitstappers (Willekeurig).
- Middelste Sport: Gemiddelde uitstappers (Onafhankelijk).
- Bovenste Sport: Moeilijke uitstappers (Afhankelijk).
De Twist: Het artikel toont aan dat de Modellen (de renners) de ladder zijn opgeklommen om de moeilijke uitstappers aan te kunnen. Maar de Maatstaven (de scorekaarten) zitten nog steeds vast op de onderste sport.
Het Resultaat: Je probeert een klimmer te meten die halverwege een berg staat, met een liniaal die bedoeld is voor de begane grond. De meting is nutteloos.

4. Wat Ze Vonden (Het Bewijs)

De auteurs keken naar 92 recente artikelen (van 2023–2025) en vonden:

72% van hen was "misalign". Ze beweerden één ding te doen (zoals exacte tijden voorspellen), maar gebruikten een scorekaart die iets anders mat (zoals alleen rangschikking).
Ze negeerden de "uitstap"-regels. Ze legden zelden uit waarom ze aannamen dat mensen willekeurig uitstapten, zelfs wanneer de data anders suggereerde.
De C-index wordt overmatig gebruikt. Het is de "standaard" keuze, zelfs wanneer het het verkeerde gereedschap voor de klus is.

5. De Oplossing: Een Nieuwe Checklist

Het artikel klaagt niet alleen; het biedt een praktische gids (een "Ladder") voor onderzoekers om dit op te lossen:

Ken je doel: Probeer je mensen te rangschikken, exacte tijden te voorspellen, of te controleren of kansen nauwkeurig zijn?
Kies het juiste gereedschap:
- Wil je Rangschikking, gebruik dan de C-index (maar wees voorzichtig!).
- Wil je Exacte Tijden, gebruik dan foutmaten (zoals MAE).
- Wil je Kansen, gebruik dan Calibratiematstaven.
Controleer de "uitstap"-regels: Wees eerlijk over waarom data ontbreekt. Als mensen uitstappen omdat ze ziek zijn (Afhankelijke Censering), kun je geen standaard "Willekeurige" scorekaarten gebruiken. Je hebt speciale hulpmiddelen nodig die deze vertekening in aanmerking nemen.

Samenvatting

Het artikel is een wake-up call: Stop met achter de C-index aan te jagen.

Alleen omdat een model een hoge score op de C-index krijgt, betekent niet dat het goed is in het voorspellen van real-world uitkomsten, vooral niet wanneer mensen uit studies stappen om redenen die samenhangen met hun gezondheid of de conditie van de machine. Onderzoekers moeten stoppen met het gebruik van een "rangschikkings"-scorekaart voor "tijdsbepalings"-problemen en stoppen met doen alsof uitstappers altijd willekeurig zijn. Als ze dat niet doen, bouwt de wetenschappelijke gemeenschap een huis van kaarten dat indrukwekkend lijkt, maar instort onder real-world druk.

Technische Samenvatting: Stop met het Achtervolgen van de C-index bij het Evalueren van Modellen voor Survivalanalyse

Probleemstelling

De huidige staat van evaluatie in survivalanalyse wordt gekenmerkt door een systematische misalignering tussen modelleerdoelen, evaluatiemetrics en de onderliggende aannames met betrekking tot censurering. Ondanks dat het bepalende kenmerk van survivaldata censurering is (waarbij tijden tot een gebeurtenis slechts gedeeltelijk worden waargenomen), vertrouwt een aanzienlijk deel van de recente literatuur op evaluatiepraktijken die deze structurele kenmerken negeren.

De auteurs identificeren twee primaire falen in de huidige praktijk:

Mismatch tussen Doel en Metric: Onderzoekers gebruiken frequent discriminatie-gebaseerde metrics, met name de C-index, om modellen te evalueren, zelfs wanneer het gestelde doel een nauwkeurige schatting van de tijd tot een gebeurtenis of probabilistische kalibratie is. De C-index meet rangschikkingsvermogen, maar beoordeelt niet de numerieke nauwkeurigheid van voorspelde tijden of de kalibratie van overlevingskansen.
Ongebaseerde Aannames over Censurering: Veel evaluaties verlopen alsof censurering "willekeurig" is (onafhankelijk van het gebeurtenisproces), een aanname die zelden wordt gesteld, gerechtvaardigd of empirisch gecorrigeerd. In werkelijkheid kan censurering onafhankelijk zijn (voorwaardelijk op covariaten) of afhankelijk (gerelateerd aan het gebeurtenisproces zelfs na voorwaardering). Het gebruik van metrics die willekeurige censurering veronderstellen op data met afhankelijke censurering leidt tot vertekende prestatieschattingen en misleidende modelvergelijkingen.

Een survey van 92 papers over survivalanalyse, gepubliceerd tussen 2023 en 2025, onthulde dat ongeveer 72% van de studies evaluatiemetrics gebruikte die niet overeenkwamen met hun gestelde doelen of faalden rekening te houden met aannames over censurering, wat leidde tot potentieel overdreven prestatieclaims.

Methodologie en Kader

Het paper stelt een gestructureerd kader voor voor het evalueren van survivalmodellen, gecentreerd rond de Ladderhypothese van Model-Metric Consistentie. Deze hypothese stelt dat een model en zijn evaluatiemetric op dezelfde "treeen" van de aannameladder moeten staan. Als een model rust op specifieke aannames over censurering (bijv. afhankelijke censurering), moet de evaluatiemetric ook geldig zijn onder diezelfde aannames.

Belangrijke Conceptuele Componenten

Aannames over Censurering: De auteurs formaliseren drie distincte aannames met betrekking tot de relatie tussen de tijd tot een gebeurtenis ( $E$ ) en de censureringstijd ( $C$ ):
- Willekeurige Censurering: $E \perp\!\!\!\perp C$ . Censurering is niet gerelateerd aan het gebeurtenisproces.
- Onafhankelijke Censurering: $E \perp\!\!\!\perp C \mid X$ . Censurering hangt af van covariaten, maar is voorwaardelijk onafhankelijk van de tijd tot een gebeurtenis.
- Afhankelijke Censurering: $E \not\perp\!\!\!\perp C \mid X$ . Censurering blijft gerelateerd aan het gebeurtenisproces zelfs na voorwaardering op waargenomen covariaten.
Vijf Vereisten voor Metrics: Om de selectie van metrics te sturen, stellen de auteurs vijf criteria voor:
- D1 (Behoorlijke Scoreregel): De metric moet alleen worden geminimaliseerd/maximaliseerd wanneer voorspellingen overeenkomen met de ware verdeling.
- D2 (Interpreteerbaarheid): Waarden moeten in domeinrelevante eenheden zijn (bijv. dagen, kansen).
- D3 (Modelonafhankelijk): De metric mag niet afhankelijk zijn van modelinterne details of specifieke parameterkeuzes.
- D4 (Gevoeligheid voor Miscalibratie): De metric moet systematische over-/onderschatting van kansen detecteren.
- D5 (Robuustheid tegen Censurering): De metric moet censurering hanteren die consistent is met het generatiemechanisme van de data.
De Dubbele-Helix Ladder: De auteurs visualiseren een kloof tussen modelontwikkeling en metricontwikkeling. Waar modellen zijn doorontwikkeld om afhankelijke censurering aan te pakken (bijv. via copula's), zijn evaluatiemetrics grotendeels gestagneerd en blijven ze alleen geldig onder aannames van willekeurige of onafhankelijke censurering. Dit creëert een "gedraaide" ladder waarbij geavanceerde modellen vaak worden geëvalueerd met verouderde, mismatchende metrics.

Experimentele Resultaten

De auteurs voerden gecontroleerde experimenten uit met synthetische data om de gevolgen van een model-metric mismatch aan te tonen.

Opzet: Een Cox Proportional Hazards (CoxPH) model werd getraind op data met een vast proces voor het genereren van gebeurtenissen. Het censureringmechanisme werd gevarieerd over drie scenario's: Willekeurig, Onafhankelijk en Afhankelijk (geïnduceerd via een Clayton-copula met toenemende Kendall's $\tau$ ).
Vondsten:
- Bias in Standaard Metrics: Naarmate censurering afweek van de willekeurige aanname, werden standaardmetrics zoals Harrell's C-index en de Integrated Brier Score (IBS) steeds meer vertekend.
- Misleidende Conclusies: In scenario's met afhankelijke censurering suggereerden standaardmetrics vaak modelverbetering of stabiliteit, zelfs wanneer de "orakel"-prestatie (berekend met ware tijden tot een gebeurtenis) verslechterde.
- Metricfalen: Metrics die vertrouwen op marginale Inverse Probability of Censoring Weighting (IPCW) (bijv. Uno's C-index) faalden om bias te corrigeren wanneer censurering afhankelijk was, aangezien ze onafhankelijkheid gegeven covariaten of willekeurige censurering veronderstellen.

De resultaten bevestigen dat het gebruik van een metric ontworpen voor een zwakkere aanname (bijv. willekeurige censurering) om een model of dataset te evalueren met een sterkere aanname (bijv. afhankelijke censurering), onbetrouwbare prestatieschattingen oplevert.

Belangrijkste Bijdragen

Kritische Review van Praktijken: Het paper levert empirisch bewijs dat het vakgebied wordt geteisterd door het overmatig gebruik van de C-index en het veronachtzamen van aannames over censurering, waarbij ongeveer 72% van de recente papers misalignering vertoont.
De Ladderhypothese: Het introduceert een leidend principe dat expliciete alignering vereist tussen de statistische aannames van het model, de data en de evaluatiemetric.
Evaluatierichtlijnen: De auteurs bieden een praktische workflow (gevisualiseerd in een checklist) voor onderzoekers om geschikte metrics te selecteren op basis van:
- Het voorspeldoel (bijv. risicorangschikking versus tijd tot een gebeurtenis).
- Het evaluatieaspect (discriminatie, fout, kalibratie).
- De aanname over censurering (willekeurig, onafhankelijk of afhankelijk).
Identificatie van Gaten: Het paper benadrukt dat hoewel methoden bestaan voor het modelleren van afhankelijke censurering, er momenteel een gebrek is aan breed geaccepteerde, onbevooroordeelde evaluatiemetrics voor dergelijke settings.

Betekenis en Claims

De auteurs betogen dat het wijdverbreide gebruik van mismatchende metrics leidt tot misleidende modelvergelijkingen en de gemeenschap verhindert om methodologische doorbraken nauwkeurig te erkennen. Zij claimen niet het probleem van het evalueren van afhankelijke censurering opgelost te hebben, maar roepen eerder op tot een "herkalibratie" van het vakgebied.

De primaire betekenis van het paper ligt in zijn dringende oproep: onderzoekers moeten hun aannames over censurering expliciet stellen en metrics kiezen die geldig zijn onder die aannames. Totdat robuuste, aanpassing-gerichte metrics voor afhankelijke censurering zijn ontwikkeld en gevalideerd, moeten prestatieclaims voor state-of-the-art modellen in dergelijke settings als speculatief worden beschouwd. De auteurs bepleiten dat rigoureuze, aanname-bewuste evaluatie de noodzakelijke volgende grens is voor vooruitgang in survivalanalyse.