Accounting for Heavy Censoring in Evaluating the Risk Stratification Abilities of Existing Models for Time to Diagnosis of Huntington Disease

1. Probleemstelling

Huntington's ziekte (HZ) is een progressieve neurodegeneratieve aandoening. Voor het ontwerpen van preventieve klinische trials is het cruciaal om patiënten te identificeren die binnen een kort tijdsbestek een klinische diagnose zullen krijgen (sample enrichment). Hiervoor bestaan vier bestaande modellen voor de voorspelling van de tijd tot diagnose:

1. Langbehn
2. CAG-Age Product (CAP)
3. Multivariate Risk Score (MRS)
4. Prognostic Index Normed (PIN)

Er is echter een gebrek aan betrouwbare vergelijkingen tussen deze modellen vanwege drie belangrijke methodologische tekortkomingen in eerdere studies:

• Double-dipping: Modellen werden vaak gevalideerd op dezelfde dataset waarmee ze waren getraind (bijv. PREDICT-HD), wat leidt tot overoptimistische prestaties.
• Niet-aangepaste metrics: Bestaande evaluaties gebruikten standaard ROC-analyses die geen rekening houden met zware rechtercensering (right censoring). In HZ-studies is meer dan 75-88% van de patiënten op het einde van de studie nog niet gediagnosticeerd. Standaard methoden negeren deze gecensureerde data, wat de prestaties van het model vertekent.
• Gebrek aan systematische vergelijking: Geen enkele studie heeft alle vier de modellen direct vergeleken op een externe, onafhankelijke dataset met geschikte statistische maatstaven.

2. Methodologie

De auteurs hebben een externe validatie uitgevoerd met data uit de ENROLL-HD studie, een dataset die niet is gebruikt voor de ontwikkeling van de vier modellen.

Data:

• Geselecteerde steekproef: 3.113 patiënten met 40-57 CAG-repetities die bij aanvang nog niet klinisch gediagnosticeerd waren.
• Censureringspercentage: 77% (725 patiënten kregen een diagnose tijdens de studie, 2.388 niet).

Modellen:
De vier modellen werden getest in twee scenario's:

1. Externe validatie: Toepassing van de oorspronkelijk gepubliceerde parameters (coëfficiënten) op de ENROLL-HD data.
2. Model-updating: Herberekening van de parameters met behulp van de ENROLL-HD data, terwijl de modelstructuur en covariaten gelijk bleven.

Evaluatiemetrics (Censering-aangepast):
Om de zware censering correct te verwerken, gebruikten de auteurs twee geavanceerde statistieken:

1. Uno's C-statistiek: Een concordantie-index die Inverse Probability of Censoring Weights (IPCW) gebruikt. Deze meet hoe goed het model patiënten rangschikt op basis van hun risico (log-risk score). Een waarde van 1 betekent perfecte rangschikking, 0,5 betekent willekeur.
2. Kaplan-Meier-gecorrigeerde ROC-curves en AUC: Deze berekenen de sensitiviteit en specificiteit op specifieke tijdstippen, waarbij gecensureerde patiënten worden meegenomen via de Kaplan-Meier-schatter. Dit geeft een nauwkeuriger beeld van de discriminatiekracht dan standaard ROC-analyses.

Validatieprocedure:
Voor de geüpdatte modellen werd een 5-voudige cross-validatie toegepast om double-dipping te voorkomen. De data werd gesplitst in 5 folds, waarbij elke fold evenveel niet-gecensureerde gebeurtenissen bevatte.

3. Belangrijkste Resultaten

Prestatievergelijking:

• MRS (Multivariate Risk Score): Presteerde het beste op beide metrics (Uno's C en AUC). De globale Uno's C-statistiek lag tussen 0,84 en 0,88. Dit model gebruikt de meeste covariaten (8 variabelen, waaronder DCL, TMS, SDMT, Stroop-tests, CAG en leeftijd).
• PIN (Prognostic Index Normed): Presteerde zeer dicht bij MRS (Uno's C tussen 0,82 en 0,84), maar vereist slechts de helft van het aantal covariaten (4 variabelen: TMS, SDMT, CAG-Age Product en leeftijd).
• CAP en Langbehn: Presteerden iets slechter (Uno's C rond 0,80-0,82) en gebruiken slechts twee variabelen (CAG en leeftijd). De prestatieverschillen tussen CAP en Langbehn waren verwaarloosbaar.

Invloed van parameter-updating:
Het herupdaten van de parameters met de ENROLL-HD data leidde tot geen significante verbetering in prestaties ten opzichte van het gebruik van de oorspronkelijk gepubliceerde parameters (verschil < 1-6%). Dit suggereert dat de modellen robuust zijn en goed generaliseren naar nieuwe populaties.

Tijdsafhankelijkheid:
Alle modellen vertoonden een lichte afname in prestatie naarmate de follow-up-tijd langer werd. Dit wordt toegeschreven aan het feit dat de covariaten alleen bij baseline werden gemeten en niet worden bijgewerkt (time-independent), terwijl de ziekte voortschrijdt.

4. Toepassing: Steekproefvergroting voor Klinische Trials

De auteurs toonden aan hoe de beste modellen kunnen worden gebruikt voor sample enrichment in preventieve trials.

• Ze bepaalden een optimale drempelwaarde (threshold) voor de log-risk score op basis van de Youden's J-statistiek van de KM-gecorrigeerde ROC-curves.
• Resultaat: Door alleen patiënten met een risico boven deze drempel te werven, stijgt het verwachte percentage diagnoses tijdens de trial aanzienlijk.
• Vergelijking met eerdere studies: Eerdere studies (zoals Paulsen et al., 2019) die geen rekening hielden met censering, schatten steekproefgroottes te klein in. De auteurs tonen aan dat het negeren van censering leidt tot onderbepaalde trials (underpowered trials), wat de kans vergroot dat een effectief medicijn niet wordt gedetecteerd.
• Voorbeeld: Voor een 3-jarige trial met een 50% risicoreductie, is bij gebruik van het MRS-model en censering-correctie een steekproefgrootte van 77 patiënten per arm nodig (in plaats van de eerder geschatte 67).

5. Conclusie en Betekenis

Aanbevelingen voor modelkeuze:
De keuze van het model hangt af van de beschikbaarheid van klinische data en de wenselijkheid van complexiteit:

1. MRS: Kies dit model als alle variabelen beschikbaar zijn (DCL, Stroop-tests, SDMT, TMS, leeftijd, CAG). Dit biedt de beste risicosegregatie.
2. PIN: Kies dit model als DCL en Stroop-tests ontbreken. Het presteert bijna even goed als MRS maar is aanzienlijk eenvoudiger (4 variabelen).
3. CAP: Kies dit model als alleen leeftijd en CAG-repetities bekend zijn.
4. Langbehn: Wordt afgeraden. Het is computationeel complex (vereist aangepaste software), biedt geen betere prestaties dan CAP, en is niet simpeler.

Wetenschappelijke Impact:

• Methodologische bijdrage: Het artikel benadrukt het kritieke belang van het gebruik van censering-aangepaste metrics (Uno's C, KM-ROC) bij het evalueren van overlevingsmodellen in ziekten met hoge censering, zoals HZ.
• Klinische relevantie: Het biedt een onderbouwde richtlijn voor onderzoekers bij het ontwerpen van preventieve klinische trials. Door de juiste modellen en thresholds te gebruiken, kunnen trials kostenefficiënter worden gemaakt zonder de statistische power te verliezen.
• Validatie: Het bevestigt dat de bestaande modellen (vooral MRS en PIN) nog steeds geldig zijn voor moderne datasets, zelfs zonder hertraining, maar dat de implementatie van censering-correctie essentieel is voor betrouwbare steekproefbepalingen.