Scalable Random Survival Forests via Risk Set Sampling

Technische Samenvatting: Schaalbare Random Survival Forests via Risk Set Sampling

Probleemstelling
Random Survival Forests (RSF) zijn een krachtige machine learning-extensie van random forests, ontworpen voor gecensureerde tijd-tot-gebeurtenis data. De toepassing ervan op grote of hoogdimensionale datasets is echter vaak computationeel prohibitief. De primaire bottleneck ontstaat door de herhaalde evaluatie van "risk sets" die vereist is voor het berekenen van de log-rank splitsingsregel tijdens de boomconstructie. Voor elke gebeurtenistijd moet het algoritme alle individuen evalueren die nog steeds onder risico staan, wat de computationele kosten doet toenemen naarmate de steekproefomvang en het aantal verschillende gebeurtenistijden groeien. Hoewel risk set sampling succesvol is geïntegreerd in Cox-gebaseerde neurale netwerken (bijv. Cox-Time) en een standaardontwerp is in de klassieke epidemiologie (nested case-control), is het nog niet aangepast voor RSF.

Methodologie
De auteurs stellen een modificatie van het RSF-algoritme voor die risk set sampling direct integreert in het proces van boomopbouw.

• Kernmechanisme: In plaats van de volledige risk set ($R_k$) op elke gebeurtenistijd $t_k$ te gebruiken om de log-rank splitsingsstatistiek te berekenen, samplet de methode een vast deel van de individuen uit de risk set ($\tilde{R}_k$).
• Statistische Aanpassing: De log-rank statistiek vertrouwt op het verwachte aantal gebeurtenissen en de variantie binnen een knoop. De auteurs modificeren deze berekeningen door gebruik te maken van de gesamplede risk set $\tilde{R}_k$ in plaats van de volledige set. Specifiek worden de verwachte waarde van het aantal gebeurtenissen $E(D_{\alpha,k})$ en de variantie $Var(D_{\alpha,k})$ voor een dochterknoop $\alpha$ opnieuw berekend met behulp van de ratio van de gesamplede onder risico staande individuen ($\tilde{R}_{\alpha,k}$) tot de totale gesamplede risk set ($\tilde{R}_k$).
• Implementatie: De aanpak is geïmplementeerd in het ranger R-pakket, een high-performance implementatie van random forests. De auteurs testten sampling-fracties variërend van 10% tot 100% (waarbij 100% de standaard volledige risk set vertegenwoordigt).
• Experimenteel Ontwerp:
  • Simulaties: Heterogene overlevingsdata werden gegenereerd met Exponential en Weibull mixture distributies met steekproefgroottes van $n=500, 1000,$ en $2000$ en $p=15$ covariaten.
  • Real-World Data: Twee datasets werden gebruikt: METABRIC (1904 borstkankerobservaties) en de German Breast Cancer Study Group (GBSG) dataset (686 observaties).
  • Metrieken: Prestaties werden geëvalueerd via de Concordance Index (C-index) middels 5-voudige cross-validatie en out-of-bag (OOB) schattingen, naast de computationele runtime.

Belangrijkste Resultaten

• Voorspellende Prestaties: Over alle gesimuleerde en real-world datasets heen, bereikten RSF-modellen getraind op gesamplede risk sets (specifiek met 25% tot 40% van de risk set) C-index waarden die vrijwel ononderscheidbaar waren van modellen getraind op volledige risk sets.
• Computationele Efficiëntie: Het reduceren van de risk set naar de 25–40% range resulteerde in een reductie van de trainingstijd met meer dan 50%. De runtime nam monotoon toe met de risk-set fractie, waarbij de meest significante winsten werden waargenomen in grotere datasets.
• Stabiliteit en Bias: De studie vond dat risk set sampling primair invloed heeft op de variantie van de schattingen in plaats van het introduceren van systematische bias. Betrouwbaarheidsintervallen voor de C-index vertoonden substantiële overlap over alle sampling-fracties, wat wijst op geen statistisch betekenisvol verschil in voorspellende discriminatie.
• Regularisatie-effect: In verschillende scenario's vertoonden modellen getraind met gematigde sampling-fracties (25–40%) marginaal hogere C-index waarden dan full-risk modellen, wat suggereert dat er een potentieel gunstig regularisatie-effect optreedt dat ruis vermindert.

Betekenis en Claims
Het artikel claimt dat risk set sampling een eenvoudige maar effectieve modificatie is die de schaalbaarheid van Random Survival Forests substantieel verbetert zonder de voorspellende prestaties of modelstabiliteit in gevaar te brengen. De auteurs beargumenteren dat:

1. Bruggen Slaan tussen Disciplines: De aanpak biedt een methodologische brug tussen klassieke epidemiologische sampling-ontwerpen (nested case-control) en moderne machine learning voor overlevingsanalyse.
2. Praktisch Nut: Volledige risk-berekening biedt vaak weinig praktisch voordeel voor het bereiken van goede voorspellende prestaties in RSF-modellering, terwijl het aanzienlijk hogere computationele kosten met zich meebrengt.
3. Toegankelijkheid: Door deze methodologie te implementeren in het breed gebruikte ranger pakket, faciliteren de auteurs de praktische toepassing van schaalbare RSF, met name voor grootschalige en hoogdimensionale overlevingsdata.

De auteurs concluderen dat hoewel de methode robuust is, toekomstig werk de toepassing ervan kan verkennen in complexere kaders (competing risks, multi-state modellen) en de interacties met andere RSF-hyperparameters kan onderzoeken.