📊 statistics

Adaptive Gaussian Process Search for Simulation-Based Sample Size Estimation in Clinical Prediction Models: Validation of the pmsims R Package

Dit artikel valideert het R-pakket pmsims, dat adaptieve Gauß-processen gebruikt voor een efficiënte en flexibele simulatiegebaseerde schatting van de benodigde steekproefgrootte bij klinische voorspellingsmodellen.

Oorspronkelijke auteurs: Oyebayo Ridwan Olaniran, Diana Shamsutdinova, Sarah Markham, Felix Zimmer, Daniel Stahl, Gordon Forbes, Ewan Carr

Gepubliceerd 2026-03-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Oyebayo Ridwan Olaniran, Diana Shamsutdinova, Sarah Markham, Felix Zimmer, Daniel Stahl, Gordon Forbes, Ewan Carr

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Hoe vind je het perfecte aantal patiënten voor een medische voorspelling? De 'Slimme Zoeker' van pmsims

Stel je voor dat je een nieuwe, slimme medische app wilt bouwen. Deze app moet kunnen voorspellen of een patiënt ziek wordt, of hoe snel hij herstelt, of welke medicijnen het beste werken. Maar er is een groot probleem: hoeveel patiënten heb je nodig om je app te trainen?

Te weinig patiënten? Dan is je app een "leugenaar". Hij ziet patronen die er niet zijn (overfitting) en faalt in de echte wereld.
Te veel patiënten? Dan is het een dure, tijdrovende ramp. Je verspillat tijd, geld en de privacy van mensen die je eigenlijk niet nodig had.

Vroeger gebruikten onderzoekers simpele formules (zoals een recept in een kookboek) om dit aantal te berekenen. Maar medische data is vaak rommelig en complex, net als echte koken. Die simpele recepten werken dan niet goed. Anderen probeerden het door alles uit te proberen (simulaties), maar dat was als zoeken naar een naald in een hooiberg: het duurde eeuwen.

De oplossing: pmsims, de "Slimme Zoeker"

De auteurs van dit artikel hebben een nieuwe tool gemaakt, een computerprogramma genaamd pmsims. Ze noemen het een "Adaptieve Gaussische Proces Zoekopdracht". Dat klinkt als een moeilijke taal, maar laten we het vergelijken met het zoeken naar de perfecte temperatuur voor het bakken van een taart.

1. De oude methoden: Gissen en Blinde Zoeken

De Formule (pmsampsize): Dit is alsof je zegt: "Ik bak altijd op 180 graden, want dat staat in het boekje." Maar wat als je oven anders werkt of je een andere taart maakt? Dan mislukt het.
De Blinde Zoeker (Bisection): Dit is alsof je de oven op 100 graden zet, kijkt of de taart gaar is. Nee? Dan zet je hem op 200. Te heet? Dan op 150. Dan 125, dan 137... Je halveert elke keer de afstand. Dit werkt, maar het duurt lang en je maakt veel taarten die je niet eet.

2. De nieuwe methode: De "Slimme Zoeker" (Gaussian Process)

De pmsims-tool gebruikt een heel slimme strategie, gebaseerd op Gaussische Processen.

Stel je voor dat je een proefkok bent die een taart bakt.

In plaats van blindelings te gissen, maakt de kok eerst een verwachtingsmodel (een "surrogaat"). Hij zegt: "Op basis van wat ik nu weet, lijkt 180 graden goed, maar ik ben niet zeker. Misschien is 175 beter?"
De tool kiest dan slim uit: "Laten we eerst 175 graden proberen, want daar is de onzekerheid het grootst."
Zodra hij de uitkomst van 175 graden ziet, leert hij daar van. Hij past zijn verwachtingsmodel aan.
Vervolgens kiest hij de volgende temperatuur die het meest zinvol is om te testen.

Dit is adaptief zoeken. De tool "leert" onderweg waar de antwoorden zitten en stopt met testen op plekken die al duidelijk zijn. Hierdoor hoeft hij veel minder proeftaarten (simulaties) te bakken om de perfecte temperatuur (het juiste aantal patiënten) te vinden.

Wat hebben ze ontdekt?

De onderzoekers hebben deze "Slimme Zoeker" getest tegen de oude methoden in duizenden verschillende scenario's (met verschillende ziektes, verschillende aantallen factoren, en verschillende soorten data).

Hier zijn de belangrijkste bevindingen, vertaald naar alledaags taal:

De Slimme Zoeker wint altijd: De tool die gebruikmaakt van het leermodel (de GP-engine) gaf de meest stabiele en nauwkeurige antwoorden. Hij maakte minder fouten dan de "Blinde Zoeker" en de "Formule".
Hij is slim bij moeilijke taken: Als de data erg moeilijk was (bijvoorbeeld: zeldzame ziektes of heel veel factoren), was de winst van de Slimme Zoeker het grootst. De oude methoden raakten daar vaak de weg kwijt.
Hij is zuinig: De Slimme Zoeker had veel minder "proefbakjes" nodig. Terwijl de oude methoden duizenden simulaties nodig hadden om zeker te zijn, deed de Slimme Zoeker het met ongeveer 1000. Dat bespaart enorme hoeveelheden computerkracht en tijd.
Hij is eerlijk: De tool kan twee manieren van werken:
1. Gemiddeld: "Wat is het gemiddelde resultaat?" (Soms iets te optimistisch).
2. Garantie (Assurance): "Wat is het resultaat als we zeker willen zijn dat het werkt, zelfs als het slecht verloopt?" (Iets meer patiënten nodig, maar veel veiliger).

Waarom is dit belangrijk voor de wereld?

In de medische wereld is het cruciaal dat voorspellingen betrouwbaar zijn. Als een arts een app gebruikt die is getraind op te weinig patiënten, kan dat leiden tot verkeerde diagnoses en gevaar voor patiënten.

Met pmsims kunnen onderzoekers nu zeggen: "We hebben precies 1.500 patiënten nodig om een betrouwbare voorspelling te maken, en we weten dit zeker." Ze hoeven niet meer te gokken of te vertrouwen op verouderde formules.

Kortom:
De auteurs hebben een GPS-systeem ontwikkeld voor het vinden van het juiste aantal patiënten. In plaats van blindelings rond te rijden (oude methoden), kijkt de GPS naar het verkeer, leert van de route en vindt de snelste, veiligste weg naar het doel. Dit maakt het bouwen van betere, veiligere medische voorspellingen veel makkelijker en sneller.

Titel en Context

Titel: Adaptieve Gaussisch Proces-zoekopdracht voor simulatiegebaseerde steekproefgrootte-schatting in klinische voorspellingsmodellen: Validatie van het R-pakket pmsims.
Auteurs: Oyebayo Ridwan Olaniran et al. (King's College London & NIHR Biomedical Research Centre).
Doel: Het valideren van een nieuw R-pakket (pmsims) dat een flexibel en computerefficiënt kader biedt voor het bepalen van de minimale steekproefgrootte voor klinische voorspellingsmodellen, met name voor scenario's waar bestaande analytische methoden tekortschieten.

1. Het Probleem

Het bepalen van een adequate steekproefgrootte is cruciaal voor het ontwikkelen van stabiele, betrouwbare en generaliseerbare klinische voorspellingsmodellen. Te kleine steekproeven leiden tot overfitting, slechte kalibratie en verminderde discriminatie.

Bestaande methoden hebben echter beperkingen:

Analytische methoden (bijv. pmsampsize): Deze zijn beperkt tot lineaire of gegeneraliseerde lineaire modellen en maken sterke aannames (bijv. normaal verdeelde covariaten, correct gespecificeerde lineaire voorspellers). Ze focussen vaak op het "gemiddelde" criterium en negeren de variabiliteit die ontstaat door eindige trainingssteekproeven, wat kan leiden tot een onderschatting van de benodigde steekproefgrootte in complexe scenario's.
Simulatiegebaseerde methoden (bijv. samplesizedev): Hoewel deze flexibeler zijn, zijn ze vaak beperkt tot specifieke modeltypen (logistische/Cox-regressie) en vereisen ze vaak een groot aantal simulaties (roosterzoek of bisection) om de optimale steekproefgrootte te vinden, wat computertijdintensief is.
Het "Assurance"-criterium: Er is behoefte aan methoden die niet alleen kijken naar de verwachte prestatie (gemiddelde), maar naar de waarschijnlijkheid dat een model een bepaalde prestatiedoelstelling haalt (bijv. 80% zekerheid). Bestaande tools ondersteunen dit onvoldoende of zijn niet schaalbaar.

Er is een gebrek aan praktische, toegankelijke tools die zowel diverse modeltypen als realistische data-generatiemechanismen ondersteunen voor steekproefgrootte-bepaling op basis van "assurance".

2. Methodologie

De auteurs presenteren en valideren het R-pakket pmsims. De kern van de methodologie is een adaptieve zoekstrategie gebaseerd op Gaussische Processen (GP).

Het `pmsims` Werkstroom

Het pakket combineert drie componenten:

Data-generatieproces: Het simuleert binaire, continue en overlevingsuitkomsten (time-to-event) met gedefinieerde signalen en ruis.
Model-fitting: Het past standaardmodellen toe (logistische regressie, lineaire regressie, Cox-proportionele hazards).
Prestatiemetrics: Het evalueert discriminatie (AUC/C-index) en kalibratie (kalibratieslope).

De Zoekalgoritmen (Search Engines)

Het artikel vergelijkt drie zoekmethoden om de minimale steekproefgrootte ( $n^*$ ) te vinden die een prestatiedoel ( $\tau$ ) bereikt:

GP (Gaussisch Proces): Een adaptieve procedure die de relatie tussen steekproefgrootte en prestatie modelleert als een gladde, onbekende functie. In plaats van elk punt te testen, gebruikt het een GP-surrogaatmodel om de volgende meest informatieve steekproefgrootte te selecteren (via een acquisitie-functie die onzekerheid en voorspelde prestatie in balans brengt). Dit reduceert het aantal benodigde model-fits drastisch.
Bisection (Bisectie): Een deterministisch algoritme dat het interval halveert tot de doelstelling wordt bereikt. Dit is minder efficiënt in stochastische omgevingen.
GP-BS (Hybride): Combineert een grove bisectiezoekopdracht om het zoekinterval te verkleinen, gevolgd door een verfijnde GP-zoekopdracht binnen die grenzen.

Validatie-ontwerp

De validatie bestond uit twee doelen:

Doel 1: Vergelijking van de drie zoekmotoren (GP, Bisection, GP-BS) over verschillende scenario's (binaire, continue, overlevingsuitkomsten), variërend in aantal predictors ( $p=10, 100$ ), prevalentie/voorval, en simulatiebudget ( $B=200-2000$ ).
Doel 2: Benchmarking van de beste GP-methode tegen bestaande tools (pmsampsize en samplesizedev) in realistische scenario's, met evaluatie van de bereikte prestaties op een onafhankelijke validatiestandaard van 30.000 observaties.

3. Belangrijkste Bijdragen

Innovatieve Zoekalgoritme: Introductie van een GP-gebaseerde adaptieve zoekopdracht voor steekproefgrootte-bepaling, die computerefficiëntie combineert met flexibiliteit.
Flexibiliteit: Het pakket ondersteunt willekeurige combinaties van data-generatieprocessen, model-fitting procedures en prestatiemetrics, wat verder gaat dan de beperkingen van bestaande analytische tools.
Ondersteuning van "Assurance": Het pakket kan zowel op basis van gemiddelde prestaties als op basis van waarschijnlijkheid (assurance, bijv. 80% zekerheid) werken, wat robuuster is voor onzekerheid in modelontwikkeling.
Uitgebreide Validatie: Een grondige validatie met 100 replicaties per scenario, waarbij stabiliteit (coëfficiënt van variatie) en rekenkosten worden gemeten.

4. Resultaten

Vergelijking van Zoekmotoren (Doel 1)

Stabiliteit: De GP-gebaseerde zoekmotor leverde consistent de meest stabiele schattingen op (laagste Coëfficiënt van Variatie - CV) over alle uitkomsttypes. Het scoorde het hoogst in 9 van de 12 configuraties.
Efficiëntie: Het voordeel van GP was het grootst in uitdagende scenario's met laag signaal (lage prevalentie of lage $R^2$ ) en hoge dimensionaliteit ( $p=100$ ).
Optimale Instellingen:
- Het aantal replicaties per evaluatie ( $\kappa$ ) is cruciaal: $\kappa = 20$ leverde aanzienlijk betere stabiliteit op dan $\kappa = 10$ .
- Een totaal simulatiebudget van ongeveer $B \approx 1000$ bleek een efficiënt evenwicht tussen precisie en kosten; daarboven waren de winsten minimaal.
Prestatie van andere methoden: De deterministische bisectie-methode presteerde consequent slechter en vereiste veel meer model-evaluaties voor vergelijkbare stabiliteit. De hybride methode (GP-BS) deed het soms iets beter in specifieke kalibratie-scenario's, maar GP was over het algemeen superieur.

Benchmarking met Bestaande Tools (Doel 2)

Prestatie-afwijking: pmsims (met het gemiddelde-criterium) bereikte prestaties die binnen ±1% van de vooraf bepaalde doelstelling lagen voor binaire, continue en overlevingsuitkomsten.
Vergelijking met pmsampsize: De analytische tool pmsampsize onderschatte vaak de benodigde steekproefgrootte, vooral bij hoge discriminatie (AUC/C-index ≥ 0.8), met afwijkingen tot -9.84%. Dit betekent dat modellen ontwikkeld met deze schattingen vaak onderpresteren.
Vergelijking met samplesizedev: pmsims presteerde vergelijkbaar met samplesizedev maar bood meer flexibiliteit en gebruikte minder evaluaties.
Conservatisme: De pmsims-variant met het "assurance"-criterium gaf conservatievere (grotere) schattingen, wat resulteerde in zeer kleine negatieve afwijkingen (onderprestatie), maar garandeerde dat de doelstelling met hoge waarschijnlijkheid werd gehaald.

5. Betekenis en Conclusie

Het pmsims-pakket, en met name de GP-gebaseerde zoekmotor, biedt een computationeel efficiënt en flexibel kader voor principieel steekproefgrootte-planning in klinische voorspellingsmodellen.

Superioriteit: Het overtreft deterministische bisection-methoden aanzienlijk in stabiliteit en efficiëntie.
Betrouwbaarheid: Het levert nauwkeurigere schattingen dan analytische formules, vooral in complexe, realistische scenario's met hoge dimensionaliteit of sterke modellen.
Praktische Implicatie: Onderzoekers kunnen nu steekproefgroottes bepalen die niet alleen gebaseerd zijn op gemiddelde prestaties, maar ook rekening houden met de variabiliteit (assurance), wat het risico op onderpresterende modellen in de praktijk verkleint.

Aanbevelingen voor gebruik:

Gebruik de GP-zoekmotor.
Stel het aantal replicaties per evaluatie in op $\kappa \geq 20$ .
Gebruik een simulatiebudget van ongeveer $B \approx 1000$ .
Overweeg het assurance-criterium (bijv. 80%) voor robuustere planning, tenzij rekenkracht zeer beperkt is.

De studie benadrukt dat simulatiegebaseerde planning, ondersteund door adaptieve surrogate-modellering, een overtuigend alternatief biedt voor zowel analytische formules als exhaustieve simulatiezoekopdrachten.