📊 statistics

Bayesian sample size calculations for external validation studies of risk prediction models

Dit artikel stelt een algemeen Bayesiaans raamwerk voor voor bepaling van de steekproefgrootte bij externe validatie van risicopredictiemodellen, dat onzekerheid over modelprestaties expliciet meeneemt en flexibele regels biedt op basis van verwachte precisie, verzekeringskansen en de waarde van informatie, wat in een casestudie met COVID-19-patiënten leidt tot aanzienlijk lagere benodigde steekproefgroottes dan traditionele methoden.

Oorspronkelijke auteurs: Mohsen Sadatsafavi, Paul Gustafson, Solmaz Setayeshgar, Laure Wynants, Richard D Riley

Gepubliceerd 2026-02-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohsen Sadatsafavi, Paul Gustafson, Solmaz Setayeshgar, Laure Wynants, Richard D Riley

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: Het Gokken met een Nieuw Voorspellingssysteem

Stel je voor dat je een weersvoorspelling-app hebt ontwikkeld die heel goed werkt in Nederland. Nu wil je deze app ook gaan gebruiken in Spanje. Maar voordat je dat doet, moet je eerst testen of hij daar ook goed werkt. Dit noemen we een "externe validatie".

De grote vraag is: Hoeveel mensen in Spanje moeten we testen om zeker te weten dat de app goed werkt?

Tot nu toe deden onderzoekers dit op een vaste manier:

Ze gokten op één specifiek cijfer (bijvoorbeeld: "De app is 75% accuraat").
Ze berekenden hoeveel mensen ze nodig hadden om die 75% met een bepaalde nauwkeurigheid te bewijzen.

Het probleem hiermee: Niets is zeker! Die 75% was een schatting gebaseerd op eerdere studies. Als je in Spanje gaat testen, kan het zijn dat de app daar 70% goed doet, of 80%. De oude methode negeert deze onzekerheid. Het is alsof je een tentamen gaat maken en je berekent hoeveel je moet studeren op basis van het idee dat je precies een 7,0 haalt, terwijl je eigenlijk niet weet of je een 6 of een 8 haalt.

De Oplossing: Een "Wiskundige Kristallen Bol" (Bayesiaanse Aanpak)

De auteurs van dit artikel (Sadatsafavi en collega's) stellen een nieuwe manier voor: de Bayesiaanse aanpak.

In plaats van één vast cijfer te kiezen, gebruiken ze een wiskundige kristallen bol. Ze zeggen: "We weten niet precies hoe goed de app werkt, maar we hebben een idee van de kansverdeling."

Misschien is de kans 10% dat de app 60% goed werkt.
Misschien is de kans 50% dat hij 75% goed werkt.
Misschien is de kans 10% dat hij 90% goed werkt.

Door met deze hele waaier aan mogelijkheden te rekenen, krijgen ze een veel realistischer beeld van hoeveel mensen ze nodig hebben.

Drie Slimme Manieren om te Bepalen Hoeveel Je Moet Testen

De auteurs stellen drie nieuwe regels voor om het aantal proefpersonen te bepalen, in plaats van alleen te kijken naar "hoe smal het meetinterval is".

1. De "Zekerheids-Regel" (Assurance)

Stel je voor dat je een doel hebt: je wilt dat je meetresultaat binnen een bepaalde marge zit (bijvoorbeeld niet meer dan 10% fout).

Oude methode: "We rekenen uit hoeveel mensen nodig zijn om gemiddeld die marge te halen."
Nieuwe methode: "We rekenen uit hoeveel mensen nodig zijn om 90% zekerheid te hebben dat we die marge ook echt halen."
Analogie: Het is het verschil tussen zeggen: "Ik heb genoeg brandstof om gemiddeld naar de stad te rijden" versus "Ik heb genoeg brandstof om met 90% zekerheid de stad te bereiken, zelfs als er een windstoot komt." De nieuwe methode vraagt soms net iets meer mensen, maar geeft je veel meer rust in je hoofd.

2. De "Beslissings-Regel" (Optimality Assurance)

Soms gaat het niet om een getal, maar om een keuze. Bijvoorbeeld: "Moeten we alle COVID-patiënten behandelen, of alleen de zware gevallen?"

Oude methode: Kijken hoe nauwkeurig we de statistieken kunnen meten.
Nieuwe methode: Kijken hoe groot de kans is dat we de juiste beslissing nemen.
Analogie: Stel je bent een kapitein die moet beslissen of hij door een storm vaart of wacht. Je wilt niet weten hoe nauwkeurig je de windmeter afleest; je wilt weten of je met 90% zekerheid de juiste route kiest om het schip veilig te houden.

3. De "Waarde-Regel" (Value of Information)

Dit is misschien wel het slimste deel. Het vraagt: "Is het de moeite waard om nog meer mensen te testen?"

Als je al 100 mensen hebt getest en je weet al vrij zeker wat de app doet, dan kost het testen van 1000 extra mensen misschien veel geld, maar levert het weinig nieuwe informatie op.
De auteurs berekenen de waarde van extra informatie.
Analogie: Stel je wilt een huis kopen. Je kijkt eerst naar de buitenkant (gratis). Dan huur je een makelaar in (kost geld). Dan laat je een bouwkundige komen (kost veel geld).
- De vraag is: Is het de moeite waard om die dure bouwkundige te sturen? Als de buitenkant er al perfect uitziet, is de extra waarde van de bouwkundige misschien nul. Je bespaart dan tijd en geld door niet te veel te testen.

Het Voorbeeld: COVID-19 in Londen

De auteurs testten hun methode op een echt voorbeeld: een model dat voorspelt of COVID-19-patiënten in het ziekenhuis verslechteren.

Ze wilden dit model testen in Londen.
De oude methode zei: "Je hebt 1.056 mensen nodig." (Vooral omdat ze heel nauwkeurig wilden meten hoe goed de kalibratie was).
De nieuwe methode keek naar de "Waarde van Informatie". Ze zagen dat als ze iets minder nauwkeurig waren op dat ene punt (kalibratie), ze de juiste medische beslissingen nog steeds konden nemen.
Het resultaat: Ze konden volstaan met 522 mensen. Dat is meer dan de helft minder! Ze bespaarden dus enorm veel tijd, geld en moeite, zonder dat de patiënten in gevaar kwamen.

Conclusie: Waarom is dit belangrijk?

Dit artikel zegt eigenlijk: "Stop met gokken op vaste cijfers en begin met plannen voor onzekerheid."

Realisme: Het erkent dat we nooit alles precies weten.
Flexibiliteit: Het laat ons kiezen tussen "gemiddelde nauwkeurigheid" en "zekerheid dat we slagen".
Efficiëntie: Het helpt ons te stoppen met testen op het moment dat het geen meerwaarde meer heeft, waardoor we minder mensen hoeven te betrekken en minder geld uitgeven.

Kortom: Het is een slimme manier om wetenschappelijk onderzoek te plannen, zodat we niet te veel, maar ook niet te weinig mensen hoeven te testen om een goed, veilig voorspellingssysteem te krijgen.

Titel

Bayesiaanse steekproefomvangsberekeningen voor externe validatiestudies van risicopredictiemodellen.

1. Het Probleem

Huidige methoden voor het bepalen van de steekproefomvang bij externe validatie van risicopredictiemodellen (zoals de veelgebruikte methode van Riley et al.) hebben twee belangrijke beperkingen:

Vaste aannames: Ze vereisen dat onderzoekers vaste waarden aannemen voor de prestaties van het model (bijv. discriminatie, kalibratie) in de doelpopulatie. In werkelijkheid is deze kennis onzeker vanwege beperkte steekproeven in eerdere studies. Het kiezen van een enkel vast punt negeert deze onzekerheid.
Beperkte relevantie voor klinische nut: Voor maatstaven van klinisch nut, zoals de Net Benefit (NB), is de traditionele benadering gebaseerd op precisie (bijv. breedte van een 95% betrouwbaarheidsinterval) vaak niet relevant. De focus zou moeten liggen op het nemen van de juiste beslissing (wel of geen behandeling) en niet alleen op de nauwkeurigheid van een schatting.

2. Methodologie

De auteurs stellen een algemeen Bayesiaans raamwerk voor voor multi-criteria steekproefomvangsberekeningen bij modellen voor binaire uitkomsten.

Kernprincipes:

Onzekerheidsmodellering: In plaats van vaste waarden, modelleren onderzoekers hun huidige kennis over modelprestaties (prevalentie, c-statistiek, kalibratie) als kansverdelingen (priors).
Pre-posterior analyse: Het raamwerk gebruikt Monte Carlo-sampling om de verdeling van toekomstige steekproefresultaten te simuleren. Hierbij worden herhaaldelijk trekkingen gedaan uit de prior-verdeling van de parameters ( $\theta$ ), waarna er gesimuleerde validatiestalen ( $D_N$ ) worden gegenereerd.
Identificeerbaarheid: Om de gezamenlijke verdeling van voorspelde risico's en uitkomsten te reconstrueren, gebruiken de auteurs een parametrisatie gebaseerd op prevalentie, c-statistiek en de kalibratiefunctie. Onder milde regulariteitscondities (monotone stijging en kwantiel-identificeerbaarheid) kan dit de verdeling van de gekalibreerde risico's volledig identificeren.

Steekproefomvangsregels:
Het artikel introduceert drie soorten regels voor het bepalen van de minimale steekproefomvang ( $N$ ):

Verwachte precisie (ECIW): Het vinden van $N$ zodat de verwachte breedte van het betrouwbaarheidsinterval (CI) een bepaald doel bereikt.
Assurance-regels (Kwantielen): Het vinden van $N$ zodat er een hoge waarschijnlijkheid (bijv. 90%) is dat de CI-breedte kleiner is dan het doel. Dit biedt meer zekerheid dat een specifieke studie niet teleurstellend zal zijn.
Waarde van Informatie (VoI) voor Net Benefit (NB):
- Optimality Assurance: De kans dat de studie de strategie met het hoogste werkelijke Net Benefit correct identificeert.
- Expected Value of Sample Information (EVSI): De verwachte winst in klinisch nut door de studie uit te voeren, vergeleken met beslissingen op basis van huidige informatie. Dit wordt vaak uitgedrukt als een relatieve EVSI (rEVSI).

Implementatie:
De methoden zijn geïmplementeerd in het R-pakket bayespmtools, dat functies biedt voor het berekenen van precisie/VoI bij een vaste $N$ en voor het vinden van de minimale $N$ die aan criteria voldoet.

3. Case Study: COVID-19 Deterioratie

De auteurs passen het raamwerk toe op het ISARIC 4C-model voor het voorspellen van verslechtering bij gehospitaliseerde COVID-19-patiënten.

Context: Validatie in de regio Londen, gebaseerd op meta-analyse-data van 8 andere regio's in het VK.
Vergelijking:
- Conventionele methode (Riley): Vereist een steekproefomvang van 1.056 (gedreven door de kalibratieslope).
- Bayesiaanse methode (Verwachte CI): Levert vergelijkbare resultaten op (~1.064).
- Bayesiaanse methode (90% Assurance): Vereist een iets grotere steekproef van 1.181 om zekerheid te hebben dat de precisiedoelen worden gehaald.
- VoI-analyse: De analyse toont aan dat het verdubbelen van de steekproefomvang van 522 naar 1.181 (alleen voor de kalibratieslope) slechts een marginale toename in EVSI (8,8%) oplevert.

Conclusie van de case study:
Door de VoI-analyse en de stabiliteit van kalibratiecurves te combineren, concluderen de auteurs dat de eis voor de kalibratieslope kan worden versoepeld. Een steekproefomvang van 522 is voldoende om een hoge assurance te garanderen voor de c-statistiek en NB, zonder aanzienlijk verlies aan klinisch nut of precisie.

4. Belangrijkste Bijdragen

Integratie van onzekerheid: Het biedt een gestructureerde manier om onzekerheid over modelprestaties expliciet te kwantificeren in plaats van deze te negeren door vaste aannames.
Flexibele regels: Introduktie van "assurance"-regels die onderzoekers toelaten om risico-aversie te incorporeren (bijv. "ik wil 90% zekerheid dat mijn CI niet te breed is").
Besluitvorming voor Net Benefit: Verplaatsing van de focus bij Net Benefit van precisie-intervallen naar beslissingstheoretische maatstaven (Optimality Assurance en EVSI), wat beter aansluit bij de klinische realiteit.
Software: Beschikbaarstelling van het bayespmtools pakket voor praktische toepassing.

5. Significantie en Toekomstperspectief

Efficiëntie: Het Bayesiaanse raamwerk kan leiden tot kleinere, kosteneffectievere steekproeven wanneer de focus ligt op klinisch nut (VoI) in plaats van puur statistische precisie van alle metrics.
Cultuurverandering: Het artikel pleit voor een verschuiving in de risicomodellering: van het presenteren van modellen als deterministische functies naar het expliciet communiceren van onzekerheid.
Uitbreidbaarheid: Hoewel het artikel zich richt op binaire uitkomsten, zijn de methoden uitbreidbaar naar overlevingsanalyses (survival outcomes) en individuele onzekerheid.
Objectiviteit: De auteurs benadrukken dat het gebruik van priors niet subjectief hoeft te zijn, maar juist transparanter kan zijn dan het verbergen van onzekerheid achter een enkel punt.

Kortom, dit artikel biedt een robuust, besluitvormingsgericht alternatief voor traditionele steekproefomvangsberekeningen, dat beter aansluit bij de complexiteit en onzekerheid inherent aan het valideren van risicopredictiemodellen.