Formalising Sample Size Calculations for the Development of Risk Prediction Models: The Importance of Accounting for Performance Variability

Stel je voor dat je een chef bent die probeert het perfecte recept voor een nieuw gerecht te creëren. Je hebt een lijst met ingrediënten (voorspellers) en je wilt een recept (een model) bereiden dat precies goed smaakt voor iedereen die het proeft. In de wereld van de geneeskunde worden deze "recepten" risicovoorspellingsmodellen genoemd. Ze helpen artsen te voorspellen hoe groot de kans is dat een patiënt een specifieke gezondheidsgebeurtenis krijgt, zoals een hartaanval of een infectie, op basis van zaken als leeftijd, gewicht en medische geschiedenis. Maar hier komt het lastige gedeelte bij: alleen omdat een recept in jouw eigen keuken fantastisch smaakt, betekent niet dat het in elke andere keuken hetzelfde zal smaken. Als je slechts een paar batches bakt om je recept te testen, kun je door geluk een perfecte smaak hebben bereikt, of je krijgt een vreemde, zoute batch omdat je niet genoeg ingrediënten hebt gemengd. Dit is het probleem van "variabiliteit". Wetenschappers moeten precies weten hoeveel batches (of patiënten) ze moeten testen om er zeker van te zijn dat hun recept betrouwbaar is, en niet slechts een gelukkige toevalstreffer.

Lange tijd was de standaardmanier om te bepalen hoeveel patiënten nodig waren, gericht op een "gemiddeld" perfect resultaat. Het was alsof je zei: "Als we 1.000 batches bakken, moet de gemiddelde smaak heerlijk zijn." Maar de auteurs van dit artikel, Menelaos Pavlou, Rumana Z. Omar en Gareth Ambler, realiseerden zich dat mikken op het gemiddelde niet genoeg is. Soms, zelfs als het gemiddelde geweldig is, kun je een batch krijgen die volkomen onsmakelijk is, simpelweg door pech met de ingrediënten. Zij stellen dat we het doel moeten veranderen: in plaats van alleen te hopen dat het gemiddelde goed is, moeten we ervoor zorgen dat de meeste batches die we bakken ook daadwerkelijk goed zijn. Ze noemen dit de "Probability of Acceptable Performance" (Kans op Aanvaardbare Prestaties). Het is alsof zeggen: "We moeten genoeg batches bakken zodat er een kans van 80% is dat elke individuele batch die we uit de oven halen, heerlijk smaakt," in plaats van alleen maar te hopen dat het gemiddelde van alle batches goed is.

Het artikel suggereert dat de oude manier om steekproefgroottes te berekenen vaak leidt tot modellen die instabiel zijn, vooral wanneer het model slechts een paar ingrediënten (voorspellers) heeft. Als je een cake probeert te bakken met slechts twee ingrediënten, heb je een veel grotere keuken (meer data) nodig om er zeker van te zijn dat je niet gewoon geluk hebt met het mengen. De auteurs gebruikten computersimulaties om aan te tonen dat wanneer je deze "variabiliteit" negeert, je misschien een model krijgt dat op papier goed lijkt, maar in de echte wereld faalt. Ze stellen een nieuwe methode voor die rekening houdt met dit risico, wat vaak grotere steekproeven vereist om ervoor te zorgen dat het model robuust is. Ze keken ook naar een techniek genaamd "shrinkage" (krimp), wat is als het voorzichtig aanpassen van je recept om het wat conservatiever te maken, en ontdekten dat hoewel dit helpt, het het probleem niet volledig oplost als je in eerste instantie niet genoeg data hebt.

Het Recept voor een Betrouwbare Voorspelling

Denk bij het bouwen van een medisch voorspellingsmodel aan het trainen van een robot om katten in foto's te herkennen. Je laat de robot duizenden foto's zien, en hij leert de patronen herkennen. Als je hem slechts tien foto's laat zien, kan hij die specifieke tien katten perfect onthouden, maar volledig falen wanneer hij een nieuwe kat ziet. Dit wordt "overfitting" genoemd, en het is de vijand van een goede voorspelling. Om dit te voorkomen, moeten wetenschappers precies weten hoeveel foto's (patiënten) ze de robot moeten laten zien.

Het artikel begint met de uitleg dat de huidige regelset voor het bepalen van het aantal benodigde patiënten zich richt op de verwachte waarde. Stel je voor dat je een dobbelsteen werpt. De "verwachte waarde" is het gemiddelde dat je krijgt als je een miljoen keer gooit (wat 3,5 is). De oude methode zegt: "Laten we de dobbelsteen genoeg keren gooien zodat het gemiddelde 3,5 is." Maar de auteurs wijzen op een fout: als je slechts tien keer gooit, kun je tien keer achter elkaar een 6 gooien, of tien keer een 1. Het gemiddelde is op de lange termijn misschien 3,5, maar je specifieke tien worpen kunnen een ramp zijn. In medische termen betekent dit dat een model gemiddeld genomen perfect kan lijken over vele studies heen, maar dat het specifieke model dat voor jouw ziekenhuis is gebouwd, volkomen onnauwkeurig kan zijn.

De auteurs introduceren een nieuw concept genaamd PrAP (Probability of Acceptable Performance). In plaats van alleen om het gemiddelde te geven, vraagt PrAP: "Wat zijn de kansen dat het model dat we nu bouwen goed genoeg is?" Ze definiëren een "goed genoeg" bereik, zoals een kalibratieslope tussen 0,85 en 1,15 (waarbij 1 perfect is). Het doel is om een steekproefomvang te kiezen die groot genoeg is zodat er, laten we zeggen, een kans van 80% is dat het model in die "goede" zone valt.

De Simulatiekeuken

Om hun idee te testen, hebben de auteurs niet alleen geraden; ze hebben duizenden computersimulaties uitgevoerd. Ze creëerden nep-patiëntgegevens met verschillende aantallen "ingrediënten" (voorspellers), variërend van 4 tot 28. Ze vergeleken twee manieren om te bepalen hoeveel patiënten er gebruikt moesten worden:

1. De Standaard Manier: Bereken de omvang die nodig is zodat de gemiddelde prestatie 0,9 is (dicht bij perfect).
2. De Nieuwe Manier: Bereken de omvang die nodig is zodat er een kans van 80% is dat de prestatie tussen 0,85 en 1,15 ligt.

De resultaten waren onthullend. Wanneer de modellen een klein aantal voorspellers hadden (zoals 4 of 5), suggereerde de Standaard Manier een relatief kleine steekproefomvang. Echter, toen ze de simulaties daadwerkelijk uitvoerden, ontdekten ze dat de modellen die met deze kleine steekproef waren gebouwd, alle kanten op gingen. Soms waren ze geweldig, maar vaak waren ze verschrikkelijk. De kans op een "goed" model was slechts ongeveer 54% — in feits een kop of munt!

In tegen plaats eiste de Nieuwe Manier een veel grotere steekproefomvang. Voor een model met slechts 4 voorspellers vereiste de Nieuwe Manan een 2,7 keer grotere steekproef dan de Standaard Manier. Maar de beloning was enorm: met deze grotere steekproef sprong de kans op een goed model naar de beoogde 80%. De auteurs ontdekten dat voor modellen met veel voorspellers (zoals 18 of meer), de twee methoden vergelijkbare steekproefgroottes suggereerden, maar voor de kleinere, eenvoudigere modellen was het verschil enorm.

De "Shrinkage" Afkorting?

Het artikel onderzocht ook een populaire truc genaamd shrinkage (krimp). Stel je voor dat je een cake hebt gebakken en deze was een beetje te zoet. Shrinkage is als het weghalen van een klein beetje suiker om het veiliger te maken. In de statistiek houdt dit in dat de kracht van de voorspellingen van het model iets wordt verminderd om overmoed te voorkomen.

De auteurs testten of het gebruik van shrinkage hen in staat zou stellen met kleinere steekproefgroottes uit de voeten te kunnen. Ze ontdekten dat shrinkage wel degelijk hielp om de gemiddelde prestatie te verbeteren, waardoor de modellen dichter bij perfect kwamen. Het introduceerde echter ook een nieuwe vorm van onzekerheid. Omdat je moet inschatten hoeveel je moet krimpen, voegt die inschatting zijn eigen onzekerheid toe. De simulaties toonden aan dat hoewel shrinkage de kans op een goed model verbeterde, het het probleem niet volledig oploste als de steekproefomvang te klein was. Sterker nog, voor zeer kleine modellen (minder dan 6 voorspellers) betekende de extra onzekerheid van shrinkage dat de kans op een goed model niet veel verbeterde. De auteurs suggereren dat shrinkage een nuttig hulpmiddel is, maar dat het niet als een toverstaf gebruikt moet worden om het verzamelen van voldoende data over te slaan.

Een Praktijktest: Hartklepchirurgie

Om te bewijzen dat hun theorie geen computerfantasie was, pasten de auteurs hun methoden toe op een echte dataset van 16.679 patiënten die een hartklepoperatie hadden ondergaan. Ze wilden een model bouwen om het risico op overlijden in het ziekenhuis te voorspellen.

Met de Standaard methode berekenden ze dat ze 2.250 patiënten nodig hadden. Met hun nieuwe PrAP-methode berekenden ze dat ze 2.740 patiënten nodig hadden. Vervolgens voerden ze een simulatie uit waarbij ze herhaaldelijk deze groepen uit de echte data samestelden om te zien wat er gebeurde.

De resultaten bevestigden hun vermoedens. De groep met 2.250 patiënten (Standaard) had een mediane prestatie die goed was, maar de modellen varieerden enorm. Sommigen waren geweldig, anderen waren slecht. De groep met 2.740 patiënten (Nieuw) was veel consistenter. Bijna alle modellen die met deze grotere groep waren gebouwd, vielen binnen het "aanvaardbare" bereik. Bovendien, toen ze shrinkage aan de mix toevoegden, zag de grotere groep (2.740) een duidelijke verbetering in betrouwbaarheid, terwijl de kleinere groep weinig voordeel ondervond.

De Conclusie

De belangrijkste boodschap van dit artikel is een waarschuwing tegen te veel vertrouwen op "gemiddelde" resultaten. In de hooggevoelige wereld van medische voorspelling is een gemiddeld succespercentage niet genoeg als individuele modellen spectaculair kunnen falen. De auteurs suggereren dat om echt betrouwbare risicomodellen te bouwen, vooral die met minder ingrediënten, onderzoekers bereid moeten zijn om meer data te verzamelen. Ze stellen een nieuwe manier voor om steekproefgroottes te berekenen die de kans op succes prioriteert boven het gemiddelde succes.

Hoewel dit kan betekenen dat er meer patiënten verzameld moeten worden dan voorheen nodig werd geacht, is de ruil een model dat stabiel en betrouwbaar is. Zoals de auteurs opmerken: als je 80% zeker wilt zijn dat je model werkt, kun je niet alleen mikken op het gemiddelde; je moet mikken op de veiligheidsmarge. Hun werk biedt de wiskundige instrumenten om precies dat te doen, zodat wanneer een arts op een voorspellingsmodel vertrouwt, het niet slechts een gelukkige gok is, maar een goed geteste recept.