The anatomy of regression-to-the-mean in simulated epilepsy trials
Met behulp van een grootschalige simulatie van epilepsiepatiënten toont deze studie aan dat regressie naar het gemiddelde schijnbare placebo-responsen kunstmatig kan opblazen door middel van verschillende mechanismen—waaronder tijdelijke verergering van de ziekte, striktere toelatingscriteria, verminderde meetgevoeligheid en valse alarmen—waardoor kritische inzichten worden geboden voor het verbeteren van trialontwerp en het interpreteren van eindpunten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je voor dat je probeert uit te zoeken of een nieuwe, luxe paraplu de regen echt beter tegenhoudt dan je oude, versleten exemplaar. Om dit te testen, besluit je te meten hoe nat je wordt. Maar hier komt de crux bij: je begint je test direct tijdens de absoluut ergste, meest striemende regenbui van het jaar. Natuurlijk is de volgende ochtend waarschijnlijk minder regenachtig, simpelweg omdat de storm aan het passeren is. Als je de "supernatte" eerste uur vergelijkt met het "net-niet-zo-natte" tweede uur, lijkt het alsof je nieuwe paraplu een wonder is, zelfs als hij niets bijzonders doet. In de wetenschap wordt deze truc van de geest "regressie naar het gemiddelde" genoemd. Het gebeurt telkens wanneer we een groep mensen of dingen selecteren op basis van een extreem moment (zoals een verschrikkelijke dag) en ze daarna observeren; ze keren bijna altijd terug naar hun normale, gemiddelde staat. Dit is van groot belang in de geneeskunde, vooral bij aandoeningen zoals epilepsie, waarbij patiënten aanvallen hebben die in golven komen en gaan. Als een klinische studie patiënten selecteert op het moment dat ze midden in een "aanvalsgolf" zitten, kan de latere verbetering simpelweg het gevolg zijn van het feit dat de storm gaat liggen, en niet van de medicijnen die werken.
Dit artikel van Daniel Goldenholz en zijn team fungeert als een gigantisch, digitaal laboratorium waarin zij een miljoen nep-patiënten bouwden om precies te zien hoe deze "statistische illusie" werkt bij epilepsie-onderzoeken. Ze testten geen echte mensen; in plaats daarvan gebruikten ze een computerprogramma genaamd CHOCOLATES om 1.000.000 patiënten te simuleren met 36 maanden aan dagelijkse registraties van aanvallen. Vervolgens voerden ze een nagespeeld experiment uit: ze kozen patiënten die een hoog aantal aanvallen hadden in een twee maanden durende "baseline"-periode en observeerden wat er in de volgende drie maanden gebeurde zonder hen daadwerkelijk medicatie toe te dienen. Het doel was om te zien hoeveel "verbetering" er puur door toeval zou optreden.
De onderzoekers ontdekten dat de "placebo-verbetering" die in deze onderzoeken wordt gezien niet slechts één ding is; het is eigenlijk drie verschillende trucs die hetzelfde masker dragen. Ze noemden ze Type 1, Type 2 en Type 3.
Type 1 is als een tijdelijke slechte bui. Stel je een patiënt voor die normaal gesproken een paar aanvallen per maand heeft, maar gedurende twee maanden ziek wordt of stress ervaart, waardoor hun aanvallen pieken. Als de trial hen oppikt tijdens deze piek, zullen ze vanzelf beter worden wanneer ze terugkeren naar hun normale leven, waardoor het lijkt alsof de trial heeft geholpen. In de simulatie, toen deze "tijdelijke ziekte" overlapte met de startperiode van de trial, leken de nep-patiënten enorm te zijn verbeterd met 92,6%, ook al waren ze simpelweg aan het herstellen van een slechte periode.
Type 2 is een spel van kansen met de regels. Stel je voor dat je aan het vissen bent, maar je houdt alleen de grootste vissen die je vangt. Als je de regel verandert naar: "We houden alleen vissen die minstens 8 inch lang zijn" in plaats van "4 inch", dwing je jezelf om de absoluut grootste, meest extreme vissen te selecteren. In de studie, toen ze de regel strenger maakten (een vereiste van 8 aanvallen per maand in plaats van 4), selecteerden ze patiënten die zich in hun absoluut slechtste momenten bevonden. Omdat die momenten zo extreem waren, keerden de patiënten later vanzelf terug naar hun gemiddelde. Deze regelwijziging alleen al zorgde ervoor dat de "verbetering" eruitzag als 29,4%, terwijl er niets veranderde aan de hersenen van de patiënten.
Type 3 gaat over rommelige meetinstrumenten. Stel je voor dat je vogels in een boom probeert te tellen, maar je verrekijker is beslagen, of je ziet steeds bladeren aan voor vogels. In de simulatie hebben ze de "dagboekregistratie" die gebruikt wordt om aanvallen te tellen, aangepast. Wanneer ze het tellen minder nauwkeurig maakten (de gevoeligheid verlaagden naar 70%), leken de patiënten te zijn verbeterd met 33,3%. Nog erger: toen ze "vals alarm" toevoegden (dingen die geen aanvallen waren, maar wel als zodanig werden geteld) met een frequentie van 1 per dag, sprong de nep-verbetering naar 46,0%. Dit laat zien dat als je telmethode imperfect is, het een vals verhaal van verbetering kan creëren.
De belangrijkste les van deze simulatie is dat wanneer een placebo-groep in een epilepsie-onderzoek "beter" wordt, dit niet noodzakelijkerwijs betekent dat ze een psychologische boost ervaren of dat er een magische helende kracht aan het werk is. In deze computermodellen was er geen medicatie, geen verwachting van verbetering en geen blindering. De verbetering gebeurde puur door de manier waarop de patiënten werden geselecteerd en hoe hun aanvallen werden geteld. De auteurs suggereren dat we, voordat we een behandeling de schuld geven of er de eer aan geven, moeten begrijpen of de verbetering simpelweg het verstrijken van de storm is (Type 1), de regels van het spel (Type 2), of een foutje in het tellen (Type 3). Door te beseffen dat dit drie verschillende mechanismen zijn, kunnen wetenschappers betere onderzoeken ontwerpen die niet worden gefopt door de wiskunde.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.