📊 statistics

Balancing Evidentiary Value and Sample Size of Adaptive Designs with Application to Animal Experiments

Dit artikel stelt de Experimental Unit Information Index (EUII) voor, een nieuwe maatstaf die statistische foutpercentages en steekproefomvang in evenwicht brengt om de bewijskracht van individuele experimentele eenheden te kwantificeren, en toont de bruikbaarheid daarvan aan bij het optimaliseren van adaptieve dierexperimenten om steekproefomvang te verkleinen terwijl betrouwbare conclusies behouden blijven.

Oorspronkelijke auteurs: Leonhard Held, Fadoua Balabdaoui, Saverio Fontana, Samuel Pawel

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Leonhard Held, Fadoua Balabdaoui, Saverio Fontana, Samuel Pawel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een wetenschapper bent die experimenten uitvoert op dieren. Je doel is om uit te vinden of een nieuwe behandeling werkt. Maar je hebt ook een morele en praktische plicht: je wilt zo weinig mogelijk dieren gebruiken (het principe "Reduce") terwijl je er toch absoluut zeker van bent dat je resultaten echt zijn en niet slechts een gelukstreffer.

Meestal spelen wetenschappers een lastig evenwichtsspel. Als ze te weinig dieren gebruiken, kunnen ze een echt effect missen. Als ze te veel gebruiken, verspillen ze middelen. Traditioneel vergelijken ze verschillende experimentopzetten door naar twee cijfers te kijken: hoe vaak ze een vals alarm geven (Type I-fout) en hoe vaak ze succesvol een echt effect vinden (Power).

Maar dit artikel introduceert een nieuwe manier om naar het probleem te kijken. Het vraagt: "Hoeveel bruikbare informatie geeft één enkel dier ons eigenlijk?"

Hier is de uiteenzetting van hun idee met eenvoudige analogieën:

1. Het probleem met de oude manier

Stel je voor dat je probeert te raden of een munt eerlijk is of scheef.

Methode A: Je gooit de munt 100 keer. Je krijgt een duidelijk antwoord.
Methode B: Je gooit de munt 10 keer, maar je bedriegt een beetje door vooruit te kijken naar de resultaten en te stoppen als je een patroon ziet. Je krijgt sneller een antwoord, maar je "bedrog" maakt je foutenpercentage iets hoger.

Traditioneel is het vergelijken van Methode A en Methode B moeilijk omdat ze verschillende regels hebben voor "bedrog" (foutenpercentages) en verschillende kosten (aantal worpen). Je kunt niet eenvoudig zeggen welke "beter" is door alleen naar de ruwe cijfers te kijken.

2. Het nieuwe hulpmiddel: De "Dierinformatiescore" (EUII)

De auteurs hebben een nieuwe score bedacht die de Experimental Unit Information Index (EUII) heet. Denk hierbij aan een "Waarde per Dier" score.

Om dit te begrijpen, hebben ze een concept uit medische diagnostiek overgenomen: de Diagnostic Odds Ratio.

Stel je een medische test voor een ziekte voor. Een "goede" test is er een waarbij een positief resultaat sterk suggereert dat je de ziekte hebt, en een negatief resultaat sterk suggereert dat je gezond bent.
De auteurs realiseerden zich dat een statistisch experiment precies zo werkt als een medische test. De "ziekte" is de hypothese dat de behandeling werkt.
Ze berekenden een score die je vertelt: "Als ik één dier toevoeg aan mijn experiment, hoe zeer verbetert dit dan mijn vermogen om de waarheid van een leugen te onderscheiden?"

Als de score hoog is, werkt elk dier dat je gebruikt zeer hard om je een duidelijk antwoord te geven. Als de score laag is, verspil je dieren aan gegevens die niet veel helpen.

3. De "Vroeg Stoppen" truc (Adaptieve Ontwerpen)

Het artikel concentreert zich sterk op Adaptieve Ontwerpen. Dit is als een detective die niet vasthoudt aan een star plan.

Het Plan: "Ik zal 100 getuigen interviewen."
De Adaptieve Twist: "Ik zal getuigen één voor één interviewen. Als ik bij getuige #20 een rookend pistool vind, stop ik direct (Stop bij effectiviteit). Als ik bij getuige #30 besef dat het verhaal geen zin heeft, stop ik direct omdat het tijdverspilling is (Stop bij nutteloosheid)."

Dit bespaart dieren (of getuigen) omdat je de rest niet interviewt als je het antwoord al weet. Echter, vroeg stoppen verandert de wiskunde. Het maakt de berekening van de "Waarde per Dier" lastig, omdat het aantal gebruikte dieren niet meer vaststaat.

4. Wat ze vonden

De auteurs namen deze nieuwe "Waarde per Dier" score en pasten deze toe op duizenden echte eerdere dierexperimenten (ongeveer 2.700 ervan) om te zien wat er zou zijn gebeurd als ze deze "Vroeg Stoppen" regels hadden gebruikt.

De Grote Win: Ze ontdekten dat het gebruik van "Vroeg Stoppen" regels (vooral een specifiek type genaamd het Pocock-ontwerp) een enorm aantal dieren kan besparen. In hun simulatie konden ze meer dan 13.000 dieren besparen over die studies heen door vroeg te stoppen wanneer de resultaten duidelijk waren.
De Ruil: Soms betekent vroeg stoppen dat je de "nulhypothese" (dat de behandeling werkt) iets minder vaak verwerpt dan bij een star ontwerp. Maar de auteurs betogen dat dit acceptabel is, omdat de kwaliteit van de informatie per overgebleven dier hoger is.
De Winnaar: Onder de verschillende "Vroeg Stoppen" strategieën gaf de Pocock-methode (die een consistente, iets losser drempel gebruikt voor vroeg stoppen) over het algemeen de hoogste "Waarde per Dier" score. Het was het meest efficiënt in het persen van informatie uit elk gebruikt dier.

5. De "N-Hacking" Controverse

Het artikel keek ook naar een methode genaamd "N-hacking" (of "Constrained Sample Augmentation"), voorgesteld door een andere onderzoeker genaamd Reinagel.

Het Idee: Als de resultaten er "bijna significant" uitzien, voeg je een paar extra dieren toe om te zien of het de lijn oversteekt. Als het hopeloos lijkt, stop je.
De Vangst: Deze methode verhoogt technisch gezien de kans op een vals alarm (Type I-fout).
Het Oordeel: De auteurs ontdekten dat Reinagels methode, zelfs met dit hogere foutenpercentage, zeer efficiënt was in het besparen van dieren en een hoge "Waarde per Dier" score had. Ze merkten echter op dat de Pocock-methode (die fouten strikt controleert) nog steeds een zeer sterke kandidaat was en vaak net zo goed of beter presteerde, afhankelijk van de situatie.

De Conclusie

Dit artikel zegt niet alleen "gebruik minder dieren". Het biedt een wiskundige liniaal om precies te meten hoeveel informatie elk dier bijdraagt.

Door deze liniaal te gebruiken, lieten ze zien dat experimenten vroeg stoppen (wanneer het antwoord duidelijk is of wanneer het hopeloos is) een slimme manier is om het principe "Reduce" te volgen. Het stelt wetenschappers in staat om betrouwbare antwoorden te krijgen met minder dieren, zonder de betrouwbaarheid van de wetenschap op te offeren. Het Pocock-ontwerp kwam naar voren als een topprioriteit voor het bereiken van dit evenwicht in dieronderzoek.

Technische Samenvatting: Het Balanceren van Evidentiële Waarde en Steekproefomvang bij Adaptieve Ontwerpen met Toepassing op Dierproeven

Probleemstelling
In dieronderzoek pleit de "Reduce"-pijler van de 3R-principes (Replace, Reduce, Refine) voor het minimaliseren van het aantal experimentele eenheden terwijl betrouwbare statistische inferenties behouden blijven. Standaard statistische hypothetetoetsing richt zich doorgaans op het beheersen van de Type-I-foutkans ( $\alpha$ ) en het maximaliseren van de power, waarbij de verwachte steekproefomvang vaak wordt genegeerd of als een vaste beperking wordt behandeld. Dit creëert een uitdaging bij het vergelijken van verschillende experimentele ontwerpen, met name adaptieve ontwerpen (bijvoorbeeld groepssequentiële ontwerpen) die toelaten om vroegtijdig te stoppen wegens efficentie of futiliteit. Dergelijke ontwerpen resulteren in een willekeurige steekproefomvang, waardoor directe vergelijkingen van power en foutkansen moeilijk worden, vooral wanneer ontwerpen verschillende Type-I-foutkansen of verwachte steekproefomvang hebben. Bestaande prestatiescores houden vaak geen rekening met variaties in steekproefomvang of vereisen willekeurige weging van componenten. Het artikel adresseert de behoefte aan een unificerende maatstaf die Type-I-fout, power en steekproefomvang in evenwicht brengt om de evidentiële waarde van een enkele experimentele eenheid te kwantificeren.

Methodologie
De auteurs stellen een nieuwe maatstaf voor, genaamd de Experimental Unit Information Index (EUII). De methodologie is gebaseerd op de volgende logische stappen:

Diagnostische Likelihood-ratio's: De auteurs passen concepten uit diagnostisch testen toe op statistische hypothetetoetsing. Zij definiëren positieve en negatieve likelihood-ratio's ( $LR_+$ en $LR_-$ ) voor een testresultaat:
- $LR_+ = \text{Power} / \text{Type-I-foutkans}$
- $LR_- = (1 - \text{Power}) / (1 - \text{Type-I-foutkans})$
  Deze ratio's relateren de odds dat de alternatieve hypothese ( $H_1$ ) waar is, gegeven een significant of niet-significant resultaat.
Diagnostische Odds Ratio (DOR): De DOR wordt gedefinieerd als de ratio van deze likelihood-ratio's ( $DOR = LR_+ / LR_-$ ). Het kwantificeert het vermogen van een test om te discrimineren tussen $H_1$ en $H_0$ , en is interpreteerbaar zowel als de ratio van significantie-odds onder $H_1$ versus $H_0$ (frequentistisch) als de ratio van posterior-odds van $H_1$ gegeven een significant versus een niet-significant resultaat (Bayesiaans).
Normalisatie voor Steekproefomvang (EUII): Om rekening te houden met het aantal experimentele eenheden ( $n$ ), stellen de auteurs voor om de $n$ -de wortel van de DOR te nemen:
$EUII = DOR^{1/n} = \frac{(LR_+)^{1/n}}{(LR_-)^{1/n}}$
Dit vertegenwoordigt de geometrische gemiddelde bijdrage van een enkele experimentele eenheid aan de totale evidentiële waarde. Een bruikbare test heeft een $EUII > 1$.
Uitbreiding tot Adaptieve Ontwerpen: Voor adaptieve ontwerpen waarbij de steekproefomvang $N$ willekeurig is, generaliseren de auteurs de EUII. Aangezien de likelihood-ratio's multiplicatief werken op de odds, wordt de index gedefinieerd met behulp van de verwachte inverse steekproefomvang voor significante ( $N_+$ ) en niet-significante ( $N_-$ ) bevindingen:
$EUII = (LR_+)^{E(1/N_+)} / (LR_-)^{E(1/N_-)}$
Deze formulering houdt rekening met de variabiliteit in steekproefomvang (via de variatiecoëfficiënt) en vereist een invoer voor de prior-kans van de alternatieve hypothese, $Pr(H_1)$ , om de verwachte inverse steekproefomvang onder de nul- en alternatieve hypothese te wegen.

Belangrijkste Bijdragen en Resultaten

Theoretische Eigenschappen: Het artikel leidt de asymptotische waarde van de EUII af voor vaste steekproefomvang. Voor een one-sample $z$ -toets geldt $\lim_{n \to \infty} EUII = \exp(\delta^2/2)$ , waarbij $\delta$ de gestandaardiseerde effectgrootte is. Voor een two-sample test is de limiet $\exp(\delta^2/8)$ . Dit toont aan dat de asymptotische evidentiële waarde uitsluitend afhangt van de aangenomen effectgrootte onder de alternatieve hypothese.
Motiverend Casestudy (Bonapersona et al., 2021): De auteurs analyseerden 2.738 dierproeven in neurowetenschappen en metabolisme opnieuw. Door interim-analyses te simuleren, toonden zij aan dat groepssequentiële ontwerpen met stoppen wegens futiliteit aanzienlijke aantallen dieren kunnen besparen (bijvoorbeeld bespaarde het Pocock-ontwerp met stoppen wegens futiliteit ongeveer 13.500 dieren in de dataset) terwijl redelijke afwijzingspercentages behouden blijven.
Vergelijking van Groepssequentiële Ontwerpen: In simulaties waarbij Pocock, O'Brien-Fleming en Haybittle-Peto ontwerpen werden vergeleken (met en zonder stoppen wegens futiliteit), onthulde de EUII dat:
- Adaptieve ontwerpen over het algemeen hogere EUII-waarden opleveren dan ontwerpen met vaste steekproefomvang.
- De Pocock-methode consequent de hoogste EUII vertoonde, vooral in combinatie met stoppen wegens futiliteit. Dit wordt toegeschreven aan haar constante nominale significantieniveaus, die vroegtijdig stoppen onder de nulhypothese toelaten, waardoor de verwachte steekproefomvang voor niet-significante bevindingen wordt verminderd.
- De EUII is gevoelig voor de prior-kans $Pr(H_1)$ , hoewel de relatieve rangschikking van methoden vaak stabiel blijft.
Evaluatie van "Constrained Sample Augmentation" (N-hacking): Het artikel evalueerde de methode "constrained sample augmentation" van Reinagel (2023), waarbij data worden toegevoegd als er een "trend naar significantie" wordt waargenomen, mits een stop wegens futiliteit wordt toegepast als $p > 0,1$ $p > 0, 1$ .
- Hoewel deze methode de Type-I-foutkans inflatieert, toonde de EUII-analyse aan dat het een hoge evidentiële waarde per eenheid kan bereiken, vaak beter presterend dan standaard groepssequentiële methoden zonder stoppen wegens futiliteit.
- Echter, wanneer standaard groepssequentiële methoden (zoals Pocock) eveneens zijn uitgerust met stoppen wegens futiliteit (gebaseerd op predictieve power), halen ze vaak de EUII van de aanpak van Reinagel in of overtreffen deze, vooral voor grotere effectgroottes.

Betekenis en Claims
Het artikel claimt dat de EUII een "maatstaf voor de evidentiële waarde van één experimentele eenheid" biedt die directe vergelijking mogelijk maakt tussen statistische ontwerpen met verschillende Type-I-foutkansen, power-niveaus en verwachte steekproefomvang.

Praktische Nut: De auteurs betogen dat de EUII bijzonder nuttig is voor dieronderzoek waar het doel is om informatie per dier te maximaliseren. Het biedt een enkele maatstaf om de afwegingen tussen foutkansen en efficiëntie van de steekproefomvang in evenwicht te brengen.
Selectie van Ontwerp: De resultaten suggereren dat voor dierproeven groepssequentiële ontwerpen met constante significantiedrempels (zoals Pocock) in combinatie met stoppen wegens futiliteit vaak optimaal zijn, omdat ze de verwachte steekproefomvang onder de nulhypothese minimaliseren zonder afbreuk te doen aan de evidentiële waarde.
Bescheiden Omvang: De auteurs erkennen dat de EUII afhankelijk is van de specificatie van de prior-kans $Pr(H_1)$ en de aangenomen effectgrootte. Zij merken op dat de EUII in de praktijk vaak vereist dat deze via simulatie wordt geschat. Het artikel claimt niet dat de EUII een vervanging is voor powerberekeningen, maar eerder een complementaire maatstaf voor selectie en optimalisatie van ontwerpen, met name in de context van de 3R-principes.

Het artikel concludeert dat de EUII succesvol frequentistische foutkansen en Bayesiaanse posterior-odds integreert in een aan de steekproefomvang aangepaste maatstaf, en zo een robuust kader biedt voor het evalueren en optimaliseren van adaptieve experimentele ontwerpen in preklinisch onderzoek.