📊 statistics

Predictive Power Analysis of Multiple Test Procedures Under Arbitrary Dependence

Deze studie introduceert een nieuwe Bayesiaanse methode voor voorspellende poweranalyse van meervoudige toetsingsprocedures onder willekeurige afhankelijkheid, die sample size-bepaling en biasreductie mogelijk maakt zonder onafhankelijkheidsaannames, en wordt geïllustreerd met de R-package bnpMTP.

Oorspronkelijke auteurs: George Karabatsos

Gepubliceerd 2026-03-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: George Karabatsos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Gids voor de "Grote Droom": Een Simpele Uitleg van het Nieuwe Wiskundige Werk

Stel je voor dat je een enorme tent met duizenden deuren hebt. Achter elke deur zit een klein experiment. Je wilt weten welke deuren open gaan (dat wil zeggen: welke resultaten echt waar zijn en niet alleen toeval). Maar hier is het probleem: als je te veel deuren tegelijk opent, ga je per ongeluk een paar openen die eigenlijk dicht moeten blijven. Je ziet dan "spookjes" die er niet zijn.

In de statistiek noemen we dit meervoudig toetsen. Om dit op te lossen, hebben wetenschappers al decennia lang regels bedacht (zoals de Bonferroni- of Holm-methode) om te voorkomen dat je te veel fouten maakt. Maar deze oude regels hebben een groot nadeel: ze gaan er vaak van uit dat alle deuren onafhankelijk van elkaar zijn, alsof ze in totaal verschillende gebouwen staan. In werkelijkheid staan ze vaak in dezelfde kamer; als je één deur open doet, beïnvloedt dat de andere.

Dit nieuwe artikel, geschreven door George Karabatsos, introduceert een slimme, nieuwe manier om te voorspellen of je experimenten zullen slagen, zelfs als je niet precies weet hoe die deuren met elkaar verbonden zijn.

Hier is de uitleg in drie simpele stappen, met wat creatieve vergelijkingen:

1. Het Probleem: De "Vaste Kaart" vs. De "Wolk"

Stel je voor dat je een voorspelling doet voor een voetbalwedstrijd.

De oude methode (Conditionele Kracht): Je kijkt naar één vaste kaart. Je zegt: "Als Team A precies 20% beter speelt dan Team B, en de regen precies zo valt, dan winnen ze." Dit is handig, maar als de regen anders valt of Team A net iets minder speelt, is je voorspelling waardeloos. Je negeert de onzekerheid.
De nieuwe methode (Voorspellende Kracht): In plaats van één kaart, neem je een wolk van mogelijke scenario's. Je zegt: "Team A kan 10% beter spelen, of 30%, of misschien zelfs 15%." Je neemt alle mogelijke regenval en alle mogelijke spierkracht in overweging.

Deze nieuwe methode doet precies dat. In plaats van aan te nemen dat je weet hoe sterk de effecten zijn en hoe de experimenten met elkaar samenhangen, maakt hij een wolk van mogelijkheden. Hij gebruikt een wiskundige "wolk" (een Dirichlet-proces) die alle mogelijke manieren waarop de experimenten met elkaar kunnen samenhangen, omvat.

2. De Oplossing: De "Magische Rol"

De auteur gebruikt een nieuw soort wiskundig gereedschap, een Dirichlet-proces.

De Analogie: Stel je voor dat je een magische rol hebt met een oneindig aantal patronen. Je kunt er niet één patroon uit kiezen (want je weet niet welk patroon de natuur gebruikt), dus je laat de rol gewoon rollen. De rol toont je alle mogelijke patronen van samenhang tussen je experimenten.
Wat doet dit? Het zorgt ervoor dat je niet hoeft te raden of te gissen hoe je experimenten met elkaar verbonden zijn. Het systeem "leert" van alle mogelijke verbindingen tegelijkertijd. Hierdoor krijg je een eerlijker voorspelling over hoe groot de kans is dat je je experimenten succesvol kunt herhalen.

3. De Toepassing: De "Gouden Weegschaal"

Een van de coolste dingen die deze methode doet, is het vinden van gewichten.

De Analogie: Stel je hebt een schaal met 41 verschillende appels (experimenten). Sommige appels zijn zwaar en betrouwbaar, andere zijn licht en misschien een beetje rot (door "p-hacking" of publicatiebias, waarbij alleen de mooie resultaten worden gepubliceerd).
De Oude Methode: Zegt: "We tellen alle appels gelijk."
De Nieuwe Methode: Kijkt naar elke appel en zegt: "Deze appel is waarschijnlijk een beetje overdreven, dus we geven hem een lagere score. Deze appel is heel betrouwbaar, dus we geven hem meer gewicht."

Hierdoor kun je de resultaten van je experimenten eerlijker beoordelen. Je kunt zien welke resultaten echt sterk zijn en welke misschien alleen maar "geluk" waren.

Het Praktische Voorbeeld: De Giftige Verf

Om dit te bewijzen, keek de auteur naar een beroemd, oud onderzoek uit de jaren '70 over loodvergiftiging bij kinderen (door verf en benzine).

In dat oude onderzoek werden 41 verschillende tests gedaan.
De oude regels waren verwarrend en soms te streng of te mild.
De nieuwe methode van Karabatsos liep deze 41 tests opnieuw door met zijn "wolk van mogelijkheden".
Het resultaat: De nieuwe methode gaf een veel duidelijker beeld van welke resultaten echt betrouwbaar waren en welke waarschijnlijk door toeval of bias (vooringenomenheid) waren veroorzaakt. Het kon zelfs aangeven welke resultaten "te mooi" waren om waar te zijn (de zogenaamde "significance chasing bias").

Samenvatting in één zin

Dit artikel introduceert een slimme, nieuwe manier om te voorspellen of wetenschappelijke experimenten zullen slagen, door niet te vertrouwen op één vaste regel, maar door te spelen met alle mogelijke scenario's tegelijkertijd, zodat je eerlijker kunt zien wat echt waar is en wat nep.

Het is alsof je van een statische foto van een storm overstapt naar een live-weerkaart die alle mogelijke windrichtingen en stormen in beeld brengt, zodat je precies weet waar je paraplu nodig hebt.

Titel: Voorspellende Power-analyse van Meerdere Testprocedures onder Willekeurige Dependentie

1. Het Probleem

In de moderne statistiek worden vaak meerdere hypothesetests tegelijkertijd uitgevoerd, wat leidt tot een reeks p-waarden die vaak onderling afhankelijk (gecorreleerd) zijn. Traditionele methoden voor het controleren van de Familiële Foutkans (FWER) of de Valse Ontdekkingssnelheid (FDR)—zoals Bonferroni, Holm en Benjamini-Yekutieli—werken vaak goed zonder expliciete modellering van deze correlaties.

Echter, een groot tekort in de huidige literatuur is de power-analyse (de kans om een effect te detecteren) voor deze procedures. Bestaande methoden zijn conditioneel: ze gaan uit van vaste, bekende effectgroottes en een vaste, bekende correlatiematrix tussen de teststatistieken.

Beperkingen: In de praktijk zijn deze parameters zelden exact bekend, vooral bij complexe, heterogene datasets. Het aannemen van een vaste correlatiestructuur is vaak onmogelijk of leidt tot onnauwkeurige schattingen.
Gevolg: Bestaande power-analyses houden geen rekening met de onzekerheid in effectgroottes en correlaties, wat resulteert in suboptimale steekproefgrootte-bepalingen en een gebrek aan robuustheid tegen "significance chasing" (bias door publicatie of p-hacking).

2. Methodologie

Het artikel introduceert een nieuwe voorspellende (predictive) power-analyse methode die onzekerheid expliciet modelleert via Bayesiaanse priors. De kern van de methode is een gezamenlijke prior-verdeling voor de parameters van de teststatistieken onder de alternatieve hypothesen.

Kerncomponenten van de methode:

Verdeling van Teststatistieken: De methode gebruikt een multivariate niet-centrale t-verdeling (of asymptotisch normaal) voor de $m$ teststatistieken.
Gezamenlijke Prior:
1. Locatievector ( $\mu$ ): Een multivariate normale prior voor de verhouding van effectgroottes tot hun standaardfouten. Deze kan gebaseerd zijn op expertoordeel, eerdere studies, of een "power prior" uit historische data.
2. Correlatiematrix ( $P$ ): Een uniforme prior (specifiek de LKJ-verdeling met parameter $\eta=1$ ) voor de $m \times m$ correlatiematrix. Dit is cruciaal omdat het alle mogelijke correlatiestructuren toestaat, in plaats van er één vast te leggen. Dit maakt de analyse "congenial" (goed passend) voor MTP's die werken onder willekeurige afhankelijkheid.
Simulatie-algoritme (Algorithm 1):
- Het algoritme voert Monte Carlo-simulaties uit ( $S$ iteraties).
- In elke iteratie worden $\mu$ en $P$ getrokken uit hun respectievelijke priors.
- Teststatistieken worden gegenereerd uit de multivariate niet-centrale t-verdeling met deze getrokken parameters.
- P-waarden worden berekend en de gekozen MTP (Bonferroni, Holm, BY, of DP-MTP) wordt toegepast.
- De uitkomsten worden gemiddeld om de voorspellende marginale power, gemiddelde power, disjunctieve power (minimaal één ontdekking) en conjunctieve power (alle ontdekkingen) te schatten.

Specifieke MTP's:
De methode is toegepast op:

B-MTP: Bonferroni (FWER-controle).
H-MTP: Holm (FWER-controle).
BY-MTP: Benjamini & Yekutieli (FDR-controle onder willekeurige afhankelijkheid).
DP-MTP: Dirichlet Process MTP (een Bayesiaanse niet-parametrische methode die de hele ruimte van MTP's ondersteunt en onzekerheid in de keuze van de cutoffs kwantificeert).

3. Belangrijkste Bijdragen

Eerste voorspellende power-analyse voor MTP's: Dit is het eerste artikel dat een voorspellende power-analyse biedt voor procedures die FWER of FDR controleren onder willekeurige afhankelijkheid, zonder een vaste correlatiematrix aan te nemen.
Robuustheid tegen Onzekerheid: Door gebruik te maken van een uniforme prior op de correlatiematrix, wordt de onzekerheid over de onderlinge afhankelijkheid volledig meegenomen in de power-schatting.
Bias-detectie en Gewichten: De methode genereert p-waarde gewichten die de power maximaliseren terwijl ze de impact van "significance chasing" (zoals publicatiebias) minimaliseren.
Hellinger Afstand voor Bias: Een nieuwe maatstaf (Hellinger afstand) wordt geïntroduceerd om de mate van "significance chasing bias" per individuele p-waarde te kwantificeren door de geobserveerde uitkomst te vergelijken met de voorspelde power.
Software-implementatie: De methode is geïmplementeerd in het R-package bnpMTP en maakt gebruik van efficiënte algoritmen (Pourahmadi & Wang) voor het genereren van uniforme correlatiematrices.

4. Resultaten (Case Study)

De methode werd geïllustreerd met data uit een beroemde studie over blootstelling aan lood bij kinderen (Needleman et al., 1979), die 41 hypothesetests omvatte (gedragsschalen, IQ-scores, reactietijden).

Vergelijking van MTP's: De DP-MTP, Bonferroni, Holm en BY-MTP werden vergeleken. De DP-MTP leverde marginale powers op die vergelijkbaar waren met de andere methoden, maar bood wel onzekerheidskwantificering.
Bias-analyse: De DP-MTP toonde over het algemeen lagere waarden voor de "significance chasing bias index" (Hellinger afstand) dan de traditionele methoden. Dit suggereert dat de DP-MTP minder gevoelig is voor bias door het ondersteunen van de hele ruimte van mogelijke MTP's in plaats van één vaste cutoff.
Convergentie: De theorie (Stelling 5.1) bewijst dat de schatter bijna zeker convergeert naar de ware verwachting (Strong Law of Large Numbers). Bij 5000 simulaties was de Monte Carlo-variatie extreem laag ( $< 0.00005$ ), wat aantoont dat het algoritme snel convergeert.

5. Betekenis en Conclusie

Dit onderzoek biedt een fundamentele verbetering in de planning en evaluatie van studies met meerdere hypothesetests.

Praktische Toepassing: Onderzoekers kunnen nu steekproefgrootten bepalen voor toekomstige studies (bijv. replicatiestudies) die realistisch rekening houden met onbekende correlaties tussen variabelen.
Kwaliteit van Bewijs: Door de onzekerheid in de correlatiestructuur te modelleren, vermijdt men de valkuil van overoptimistische power-schattingen die vaak leiden tot onderpowered studies.
Transparantie: De methode biedt een manier om te detecteren of resultaten "te verrassend" zijn in vergelijking met de verwachte power, wat een krachtig instrument is tegen p-hacking en publicatiebias.

Samenvattend introduceert Karabatsos een robuuste, simulatiegebaseerde Bayesiaanse framework dat de kloof overbrugt tussen complexe, afhankelijke data en de noodzaak van nauwkeurige power-analyse in de moderne statistiek.