📊 statistics

Critical Values Robust to P-hacking

Dit artikel stelt een model voor van hypothesetoetsing dat p-hacking incorporeert om grotere, "robuuste" kritieke waarden af te leiden—gekalibreerd met behulp van medische wetenschapsgegevens om gelijk te zijn aan klassieke waarden bij een significantieniveau van één vijfde—waardoor wordt gewaarborgd dat significante resultaten met de gewenste frequentie voorkomen, zelfs wanneer onderzoekers hun gedrag aanpassen aan nieuwe standaarden.

Oorspronkelijke auteurs: Adam McCloskey, Pascal Michaillat

Gepubliceerd 2026-07-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Adam McCloskey, Pascal Michaillat

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen. In de wereld van de wetenschap is dit "mysterie" vaak een vraag zoals: "Werkt dit nieuwe medicijn echt?" of "Is deze munt eerlijk?". Om dit op te lossen, gebruiken wetenschappers een speciaal instrument dat een hypothesetest wordt genoemd. Zie deze test als een zeer strenge rechter. De rechter begint met de aanname dat de verdachte onschuldig is (dit wordt de nulhypothese genoemd). De rechter verklaart de verdachte pas schuldig (verwerpt de nulhypothese) als het bewijs zo overweldigend is dat het door puur toeval minder dan 5% van de tijd zou gebeuren. Deze 5%-limiet wordt het significantieniveau genoemd, en het specifieke getal dat het bewijs moet verslaan om als "schuldig" te worden beschouwd, is de kritieke waarde.

Maar hier is het probleem: het echte leven is niet altijd zo netjes als een rechtszaal. Wetenschappers, net als iedereen, willen winnen. Ze willen dat hun bevindingen gepubliceerd worden, dat hun carrières een vlucht nemen en dat hun theorieën beroemd worden. Dit creëert een enorme verleiding om een beetje te "valsspelen", niet door te liegen, maar door keer op keer opnieuw te proberen totdat ze het gewenste resultaat krijgen. Dit wordt p-hacking genoemd. Het is alsof je een dobbelsteen keer op keer gooit totdat je eindelijk een zes krijgt, en dan alleen over die ene zes vertelt terwijl je alle enen, tweeën en drieën verzwijgt. Als iedereen dit doet, worden de "onschuldige" verdachten veel te vaak veroordeeld en begint het hele rechtssysteem van de wetenschap te wankelen. Dit is waarom de "replicatiecrisis" plaatsvindt: veel beroemde wetenschappelijke ontdekkingen blijken vals te zijn omdat de oorspronkelijke wetenschappers bleven dobbelen totdat ze geluk hadden.

Dit artikel van Adam McCloskey en Pascal Michaillat pakt dit probleem van valsspelen rechtstreeks aan. Ze proberen niet te stoppen met het gooien van de dobbelstenen door wetenschappers; ze weten dat zolang de beloningen hoog zijn, wetenschappers zullen blijven proberen. In plaats daarvan hebben ze een wiskundig model gebouwd om te bepalen hoe de regels van het spel kunnen worden aangepast, zodat zelfs als wetenschappers blijven gooien, de "onschuldige" verdachten nog steeds beschermd zijn. Ze ontdekten dat de huidige regels te makkelijk te verslaan zijn. Om dit te repareren, stellen ze een nieuwe, strengere "kritieke waarde" voor die fungeert als een veel hogere drempel die het bewijs moet overschrijden.

Zo werkt hun oplossing, gebruikmakend van een speelse analogie. Stel je voor dat een wetenschapper een gamer is die een level probeert te halen in een videogame. Het "level" is het vinden van een significant resultaat. In het oude systeem had het spel een lage moeilijkheidsgraad. Als de wetenschapper de eerste keer faalde, kon hij gewoon op "retry" klikken hoe vaak hij wilde totdat hij won. Omdat hij kon blijven proberen, won hij uiteindelijk bijna elke keer, zelfs als het spel bedoeld was om onmogelijk te verslaan te zijn door toeval.

De auteurs stellen een nieuwe regel voor: Maak het spel moeilijker. Maar niet zomaets een beetje moeilijker. Ze realiseerden zich dat als je het spel moeilijker maakt, de wetenschapper juist vaker zal spelen om te winnen. Dus moet je het spel zo moeilijk maken dat zelfs met al die extra pogingen, de wetenschapper slechts het juiste aantal keren wint (5% van de tijd, als dat het doel is).

Om uit te rekenen hoe moeilijk het spel precies gemaakt moet worden, keken de auteurs naar echte wereldgegevens van medische studies. Ze vonden dat ongeveer 20% van de studies wordt gestopt voordat ze zijn voltooid omdat de wetenschappers geld, tijd of energie tekortkomen. Dit betekent dat er een kans van 80% is dat een wetenschapper een enkel experiment kan voltooien. Met dit getal in gedachten berekenden ze dat om het valsspelen te stoppen, de "moeilijkheidsgraad" van het spel drastisch verhoogd moet worden.

Hun belangrijkste bevinding is een eenvoudige, krachtige vuistregel: Om p-hacking op te lossen, moet je handelen alsof je significantieniveau vijf keer kleiner is dan het in werkelijkheid is.

Als een wetenschapper wil beweren dat een resultaat significant is op het standaardniveau van 5%, moet hij niet de gebruikelijke kritieke waarde gebruiken (die 1,96 is voor een tweezijdige toets). In plaats daarvan moet hij de kritieke waarde gebruiken die overeenkomt met een niveau van 1% (die 2,58 is).

Waarom werkt dit? De auteurs laten zien dat wanneer je de lat naar 2,58 verhoogt, wetenschappers inderdaad meer zullen proberen. Ze zullen meer experimenten uitvoeren, meer datapunten verwijderen en meer modellen aanpassen in hun wanhopige poging om die hogere lijn te overschrijden. Maar omdat de lijn zo hoog ligt, zullen ze zelfs met al die extra inspanningen slechts ongeveer 5% van de tijd slagen in het overschrijden ervan door puur geluk. Het "valsspelen" vindt nog steeds plaats, maar het breekt het systeem niet langer af.

Het artikel sluit de mogelijkheid uit dat we simpelweg wetenschappers kunnen vertellen om "op te houden met valsspelen" of dat we dit kunnen oplossen door simpelweg te tellen hoe vaak ze geprobeerd hebben. De auteurs betogen dat wetenschappers altijd hun gedrag zullen aanpassen aan welke regels we ook stellen. Als we een regel instellen die zegt "je mag slechts drie keer proberen", zullen wetenschappers gewoon een manier vinden om vier keer te proberen. De enige manier om te garanderen dat het systeem werkt, is door een kritieke waarde in te stellen die rekening houdt met het feit dat wetenschappers zullen blijven proberen totdat ze hun middelen uitgeput hebben.

De auteurs zijn zeer zeker over hun wiskunde. Ze hebben niet zomaar wat geraden; ze hebben een rigoureus model gebouwd met behulp van waarschijnlijkheidstheorie en "optimal stopping" (een chique manier om te zeggen: "wanneer stop je met het spel spelen"). Ze hebben hun idee getest met verschillende scenario's, zoals het toevoegen van kosten aan experimenten of het moeilijker maken om latere experimenten te voltooien, en hun oplossing bleef standhouden. Ze hebben hun bevindingen ook vergeleken met een populaire suggestie van andere onderzoekers om het significantieniveau simpelweg te verlagen naar 0,5%. De auteurs suggereren dat hoewel het verlagen van het niveau een goed idee is, hun model precies laat zien hoeveel je het moet verlagen op basis van hoeveel middelen wetenschappers hebben om te blijven proberen.

Uiteindelijk biedt het artikel een praktisch schild voor de wetenschap. Het suggereert dat als we weer op onze wetenschappelijke resultaten willen vertrouwen, we moeten stoppen met het gebruik van de oude, makkelijk te verslaan getallen. We moeten deze "robuuste kritieke waarden" adopteren. Voor een standaard tweezijdige toets betekent dit de lat te verplaatsen van 1,96 naar 2,58. Het is een hogere drempel, ja, en het betekent dat er minder "doorbraken" elke dag worden aangekondigd. Maar de ruilhandel is dat de doorbraken die we wel aankondigen daadwerkelijk echt zijn, en dat de "onschuldige" nulhypothesen eindelijk veilig zijn voor de veroordeling door een gelukkige worp van de dobbelsteen.

Technisch Overzicht: Kritieke Waarden Robuust tegen P-hacking

Probleemstelling
P-hacking—de praktijk waarbij gedrag wordt vertoond om de waarschijnlijkheid van het rapporteren van statistisch significante resultaten te vergroten—is wijdverbreid in wetenschappelijk onderzoek, maar afwezig in de klassieke theorie van hypothesetests. Als gevolg hiervan worden ware nulhypothesen vaker verworpen dan het nominale significantieniveau ( $\alpha$ ) suggereert onder klassieke kritieke waarden. Dit komt doordat wetenschappers sterke prikkels hebben (publicatie, carrièrevoortgang) om naar significantie te zoeken en voldoende flexibiliteit bezitten in gegevensverzameling en -analyse om dit te doen zonder de normen te schenden. Klassieke correcties voor meervoudig testen (bijv. Bonferroni) slagen er niet in dit probleem op te lossen omdat zij de behandeling van het aantal experimenten als vast beschouwen. In werkelijkheid passen wetenschappers hun gedrag aan als reactie op nieuwe standaarden; als een correctie het bereiken van significantie moeilijker maakt, zullen wetenschappers simpelweg meer experimenten uitvoeren totdat ze een significant resultaat vinden, waardoor de correctie wordt overstemd.

Methodologie
De auteurs ontwikkelen een structureel model van hypothesetestend dat expliciet p-hackinggedrag incorporeert met behulp van optimale stoptheorie.

De omgeving van de wetenschapper: Een wetenschapper test een nulhypothese ( $H_0$ ) tegen een alternatieve hypothese ( $H_1$ ). De wetenschapper ontvangt een hoge beloning ( $v_s$ ) voor een significant resultaat en een lagere beloning ( $v_i$ ) voor een insignificant resultaat.
Resource-beperkingen: Het uitvoeren van experimenten verbruikt eindige middelen (tijd, geld, uithoudingsvermogen). De totale limiet van de middelen $L$ volgt een exponentiële verdeling. De kosten van elk experiment zijn random. Een wetenschapper stopt wanneer de middelen uitgeput zijn (index $K$ ) of wanneer een significant resultaat is gevonden.
P-hacking Strategie: De wetenschapper voert experimenten sequentieel uit ( $n=1, 2, \dots$ ). Als een resultaat insignificant is en er nog middelen over zijn, gaat de wetenschapper door naar het volgende experiment. Als een resultaat significant is, stopt de wetenschapper en rapporteert hij dit. Als de middelen uitgeput zijn voordat significantie is bereikt, rapporteert de wetenschapper het beste (maximale) statistiek tot nu toe, wat noodzakelijkerwijs insignificant is.
Voltooiingskans ( $\gamma$ ): Het model definieert $\gamma$ als de kans dat het eerste experiment wordt voltooid voordat de middelen uitgeput zijn. Deze parameter vangt de gemak van het uitvoeren van onderzoek en de prevalentie van resource-beperkingen op.
Afleiding van Robuuste Kritieke Waarden:
- De auteurs leiden het verwachte aantal experimenten $E(N(z))$ af dat een wetenschapper uitvoert onder een kritieke waarde $z$ wanneer $H_0$ waar is.
- Ze berekenen de werkelijke kans op een Type I-fout ( $S^*(z)$ ), wat de kans is dat het gerapporteerde statistiek de waarde $z$ overschrijdt. Dit wordt getoond als $S^*(z) = S(z) \times E(N(z))$ , waarbij $S(z)$ de klassieke overlevingsfunctie is.
- De robuuste kritieke waarde ( $z^*$ ) wordt gedefinieerd als de waarde die voldoet aan $S^*(z^*) = \alpha$ . Dit zorgt ervoor dat zelfs wanneer wetenschappers hun p-hackinggedrag optimaal aanpassen aan de nieuwe standaard, de frequentie van valse verwerpen op het gewenste niveau $\alpha$ blijft.

Belangrijkste Bijdragen en Resultaten

Optimaal Stopgedrag: Het model toont aan dat de optimale strategie voor een wetenschapper is om door te experimenteren totdat een significant resultaat is gevonden of de middelen zijn uitgeput. Dit leidt tot een geometrische verdeling van de stoptijd.
De Formule voor de Robuuste Kritieke Waarde: Het artikel leidt een niet-standaard Bonferroni-correctie af. De robuuste kritieke waarde $z^*$ voor een significantieniveau $\alpha$ is gelijk aan de klassieke kritieke waarde voor een gereduceerd significantieniveau $\alpha^*$ , waarbij:
$\alpha^* = \frac{\alpha}{E(N(z^*))}$
Cruciaal is dat $E(N(z^*))$ het verwachte aantal experimenten is onder de robuuste kritieke waarde, en niet de klassieke één. De auteurs laten zien dat $z^*$ impliciet wordt gedefinieerd door:
$z^* = Z\left( \alpha \cdot \frac{1 - \gamma}{1 - \alpha\gamma} \right)$
waarbij $Z$ de inverse overlevingsfunctie van de teststatistiek is.
Gedragsrespons: In tegen tegenstelling tot eerdere correcties, houdt deze benadering rekening met de gedragsrespons: naarmate de kritieke waarde strenger wordt, p-hackt de wetenschapper meer (verhoogt $E(N)$ ). De robuuste kritieke waarde is altijd groter dan de klassieke kritieke waarde om deze toegenomen experimentatie te compenseren.
Generaliseerbaarheid: De robuuste kritieke waarde afgeleid onder de aanname van onafhankelijke experimenten blijft geldig voor een breed scala aan andere p-hackingstrategieën (bijv. het samenvoegen van data, het verwijderen van uitschieters, het zoeken naar specificaties), zolang deze strategieën een positieve afhankelijkheid tussen teststatistieken induceren.

Numerieke Illustratie en Kalibratie
De auteurs kalibreren het model met behulp van gegevens uit de medische wetenschappen (Dwan et al., 2008) met betrekking tot de levenscyclus van studies.

Kalibratie: Ze schatten de voltooiingskans $\gamma$ door het deel van de goedgekeurde studies te analyseren die nooit zijn gestart of voortijdig zijn gestopt. De geschatte voltooiingskans is $\gamma = 80\%$ .
Vuistregel: Met $\gamma = 0,8$ $γ = 0, 8$ is het effectieve vereiste significantieniveau om een 5% Type I-foutpercentage te handhaven ongeveer $\alpha/5$ $α /5$ .
- Voor een eenzijdige z-test met $\alpha=5\%$ , is de robuuste kritieke waarde 2,33 (tegenover de klassieke 1,64).
- Voor een tweezijdige z-test met $\alpha=5\%$ , is de robuuste kritieke waarde 2,58 (tegenover de klassieke 1,96).
Gevoeligheid: De robuuste kritieke waarden zijn relatief ongevoelig voor variaties in $\gamma$ . Zelfs als $\gamma$ varieert tussen 70% en 90%, blijven de kritieke waarden voor een tweezijdige test tussen 2,42 en 2,79.

Betekenis en Claims
Het artikel beweert een theoretische basis te bieden voor het aanpassen van significantiestandaarden om rekening te houden met de realiteit van p-hacking.

Herstel van Geloofwaardigheid: Door robuuste kritieke waarden te gebruiken, kan de wetenschappelijke gemeenschap ervoor zorgen dat de snelheid van valse positieven (Type I-fouten) het geadverteerde significantieniveau niet overschrijdt, zelfs in aanwezigheid van optimale p-hacking.
Vergelijking met Alternatieven: De auteurs contrasteren hun benadering met de registratie van pre-analyseplannen. Hoewel registratie bepaalde vormen van p-hacking voorkomt, kan het exploratieve data-analyse in de weg zitten. Robuuste kritieke waarden laten exploratie toe terwijl de statistische validiteit behouden blijft. Bovendien voorkomt registratie niet dat wetenschappers experimenten herhalen totdat ze een significant resultaat vinden; robuuste kritieke waarden pakken specifiek deze beperking aan. Verder voorkomt registratie niet dat wetenschappers experimenten herhalen totdat ze een significant resultaat vinden; robuuste kritieke waarden pakken specifiek deze beperking aan.
Theoretische Koppeling aan Voorstellen: De analyse biedt een theoretische onderbouwing voor voorstellen om significantieniveaus te verlagen (bijv. van 5% naar 0,5% zoals gesuggereerd door Benjamin et al., 2018). Het artikel laat zien dat de omvang van de vereiste reductie afhangt van de voltooiingskans (beschikbaarheid van middelen) van het vakgebied. Een 10-voudige reductie komt overeen met een voltooiingskans van 90%, terwijl een 5-voudige reductie overeenkomt met 80%.

Het artikel concludeert dat robuuste kritieke waarden een noodzakelijk instrument zijn om de informatieve waarde van hypothesetests te behouden in een omgeving waar wetenschappers prikkels en mogelijkheden hebben om naar significantie te zoeken.

Meer zoals dit