📊 statistics

Statistical Significance Revisited

Dit artikel onderzoekt recente oproepen tot hervorming van praktijken rond statistische significantie—zoals het verlaten van de standaarddrempel van 0,05 en het voorbijgaan aan binair hypothese-toetsen—door de sterke punten en tekortkomingen van deze voorgestelde wijzigingen te analyseren.

Oorspronkelijke auteurs: Reason Machete

Gepubliceerd 2026-05-08

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Reason Machete

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: Is er een echt patroon in de data, of is het gewoon toeval?

Al bijna een eeuw gebruiken wetenschappers een specifiek hulpmiddel genaamd een Significantietest (en de belangrijkste uitkomst daarvan, de p-waarde) om hierop een antwoord te vinden. Beschouw de p-waarde als een "verdachte-meter". Als de meter zeer laag staat (meestal onder de 0,05, of 5%), zegt de detective: "Dit is te onwaarschijnlijk om toeval te zijn; er moet hier een echt patroon zijn!"

Echter, recentelijk hebben veel mensen betoogd dat dit hulpmiddel defect is. Zij zeggen dat het leidt tot te veel "valse alarmen" (patronen vinden die er niet echt zijn) en dat de 5%-drempel willekeurig is. Dit artikel, geschreven door R. L. Machete, duikt diep in deze klachten en vraagt zich af: Moeten we het hulpmiddel weggooien, de regels aanscherpen, of gewoon leren het beter te gebruiken?

Hier volgt een uiteenzetting van de argumenten uit het artikel, met behulp van eenvoudige analogieën.

1. De Twee Scholen van Denken: De Poortwachter versus de Speler

Het artikel begint met de geschiedenis van dit hulpmiddel uit te leggen.

Fisher (De Poortwachter): Hij bedacht de test om te zien of een resultaat "voldoende verrassend" was om het idee te verwerpen dat er niets gebeurt (de Nulhypothese). Hij gebruikte een drempel van 5%, maar waarschuwde ervoor om deze niet als een starre wet te behandelen.
Neyman & Pearson (De Spelers): Zij voegden een tweede kant aan de weddenschap toe. Zij vroegen zich af: "Als er wel een echt effect is, hoe waarschijnlijk is het dan dat we het missen?" Zij introduceerden het idee van Type I-fouten (valse alarmen) en Type II-fouten (een echt signaal missen).

De Analogie: Stel je een metaaldetector op een vliegveld voor.

Fisher zegt: "Als hij piept, is het verdacht."
Neyman & Pearson zeggen: "We moeten het piepen in evenwicht brengen. Als we hem te gevoelig maken, vangen we elke riemgesp (Type I-fout). Als we hem te doof maken, missen we echte wapens (Type II-fout)."

2. De Grote Controverse: "Laten we de Regels Strenger Maken!"

Recentelijk hebben sommige wetenschappers (zoals Benjamin et al.) betoogd dat de 5%-drempel te los is. Zij willen deze wijzigen naar 0,5% (of 0,005).

Hun Redenering: Als we de metaaldetector veel moeilijker laten piepen, zullen we minder valse alarmen vangen. Dit zou het aantal keren dat we een experiment succesvol kunnen herhalen (replicatie) moeten verdubbelen.
Het Tegenargument uit het Artikel: De auteur zegt dat dit een afweging is. Als je de detector moeilijker laat piepen, zul je zeker meer echte wapens missen (Type II-fouten).
- De Kosten: Je zou kunnen stoppen met het vinden van echte ontdekkingen omdat de lat zo hoog ligt dat alleen de "superduidelijke" gevallen slagen.
- De Wiskunde: Het artikel toont aan dat hoewel het verlagen van de drempel valse alarmen vermindert, dit de "replicatiecrisis" niet automatisch oplost, tenzij je al weet hoeveel ware ontdekkingen er in de eerste plaats bestaan – wat meestal onmogelijk te weten is.

3. De "Bayesiaanse" Omweg: De Kans Raden

Sommige critici betogen dat p-waarden misleidend zijn omdat ze geen rekening houden met hoe waarschijnlijk een theorie van tevoren was. Zij suggereren het gebruik van Bayesiaanse methoden, waarbij je de "a-priori kans" moet raden (hoe waarschijnlijk je denkt dat de hypothese is voordat je zelfs maar begint).

Het Standpunt uit het Artikel: De auteur betoogt dat we in de echte wereld deze a-priori kansen vaak niet kunnen kennen. Je kunt niet zomaar raden welk percentage van alle wetenschappelijke theorieën eigenlijk waar is.
De Metafoor: Het proberen om Bayesiaanse methoden voor elk onderzoek te gebruiken, is als proberen een auto te besturen door de verkeersdichtheid te raden voordat je de oprit verlaat. Het is een mooi idee, maar in de praktijk hebben we die data vaak niet. Het artikel suggereert dat het vasthouden aan foutkansen (hoe vaak de test een fout maakt) praktischer is.

4. De Beweging "Gooi het Weg"

Sommige hervormers zeggen: "Stop met het gebruik van p-waarden en drempels helemaal! Rapporteer gewoon de cijfers en laat mensen zelf beslissen."

Het Standpunt uit het Artikel: De auteur vindt dit gevaarlijk.
- De Analogie: Stel je een arts voor die zegt: "Vertel me niet of de patiënt koorts heeft of niet. Geef me gewoon de temperatuur en laat mij raden."
- Het Probleem: Mensen zijn slecht in het nemen van binaire beslissingen (Ja/Nee) zonder een duidelijke lijn. Als je de drempel verwijdert, heb je de beslissing niet verwijderd; je hebt de lijn alleen verborgen. Uiteindelijk moet iemand nog steeds beslissen of het resultaat "goed genoeg" is.
- Betrouwbaarheidsintervallen: Het artikel is het erover eens dat we Betrouwbaarheidsintervallen (een reeks waarschijnlijke waarden) moeten rapporteren, maar het betoogt dat deze p-waarden niet moeten vervangen. Ze moeten samenwerken, zoals een kaart en een kompas.

5. De "Ernst"-test: Een Nieuwe Manier om naar de Data te Kijken

Het artikel introduceert een concept van een filosoof genaamd Mayo, genaamd Ernst (Severity).

Het Idee: Het is niet genoeg om gewoon een test te doorstaan. Je moet vragen: "Als deze hypothese vals was, hoe waarschijnlijk was het dan dat hij deze test toch zou hebben doorstaan?"
De Metafoor: Stel je voor dat een verdachte een leugendetector doorstaat.
- Standaard Test: "Ze zijn geslaagd, dus ze zijn onschuldig."
- Ernst-test: "Als ze schuldig waren, zou deze specifieke leugendetector hen dan hebben gepakt? Als de machine defect is en iedereen laat slagen, dan bewijst 'slagen' niets. Maar als de machine zeer streng is en ze zijn toch geslaagd, dan is dit ernstig bewijs van onschuld."
De auteur suggereert het gebruik van dit "ernst"-denken om dieper in de data te graven in plaats van alleen naar een enkel getal te kijken.

6. Reëel Wereldvoorbeeld: Branden in de Afrikaanse Savanne

Om te bewijzen dat deze hulpmiddelen werken, bekijkt de auteur data over branden in Afrika.

De Vraag: Vinden branden plaats in 5-jaar cycli?
Het Resultaat: De wiskunde toonde een sterk patroon aan (een zeer lage p-waarde).
De Toepassing: De auteur zei niet alleen "Het is significant". Zij gebruikte het concept van Ernst om te zeggen: "We zijn 95% zeker dat de cyclus echt is en geen toeval." Zij gebruikte ook Betrouwbaarheidsintervallen om precies aan te tonen hoe sterk die cyclus is.
De Les: De hulpmiddelen werkten samen om een duidelijk, zelfverzekerd antwoord te geven zonder dat de regels van het spel hoefden te worden gewijzigd.

Het Eindoordeel

Het artikel concludeert dat we op een kruispunt staan.

Gooi de hulpmiddelen niet weg: P-waarden en significantietests zijn nog steeds nuttig om echte wetenschap van ruis te onderscheiden.
Schroef niet alleen strakker: Het verlagen van de drempel naar 0,005 zou valse alarmen kunnen verminderen, maar het zal ook echte ontdekkingen verbergen.
Gebruik de hulpmiddelen wijs: Wetenschappers moeten de meesters van de hulpmiddelen zijn, niet de slaven. Zij moeten p-waarden, betrouwbaarheidsintervallen en ernstcontroles samen gebruiken om onderbouwde beslissingen te nemen.
De Echte Vijand: Het probleem is niet de wiskunde; het is het gedrag. Dingen als "data-dredging" (zoeken naar patronen totdat je er een vindt) en "optionele stopzetting" (een experiment stoppen zodra je een goed resultaat hebt) zijn de echte oorzaken van slechte wetenschap. Het veranderen van de p-waardedrempel zal slecht gedrag niet oplossen; alleen betere ethiek en prikkels zullen dat doen.

Kortom: Het artikel betoogt dat we niet in paniek moeten raken en de regels van de statistiek moeten herschrijven. In plaats daarvan moeten we de bestaande hulpmiddelen vertrouwen, ze met meer nuance gebruiken (zoals het controleren op "ernst"), en ons richten op het oplossen van het menselijke gedrag dat leidt tot slechte wetenschap.

Technische Samenvatting: Statistische Significantie Herbezien

Probleemstelling
Het artikel behandelt de aanhoudende controverse rondom het Toetsen van de Nulhypothese (NHST), met name de afhankelijkheid van de $p$ -waarde en de standaard significantiedrempel van $\alpha = 0.05$ . Recente oproepen tot hervorming, waaronder voorstellen om de drempel te verlagen naar 0.005, het volledig verlaten van significantietesten ten gunste van betrouwbaarheidsintervallen, of het continu rapporteren van $p$ -waarden zonder drempels, hebben een debat op gang gebracht over de reproduceerbaarheidscrisis in de wetenschap. De auteur identificeert een gebrek aan consensus over hoe Type I- en Type II-fouten in evenwicht moeten worden gebracht, de geldigheid van het gebruik van Bayesiaanse diagnostische screeningsformules om veranderingen in drempels te rechtvaardigen, en de haalbaarheid van het vervangen van fout-statistische methoden door beslissingstheorie of kosten-batenanalyse.

Methodologie
Het artikel hanteert een theoretische en analytische aanpak om diverse hervormingsvoorstellen te evalueren. De methodologie omvat:

Theoretische Afleiding: De auteur leidt de relatie af tussen de significantiedrempel ( $\alpha$ ), het Type II-foutpercentage ( $\beta$ ) en het Percentage Valse Positieven (FPR) met behulp van de diagnostische screeningsformule (Bayesiaanse posterior-kans van de nulhypothese). Dit houdt in dat de partiële afgeleiden van de FPR met betrekking tot $\alpha$ en $\beta$ worden geanalyseerd.
Afwegingsanalyse: Het artikel toont wiskundig het inherente compromis tussen Type I- en Type II-fouten in frequentistische kaders aan, en zet dit af tegen de aannames die worden gemaakt in diagnostische screeningsmodellen, waarbij wordt beweerd dat het verminderen van Type I-fouten het FPR tegelijkertijd verlaagt zonder Type II-fouten te verhogen.
Modellering van Reproduceerbaarheidskansen: De verdeling van $p$ -waarden onder het alternatief wordt geanalyseerd met behulp van de log-normale benadering (gebaseerd op Hung et al., 1997) om formules voor reproduceerbaarheidskansen af te leiden.
Kostenfunctie-analyse: Een frequentistisch kostenminimaliserend kader wordt opgezet om optimale kritieke waarden te bepalen op basis van de kosten van Type I- en Type II-fouten, en dit wordt vergeleken met de Bayesiaanse theorie van verwachte nut.
Zwaarte-inschatting: Het artikel past Mayos (2018) zwaartefunctie toe om claims te evalueren, en laat zien hoe zwaarte betrouwbaarheidsintervallen kan aanvullen zonder hypothese-toetsing te verlaten.
Illustrerend Voorbeeld: De theoretische concepten worden toegepast op een real-world dataset betreffende de autocorrelatie van verbrande oppervlakteproporties in de savannes van Sub-Saharaans Afrika (2001–2020) om de berekening van $p$ -waarden, betrouwbaarheidsgrenzen en zwaarte te demonstreren.

Belangrijkste Bijdragen

Kritiek op Drempelverlaging: Het artikel daagt het voorstel uit om de significantiedrempel te verlagen van 0.05 naar 0.005. Het toont aan dat hoewel het verlagen van $\alpha$ het Percentage Valse Positieven verlaagt, dit onvermijdelijk het Type II-foutpercentage ( $\beta$ ) verhoogt. De auteur betoogt dat het netto-voordeel sterk afhankelijk is van de "ware positieve rate" (of positief voorspellende waarde) bij de huidige drempel, een grootheid die in de meeste vakgebieden praktisch onmogelijk nauwkeurig te schatten is.
Onderscheid tussen Bayesiaans en Frequentistisch: De auteur verduidelijkt dat de diagnostische screeningsformule die wordt gebruikt door voorstanders van drempelverlaging (bijvoorbeeld Benjamin et al., 2017) fundamenteel Bayesiaans is, en steunt op a priori-kansen ( $\phi$ ) die vaak onbekend of niet-berekenbaar zijn. Het artikel betoogt dat het mengen van deze Bayesiaanse posterior-kans met frequentistische foutkansen verwarring creëert.
Verdediging van Drempels: Het artikel betoogt dat het volledig verlaten van drempels onpraktisch is, omdat besluitvorming vaak dichotome keuzes vereist. Het stelt dat betrouwbaarheidsintervallen en $p$ -waarden elkaars dualiteit zijn en beide steunen op onderliggende drempels; het continu rapporteren van $p$ -waarden zonder drempel creëert slechts een "niet-openbaarmakende drempel".
Beperkingen van Kosten-batenanalyse: De analyse van kostenfuncties toont aan dat de optimale kritieke waarde voor het minimaliseren van de verwachte kosten vaak niet overeenkomt met standaard significantieniveaus (bijvoorbeeld 0.05) en dat het kwantificeren van de specifieke kosten van fouten in veel real-world scenario's (bijvoorbeeld klimaatopwarming, geneesmiddelenontwikkeling) onpraktisch is.
Zwaarte als Aanvulling: Het artikel pleit voor het gebruik van zwaartefuncties om de parameterruimte verder te onderzoeken na een significantietest, en biedt een manier om de sterkte van het bewijs voor specifieke claims te beoordelen zonder het fout-statistische kader te verwerpen.

Resultaten

Analyse van Drempelverlaging: Wiskundige analyse bevestigt dat het verlagen van $\alpha$ het Percentage Valse Positieven verlaagt, zelfs wanneer $\beta$ toeneemt, maar de omvang van deze verlaging is zeer gevoelig voor de ratio van de a priori-kansen. Het artikel leidt af dat het verdubbelen van de replicatiekans via een 10-voudige verlaging van de drempel alleen mogelijk is als de heersende ware positieve rate exact 4/9 bedraagt.
Reproduceerbaarheidskans: Het artikel stelt vast dat reproduceerbaarheidskansen die zijn afgeleid uit $p$ -waarde-verdelingen theoretische constructen zijn die mogelijk de empirische realiteit niet weerspiegelen, aangezien het heersende scenario niet noodzakelijkerwijs het alternatief is.
Kostenanalyse: In de illustratieve kostenfunctie-grafieken werd de minimaliserende kritieke waarde gevonden als kleiner dan 1.5 (overeenkomend met $\alpha > 0.07$ ), wat suggereert dat standaarddrempels niet altijd de kostenminimaliserende keuze zijn, terwijl de toepassing van kostenanalyse vaak wordt beperkt door het onvermogen om foutkosten te kwantificeren.
Voorbeeld Savannebranden: Bij de toepassing op savannebranden leidde een $p$ -waarde van $2.37 \times 10^{-4}$ tot de verwerping van de nulhypothese. De zwaartefunctie bevestigde dat de claim $\beta_1 > 0.30529$ slaagde met een zwaarte van 0.95, en de berekende reproduceerbaarheidskans was 93,8%.

Betekenis en Claims
Het artikel claimt dat de huidige oproepen tot hervorming vaak falen rekening te houden met de fundamentele afwegingen tussen Type I- en Type II-fouten en de praktische onmogelijkheid om de a priori-kansen te schatten die nodig zijn voor Bayesiaanse diagnostische screening. De auteur betoogt dat:

Significantietesten niet moeten worden verlaten, maar eerder moeten worden begrepen als instrumenten voor het controleren van foutkansen, en niet als definitieve bewijzen van waarheid.
De "replicatiecrisis" niet uitsluitend een statistisch drempelprobleem is, maar bredere wetenschappelijke praktijken omvat (bijvoorbeeld data-dredging, optionele stopzetting).
Hoewel betrouwbaarheidsintervallen en zwaarte-inschattingen waardevolle aanvullingen zijn, ze de behoefte aan drempels in besluitvorming niet elimineren.
De wetenschappelijke gemeenschap geen "slaven" mag zijn van rigide drempels, maar ze moet gebruiken als gidsen terwijl ze onzekerheid omarmt. De auteur concludeert dat innovatie gedijt onder vrijheid en dat de 0.05-drempel, ondanks zijn gebreken, heeft gediend als een trouw instrument voor het identificeren van valse ontdekkingen, en dat wetenschap uiteindelijk zichzelf corrigeert. Het artikel sluit aan bij het standpunt van de American Statistical Association (ASA) dat $p$ -waarden niet de enige basis voor beslissingen mogen zijn, maar ook niet moeten worden afgeschaft.