📊 statistics

The Rise of Null Hypothesis Significance Testing (NHST): Institutional Massification and the Emergence of a Procedural Epistemology

Dit artikel toont aan dat Null Hypothesis Significance Testing (NHST) niet vanwege zijn technische superioriteit, maar als een sociale technologie die de post-oorlogse massale uitbreiding van wetenschappelijke netwerken mogelijk maakte door epistemische oordelen te vervangen door mechanische procedures, de dominante inferentiële methode is geworden.

Oorspronkelijke auteurs: Carol Ting

Gepubliceerd 2026-03-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Carol Ting

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Geheim van de "Magische 0,05"

Waarom wetenschappers vasthouden aan een methode die ze eigenlijk niet begrijpen

Stel je voor dat je in een enorme fabriek werkt waar elke dag duizenden nieuwe producten worden gemaakt. Om te controleren of een product goed is, heb je een test nodig. In de wetenschappelijke wereld is die test de Null Hypothesis Significance Testing (NHST). De uitkomst van deze test is een klein getal: de p-waarde. Als dit getal lager is dan 0,05, zeggen wetenschappers: "Het werkt! Het is een echte ontdekking!"

Maar hier is het raadsel: Wetenschappers praten al decennia over hoe slecht deze test eigenlijk is. Ze zeggen dat hij misleidend is, dat hij de waarheid verdraait en dat mensen hem verkeerd gebruiken. Toch gebruiken ze hem nog steeds overal. Waarom?

Het antwoord van Carol Ting is verrassend: Het gaat niet om de techniek, maar om de fabriek zelf.

1. De Oorsprong: Een gedwongen huwelijk

In het begin (rond de jaren '20 en '30) waren er twee grote statistici: Fisher en Neyman & Pearson.

Fisher dacht: "Kijk naar de data. Als het resultaat heel onwaarschijnlijk is onder de aanname dat er niets gebeurt, dan is er iets interessants aan de hand." Hij zag de p-waarde als een rood lampje dat je waarschuwt om verder te kijken.
Neyman & Pearson dachten: "We moeten een automatische regel maken. Als de kans op een fout klein genoeg is, doen we alsof het werkt, anders niet." Voor hen was het een lichtschakelaar (aan/uit) voor langdurige beslissingen.

Deze twee manieren van denken waren eigenlijk onverenigbaar. Maar toen de Tweede Wereldoorlog voorbij was, gebeurde er iets groots.

2. De Explosie: De "Massificatie" van de Wetenschap

Na de oorlog (jaren '40 en '50) wilde de Amerikaanse overheid dat iedereen wetenschap ging doen. Er kwamen enorme subsidies, miljoenen veteranen gingen studeren (door de GI Bill), en er moest snel veel onderzoek worden gedaan.

Stel je voor dat je een klein, exclusief restaurantje hebt waar elke chef-kok een meester is. Plotseling moet je een keuken voor 10.000 mensen openen. Je hebt niet genoeg meester-chefs. Je moet nu duizenden mensen met een paar weken training aan het werk zetten.

Dit is wat er met de wetenschap gebeurde. Er was een tekort aan echte experts. De oude manier van lesgeven (diep nadenken over data, context en aannames) was te traag en te moeilijk voor de massa.

3. De Oplossing: De "Kookboek"-methode

Om deze enorme vraag aan te kunnen, moest er een methode komen die:

Makkelijk te leren was.
Niet veel nadenken vereiste.
Iedereen hetzelfde resultaat gaf, ongeacht wie het deed.

Hier kwam het NHST-kookboek om de hoek kijken. Het was een "gedwongen huwelijk" tussen de ideeën van Fisher en Neyman & Pearson, maar dan ontmanteld:

De moeilijke onderdelen (zoals het nadenken over waarom de data zo is) werden weggehaald.
De nuance ("het is misschien interessant, maar we weten het niet zeker") werd weggegooid.
Er bleef alleen een simpele regel over: Is de p-waarde lager dan 0,05? Ja? Dan is het waar. Nee? Dan is het niets.

Dit werd een zwarte doos. Je stopte je data erin, en er kwam een simpel "JA" of "NEE" uit. Je hoefde niet te weten hoe de machine van binnen werkte; je hoefde alleen maar de knop in te drukken.

4. Waarom houden ze er nu nog aan vast?

Je zou denken: "Als het zo fout is, waarom stoppen ze er dan niet mee?"

Het antwoord is dat deze methode een sociale technologie is geworden. Het lost het probleem op van vertrouwen op afstand.

Voor een redacteur van een tijdschrift: Ze hebben geen tijd om elk onderzoek te controleren. Als ze zien dat er een "p < 0,05" staat, kunnen ze zeggen: "Dit is goedgekeurd door de procedure." Het is een stempel van goedkeuring.
Voor een universiteit: Ze moeten duizenden studenten afstuderen. Ze kunnen niet wachten tot iedereen een diep statistisch inzicht heeft. Ze hebben een methode nodig die snel en uniform werkt.
Voor een financier: Ze moeten beslissen welke projecten geld krijgen. Een simpele regel is makkelijker te verdedigen dan een complexe, nuancevolle discussie.

De "fouten" van de methode (dat hij context negeert en mensen dwingt tot simpele ja/nee-beslissingen) zijn eigenlijk voordelen geworden in een systeem dat grootschalig moet werken. Het maakt de wetenschap schaalbaar.

5. De Metafoor: De Verkeerslichten

Stel je voor dat we een nieuw systeem voor verkeerslichten hebben bedacht.

De oudere experts (Fisher en Neyman) zeiden: "Kijk naar het verkeer, de weersomstandigheden en de voetgangers. Beslis zelf of het veilig is om over te steken."
De nieuwe systeem (NHST) zegt: "Als de lamp groen is, stap je over. Als hij rood is, blijf je staan. Kijk niet naar het verkeer, dat is te ingewikkeld."

In een klein dorpje werkt het oude systeem prima. Maar in een stad van 10 miljoen mensen, waar iedereen tegelijkertijd moet oversteken, werkt het oude systeem niet meer. Je hebt een automatisch systeem nodig dat iedereen dezelfde regel laat volgen, zelfs als dat soms betekent dat je op een verkeerd moment overstekt.

NHST is dat verkeerslicht. Het is niet perfect, en het negeert soms de realiteit, maar het zorgt ervoor dat de "verkeersstroom" van de wetenschap niet vastloopt.

Conclusie: Wat betekent dit voor de toekomst?

Het artikel concludeert dat we NHST niet kunnen oplossen door alleen maar betere statistieklessen te geven. Het probleem is niet dat mensen "dom" zijn; het probleem is dat het systeem zo groot is geworden dat het een simpele, automatische regel nodig heeft om te kunnen functioneren.

Zolang wetenschappers moeten concurreren om geld, publicaties en banen in een systeem dat draait op snelheid en schaal, zal NHST (of iets dat erop lijkt) de koning blijven. Het is de munt waarmee de wetenschappelijke economie draait.

Om het echt te veranderen, moeten we niet alleen de techniek aanpassen, maar ook de regels van het spel veranderen: hoe we onderzoek beoordelen, hoe we geld verdelen en hoe we wetenschap waarderen. Zolang we alleen kijken naar de "p-waarde" als een magisch getal, blijven we vastzitten in de fabriek van de massaproductie.

Probleemstelling

Het artikel adresseert een langdurig raadsel in de wetenschappelijke gemeenschap: waarom blijft de Null Hypothesis Significance Testing (NHST) dominant in toegepaste wetenschappelijke velden (zoals psychologie, biomedische wetenschappen en sociale wetenschappen), ondanks decennia aan kritiek, statistische hervormingen en uitgebreide literatuur die de methodologische tekortkomingen en misverstanden rondom de p-waarde documenteert?

Hoewel NHST technisch gezien geen oplossing biedt voor het fundamentele probleem van statistische inferentie (het trekken van conclusies over een populatie op basis van een steekproef), fungeert het als de "standaard" voor het beoordelen van wetenschappelijke claims. De vraag is niet alleen waarom het fouten bevat, maar waarom het zo succesvol is blijven bestaan en zich heeft verspreid, zelfs onder omstandigheden waar de technische basis ervan wordt ondermijnd.

Methodologie

De auteur hanteert een historisch-sociologische benadering, geankerd in de Science and Technology Studies (STS), en gebruikt specifiek de Actor-Network Theory (ANT) van Bruno Latour en Michel Callon als theoretisch kader.

Conceptuele hulpmiddelen: Het artikel maakt gebruik van het concept van de "black box" (waarbij de interne complexiteit van een proces wordt genegeerd en alleen de input/output relevant wordt) en het "translation model" (hoe ideeën worden vertaald, vereenvoudigd en gemodificeerd wanneer ze zich verspreiden door netwerken).
Historische analyse: De auteur reconstrueert de genealogie van NHST door de oorspronkelijke, theoretisch incompatibele frameworks van Ronald A. Fisher (inductieve inferentie) en Neyman-Pearson (beslissingstheorie) te analyseren.
Institutionele context: De analyse plaatst de ontwikkeling van NHST in de specifieke historische context van de post-Tweede Wereldoorlog-periode in de VS, gekenmerkt door een explosieve groei in hoger onderwijs, overheidsfinanciering voor onderzoek (o.a. via de GI Bill en de National Science Foundation) en de "massificatie" van de wetenschap.

Belangrijkste Bijdragen en Analyse

1. De "Gedwongen Huwelijk" en de Ontstaan van NHST
Het artikel toont aan dat NHST het resultaat is van een "gedwongen huwelijk" tussen twee oorspronkelijk onverenigbare statistische scholen:

Fisher's Significance Testing: Richtte zich op inductieve inferentie en het evalueren van de sterkte van bewijs in een specifieke studie. De p-waarde was een continu maatstaf voor verrassing (hoe onwaarschijnlijk de data zijn onder de nulhypothese). Fisher benadrukte dat er geen vaste drempelwaarde was en dat contextuele oordeelsvorming essentieel was.
Neyman-Pearson's Decision Theory: Richtte zich op langdurige besluitvormingsregels om fouten (Type I en Type II) te minimaliseren over vele herhalingen. Dit vereiste een strikt gespecificeerde alternatieve hypothese ( $H_1$ ) en een vooraf vastgestelde foutenmarge ( $\alpha$ ).
De Fusie: In de praktijk, vooral door leerboeken en instructeurs die niet-statistici waren, werden deze frameworks vermengd. De nuance van Fisher (geen vaste drempel, context nodig) werd verwijderd, en de strikte eisen van Neyman-Pearson (gespecificeerde $H_1$ , kostenafweging) werden genegeerd. Het resultaat was een hybride, mechanisch protocol: "Als $p \leq 0.05$ , verwerp $H_0$ ; anders accepteer $H_0$ ."

2. NHST als Technologie voor Institutionele Massificatie
De kernbijdrage van het artikel is de stelling dat NHST niet domineerde vanwege zijn technische superioriteit, maar omdat het een sociale technologie was die perfect aansloot bij de behoeften van de post-oorlogse "massificatie" van de wetenschap:

Schaalbaarheid: Na de oorlog ontstond er een enorme vraag naar statistisch opgeleid personeel, maar een tekort aan echte experts. De traditionele, diepgaande opleiding (apprenticeship) was niet schaalbaar.
Procedurale Zelfsufficiency: NHST bood een "kookboek"-benadering die context en complexe aannames (zoals randomisatie, onafhankelijkheid) kon "wegpoetsen" (purge context). Het veranderde statistische inferentie in een routinematige, mechanische procedure die door niet-experts kon worden onderwezen en uitgevoerd.
Vertrouwen en Audit: In een systeem met heterogene doelen en ongelijk verdeelde expertise, fungeerde NHST als een "verplichte passage" (obligatory passage point). Het maakte onderzoek vergelijkbaar, controleerbaar en verdedigbaar zonder dat elke beoordelaar diep in de methodologische details hoefde te duiken. De p-waarde werd de valuta van de wetenschappelijke economie.

3. De Rol van "Black Boxing"
NHST slaagde erin om de complexe epistemische oordelen (het beoordelen van de geldigheid van aannames en de context van data) te "black boxen". Voor de gebruiker werd het proces een input-output machine: data invoeren, p-waarde aflezen, beslissing nemen. Dit elimineerde de noodzaak voor voortdurende epistemische onderhandeling, wat essentieel was voor het snel laten groeien van wetenschappelijke netwerken.

Resultaten en Bevindingen

Technische Slippages als Functies: De technische tekortkomingen van NHST (zoals het negeren van effectgrootte, het misbruik van de 0.05 drempel, en het ontbreken van bewijskracht bij $p > 0.05$ ) werden niet gezien als fouten, maar als functionele kenmerken die de verspreiding en stabiliteit van de methode mogelijk maakten.
Institutionele Selectie: De dominante positie van NHST is het resultaat van een selectieproces waarbij methoden die schaalbaar waren en goedkoop te implementeren waren (in termen van expertise), de voorkeur kregen boven methoden die meer contextueel oordeel vereisten.
De Illusie van Objectiviteit: NHST creëerde een schijn van objectiviteit en zekerheid ("statistische significantie") die in werkelijkheid gebaseerd was op een procedurele formaliteit, niet op een diepgaande statistische waarheid.

Significantie en Implicaties

Het artikel heeft belangrijke implicaties voor het debat over statistische hervorming:

Verandering van Perspectief: Het probleem van NHST is niet primair een cognitief probleem (dat onderzoekers het verkeerd begrijpen) of een puur technisch probleem, maar een institutioneel en sociologisch probleem. Zolang de institutionele structuren (financiering, publicatie, promotie) beloningen bieden voor snelle, schaalbare en "verdedigbare" resultaten, zal NHST of een soortgelijke procedurele vervanging blijven domineren.
Beperking van Technische Oplossingen: Het is onwaarschijnlijk dat hervormingen die zich alleen richten op het verbeteren van statistisch onderwijs of het introduceren van nieuwe methoden (zoals Bayesiaanse statistiek) succesvol zullen zijn. Als de Bayes-factor ook wordt omgezet in een automatische beslissingsregel, zal hij waarschijnlijk hetzelfde lot ondergaan als NHST.
Noodzaak van Sociale Strategieën: Effectieve hervorming vereist een sociale strategie die de institutionele incentives verandert. Onderzoekers en studenten moeten bewust worden gemaakt van de institutionele rol van NHST: dat het een technologie is voor massaproductie van kennis, niet per se voor de productie van waarheid.
Procedurale Epistemologie: Het artikel introduceert het concept van een "procedurale epistemologie", waarbij vertrouwen in kennis niet voortkomt uit de kwaliteit van de onderliggende redenering, maar uit de conformiteit aan gestandaardiseerde procedures.

Kortom, Carol Ting betoogt dat NHST de "zwarte doos" is geworden die de wetenschap in staat stelde om massaal te groeien, en dat het begrijpen van deze historische en institutionele dynamiek essentieel is voor elke poging tot echte statistische hervorming.