📊 statistics

p-Hacking Inflates Type I Error Rates in the Error Statistical Approach but not in the Formal Inference Approach

Het artikel betoogt dat p-hacking de Type I-fouten in de error-statistische benadering opblaast, maar niet in de formele inferentie-benadering, omdat in deze laatste alleen de nominale foutenrate relevant is en de daadwerkelijke familiewijze foutenrate geen betrekking heeft op de gerapporteerde individuele hypothesen.

Oorspronkelijke auteurs: Mark Rubin

Gepubliceerd 2026-03-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mark Rubin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernboodschap: Twee Manieren om naar Wiskunde te Kijken

Stel je voor dat onderzoekers een spelletje doen met een dobbelsteen. Ze gooien de steen een paar keer. Soms gooien ze een 6, soms een 1.
P-hacking is wanneer een onderzoeker de dobbelsteen blijft gooien tot hij een 6 krijgt, en dan alleen die ene 6 laat zien aan de wereld, terwijl hij de twintig eerdere keren dat hij een 1 of 2 gooide, verzwijgt.

De meeste mensen denken: "Dat is vals spelen! De kans dat je een 6 gooit is nu veel groter dan 1 op 6, omdat je maar blijft proberen tot je wint."

Mark Rubin zegt echter: "Nee, dat hangt er helemaal vanaf hoe je naar het spelletje kijkt." Hij onderscheidt twee manieren om statistiek te zien:

De "Fouten-Statistiek" (Error Statistical Approach): Kijkt naar wat er echt gebeurd is in de achtergrond.
De "Formele Inference" (Formal Inference Approach): Kijkt alleen naar wat er officieel op papier staat.

1. De "Fouten-Statistiek": De Rechter die de Achtergrond Kijkt

In deze manier van kijken (die favoriet is bij veel critici van p-hacking) is het proces belangrijk.

De Analogie: De Dief die de Vloervegers Verbergt
Stel je een detective voor die een huis binnengaat. Hij ziet een schone vloer.

De "Fouten-Statistiek" zegt: "Wacht even, ik zie dat de eigenaar de hele dag heeft geprobeerd om de vloer schoon te krijgen. Hij heeft 20 keer geprobeerd te vegen, maar pas bij de 20e keer was het echt schoon. De kans dat een vloer per ongeluk schoon is, is dus niet 1%, maar 100% omdat hij maar bleef proberen."
Het probleem: Omdat de onderzoeker (de eigenaar) niet vertelt dat hij 19 keer heeft gefaald, lijkt het alsof de vloer per toeval schoon was. De kans op een "valse positief" (een schone vloer die eigenlijk vies was) is hierdoor opgeblazen. De statistiek is "vals" gemaakt door het verbergen van de mislukte pogingen.

Conclusie van deze groep: P-hacking is gevaarlijk omdat het de echte kans op fouten verbergt. Het is alsof je een loterij wint door 1000 tickets te kopen, maar alleen het ene winnende ticket laat zien. Je hebt dan geen recht op de prijs.

2. De "Formele Inference": De Rechter die Alleen naar het Contract Kijkt

In deze manier van kijken (die Rubin voorstaat) is alleen het officiële document belangrijk. Wat er in de hoofden van de onderzoekers speelde of welke pogingen ze deden voordat ze iets opschreven, doet er niet toe voor de wiskunde zelf.

De Analogie: De Schutter die een Doeltekst tekent
Stel je een schutter voor die een schietbaan bezoekt.

Hij schiet willekeurig op een grote muur.
Hij mist 19 keer.
Hij raakt één keer een klein plekje.
Nu tekent hij een doelwit (een cirkel) precies om die ene treffer heen en zegt: "Kijk, ik heb de bullseye geraakt!"

De "Formele Inference" zegt:
"Oké, laten we naar het contract kijken. Jij hebt een officiële test gedaan: 'Ik schiet op dit specifieke doelwit.' Je hebt één keer geschoten op dat specifieke doelwit en je hebt geraakt. De kans dat je die ene keer raakt, is precies wat de wiskunde zegt (bijvoorbeeld 5%)."

Het punt: Het feit dat je eerder 19 keer op de muur hebt geschoten en doelwitten hebt getekend, maakt de wiskunde van deze specifieke schot niet fout. De wiskunde kijkt alleen naar de situatie die je nu voorlegt: "Schot op doelwit X".
Als je zegt: "Maar je hebt toch 20 keer geschoten?", dan antwoordt deze groep: "Nee, in je officiële rapport zeg je dat je schiet op doelwit X. De andere 19 schoten zijn niet deel van dit officiële verhaal. Je kunt niet de kans van '20 schoten' gebruiken om de kans van '1 schot' te beoordelen. Dat is alsof je zegt dat een persoon 'groot' is omdat zijn vriend 'gigantisch' is."

Conclusie van deze groep: P-hacking is vervelend en oneerlijk, maar het verandert de wiskundige kans van het resultaat dat je nu presenteert niet. De kans dat je een fout maakt bij dit specifieke rapport blijft 5%, zolang je maar eerlijk rapporteert over dit specifieke testje.

Waarom is dit verschil belangrijk?

Rubin maakt een onderscheid tussen statistische fouten en substantiële fouten (wat het betekent voor de echte wereld).

De "Fouten-Statistiek" denkt: "Omdat je p-hacked hebt, is je statistiek onbetrouwbaar. We kunnen er niets van afleiden."
De "Formele Inference" denkt: "Je statistiek is wiskundig correct voor het verhaal dat je vertelt. Maar... je verhaal is waarschijnlijk onzin in de echte wereld."

De Analogie: De Weegschaal
Stel je voor dat iemand op een weegschaal springt, maar hij heeft een steen in zijn schoen verstopt.

De weegschaal geeft een gewicht van 100 kg.
Statistische kant: De weegschaal werkt perfect. De kans dat de weegschaal een fout maakt door toeval is heel klein. De "statistiek" is correct.
Substantiële kant: De conclusie "Ik weeg 100 kg" is onzin, omdat de steen in de schoen (het verbergen van de mislukte pogingen/p-hacking) de uitkomst beïnvloedt.

Rubin zegt: P-hacking is als die steen in de schoen. Het maakt je conclusie (ik ben zwaar / ik heb een effect gevonden) waarschijnlijk onjuist, maar het maakt de wiskunde van de weegschaal (de kansberekening) niet fout.

Wat betekent dit voor de "Repliekcrisis"? (Waarom resultaten niet herhaald kunnen worden)

Veel mensen denken: "We hebben een replicatiecrisis omdat onderzoekers p-hacken en daardoor te veel valse resultaten publiceren."

Rubin zegt: "Nee, dat is niet de hele waarheid."

Als onderzoekers p-hacken, publiceren ze resultaten met een geldige statistische kans (bijv. 5% kans op fout).
Het probleem is niet dat de statistiek "opgeblazen" is. Het probleem is dat de interpretatie fout is.
Onderzoekers denken dat ze een echte ontdekking hebben gedaan, terwijl ze eigenlijk toeval hebben gepresenteerd als een wetenschappelijke wet.
De oplossing is niet om de statistiek te veranderen, maar om te leren dat we onze eigen onwetendheid moeten accepteren. We moeten kritischer zijn: "Waarom hebben jullie alleen deze ene kleur jellybean getest en niet de andere 19?"

Samenvatting in één zin

Volgens Rubin is p-hacking in de "Formele Inference" geen statistische fout (de wiskunde klopt nog steeds), maar wel een communicatief en moreel probleem: je vertelt een verhaal dat waar klinkt, maar dat de context verbergt waardoor het verhaal in de echte wereld waarschijnlijk onjuist is.

De les: Kijk niet alleen naar het cijfer (de p-waarde), maar vraag altijd: "Welk verhaal wordt hier verteld, en wat wordt er verzwegen?"

Titel: p-Hacking in de Formele Inferentiebenadering

Auteur: Mark Rubin (Durham University, UK)
Datum: 3 maart 2026

1. Het Probleem

P-hacking (het selectief rapporteren van significante resultaten uit meerdere geteste hypothesen zonder correctie voor meervoudig toetsen) wordt algemeen beschouwd als een van de belangrijkste oorzaken van de replicatiecrisis in de wetenschap. De heersende opvatting is dat p-hacking de Type I-foutenratio (de kans op een vals positief resultaat) inflatieert boven het nominale niveau (bijv. $\alpha = 0.05$ ).

Het artikel identificeert een fundamentele filosofische splitsing in hoe statistische inferentie wordt begrepen:

De Foutstatistische Benadering (Error Statistical Approach): Gebaseerd op het werk van Deborah Mayo en anderen. Hierbij wordt de "werkelijke" testprocedure (inclusief alle ongerapporteerde tests en selectieprocessen) als relevant beschouwd voor het bepalen van de foutenratio.
De Formele Inferentiebenadering (Formal Inference Approach): Gebaseerd op het werk van Rubin, Fisher en Popper. Hierbij wordt alleen de formeel gerapporteerde inferentie en de bijbehorende hypothetische testprocedure als relevant beschouwd.

Het centrale probleem dat Rubin adresseert, is dat de kritiek op p-hacking vaak wordt gebaseerd op de foutstatistische benadering, terwijl veel statistici en onderzoekers feitelijk opereren binnen de logica van de formele inferentie. Rubin betoogt dat p-hacking de Type I-foutenratio niet inflatieert binnen de formele inferentiebenadering.

2. Methodologie en Theoretisch Kader

Rubin gebruikt een conceptuele en filosofische analyse om twee paradigma's van significantietoetsing tegenover elkaar te plaatsen. Hij analyseert de logica van Type I-fouten, familiewijze fouten (FWER) en de aard van statistische inferentie in beide benaderingen.

Kernconcepten:

Type I-fout: Het verwerpen van een nulhypothese ( $H_0$ ) wanneer deze waar is, puur door toeval (stochastische fout).
Foutstatistische Benadering: Een "probative" aanpak waarbij de capaciteit van een test om fouten te detecteren wordt beoordeeld aan de hand van de werkelijke testprocedure. Als een onderzoeker "vissen" (p-hacking) doet, maakt dit deel uit van de procedure, waardoor de werkelijke foutenratio (familiewijze foutenratio) stijgt boven het nominale niveau.
Formele Inferentiebenadering: Een aanpak waarbij statistische inferentie wordt gezien als een formeel, logisch argument gebaseerd op een hypothetisch model. De Type I-foutenratio is een voorwaarde voor een specifieke, formeel gerapporteerde inferentie.
- Individuele Inferentie: Een beslissing over één specifieke $H_0$ . De foutenratio is $\alpha$ .
- Union-Intersection Inferentie: Een beslissing over een gezamenlijke $H_0$ (bijv. $H_{0,1} \cap H_{0,2}$ ). Hier is correctie voor meervoudig toetsen nodig.
- Principe: De foutenratio is gekoppeld aan de gerapporteerde inferentie, niet aan de psychologische intenties of de onbekende geschiedenis van de data-analyse.

3. Belangrijkste Bijdragen en Argumentatie

A. De Kernstelling: Geen Inflatie in Formele Inferentie

Rubin betoogt dat p-hacking de Type I-foutenratio alleen inflatieert in de foutstatistische benadering, maar niet in de formele inferentiebenadering.

In de foutstatistische benadering: Omdat de onderzoeker meerdere tests heeft gedaan en alleen de significante heeft gerapporteerd, is de "werkelijke" procedure een zoektocht naar significantie. De relevante foutenratio is de familiewijze foutenratio (bijv. $1 - (1-\alpha)^k$ ), die veel hoger is dan 0.05. De nominale p-waarde is hierbij "ongeldig" (invalidated).
In de formele inferentiebenadering: De onderzoemer rapporteert een individuele inferentie over een specifieke $H_0$ (bijv. $H_{0,2}$ ). De relevante foutenratio is het nominale $\alpha$ voor die specifieke test. De "werkelijke" familiewijze foutenratio is irrelevant omdat deze alleen een inferentie zou licentiëren over de gezamenlijke hypothese ( $H_{0,1} \cap H_{0,2}$ ), wat de onderzoeker niet heeft gedaan. Het vergelijken van de nominale ratio met de "werkelijke" ratio is een logische fout van deling (fallacy of division): het toepassen van een gezamenlijke waarschijnlijkheid op een individueel geval.

B. Onafhankelijkheid van Testprocedures

Een cruciaal punt is dat Type I-foutenratio's voor verschillende tests oncommensurabel zijn. Ze zijn afhankelijk van de specifieke steekproefverdeling onder een specifieke nulhypothese. Het feit dat een onderzoeker eerst een andere test heeft gedaan (en die heeft verworpen) verandert niets aan de wiskundige geldigheid van de nominale foutenratio van de tweede, gerapporteerde test, zolang die test formeel correct is gespecificeerd.

C. Het "Texas Sharpshooter" Fallacy en Minimale Severity

Rubin bespreekt het argument van Mayo dat p-hacking de "minimale severity-vereiste" schendt (het vermogen om systematische fouten uit te sluiten).

Foutstatistisch: P-hacking laat zien dat de claim niet streng is getoetst ("Bad Evidence, No Test" - BENT).
Formeel: De Type I-foutenratio is een hypothetische waarschijnlijkheid die ervan uitgaat dat er geen systematische fouten zijn. Het is een logisch argument onder aannames (implicatory assumptions of i-assumptions). Het bestaan van fraude of p-hacking in de realiteit maakt de wiskundige geldigheid van de hypothetische foutenratio niet ongeldig, net zoals een weegschaal zijn meetfoutenratio niet verandert als iemand liegt over zijn gewicht. Het beïnvloedt wel de substantiële interpretatie, maar niet de statistische inferentie zelf.

D. Nondisclosure van Null-resultaten

Rubin analyseert het niet rapporteren van niet-significante resultaten.

Dit inflatieert de Type I-foutenratio in de foutstatistische benadering.
In de formele benadering inflatieert het de Type I-foutenratio niet. Het kan echter de substantiële inferentie vertekenen als de niet-gerapporteerde null-resultaten worden beschouwd als "bewijs van afwezigheid" én theoretisch relevant zijn. Rubin stelt dat dit probleem opgelost moet worden via kritische rationele discussie (Popperiaanse aanpak) en theorie-gedreven selectie, niet noodzakelijk via preregistratie om statistische ratio's te redden.

4. Resultaten en Conclusies

Filosofische Divergentie: De meningsverschillen over p-hacking zijn geen statistische, maar filosofische kwesties. Ze hangen af van of men de "context van ontdekking" (hoe hypothesen werden gekozen) relevant acht voor de "context van rechtvaardiging" (de geldigheid van de test).
Geldigheid van Nominale Ratio's: Binnen de formele inferentiebenadering blijven de berekende nominale Type I-foutenratio's geldig, zelfs bij p-hacking, omdat de inferentie wordt gelicentieerd door de formeel gerapporteerde procedure, niet door de onbekende "werkelijke" procedure.
Replicatiecrisis: De replicatiecrisis wordt door Rubin niet toegeschreven aan inflatie van Type I-fouten door p-hacking (in de formele zin), maar aan onherkende interpretatiefouten (systematische fouten, verborgen moderatoren, verkeerde theoretische aannames). Deze "onbekende onbekenden" kunnen niet worden opgelost door statistische correcties of strengere auditing, maar vereisen een epistemologische verschuiving naar het erkennen van onze eigen onwetendheid.

5. Significatie en Implicaties

Conceptualisering van p-hacking: P-hacking moet niet per se worden gezien als fraude die statistische wetten schendt, maar als een praktijk die de substantiële geldigheid van conclusies ondermijnt, terwijl de statistische geldigheid (binnen het formele raamwerk) intact kan blijven.
Interventies:
- Preregistratie: Is nuttig vanuit een foutstatistisch perspectief om de "werkelijke" procedure vast te leggen. Vanuit een formeel inferentieperspectief is preregistratie echter niet noodzakelijk om Type I-fouten te controleren, omdat de nominale ratio al geldig is.
- Audit en Kritische Discussie: De focus moet verschuiven van het controleren van statistische ratio's naar het kritisch evalueren van theorieën, aannames en de theoretische relevantie van gerapporteerde resultaten.
Oplossing voor de Replicatiecrisis: De oplossing ligt niet in nieuwe statistische methoden om p-hacking te bestrijden, maar in een cultuuverandering die de beperktheid van kennis erkent en systematisch zoekt naar verbonden moderatoren en interpretatiefouten.

Samenvattend: Rubin concludeert dat de angst dat p-hacking de Type I-foutenratio "inflatieert" een misvatting is binnen de formele inferentiebenadering. Het probleem van p-hacking is primair een probleem van substantiële geldigheid en theoretische coherentie, niet van de wiskundige geldigheid van de gerapporteerde p-waarden zelf.