📊 statistics

The Difference Between "Replicable" and "Not replicable" is not Itself Scientifically Replicable

Dit artikel betoogt dat het aggregeren van binaire replicatieverdicten over niet-exacte experimenten heen niet betrouwbaar onderscheid kan maken tussen "repliceerbare" en "niet-repliceerbare" resultaten, omdat inherente heterogeniteit onherleidbare onzekerheid en niet-identificeerbare variantie creëert, waardoor de statistische fundamenten die worden gebruikt om een replicatiecrisis te verklaren, worden ondermijnd.

Oorspronkelijke auteurs: Berna Devezer, Erkan O. Buzbas

Gepubliceerd 2026-04-30

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Berna Devezer, Erkan O. Buzbas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Waarom We Niet Makkelijk "Ware" Wetenschap van "Valse" Wetenschap Kunnen Onderscheiden

Stel je voor dat je een rechter bent die moet beslissen of een nieuw recept "goed" of "slecht" is. Je vraagt 50 verschillende koks om het te proberen.

Als 45 koks zeggen: "Het smaakt geweldig!" en 5 zeggen: "Het is vreselijk", zou je kunnen concluderen dat het recept repliceerbaar is (goed).
Als 25 zeggen "Geweldig" en 25 zeggen "Vreselijk", zou je kunnen concluderen dat het niet repliceerbaar is (slecht).

Dit artikel betoogt dat deze manier van oordelen gebroken is.

De auteurs, Berna Devezer en Erkan O. Buzbas, stellen dat we in de moderne wetenschap niet betrouwbaar het verschil kunnen maken tussen een "goed" resultaat en een "slecht" resultaat door simpelweg te tellen hoe vaak het in verschillende laboratoria werkte. Zelfs als je duizenden experimenten uitvoert, zegt de wiskunde dat de lijn tussen "repliceerbaar" en "niet repliceerbaar" onzichtbaar is.

Het Kernprobleem: De Mythe van de "Perfecte Kopie"

Om te begrijpen waarom, moeten we kijken naar wat een "replicatie" eigenlijk is.

Een Exacte Replicatie: Dit is als een fotokopieerapparaat. Je neemt een document en de machine spitst een identieke kopie uit. In de wetenschap zou dit betekenen dat elk detail (dezelfde mensen, dezelfde apparatuur, hetzelfde tijdstip van de dag, dezelfde instructies) identiek is, en alleen het toeval van de loting verandert.
De Realiteit: Exacte kopieën zijn bijna onmogelijk. In het echte leven zijn replicaties zoals een document met de hand kopiëren. De ene persoon gebruikt een blauwe pen, de ander een potlood. De ene schrijft op een bureau, de ander in een trein. De ene is moe, de andere is energiek.

Het artikel noemt dit "niet-exactheid". Omdat elk laboratorium iets anders is, is elk experiment iets anders.

De Twee Modellen: Het "Gedeelde Geheim" versus de "Onafhankelijke Gok"

De auteurs gebruiken twee statistische modellen om uit te leggen wat er gebeurt wanneer we deze imperfecte kopieën mengen.

1. Het Benchmark-model (Het "Gedeelde Geheim")
Stel je een groep koks voor die allemaal stiekem hetzelfde meesterrecept volgen, maar ze zijn allemaal een beetje slecht in het lezen ervan.

Als het recept "moeilijk te lezen" is (hoge niet-exactheid), zullen zelfs als je 1.000 koks ertoe aanzet het te proberen, hun resultaten nog steeds rommelig zijn.
De Les: Er is een "bodem" aan hoe precies je kunt zijn. Hoe meer koks je ook toevoegt, de onzekerheid verdwijnt nooit omdat de "rommeligheid" van het recept zelf het probleem is, niet het aantal koks.

2. Het Operationele Model (De "Onafhankelijke Gok")
Dit is hoe wetenschap eigenlijk werkt. Elk laboratorium voert zijn eigen unieke experiment uit en rapporteert een simpel "Ja" (het werkte) of "Nee" (het faalde).

De auteurs tonen aan dat wanneer je van elk laboratorium alleen een "Ja/Nee"-antwoord krijgt, je alle informatie verliest over hoe verschillend de laboratoria waren.
De Analogie: Stel je voor dat je probeert de gemiddelde temperatuur van een stad te raden.
- Scenario A: Je vraagt 100 mensen om naar dezelfde thermometer te kijken. Ze zien allemaal hetzelfde getal, maar misschien kijken ze er allemaal verkeerd naar.
- Scenario B: Je vraagt 100 mensen om naar 100 verschillende thermometers te kijken. Sommige zijn kapot, sommige staan in de zon, sommige in de schaduw.
- Als je ze alleen vraagt "Is het warm? (Ja/Nee)", kun je het verschil tussen Scenario A en Scenario B niet zien. Je krijgt gewoon een lijst met "Ja" en "Nee". Je hebt geen idee of de thermometers kapot zijn of dat het weer gewoon chaotisch is.

De "Replicatiecrisis" is een Statistisch Illusie

Het artikel betoogt dat de beroemde "Replicatiecrisis" (het idee dat de helft van de wetenschap nep is) misschien een misverstand is veroorzaakt door slechte wiskunde.

De Valstrik: Wetenschappers zeggen vaak: "We hebben geprobeerd 100 studies te repliceren, en slechts 36% werkte. Daarom is de wetenschap in crisis."
De Realiteit: De auteurs zeggen dat 36% gewoon een getal is dat appels en peren mengt. Omdat elk laboratorium anders is (niet-exact), vertelt de "36%" ons niet of de oorspronkelijke wetenschap slecht was, of dat de laboratoria gewoon niet konden overeenkomen hoe ze het moesten meten.
Het Vonnis: Je kunt niet naar een lijst met "Ja/Nee"-resultaten kijken en zeggen: "Dit resultaat is zeker waar" of "Dit resultaat is zeker onwaar". De datastructuur bevat simpelweg niet genoeg informatie om die beslissing te nemen.

Waarom "Meer Replicaties" Het Niet Oplost

Normaal denken we: "Als we niet zeker zijn, laten we dan meer experimenten doen!"

De Twist van het Artikel: Als de experimenten "niet-exact" zijn (verschillende laboratoria, verschillende mensen, verschillende tools), is het toevoegen van meer experimenten als het toevoegen van meer mensen aan een kamer waar iedereen in verschillende talen schreeuwt. Je krijgt gewoon meer ruis.
De "Effectieve Steekproefgrootte": De auteurs tonen aan dat een studie met 100 verschillende laboratoria misschien alleen maar de statistische kracht heeft van 5 of 6 perfecte, identieke experimenten. De "ruis" van de verschillen tussen laboratoria heft het voordeel op van het hebben van meer laboratoria op.

Het Voorbeeld van Many Labs 4

De auteurs testten hun theorie op een echt project genaamd "Many Labs 4", waarbij 17 laboratoria probeerden een beroemd psychologie-experiment over het nadenken over de dood te repliceren.

Het Resultaat: De laboratoria waren allemaal verschillend. Sommigen deden het online, anderen persoonlijk. Sommigen gebruikten verschillende vragen.
De Wiskunde: Toen ze de "rommeligheid" (heterogeniteit) van deze 17 laboratoria berekenden, bleek deze zo hoog dat de data hen onmogelijk kon vertellen of het oorspronkelijke resultaat waar of onwaar was. De "Ja/Nee"-antwoorden waren te wazig.
De Conclusie: Zelfs met een enorm, goed gefinancierd project was de data te "onscherp" om een winnaar aan te wijzen.

Samenvatting: Wat Moeten We Doen?

De auteurs zeggen niet dat we moeten stoppen met wetenschap doen of met repliceren.

Replicatie is nog steeds goed om te leren hoe dingen werken, de juiste metingen te vinden en de details te begrijpen.
Replicatie is slecht wanneer we proberen het te gebruiken als een simpele "Geslaagd/Gefaald"-test om een heel vakgebied van wetenschap een "crisis" of een "succes" te noemen.

De Eindmetafoor:
Proberen om te beslissen of een wetenschappelijk resultaat "echt" is door te tellen hoeveel "Ja/Nee"-stemmen er van verschillende laboratoria komen, is als proberen de kwaliteit van een lied te beoordelen door 100 mensen te vragen het voor je te neuriën. Sommigen neuriën het in een andere toonsoort, sommigen vergeten de tekst, en sommigen neuriën het sneller. Als je gewoon telt hoeveel mensen het "goed hadden", oordeel je niet over het lied; je oordeelt alleen maar over hoe goed de menigte het lied kan nabootsen.

Het artikel concludeert dat de tools die we momenteel gebruiken om een "crisis" in de wetenschap aan te kondigen, wiskundig niet in staat zijn om de taak uit te voeren die ze toegewezen is. We kunnen met de huidige methoden niet betrouwbaar een lijn trekken tussen "repliceerbaar" en "niet repliceerbaar".

1. Probleemstelling

Het artikel adresseert een fundamenteel gebrek in huidige metawetenschappelijke praktijken met betrekking tot repliceerbaarheidspercentages. De wetenschappelijke gemeenschap aggregeert routinematig binaire uitspraken (gerepliceerd versus niet gerepliceerd) uit meerdere studies om een gemiddeld repliceerbaarheidspercentage ( $\mu$ ) te schatten voor een vakgebied of een specifiek resultaat. Dit percentage wordt vervolgens gebruikt om "betrouwbare" resultaten te onderscheiden van "verdachte" resultaten of om een "replicatiecrisis" te verklaren.

De auteurs betogen dat deze praktijk statistisch onhoudbaar is omdat:

Niet-exactheid: Wereldwijde replicaties zijn zelden "exact" (statistisch equivalent aan de referentie). Ze verschillen in subjectpopulaties, procedures en contexten, waardoor heterogeniteit wordt geïntroduceerd.
Beperkingen in datastructuur: Standaard replicatiestudies rapporteren slechts één binaire uitspraak per experiment. Deze datastructuur mist de informatie die nodig is om te onderscheiden tussen steekproeffout en heterogeniteit tussen experimenten.
De Kernclaim: Het verschil tussen een "repliceerbaar" resultaat (hoog $\mu$ ) en een "niet-repliceerbaar" resultaat (laag $\mu$ ) kan niet betrouwbaar worden onderscheiden met huidige methoden, zelfs niet met grote aantallen replicaties. De statistische machinerie die wordt gebruikt om deze uitspraken te produceren, verliest zijn discriminerende kracht onder realistische omstandigheden van niet-exactheid.

2. Methodologie

De auteurs formaliseren het probleem met behulp van twee distincte statistische modellen om de ontologische bronnen van niet-exactheid vast te leggen:

A. Het Benchmark-model (Gedeelde Latente Rate)

Aanneming: Alle $m$ replicaties zijn uitwisselbaar en afhankelijk van één latente repliceerbaarheidsrate $\phi$ , die wordt getrokken uit een populatieverdeling met gemiddelde $\mu$ en intraklasse-correlatie $\rho$ .
Mechanisme: Het totale aantal successen volgt een Beta-Binomiaal verdeling.
Kerninzicht: Zelfs als $\rho$ (de graad van heterogeniteit) bekend is, heeft de variantie van de geschatte gemiddelde $\hat{\mu}$ een onherleidbare variantievloer naarmate $m \to \infty$ :
$\lim_{m \to \infty} V(\hat{\mu}) = \mu(1-\mu)\rho$
Dit betekent dat het toevoegen van meer replicaties onzekerheid niet kan elimineren als $\rho > 0$ . Regimes met hoge en lage repliceerbaarheid zullen overlappende betrouwbaarheidsintervallen hebben, waardoor ze niet van elkaar te onderscheiden zijn.

B. Het Operationele Model (Conditioneel Onafhankelijke Rates)

Aanneming: Dit model weerspiegelt de daadwerkelijke praktijk waarbij elk van de $m$ experimenten uniek (niet-exact) is en zijn eigen repliceerbaarheidsrate $\phi_i$ heeft, onafhankelijk getrokken uit een populatieverdeling.
Datastructuur: Elk experiment $i$ draagt precies één binaire uitspraak bij ( $k_i = 1$ ).
Kerninzicht: Wanneer $k_i = 1$ , wordt de parameter $\rho$ (heterogeniteit) niet-identificeerbaar vanuit de data. De gezamenlijke verdeling van de binaire uitkomsten reduceert tot een eenvoudige Binomiale verdeling $Bin(m, \mu)$ , ongeacht de ware waarde van $\rho$ .
Gevolg: Onderzoekers kunnen niet vertellen of ze opereren in een regime met lage heterogeniteit (waar meer replicaties helpen) of een regime met hoge heterogeniteit (waar ze dat niet doen). De datastructuur sistematiseert onzekerheid systematisch.

C. Numerieke Voorbeelden en Heranalyse

De auteurs valideren hun theorie door middel van:

Generatieve Modellen: Het simuleren van heterogeniteit die voortkomt uit (a) steekproefheterogeniteit (verschillende subjectpopulaties) en (b) stimulus/dosering-heterogeniteit (leveringsfouten en bias). Ze tonen aan hoe deze fysieke bronnen leiden tot hoge $\rho$ -waarden.
Casestudie (Many Labs 4): Een heranalyse van het "Terror Management Theory" replicatieproject.
- Ze gebruikten een hulpmiddel Normal random-effects-model op continue effectgroottes (Hedges' $g$ ) om de impliciete $\rho$ te schatten.
- Ze mapten deze schattingen naar het Benchmark-model om aan te tonen dat de resulterende variantie-intervallen zo breed zijn dat binaire classificatie onmogelijk is.

3. Belangrijkste Bijdragen

Formalisatie van Niet-Identificeerbaarheid: Het artikel bewijst dat onder het standaardontwerp "één binaire uitspraak per experiment" de graad van niet-exactheid ( $\rho$ ) wiskundig niet-identificeerbaar is. Bijgevolg kan de precisie van het gemiddelde repliceerbaarheidspercentage niet worden beoordeeld.
De Onherleidbare Variantievloer: Het stelt vast dat heterogeniteit een harde limiet creëert voor precisie. In tegenstelling tot steekproeffout, die afneemt met $N$ , blijft heterogeniteit-geïnduceerde variantie constant, ongeacht het aantal replicaties.
De "Replicatieparadox": De auteurs demonstreren dat het verhogen van het aantal replicaties in een heterogene setting kan leiden tot een vals gevoel van precisie (als $\rho$ wordt genegeerd) of simpelweg faalt om hoge/lage repliceerbaarheid te onderscheiden (als $\rho$ wordt erkend).
Kritiek op Aggregatie: Ze betogen dat het aggregeren van repliceerbaarheidspercentages over diverse literatuur (bijv. "Psychologie als geheel") een betekenisloos gemiddelde produceert dat niet-compareerbare experimentele regimes verward.

4. Belangrijkste Resultaten

Verlies van Discriminerend Vermogen: Onder realistische heterogeniteit (bijv. $\rho = 0,15$ ) overlappen de 95% Highest Density Intervals (HDI) voor een "hoog" repliceerbaarheidspercentage (bijv. $\mu=0,80$ ) en een "laag" percentage (bijv. $\mu=0,20$ ) aanzienlijk, zelfs met $m=50$ replicaties.
Effectieve Steekproefgrootte: Het effectieve aantal onafhankelijke replicaties ( $m_e$ ) daalt drastisch naarmate $\rho$ toeneemt. Bijvoorbeeld, in het Reproducibility Project: Psychology ( $m=100$ ), is als $\rho=0,20$ , het inferentiële gewicht equivalent aan slechts 5 exacte replicaties.
Many Labs 4 Analyse:
- De geschatte $\rho$ voor de ML4-sequentie was hoog (posterieur gemiddelde $\approx 0,37$ tot $0,59$).
- Op dit niveau van heterogeniteit beslaat de 95% HDI voor het geschatte repliceerbaarheidspercentage bijna het hele interval [0, 1].
- De data kunnen niet onderscheiden of het onderliggende effect echt repliceerbaar is of niet; de sequentie is "niet-diagnostisch".
Bias en Ruis: Systematische bias (bijv. onderlevering van stimuli) verschuift het gemiddelde $\mu$ , terwijl ruis $\rho$ inflatieert. Beide vervormen het schijnbare repliceerbaarheidspercentage en ondermijnen het vermogen om binaire uitspraken te doen.

5. Betekenis en Implicaties

Refutatie van het "Crisis"-Narratief: De auteurs betogen dat de "replicatiecrisis" niet kan worden vastgesteld door huidige methoden. Een laag repliceerbaarheidspercentage (bijv. 36%) is statistisch niet te onderscheiden van een gezonde literatuur vol kleine, ruisige studies, omdat de basisrate van ware effecten en de graad van heterogeniteit onbekend zijn.
Mislukte Demarcatie: Het binaire onderscheid tussen "repliceerbaar" en "niet-repliceerbaar" is geen wetenschappelijk repliceerbare eigenschap van een resultaat onder huidige methodologieën.
Aanbevelingen voor Praktijk:
- Stop met Binaire Uitspraken: Onderzoekers moeten voorkomen dat replicatie-uitkomsten worden gereduceerd tot simpele "succes/mislukking"-tellingen voor demarcatiedoeleinden.
- Rijkere Datastructuren: Om informatie over heterogeniteit te herstellen, hebben studies continue uitkomsten, meerdere metingen per experiment ( $k > 1$ ) of hiërarchische ontwerpen nodig.
- Verschuiving in Focus: Replicatie moet worden gebruikt voor het schatten van effectgroottes, het karakteriseren van variabiliteit en het kalibreren van procedures, in plaats van te fungeren als een "tribunaal" om de waarheid van individuele resultaten te beoordelen.
Theoretische Vooruitgang: Het artikel suggereert dat het oplossen van repliceerbaarheidsproblemen vereist dat er ofwel sterkere theoretische voorspellingen worden gedaan (om het anker te definiëren) of dat "minimaal levensvatbare experimenten" worden geïdentificeerd om auxiliaire ruis te elimineren, in plaats van alleen protocollen te standaardiseren rond willekeurige referentiestudies.

Concluderend biedt het artikel een rigoureuze statistische bewijsvoering dat het huidige paradigma van het aggregeren van binaire replicatie-uitspraken fundamenteel niet in staat is om te onderscheiden tussen hoge en lage repliceerbaarheid in aanwezigheid van de onvermijdelijke heterogeniteit die wordt aangetroffen in wetenschappelijke praktijk.