📊 statistics

The Difference Between "Replicable" and "Not replicable" is not Itself Scientifically Replicable

Dieser Artikel argumentiert, dass das Aggregieren binärer Replikationsurteile über nicht-exakte Experimente hinweg nicht zuverlässig zwischen „replizierbaren" und „nicht replizierbaren" Ergebnissen unterscheiden kann, da inhärente Heterogenität irreduzible Unsicherheit und nicht identifizierbare Varianz erzeugt und dadurch die statistischen Grundlagen untergräbt, die zur Ausrufung einer Replikationskrise herangezogen werden.

Ursprüngliche Autoren: Berna Devezer, Erkan O. Buzbas

Veröffentlicht 2026-04-30

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Berna Devezer, Erkan O. Buzbas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Warum wir „wahre" Wissenschaft nicht leicht von „falscher" Wissenschaft unterscheiden können

Stellen Sie sich vor, Sie sind ein Richter, der entscheiden muss, ob ein neues Rezept „gut" oder „schlecht" ist. Sie bitten 50 verschiedene Köche, es auszuprobieren.

Wenn 45 Köche sagen: „Es schmeckt großartig!" und 5 sagen: „Es ist schrecklich", könnten Sie schließen, dass das Rezept replizierbar (gut) ist.
Wenn 25 sagen „Großartig" und 25 sagen „Schrecklich", könnten Sie schließen, dass es nicht replizierbar (schlecht) ist.

Dieses Papier argumentiert, dass diese Art der Bewertung kaputt ist.

Die Autoren, Berna Devezer und Erkan O. Buzbas, behaupten, dass wir in der modernen Wissenschaft nicht zuverlässig den Unterschied zwischen einem „guten" und einem „schlechten" Ergebnis feststellen können, indem wir einfach zählen, wie oft es in verschiedenen Laboren funktioniert hat. Selbst wenn Sie Tausende von Experimenten durchführen, besagt die Mathematik, dass die Grenze zwischen „replizierbar" und „nicht replizierbar" unsichtbar ist.

Das Kernproblem: Der Mythos der „perfekten Kopie"

Um zu verstehen, warum, müssen wir uns ansehen, was eine „Replikation" eigentlich ist.

Eine exakte Replikation: Dies ist wie ein Fotokopierer. Sie nehmen ein Dokument, und die Maschine spuckt eine identische Kopie aus. In der Wissenschaft würde dies bedeuten, dass jedes einzelne Detail (dieselben Personen, dieselbe Ausrüstung, dieselbe Tageszeit, dieselben Anweisungen) identisch ist und sich nur das zufällige Glück des Ziehens ändert.
Die Realität: Exakte Kopien sind fast unmöglich. Im echten Leben sind Replikationen wie das Handabschreiben eines Dokuments. Eine Person benutzt einen blauen Stift, eine andere einen Bleistift. Eine schreibt an einem Schreibtisch, eine andere in einem Zug. Eine ist müde, eine andere ist energisch.

Das Papier nennt dies „Nicht-Exaktheit". Da jedes Labor etwas anders ist, ist jedes Experiment etwas anders.

Die beiden Modelle: Das „gemeinsame Geheimnis" vs. das „unabhängige Glücksspiel"

Die Autoren verwenden zwei statistische Modelle, um zu erklären, was passiert, wenn wir diese unvollkommenen Kopien mischen.

1. Das Benchmark-Modell (Das „gemeinsame Geheimnis")
Stellen Sie sich eine Gruppe von Köchen vor, die alle heimlich demselben Meisterrezept folgen, aber alle etwas schlecht darin sind, es zu lesen.

Wenn das Rezept „schwer zu lesen" ist (hohe Nicht-Exaktheit), werden selbst wenn Sie 1.000 Köche bitten, es auszuprobieren, ihre Ergebnisse immer noch chaotisch sein.
Die Lehre: Es gibt eine „Untergrenze" dafür, wie präzise Sie sein können. Egal wie viele weitere Köche Sie hinzufügen, die Unsicherheit verschwindet nie, weil die „Unordnung" des Rezepts selbst das Problem ist, nicht die Anzahl der Köche.

2. Das operative Modell (Das „unabhängige Glücksspiel")
So funktioniert Wissenschaft tatsächlich. Jedes Labor führt sein eigenes einzigartiges Experiment durch und meldet eine einfache „Ja" (es funktionierte) oder „Nein" (es scheiterte).

Die Autoren zeigen, dass Sie, wenn Sie von jedem Labor nur eine „Ja/Nein"-Antwort erhalten, alle Informationen darüber verlieren, wie unterschiedlich die Labore waren.
Die Analogie: Stellen Sie sich vor, Sie versuchen, die Durchschnittstemperatur einer Stadt zu erraten.
- Szenario A: Sie bitten 100 Personen, auf dasselbe Thermometer zu schauen. Sie sehen alle dieselbe Zahl, aber vielleicht schauen sie alle falsch darauf.
- Szenario B: Sie bitten 100 Personen, auf 100 verschiedene Thermometer zu schauen. Manche sind kaputt, manche stehen in der Sonne, manche im Schatten.
- Wenn Sie sie nur fragen: „Ist es heiß? (Ja/Nein)", können Sie den Unterschied zwischen Szenario A und Szenario B nicht erkennen. Sie erhalten nur eine Liste von „Ja" und „Nein". Sie haben keine Ahnung, ob die Thermometer kaputt sind oder ob das Wetter einfach chaotisch ist.

Die „Replikationskrise" ist eine statistische Illusion

Das Papier argumentiert, dass die berühmte „Replikationskrise" (die Idee, dass die Hälfte der Wissenschaft gefälscht ist) ein Missverständnis sein könnte, das durch schlechte Mathematik verursacht wird.

Die Falle: Wissenschaftler sagen oft: „Wir haben versucht, 100 Studien zu replizieren, und nur 36 % funktionierten. Daher befindet sich die Wissenschaft in einer Krise."
Die Realität: Die Autoren sagen, dass 36 % nur eine Zahl ist, die Äpfel mit Birnen mischt. Da jedes Labor anders ist (nicht exakt), sagt uns die „36 %" nicht, ob die ursprüngliche Wissenschaft schlecht war oder ob die Labore einfach nicht übereinstimmen konnten, wie man sie misst.
Das Urteil: Sie können nicht auf eine Liste von „Ja/Nein"-Ergebnissen schauen und sagen: „Dieses Ergebnis ist definitiv wahr" oder „Dieses Ergebnis ist definitiv falsch". Die Datenstruktur enthält einfach nicht genug Informationen, um diese Entscheidung zu treffen.

Warum „mehr Replikationen" es nicht reparieren

Normalerweise denken wir: „Wenn wir uns nicht sicher sind, lassen Sie uns mehr Experimente durchführen!"

Die Wendung des Papiers: Wenn die Experimente „nicht exakt" sind (verschiedene Labore, verschiedene Personen, verschiedene Werkzeuge), ist das Hinzufügen weiterer Experimente wie das Hinzufügen weiterer Personen in einen Raum, in dem alle in verschiedenen Sprachen schreien. Sie erhalten nur mehr Lärm.
Die „effektive Stichprobengröße": Die Autoren zeigen, dass eine Studie mit 100 verschiedenen Laboren möglicherweise nur die statistische Kraft von 5 oder 6 perfekten, identischen Experimenten hat. Das „Rauschen" der Unterschiede zwischen den Laboren hebt den Vorteil des Hinzufügens weiterer Labore auf.

Das Beispiel „Many Labs 4"

Die Autoren testeten ihre Theorie an einem echten Projekt namens „Many Labs 4", bei dem 17 Labore versuchten, ein berühmtes Psychologieexperiment über das Nachdenken über den Tod zu replizieren.

Das Ergebnis: Die Labore waren alle unterschiedlich. Manche führten es online durch, manche persönlich. Manche verwendeten verschiedene Fragen.
Die Mathematik: Als sie die „Unordnung" (Heterogenität) dieser 17 Labore berechneten, stellten sie fest, dass sie so hoch war, dass die Daten ihnen unmöglich sagen konnten, ob das ursprüngliche Ergebnis wahr oder falsch war. Die „Ja/Nein"-Antworten waren zu verschwommen.
Die Schlussfolgerung: Selbst mit einem massiven, gut finanzierten Projekt waren die Daten zu „unscharf", um einen Gewinner zu ermitteln.

Zusammenfassung: Was sollten wir tun?

Die Autoren sagen nicht, dass wir aufhören sollten, Wissenschaft zu betreiben oder zu replizieren.

Replikation ist immer noch gut, um zu lernen, wie Dinge funktionieren, die richtigen Messungen zu finden und die Details zu verstehen.
Replikation ist schlecht, wenn wir versuchen, sie als einfachen „Bestanden/Nicht bestanden"-Test zu verwenden, um ein ganzes Feld der Wissenschaft als „Krise" oder „Erfolg" zu deklarieren.

Die letzte Metapher:
Versuchen, ein wissenschaftliches Ergebnis als „echt" zu bewerten, indem man „Ja/Nein"-Stimmen aus verschiedenen Laboren zählt, ist wie der Versuch, die Qualität eines Songs zu beurteilen, indem man 100 Personen bittet, ihn für Sie zu summen. Manche summen ihn in einer anderen Tonart, manche vergessen den Text, und manche summen ihn schneller. Wenn Sie nur zählen, wie viele Leute es „richtig" hatten, beurteilen Sie nicht den Song; Sie beurteilen nur, wie gut die Menge den Song nachahmen kann.

Das Papier kommt zu dem Schluss, dass die Werkzeuge, die wir derzeit verwenden, um eine „Krise" in der Wissenschaft zu deklarieren, mathematisch unfähig sind, die ihnen zugewiesene Aufgabe zu erfüllen. Wir können mit den aktuellen Methoden nicht zuverlässig eine Grenze zwischen „replizierbar" und „nicht replizierbar" ziehen.

1. Problemstellung

Das Paper adressiert einen fundamentalen Mangel in aktuellen metawissenschaftlichen Praktiken hinsichtlich Replizierungsraten. Die wissenschaftliche Gemeinschaft fasst binäre Urteile (repliziert vs. nicht repliziert) aus mehreren Studien routinemäßig zusammen, um eine mittlere Replizierungsrate ( $\mu$ ) für ein Feld oder ein spezifisches Ergebnis zu schätzen. Diese Rate wird dann verwendet, um „vertrauenswürdige" Ergebnisse von „verdächtigen" zu unterscheiden oder eine „Replikationskrise" auszurufen.

Die Autoren argumentieren, dass diese Praxis statistisch unhaltbar ist, weil:

Nicht-Exaktheit: Reale Replikationen sind selten „exakt" (statistisch äquivalent zum Referenzexperiment). Sie unterscheiden sich in Stichproben, Verfahren und Kontexten, was Heterogenität einführt.
Einschränkung der Datenstruktur: Standard-Replikationsstudien berichten nur ein binäres Urteil pro Experiment. Diese Datenstruktur fehlt die Information, die notwendig ist, um zwischen Stichprobenrauschen und Heterogenität zwischen Experimenten zu unterscheiden.
Die Kernbehauptung: Der Unterschied zwischen einem „replizierbaren" Ergebnis (hohes $\mu$ ) und einem „nicht replizierbaren" Ergebnis (niedriges $\mu$ ) kann mit aktuellen Methoden nicht zuverlässig unterschieden werden, selbst bei großen Zahlen von Replikationen. Die statistische Maschinerie, die diese Urteile erzeugt, verliert unter realistischen Bedingungen der Nicht-Exaktheit ihre diskriminierende Kraft.

2. Methodik

Die Autoren formalisieren das Problem unter Verwendung zweier unterschiedlicher statistischer Modelle, um die ontologischen Quellen der Nicht-Exaktheit zu erfassen:

A. Das Benchmark-Modell (Gemeinsame latente Rate)

Annahme: Alle $m$ Replikationen sind austauschbar und hängen von einer einzigen latenten Replizierungsrate $\phi$ ab, die aus einer Populationsverteilung mit Mittelwert $\mu$ und intraklassenkorrelation $\rho$ gezogen wird.
Mechanismus: Die Gesamtzahl der Erfolge folgt einer Beta-Binomial-Verteilung.
Schlüsselerkenntnis: Selbst wenn $\rho$ (der Grad der Heterogenität) bekannt ist, weist die Varianz der geschätzten Mittelwerte $\hat{\mu}$ eine unreduzierbare Varianzuntergrenze auf, wenn $m \to \infty$ :
$\lim_{m \to \infty} V(\hat{\mu}) = \mu(1-\mu)\rho$
Dies bedeutet, dass das Hinzufügen weiterer Replikationen die Unsicherheit nicht beseitigen kann, wenn $\rho > 0$ . Regime mit hoher und niedriger Replizierbarkeit werden überlappende Konfidenzintervalle aufweisen, was sie ununterscheidbar macht.

B. Das Operationale Modell (Bedingt unabhängige Raten)

Annahme: Dieses Modell spiegelt die tatsächliche Praxis wider, bei der jedes der $m$ Experimente einzigartig (nicht exakt) ist und seine eigene Replizierungsrate $\phi_i$ hat, die unabhängig aus einer Populationsverteilung gezogen wird.
Datenstruktur: Jedes Experiment $i$ liefert genau ein binäres Urteil ( $k_i = 1$ ).
Schlüsselerkenntnis: Wenn $k_i = 1$ , wird der Parameter $\rho$ (Heterogenität) aus den Daten nicht identifizierbar. Die gemeinsame Verteilung der binären Ergebnisse kollabiert zu einer einfachen Binomialverteilung $Bin(m, \mu)$ , unabhängig vom wahren Wert von $\rho$ .
Konsequenz: Forscher können nicht unterscheiden, ob sie in einem Regime mit geringer Heterogenität (wo mehr Replikationen helfen) oder in einem Regime mit hoher Heterogenität (wo sie nicht helfen) operieren. Die Datenstruktur unterschätzt die Unsicherheit systematisch.

C. Numerische Beispiele und Reanalyse

Die Autoren validieren ihre Theorie durch:

Generative Modelle: Simulation von Heterogenität, die aus (a) Stichprobenheterogenität (unterschiedliche Populationen von Probanden) und (b) Stimulus-/Dosierungsheterogenität (Lieferfehler und Verzerrungen) entsteht. Sie zeigen, wie diese physischen Quellen auf hohe $\rho$ -Werte abbilden.
Fallstudie (Many Labs 4): Eine Reanalyse des Replikationsprojekts zur „Terror Management Theory".
- Sie verwendeten ein auxiliares Normal-Random-Effects-Modell auf kontinuierliche Effektstärken (Hedges' $g$ ), um den implizierten $\rho$ zu schätzen.
- Sie bildeten diese Schätzungen auf das Benchmark-Modell ab, um zu demonstrieren, dass die resultierenden Varianzintervalle so breit sind, dass eine binäre Klassifizierung unmöglich ist.

3. Hauptbeiträge

Formalisierung der Nicht-Identifizierbarkeit: Das Paper beweist, dass unter dem Standard-Design „ein binäres Urteil pro Experiment" der Grad der Nicht-Exaktheit ( $\rho$ ) mathematisch nicht identifizierbar ist. Folglich kann die Präzision der mittleren Replizierungsrate nicht bewertet werden.
Die unreduzierbare Varianzuntergrenze: Es wird festgestellt, dass Heterogenität eine harte Grenze für die Präzision setzt. Im Gegensatz zum Stichprobenfehler, der mit $N$ abnimmt, bleibt die durch Heterogenität verursachte Varianz unabhängig von der Anzahl der Replikationen konstant.
Das „Replikationsparadox": Die Autoren zeigen, dass eine Erhöhung der Anzahl der Replikationen in einem heterogenen Setting zu einem falschen Gefühl von Präzision führen kann (wenn $\rho$ ignoriert wird) oder einfach daran scheitert, hohe/niedrige Replizierbarkeit zu unterscheiden (wenn $\rho$ anerkannt wird).
Kritik der Aggregation: Sie argumentieren, dass die Aggregation von Replizierungsraten über diverse Literaturen hinweg (z. B. „Psychologie als Ganzes") eine bedeutungslose Durchschnittsbildung erzeugt, die inkommensurable experimentelle Regime vermischt.

4. Hauptergebnisse

Verlust der Diskriminierbarkeit: Unter realistischer Heterogenität (z. B. $\rho = 0,15$ ) überlappen sich die 95%-Highest-Density-Intervalle (HDI) für eine „hohe" Replizierungsrate (z. B. $\mu=0,80$ ) und eine „niedrige" Rate (z. B. $\mu=0,20$ ) erheblich, selbst bei $m=50$ Replikationen.
Effektive Stichprobengröße: Die effektive Anzahl unabhängiger Replikationen ( $m_e$ ) sinkt drastisch, wenn $\rho$ zunimmt. Beispielsweise ist im Reproducibility Project: Psychology ( $m=100$ ), wenn $\rho=0,20$ , das inferentielle Gewicht äquivalent zu nur 5 exakten Replikationen.
Many Labs 4 Analyse:
- Der geschätzte $\rho$ für die ML4-Sequenz war hoch (posteriorer Mittelwert $\approx 0,37$ bis $0,59$).
- Auf diesem Niveau der Heterogenität erstreckt sich das 95%-HDI für die geschätzte Replizierungsrate über fast das gesamte Intervall [0, 1].
- Die Daten können nicht unterscheiden, ob der zugrunde liegende Effekt wirklich replizierbar ist oder nicht; die Sequenz ist „nicht-diagnostisch".
Verzerrung und Rauschen: Systematische Verzerrungen (z. B. unzureichende Lieferung von Stimuli) verschieben den Mittelwert $\mu$ , während Rauschen $\rho$ aufbläht. Beide verzerren die scheinbare Replizierungsrate und untergraben die Fähigkeit, binäre Urteile zu fällen.

5. Bedeutung und Implikationen

Widerlegung des „Krise"-Narrativs: Die Autoren argumentieren, dass die „Replikationskrise" mit aktuellen Methoden nicht etabliert werden kann. Eine niedrige Replizierungsrate (z. B. 36 %) ist statistisch nicht von einer gesunden Literatur voller kleiner, verrauschter Studien zu unterscheiden, da die Basisrate echter Effekte und der Grad der Heterogenität unbekannt sind.
Versagen der Abgrenzung: Die binäre Unterscheidung zwischen „replizierbar" und „nicht replizierbar" ist unter aktuellen Methodologien keine wissenschaftlich replizierbare Eigenschaft eines Ergebnisses.
Empfehlungen für die Praxis:
- Binäre Urteile stoppen: Forscher sollten vermeiden, Replikationsergebnisse für Abgrenzungszwecke auf einfache „Erfolg/Misserfolg"-Zählungen zu reduzieren.
- Reichhaltigere Datenstrukturen: Um Informationen über Heterogenität zu gewinnen, benötigen Studien kontinuierliche Ergebnisse, mehrere Messungen pro Experiment ( $k > 1$ ) oder hierarchische Designs.
- Fokuswechsel: Replikation sollte zur Schätzung von Effektstärken, zur Charakterisierung von Variabilität und zur Kalibrierung von Verfahren verwendet werden, anstatt als „Tribunal" zu dienen, um die Wahrheit einzelner Ergebnisse zu beurteilen.
Theoretischer Fortschritt: Das Paper legt nahe, dass die Lösung von Replizierbarkeitsproblemen entweder stärkere theoretische Vorhersagen erfordert (um den Anker zu definieren) oder die Identifizierung von „minimal lebensfähigen Experimenten", um auxiliares Rauschen zu eliminieren, anstatt Protokolle nur um willkürliche Referenzstudien zu standardisieren.

Zusammenfassend liefert das Paper einen rigorosen statistischen Beweis dafür, dass das aktuelle Paradigma der Aggregation binärer Replikationsurteile grundsätzlich unfähig ist, zwischen hoher und niedriger Replizierbarkeit in Anwesenheit der unvermeidlichen Heterogenität, die in der wissenschaftlichen Praxis anzutreffen ist, zu unterscheiden.