📊 statistics

Critical Values Robust to P-hacking

Dieses Papier schlägt ein Modell der Hypothesenprüfung vor, das P-Hacking einbezieht, um größere, „robuste“ kritische Werte abzuleiten – die unter Verwendung medizinischer Daten so kalibriert wurden, dass sie klassischen Werten auf dem Niveau eines Fünftel des Signifikanzniveaus entsprechen –, wodurch sichergestellt wird, dass signifikante Ergebnisse mit der gewünschten Häufigkeit auftreten, selbst wenn Forscher ihr Verhalten an neue Standards anpassen.

Ursprüngliche Autoren: Adam McCloskey, Pascal Michaillat

Veröffentlicht 2026-07-23

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Adam McCloskey, Pascal Michaillat

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen. In der Welt der Wissenschaft ist dieses „Rätsel“ oft eine Frage wie: „Wirkt dieses neue Medikament tatsächlich?“ oder „Ist diese Münze fair?“ Um dieses Rätsel zu lösen, verwenden Wissenschaftler ein spezielles Werkzeug namens Hypothesentest. Betrachten Sie diesen Test als einen sehr strengen Richter. Der Richter geht davon aus, dass der Verdächtige unschuldig ist (dies wird als „Nullhypothese“ bezeichnet). Der Richter erklärt den Verdächtigen erst dann für schuldig (lehnt die Nullhypothese ab), wenn die Beweise so erdrückend sind, dass sie mit einer Wahrscheinlichkeit von weniger als 5 % durch reinen Zufall zustande gekommen wären. Diese 5 %-Grenze wird als Signifikanzniveau bezeichnet, und die spezifische Zahl, die die Beweise übertreffen müssen, um als „schuldig“ zu gelten, ist der kritische Wert.

Doch hier liegt das Problem: Das echte Leben ist nicht immer so ordentlich wie ein Gerichtssaal. Wissenschaftler wollen, genau wie alle anderen auch, gewinnen. Sie wollen, dass ihre Ergebnisse veröffentlicht werden, dass ihre Karrieren boomen und dass ihre Theorien berühmt werden. Dies erzeugt eine riesige Versuchung, ein wenig zu „schummeln“, nicht indem man lügt, sondern indem man es immer und immer wieder versucht, bis man das gewünschte Ergebnis erhält. Das nennt man p-Hacking. Es ist so, als würde man einen Würfel immer wieder werfen, bis man schließlich eine Sechs erhält, und dann nur über diese eine Sechs berichten, während man alle Einsen, Zweien und Dreien verbirgt. Wenn alle so vorgehen, werden die „unschuldigen“ Verdächtigen viel zu oft verurteilt, und das gesamte Justizsystem der Wissenschaft beginnt zu zerbröckeln. Das ist der Grund, warum die „Replikationskrise“ stattfindet: Viele berühmte wissenschaftliche Entdeckungen stellen sich als falsch heraus, weil die ursprünglichen Wissenschaftler so lange gewürfelt haben, bis sie Glück hatten.

Dieses Papier von Adam McCloskey und Pascal Michaillat geht diesem Schummelproblem direkt entgegen. Sie versuchen nicht, die Wissenschaftler daran zu hindern, die Würfel zu werfen; sie wissen, dass Wissenschaftler es weiterhin tun werden, solange die Belohnungen hoch sind. Stattdessen haben sie ein mathematisches Modell entwickelt, um herauszufinden, wie man die Regeln des Spiels so ändert, dass selbst wenn Wissenschaftler weiter würfeln, die „unschuldigen“ Verdächtigen dennoch geschützt sind. Sie fanden heraus, dass die aktuellen Regeln zu leicht zu überlisten sind. Um dies zu beheben, schlagen sie einen neuen, härteren „kritischen Wert“ vor, der als eine viel höhere Hürde fungiert, die die Beweise überwinden müssen.

So funktioniert ihre Lösung, unter Verwendung einer spielerischen Analogie. Stellen Sie sich vor, ein Wissenschaftler ist ein Gamer, der versucht, ein Level in einem Videospiel zu schaffen. Das „Level“ ist das Finden eines signifikanten Ergebnisses. Im alten System war das Spiel auf einem niedrigen Schwierigkeitsgrad eingestellt. Wenn der Wissenschaftler beim ersten Mal scheiterte, konnte er einfach so oft auf „Neustart“ drücken, wie er wollte, bis er gewann. Weil er es immer wieder versuchen konnte, gewann er fast jedes Mal, selbst wenn das Spiel eigentlich unmöglich zu gewinnen war. Durch Zufall.

Die Autoren schlagen eine neue Regel vor: Mach das Spiel schwerer. Aber nicht nur ein kleines bisschen schwerer. Sie erkannten, dass, wenn man das Spiel schwerer macht, der Wissenschaftler einfach öfter spielt, um zu gewinnen. Also muss man das Spiel so schwer machen, dass selbst mit all den zusätzlichen Versuchen der Wissenschaftler nur so oft gewinnt, wie es richtig ist (5 % der Zeit, falls das das Ziel ist).

Um herauszufinden, wie schwer man das Spiel machen muss, nutzten die Autoren reale Daten aus medizinischen Studien. Sie fanden heraus, dass etwa 20 % der Studien abgebrochen werden, bevor sie abgeschlossen sind, weil den Wissenschaftlern die Zeit, das Geld oder die Energie ausgehen. Das bedeutet, dass eine Wahrscheinlichkeit von 80 % besteht, dass ein Wissenschaftler ein einzelnes Experiment abschließen kann. Mit dieser Zahl berechneten sie, dass die „Schwierigkeit“ des Spiels drastisch erhöht werden muss, um das Schummeln zu stoppen.

Ihr Hauptergebnis ist eine einfache, kraftvolle Faustregel: Um p-Hacking zu verhindern, müssen Sie so handeln, als wäre Ihr Signifikanzniveau fünfmal kleiner, als es tatsächlich ist.

Wenn ein Wissenschaftler behaupten möchte, dass ein Ergebnis auf dem Standard-Signifikanzniveau von 5 % signifikant ist, sollte er nicht den üblichen kritischen Wert (der 1,96 für einen zweiseitigen Test ist) verwenden. Stattdessen sollte er den kritischen Wert verwenden, der einem 1 %-Niveau entspricht (welcher 2,58 ist).

Warum funktioniert das? Die Autoren zeigen, dass die Wissenschaftler bei einem Anheben der Hürde auf 2,58 tatsächlich öfter versuchen werden zu gewinnen. Sie werden mehr Experimente durchführen, mehr Datenpunkte fallen lassen und mehr Modelle anpassen, in ihrem verzweifelten Versuch, diese höhere Linie zu überqueren. Aber weil die Linie so hoch ist, werden sie nur durch reinen Zufall etwa 5 % der Zeit erfolgreich sein, die Linie zu überqueren. Das „Schummeln“ findet zwar immer noch statt, aber es zerstört das System nicht mehr.

Das Papier schließt die Idee explizit aus, dass wir Wissenschaftler einfach dazu bringen können, „aufzuhören zu schummeln“, oder dass wir das Problem lösen können, indem wir einfach zählen, wie oft sie versucht haben. Die Autoren argumentieren, dass Wissenschaftler ihr Verhalten immer an die Regeln anpassen werden, die man setzt. Wenn wir eine Regel setzen, die besagt, dass man nur drei Mal versuchen darf, werden Wissenschaftler einfach einen Weg finden, vier Mal zu versuchen. Der einzige Weg, um zu garantieren, dass das System funktioniert, besteht darin, einen kritischen Wert festzulegen, der berücksichtigt, dass Wissenschaftler weiterhin versuchen werden, bis ihnen die Ressourcen ausgehen.

Die Autoren sind sich ihrer Mathematik sehr sicher. Sie haben nicht nur geraten; sie haben ein rigoroses Modell unter Verwendung von Wahrscheinlichkeitstheorie und „Optimal Stopping“ (einer schicken Art zu sagen: „Wann man das Spiel beendet“) aufgebaut. Sie haben ihre Idee mit verschiedenen Szenarien getestet, wie etwa dem Hinzufügen von Kosten für Experimente oder dem Erschweren des Abschlusses späterer Experimente, und ihre Lösung hielt stand. Sie haben ihre Ergebnisse auch mit einem populären Vorschlag anderer Forscher verglichen, das Signifikanzniveau einfach auf 0,5 % zu senken. Die Autoren legen nahe, dass das Senken des Niveaus zwar eine gute Idee ist, ihr Modell jedoch genau aufzeigt, wie viel man das Niveau senken muss, basierend darauf, wie viele Ressourcen die Wissenschaftler haben, um weiter zu versuchen.

Am Ende bietet das Papier einen praktischen Schutzschild für die Wissenschaft. Es schlägt vor, dass wir, wenn wir unseren wissenschaftlichen Ergebnissen wieder vertrauen wollen, aufhören müssen, die alten, leicht zu überwindenden Zahlen zu verwenden. Wir müssen diese „robusten kritischen Werte“ annehmen. Für einen Standard-zweiseitigen Test bedeutet das, die Torlinie von 1,96 auf 2,58 zu verschieben. Es ist eine höhere Hürde, ja, und es bedeutet, dass weniger „Durchbrüche“ jeden Tag verkündet werden. Aber der Kompromiss ist, dass die Durchbrüche, die wir verkünden, tatsächlich real sind und die „unschuldigen“ Nullhypothesen endlich vor dem Urteil durch einen glücklichen Würfelwurf sicher sind.

Technisches Resümee: Robuste kritische Werte gegenüber P-Hacking

Problemstellung
P-Hacking – die Praxis, Verhaltensweisen anzuwenden, um die Wahrscheinlichkeit statistisch signifikanter Ergebnisse zu erhöhen – ist in der wissenschaftlichen Forschung weit verbreitet, fehlt jedoch in der klassischen Theorie der Hypothesenprüfung. Infolgedessen werden wahre Nullhypothesen unter klassischen kritischen Werten häufiger abgelehnt, als es das nominelle Signifikanzniveau ( $\alpha$ ) suggeriert. Dies geschieht, weil Wissenschaftler starke Anreize haben (Publikationen, Karrierefortschritt) und über genügend Flexibilität in der Datenerhebung und -analyse verfügen, um nach Signifikanz zu suchen, ohne dabei Normen zu verletzen. Klassische Korrekturen für multiples Testen (z. B. Bonferroni) können dieses Problem nicht lösen, da sie die Anzahl der Experimente als fix betrachten. In der Realität passen Wissenschaftler ihr Verhalten jedoch an neue Standards an; wenn eine Korrektur die Erzielung von Signifikanz erschwert, werden Wissenschaftler einfach mehr Experimente durchführen, bis sie ein signifikantes Ergebnis finden, wodurch sie die Korrektur überfordern.

Methodik
Die Autoren entwickeln ein strukturelles Modell der Hypothesenprüfung, das P-Hacking-Verhalten unter expliziter Einbeziehung der optimalen Stopptheorie integriert.

Das Umfeld des Wissenschaftlers: Ein Wissenschaftler testet eine Nullhypothese ( $H_0$ ) gegen eine Alternativhypothese ( $H_1$ ). Der Wissenschaftler erhält einen hohen Ertrag ( $v_s$ ) für ein signifikantes Ergebnis und einen geringeren Ertrag ( $v_i$ ) für ein insignifikantes Ergebnis.
Ressourcenbeschränkungen: Das Durchführen von Experimenten verbraucht endliche Ressourcen (Zeit, Geld, Ausdauer). Das Gesamtresourcenlimit $L$ folgt einer Exponentialverteilung. Die Kosten jedes Experiments sind zufällig. Ein Wissenschaftler stoppt, wenn die Ressourcen erschöpft sind (Index $K$ ) oder wenn ein signifikantes Ergebnis gefunden wurde.
P-Hacking-Strategie: Der Wissenschaftler führt Experimente sequenziell durch ( $n=1, 2, \dots$ ). Wenn ein Ergebnis insignifikant ist und noch Ressourcen vorhanden sind, setzt der Wissenschaftler das nächste Experiment fort. Wenn ein Ergebnis signifikant ist, stoppt der Wissenschaftler und berichtet es. Wenn die Ressourcen erschöpft sind, bevor Signifikanz erreicht wird, berichtet der Wissenschaftler die bisher beste (maximale) Statistik, die notwendigerweise insignifikant ist.
Abschlusswahrscheinlichkeit ( $\gamma$ ): Das Modell definiert $\gamma$ als die Wahrscheinlichkeit, dass das erste Experiment abgeschlossen ist, bevor die Ressourcen erschöpft sind. Dieser Parameter erfasst die Leichtigkeit der Durchführung von Forschung und das Vorhandensein von Ressourcenbeschränkungen.
Ableitung robuster kritischer Werte:
- Die Autoren leiten die erwartete Anzahl der Experimente $E(N(z))$ ab, die ein Wissenschaftler unter einem kritischen Wert $z$ durchführt, wenn $H_0$ wahr ist.
- Sie berechnen die tatsächliche Wahrscheinlichkeit eines Typ-I-Fehlers ( $S^*(z)$ ), welche die Wahrscheinlichkeit ist, dass die berichtete Statistik den Wert $z$ überschreitet. Dies wird als $S^*(z) = S(z) \times E(N(z))$ gezeigt, wobei $S(z)$ die klassische Überlebensfunktion ist.
- Der robuste kritische Wert ( $z^*$ ) ist definiert als der Wert, der die Gleichung $S^*(z^*) = \alpha$ erfüllt. Dies stellt sicher, dass selbst wenn Wissenschaftler ihr P-Hacking-Verhalten optimal an den neuen Standard anpassen, die Häufigkeit der falschen Ablehnungen auf dem gewünschten Niveau $\alpha$ bleibt.

Wesentliche Beiträge und Ergebnisse

Optimales Stoppverhalten: Das Modell zeigt, dass die optimale Strategie für einen Wissenschaftler darin besteht, Experimente so lange fortzuführen, bis ein signifikantes Ergebnis gefunden oder die Ressourcen aufgebraucht sind. Dies führt zu einer geometrischen Verteilung der Stoppzeit.
Die Formel für den robusten kritischen Wert: Das Paper leitet eine unübliche Bonferroni-Korrektur ab. Der robuste kritische Wert $z^*$ für ein Signifikanzniveau $\alpha$ entspricht dem klassischen kritischen Wert für ein reduziertes Signifikanzniveau $\alpha^*$ , wobei:
$\alpha^* = \frac{\alpha}{E(N(z^*))}$
Entscheidend ist, dass $E(N(z^*))$ die erwartete Anzahl der Experimente unter dem robusten kritischen Wert ist, nicht unter dem klassischen. Die Autoren zeigen, dass $z^*$ implizit durch folgende Gleichung definiert ist:
$z^* = Z\left( \alpha \cdot \frac{1 - \gamma}{1 - \alpha\gamma} \right)$
wobei $Z$ die inverse Überlebensfunktion der Teststatistik ist.
Verhaltensreaktion: Im Gegensatz zu früheren Korrekturen berücksichtigt dieser Ansatz die Verhaltensreaktion: Wenn der kritische Wert strenger wird, p-hackt die Wissenschaft mehr (erhöht $E(N)$ ). Der robuste kritische Wert ist immer größer als der klassische kritische Wert, um diese gesteigerte Experimentation auszugleichen.
Verallgemeinerbarkeit: Der unter der Annahme unabhängiger Experimente abgeleitete robuste kritische Wert bleibt für eine breite Palette anderer P-Hacking-Strategien (z. B. Zusammenführen von Daten, Entfernen von Ausreißern, Suche nach Spezifikationen) gültig, sofern diese Strategien eine positive Abhängigkeit zwischen den Teststatistiken induzieren.

Numerische Illustration und Kalibrierung
Die Autoren kalibrieren das Modell anhand von Daten aus den medizinischen Wissenschaften (Dwan et al., 2008) bezüglich des Lebenszyklus von Studien.

Kalibrierung: Sie schätzen die Abschlusswahrscheinlichkeit $\gamma$ , indem sie den Anteil der genehmigten Studien analysieren, die nie begonnen oder vorzeitig abgebrochen wurden. Die geschätzte Abschlusswahrscheinlichkeit ist $\gamma = 80\%$ .
Faustregel: Mit $\gamma = 0,8$ $γ = 0, 8$ beträgt das effektive erforderliche Signifikanzniveau zur Aufrechterhaltung einer Typ-I-Fehlerrate von 5 % etwa $\alpha/5$ $α /5$ .
- Für einen einseitigen z-Test mit $\alpha=5\,\%$ ist der robuste kritische Wert 2,33 (gegenüber klassisch 1,64).
- Für einen zweiseitigen z-Test mit $\alpha=5\,\%$ ist der robuste kritische Wert 2,58 (gegenüber klassisch 1,96).
Sensitivität: Die robusten kritischen Werte reagieren relativ unempfindlich auf Variationen von $\gamma$ . Selbst wenn $\gamma$ zwischen 70 % und 90 % schwankt, liegen die kritischen Werte für einen zweiseitigen Test zwischen 2,42 und 2,79.

Bedeutung und Behauptungen
Das Paper behauptet, eine theoretische Grundlage für die Anpassung von Signifikanzstandards zu liefern, um die Realität des P-Hackings zu berücksichtigen.

Wiederherstellung der Glaubwürdigkeit: Durch die Verwendung robuster kritischer Werte kann die wissenschaftliche Gemeinschaft sicherstellen, dass die Rate der falsch-positiven Ergebnisse (Typ-I-Fehler) nicht das angegebene Signifikanzniveau überschreitet, selbst in Anwesenheit von optimalem P-Hacking.
Vergleich mit Alternativen: Die Autoren kontrastieren ihren Ansatz mit der Registrierung von Prä-Analyse-Plänen. Während die Registrierung bestimmte Formen des P-Hackings verhindert, kann sie die explorative Datenanalyse einschränken. Robuste kritische Werte erlauben Exploration, während sie die statistische Validität wahren. Zudem verhindert die Registrierung nicht, dass Wissenschaftler Experimente wiederholen, bis sie ein signifikantes Ergebnis finden; robuste kritische Werte adressieren genau diese Einschränkung.
Theoretische Verbindung zu Vorschlägen: Die Analyse liefert eine theoretische Untermauerung für Vorschläge, die Signifikanzniveaus zu senken (z. B. von 5 % auf 0,5 %, wie von Benjamin et al., 2018 vorgeschlagen). Das Paper zeigt, dass das Ausmaß der erforderlichen Reduktion von der Abschlusswahrscheinlichkeit (Verfügbarkeit von Ressourcen) des jeweiligen Feldes abhängt. Eine 10-fache Reduktion entspricht einer Abschlusswahrscheinlichkeit von 90 %, während eine 5-fache Reduktion 80 % entspricht.

Das Paper kommt zu dem Schluss, dass robuste kritische Werte ein notwendiges Werkzeug sind, um die Informationskraft von Hypothesentests in einem Umfeld aufrechtzuerhalten, in dem Wissenschaftler Anreize und Möglichkeiten haben, nach Signifikanz zu suchen.

Technisches Resümee: Robuste kritische Werte gegenüber P-Hacking

Mehr davon