📊 statistics

p-Hacking Inflates Type I Error Rates in the Error Statistical Approach but not in the Formal Inference Approach

Der Artikel argumentiert, dass P-Hacking zwar im Fehlerstatistik-Ansatz die Fehlerrate von Typ I erhöht, im formalen Inferenzansatz jedoch nicht, da dort nur die nominelle und nicht die tatsächliche Fehlerwahrscheinlichkeit für die gezogenen Schlussfolgerungen relevant ist.

Ursprüngliche Autoren: Mark Rubin

Veröffentlicht 2026-03-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mark Rubin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Grundproblem: Der „Fischzug" (p-Hacking)

Stell dir vor, ein Forscher ist wie ein Angler. Er wirft seine Angel in einen See (die Daten) und fängt viele verschiedene Fische (Testergebnisse).

Das Problem: Wenn er 20 Fische fängt und nur den einen, der besonders schön aussieht (ein signifikantes Ergebnis), in den Topf legt und den Rest zurück ins Wasser wirft, ohne zu sagen, dass er 19 andere gefangen hat, nennt man das p-Hacking.
Die übliche Meinung: Die meisten Statistiker sagen: „Das ist Betrug! Wenn du 20 Mal fischst, ist die Wahrscheinlichkeit riesig, dass du zufällig einen schönen Fisch findest, obwohl gar keine Fische da waren. Dein Ergebnis ist also wertlos."

Mark Rubin sagt in diesem Artikel jedoch: „Warte mal. Es kommt darauf an, welche Brille du aufhast."

Er unterscheidet zwei Arten, wie Wissenschaftler über Statistik denken:

Die Fehler-Statistiker (Error Statistical Approach).
Die Formalen Inferenz-Anhänger (Formal Inference Approach).

1. Die Sicht der Fehler-Statistiker: Der „Wahrheits-Jäger"

Für diese Gruppe ist der gesamte Prozess wichtig, nicht nur das Endergebnis.

Die Analogie: Stell dir vor, du bist ein Richter. Ein Angeklagter (der Forscher) kommt zu dir und sagt: „Ich habe einen Zeugen, der sagt, er war nicht am Tatort."
Der Richter fragt: „Hast du noch andere Zeugen befragt?"
Der Forscher sagt: „Nein."
Aber der Richter weiß (durch eine Durchsuchung), dass der Forscher eigentlich 20 Zeugen befragt hat und nur den einen ausgewählt hat, der ihm passte.
Das Urteil: Für den Fehler-Statistiker ist das Urteil ungültig. Die Wahrscheinlichkeit, dass irgendeiner der 20 Zeugen zufällig gelogen hat, ist viel höher als die Wahrscheinlichkeit, dass dieser eine Zeuge gelogen hat.
Das Ergebnis: Der „wahre" Fehler (dass man jemanden fälschlicherweise für unschuldig hält) ist aufgebläht (inflated). Das Ergebnis ist verdorben, weil der Forscher den gesamten Prozess (das Suchen nach dem perfekten Ergebnis) versteckt hat.

Kurz gesagt: Wenn du den ganzen Weg nicht zeigst, ist dein Ergebnis für diese Gruppe wertlos.

2. Die Sicht der Formalen Inferenz-Anhänger: Der „Mathematische Logiker"

Für diese Gruppe ist nur das wichtig, was offiziell auf dem Papier steht.

Die Analogie: Stell dir vor, du kaufst ein neues Spielzeug in einer Verpackung. Auf dem Karton steht: „Dieses Spielzeug hat eine 5%ige Chance, kaputt zu sein."
Der Forscher hat das Spielzeug vielleicht 20 Mal in verschiedenen Läden gesucht, bis er ein intaktes gefunden hat, und hat dann nur dieses eine gekauft.
Aber für den Formalen Inferenz-Anhänger ist das egal. Er schaut nur auf das etikettierte Spielzeug, das du in der Hand hältst.
Das Urteil: Auf dem Karton steht immer noch „5%". Dass du vorher 19 andere Läden durchsucht hast, ändert nichts an der mathematischen Wahrscheinlichkeit, dass dieses spezifische Spielzeug kaputt ist.
Das Ergebnis: Der Fehler ist nicht aufgebläht. Die Zahl 0,05 (5%) ist immer noch korrekt für die Aussage, die du gerade machst.

Warum? Weil die Mathematik nur auf das gilt, was du jetzt behauptest. Wenn du sagst: „Ich behaupte, dass dieser eine Fisch schön ist", dann ist die Wahrscheinlichkeit dafür 5%. Dass du vorher 19 hässliche Fische gesehen hast, ist für diese spezifische Behauptung irrelevant. Es wäre ein logischer Fehler, die Wahrscheinlichkeit für alle Fische auf diesen einen Fisch zu übertragen.

Der große Unterschied: Was ist „wirklich"?

Fehler-Statistiker sagen: „Die Realität ist der ganze Fischzug. Wir müssen wissen, wie oft du gefischt hast, um zu wissen, ob dein Fang echt ist."
Formale Inferenz-Anhänger sagen: „Die Realität ist nur die offizielle Behauptung. Wenn du nur über einen Fisch sprichst, dann prüfen wir nur diesen Fisch. Dass du vorher 19 andere gesehen hast, ist wie ein psychologischer Hintergrundprozess, der die Mathematik nicht ändert."

Was bedeutet das für die Wissenschaft?

Rubin argumentiert, dass wir oft zu viel Angst vor p-Hacking haben, weil wir die Sichtweise der Fehler-Statistiker übernehmen, ohne es zu merken.

Kein „Zahlen-Diebstahl": Nach der formalen Sichtweise ist p-Hacking nicht unbedingt ein mathematischer Fehler. Es ist eher ein Problem der Transparenz und der substantiven Interpretation.
Das wahre Problem: Das Problem ist nicht, dass die Statistik falsch rechnet (die 5% stimmen immer noch für die einzelne Aussage). Das Problem ist, dass wir uns vielleicht in die Irre führen lassen, weil wir nicht wissen, dass es 19 andere Versuche gab, die das Ergebnis widerlegen könnten.
Die Lösung: Statt nur auf strenge mathematische Korrekturen (wie Preregistrierung) zu setzen, sollten wir uns mehr auf kritische Diskussionen konzentrieren. Wenn ein Forscher sagt: „Grüne Jelly-Babies verursachen Akne", sollten andere Forscher fragen: „Hast du auch rote und blaue getestet?" Wenn die Antwort „Nein" ist, ist das ein Problem für die Theorie, nicht unbedingt für die Mathematik des einen Tests.

Fazit in einem Satz

Für die Fehler-Statistiker ist p-Hacking ein mathematischer Betrug, der die Zahlen verfälscht. Für die Formalen Inferenz-Anhänger sind die Zahlen mathematisch korrekt, aber die Geschichte dahinter ist unvollständig, was zu falschen Schlüssen über die Realität führen kann – nicht weil die Mathematik stimmt, sondern weil wir die falsche Geschichte glauben.

Titel: p-Hacking im Formalen Inferenz-Ansatz: Inflations von Typ-I-Fehlern in der Fehlerstatistik, aber nicht im Formalen Inferenz-Ansatz

Autor: Mark Rubin (Durham University, UK)
Veröffentlichung: ArXiv, März 2026

1. Problemstellung

Das Phänomen des p-Hackings (das selektive Berichten von signifikanten Ergebnissen aus einer Vielzahl durchgeführter Tests ohne Korrektur für multiples Testen) wird in der wissenschaftlichen Gemeinschaft weithin als Hauptursache für die Replikationskrise angesehen. Die vorherrschende Meinung besagt, dass p-Hacking die Typ-I-Fehlerrate (die Wahrscheinlichkeit, eine wahre Nullhypothese fälschlicherweise abzulehnen) über das nominale Signifikanzniveau (z. B. $\alpha = 0,05$ ) hinaus inflatiert.

Der Autor stellt diese weit verbreitete Annahme in Frage, indem er argumentiert, dass die Bewertung von p-Hacking stark von der zugrunde liegenden Philosophie der Signifikanztests abhängt. Er unterscheidet zwischen zwei Ansätzen:

Der Fehlerstatistische Ansatz (Error Statistical Approach): Basierend auf der Arbeit von Deborah Mayo und Aris Spanos.
Der Formale Inferenz-Ansatz (Formal Inference Approach): Basierend auf der Arbeit des Autors und anderen (z. B. Rubin, García-Pérez).

Die zentrale Frage lautet: Inflatiert p-Hacking die Typ-I-Fehlerrate in beiden Ansätzen gleichermaßen, oder ist dies nur eine Folge spezifischer philosophischer Annahmen?

2. Methodik und Theoretischer Rahmen

Der Artikel ist eine konzeptuelle und philosophische Analyse, die keine neuen empirischen Daten generiert, sondern die logischen Grundlagen der beiden statistischen Philosophien vergleicht.

Fehlerstatistischer Ansatz:
- Betrachtet den Test als Teil eines "aktuellen" Testverfahrens, das alle durchgeführten (auch nicht veröffentlichten) Schritte umfasst.
- Die relevante Fehlerrate ist die Familywise Error Rate (FWER) über alle durchgeführten Tests.
- Wenn ein Forscher 20 Tests durchführt und nur den signifikanten berichtet, ist das "aktuelle" Verfahren eine Suche nach Signifikanz. Die Wahrscheinlichkeit, mindestens einen Fehler zu machen, beträgt $1 - (1 - 0,05)^{20} \approx 0,64$ .
- Da der nominale Wert (0,05) nicht mit dem tatsächlichen Fehlerverhalten des Verfahrens übereinstimmt, wird die Inferenz als "invalidiert" betrachtet. Dies wird als Verletzung der Minimalen Schwereanforderung (Minimal Severity Requirement) angesehen.
Formaler Inferenz-Ansatz:
- Unterscheidet strikt zwischen dem "aktuellen" (oft undokumentierten) Suchprozess und dem formal berichteten statistischen Inferenzakt.
- Die Typ-I-Fehlerrate wird ausschließlich auf Basis des formal berichteten Inferenztyps und der darin spezifizierten Hypothesen bestimmt.
- Es werden drei Kategorien von Inferenzen unterschieden:
  1. Individuelle Inferenz: Entscheidung über eine einzelne Hypothese ( $H_0$ ). Die Fehlerrate ist $\alpha$ .
  2. Union-Intersection-Inferenz: Entscheidung über eine Schnittmenge von Nullhypothesen ( $H_{0,1} \cap H_{0,2}$ ). Hier ist die FWER relevant.
  3. Intersection-Union-Inferenz: Entscheidung über eine Vereinigung von Nullhypothesen.
- Kernargument: Wenn ein Forscher p-hackt und nur eine individuelle Inferenz über $H_{0,2}$ berichtet, ist die relevante Fehlerrate die nominale $\alpha$ für $H_{0,2}$ . Die Tatsache, dass zuvor $H_{0,1}$ getestet wurde, ist für die formale Logik der berichteten Inferenz irrelevant, solange kein Union-Intersection-Inferenz über die Schnittmenge $H_{0,1} \cap H_{0,2}$ berichtet wird.

3. Schlüsselbeiträge und Argumentation

A. Die Inkommensurabilität von Fehlerraten

Rubin argumentiert, dass es einen logischen Fehler (den Fehlschluss der Teilung oder Fallacy of Division) darstellt, die FWER eines "aktuellen" Suchprozesses auf eine einzelne, selektiv berichtete Hypothese zu übertragen.

Die FWER gilt für die Entscheidung, ob mindestens eine Hypothese in einer Familie falsch ist.
Die nominale Fehlerrate gilt für die Entscheidung, ob eine spezifische Hypothese falsch ist.
Ein Vergleich ist unzulässig, da sie sich auf unterschiedliche logische Objekte (Schnittmenge vs. Individuum) und unterschiedliche Stichprobenräume beziehen.

B. Der Kontext der Entdeckung vs. Rechtfertigung

Der Fehlerstatistische Ansatz integriert den Kontext der Entdeckung (wie Hypothesen ausgewählt wurden) in den Kontext der Rechtfertigung.
Der Formale Inferenz-Ansatz folgt Popper: Die psychologische Geschichte der Hypothesenbildung ist für die logische Gültigkeit des Tests irrelevant. Nur der formal spezifizierte Test zählt.

C. Systematische Fehler vs. Zufallsfehler

Im formalen Ansatz repräsentiert die Typ-I-Fehlerrate nur die Wahrscheinlichkeit eines Fehlers aufgrund von Zufallsstichprobenfehlern unter der Annahme, dass alle anderen Modellannahmen (keine systematischen Fehler) erfüllt sind.
P-Hacking und das Verschweigen von Nullergebnissen sind Formen systematischer Verzerrung oder selektiver Berichterstattung. Diese beeinflussen die substantive Interpretation (z. B. "Jelly Beans verursachen Akne"), aber sie ändern nicht die mathematische Gültigkeit der berechneten Wahrscheinlichkeit für den berichteten Test unter den hypothetischen Annahmen.

D. Das Texas-Scharfschützen-Fallbeispiel

Rubin nutzt das Beispiel des Scharfschützen, der Ziele nach dem Schuss malt.

Fehlerstatistisch: Der Test ist ungültig, da die "Suche" nach dem Ziel Teil des Verfahrens ist.
Formal: Die Berechnung der Wahrscheinlichkeit, dass ein zufälliger Schuss das gemalte Ziel trifft, bleibt mathematisch gültig. Die Betrügerei invalidiert die substantive Behauptung ("Ich bin ein guter Schütze"), nicht aber die formale Wahrscheinlichkeitsaussage über den Zufall.

4. Ergebnisse und Schlussfolgerungen

Keine Inflations in Formaler Inferenz: P-Hacking inflatiert die Typ-I-Fehlerrate nicht im formalen Inferenz-Ansatz, da die berichtete Inferenz (individuell) eine andere logische Struktur hat als der "aktuelle" Suchprozess (Union-Intersection). Die nominale Fehlerrate bleibt für die spezifische, berichtete Hypothese gültig.
Inflations in Fehlerstatistik: Im Fehlerstatistischen Ansatz ist die Inflations real, da das "aktuelle" Verfahren (Suche nach Signifikanz) die FWER erhöht und somit die Schwere des Tests mindert.
Substantive Verzerrung: Auch wenn die statistische Fehlerrate im formalen Ansatz nicht inflatiert ist, kann das Nicht-Berichten von Nullergebnissen zu substantiven Verzerrungen führen, wenn diese Nullergebnisse als Evidenz für das Fehlen eines Effekts (und nicht nur als "fehlender Nachweis") interpretiert werden und theoretisch relevant sind.
Replikationskrise: Die Replikationskrise ist nach Rubin im formalen Ansatz nicht primär auf inflatierte Typ-I-Fehler durch p-Hacking zurückzuführen, sondern auf unentdeckte interpretative Fehler (systematische Fehler, versteckte Moderatoren), die durch die "Unendlichkeit unserer Ignoranz" bedingt sind.

5. Signifikanz und Implikationen

Neukonzeptualisierung von p-Hacking: Der Artikel fordert eine differenziertere Betrachtung von p-Hacking. Es ist nicht per se ein statistischer Betrug, der die mathematische Gültigkeit eines einzelnen Tests zerstört, sondern ein Problem der Berichterstattung und der substantiven Interpretation.
Präregistrierung: Während Präregistrierung im Fehlerstatistischen Ansatz essenziell ist, um die "aktuelle" Fehlerrate zu kontrollieren, bietet der Formale Inferenz-Ansatz keine rationale Basis für Präregistrierung, um Typ-I-Fehler zu verhindern (da diese ohnehin nicht inflatiert sind). Präregistrierung könnte hier eher als Werkzeug zur Förderung kritischer rationaler Diskussionen dienen.
Lösung der Replikationskrise: Statt neuer statistischer Korrekturen oder strengerer Audits von Testannahmen, schlägt Rubin einen epistemologischen Wandel vor: Die Anerkennung der Grenzen unseres Wissens und die Fokussierung auf die kritische Diskussion theoretischer Rahmenbedingungen, um "versteckte Moderatoren" und interpretative Fehler zu identifizieren.

Zusammenfassend argumentiert Rubin, dass die Behauptung, p-Hacking mache Signifikanztests ungültig, eine philosophische Position (Fehlerstatistik) ist, die nicht auf die formale Logik der Inferenz (Formaler Ansatz) übertragbar ist. Dies hat tiefgreifende Konsequenzen für die Debatte um wissenschaftliche Integrität und die Replikationskrise.