📊 statistics

Sensitivity Analysis for False Discovery Rate Estimation with Published p-Values

Diese Arbeit liefert geschlossene Ausdrücke für die Verzerrung und Varianz von FDR-Schätzern unter verschiedenen Publikationsbias-Modellen und demonstriert deren praktische Anwendbarkeit zur Sensitivitätsanalyse bei der Schätzung der False Discovery Rate auf Basis veröffentlichter p-Werte.

Ursprüngliche Autoren: Tianyu Cao, Sangyoon Yi, Joshua Habiger

Veröffentlicht 2026-03-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tianyu Cao, Sangyoon Yi, Joshua Habiger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht herauszufinden, wie viele der „Fahndungsaufrufe" in einer Zeitung tatsächlich echte Kriminelle betreffen und wie viele nur falsche Verdächtige sind.

In der wissenschaftlichen Welt sind diese „Fahndungsaufrufe" die p-Werte aus veröffentlichten Studien. Ein niedriger p-Wert bedeutet: „Wir haben etwas Wichtiges gefunden!" Aber hier liegt das Problem: Zeitungen (wissenschaftliche Zeitschriften) veröffentlichen oft nur die spektakulären Geschichten – also die Fälle, bei denen der Verdacht sehr stark ist (p < 0,05). Fälle, bei denen der Verdacht schwach war, landen im Papierkorb. Das nennt man Publikationsverzerrung.

Die Forscher in diesem Papier wollen wissen: Wie viele der veröffentlichten „Treffer" sind eigentlich nur Zufall? Diese Zahl nennen sie die False Discovery Rate (FDR) – die Rate der falschen Entdeckungen.

Das Problem: Der blinde Fleck

Bisher haben Wissenschaftler versucht, diese Rate zu berechnen, indem sie einfach annahmen: „Nur die Fälle mit p < 0,05 wurden veröffentlicht."
Das ist wie ein Detektiv, der annimmt: „Nur wenn der Verdächtige eine rote Mütze trägt, wurde er verhaftet." Aber was, wenn die Polizei auch Leute mit blauen Mützen verhaftet hat, oder wenn sie bei sehr starken Verdächtigungen (p < 0,01) viel häufiger verhaftet als bei schwachen (p = 0,04)?

Wenn die Annahme falsch ist, ist auch die Berechnung der „falschen Treffer" falsch. Sie könnte zu optimistisch (wir denken, es geht uns gut) oder zu pessimistisch (wir denken, alles ist schief) ausfallen.

Die Lösung: Ein Werkzeugkasten für „Was-wäre-wenn"-Szenarien

Tianyu Cao und seine Kollegen haben einen neuen mathematischen Werkzeugkasten entwickelt. Sie sagen im Grunde:

„Wir wissen nicht genau, wie die Auswahl funktioniert. Aber wir können berechnen, wie sich unsere Schätzung verändert, wenn wir verschiedene Annahmen über die Auswahl treffen."

Stellen Sie sich das wie das Einstellen eines Radios vor:

Der alte Ansatz: Sie drehen den Knopf auf eine feste Station und hoffen, dass es die richtige ist. Wenn Sie daneben liegen, hören Sie nur Rauschen.
Der neue Ansatz (dieses Papier): Sie haben eine Skala. Sie können den Knopf drehen und sehen: „Okay, wenn ich Station A wähle, sind 10 % der Nachrichten falsch. Wenn ich Station B wähle, sind es 20 %. Wenn ich Station C wähle, sind es nur 5 %."

Die Autoren haben Formeln entwickelt, die genau das tun. Sie zeigen, wie sich die Schätzung der falschen Entdeckungen verändert, je nachdem, wie streng oder locker die „Veröffentlichungs-Polizei" war.

Die wichtigsten Erkenntnisse in einfachen Bildern

1. Der „Trichter"-Effekt
Stellen Sie sich einen Trichter vor, durch den alle wissenschaftlichen Ergebnisse fließen. Nur die kleinsten, „schönsten" Ergebnisse kommen unten heraus.

Wenn der Trichter sehr eng ist (nur p < 0,01 wird veröffentlicht), sind die Ergebnisse unten sehr rein, aber wir haben viele gute Studien verloren.
Wenn der Trichter weiter ist (bis p < 0,05), kommen mehr Ergebnisse durch, aber auch mehr „Schmutz" (zufällige Ergebnisse).
Die neuen Formeln helfen uns zu berechnen, wie viel Schmutz eigentlich unten angekommen ist, je nachdem, wie weit der Trichter geöffnet war.

2. Die Überraschung: Manchmal ist die Schätzung zu niedrig
Früher dachte man, unsere Schätzungen seien immer vorsichtig (zu hoch). Die Autoren zeigen jedoch: Wenn die Auswahl sehr streng ist (z. B. nur extrem kleine p-Werte werden veröffentlicht), kann unsere Schätzung der falschen Entdeckungen zu niedrig ausfallen.

Analogie: Wenn Sie nur die besten 10 % der Schüler in einer Klasse sehen, denken Sie vielleicht, die ganze Klasse sei ein Genie. Aber wenn Sie wissen, dass die schlechten Schüler gar nicht erst zur Schule kamen, merken Sie, dass Ihr Eindruck verzerrt ist. Das Papier hilft uns, diesen „Verzerrungs-Faktor" zu berechnen.

3. Der Test im echten Leben
Die Autoren haben ihre Formeln an echten Daten aus der Psychologie getestet (ein riesiges Projekt, bei dem viele Studien wiederholt wurden).

Ergebnis: Ihre Formeln haben die tatsächliche Anzahl der falschen Entdeckungen fast perfekt vorhergesagt, auch wenn sie nur die ursprünglich veröffentlichten Daten nutzten. Das ist wie ein Wetterbericht, der auch dann noch genau ist, wenn man nicht alle Sensoren im Land hat, sondern nur die wichtigsten.

Warum ist das wichtig für uns alle?

Stellen Sie sich vor, Sie sind ein Politiker oder ein Arzt, der entscheiden muss: „Soll ich dieses neue Medikament verschreiben oder diese neue Politik einführen?"
Die Entscheidung basiert oft auf Studien, die in Zeitschriften stehen.

Ohne dieses Papier: Sie schauen auf eine Studie und sagen: „Die Wahrscheinlichkeit, dass das falsch ist, liegt bei 10 %." (Aber das könnte eine falsche Annahme sein).
Mit diesem Papier: Sie können sagen: „Wenn die Auswahl der Studien fair war, sind es 10 %. Aber wenn die Zeitschriften nur die spektakulärsten Ergebnisse gewählt haben, könnten es 30 % sein."

Das gibt Ihnen einen Sicherheitsgurt. Sie können besser einschätzen, wie viel Vertrauen Sie in die Wissenschaft haben sollten, ohne blind zu sein.

Fazit

Dieses Papier gibt uns keine magische Kugel, die die Wahrheit verrät. Aber es gibt uns eine Landkarte. Es zeigt uns, wie unsicher unsere Schätzungen sind, je nachdem, wie die Wissenschaftler ihre Ergebnisse „ausgewählt" haben. Es erlaubt uns, ehrlich zu sagen: „Wir wissen es nicht genau, aber hier ist der Bereich, in dem die Wahrheit wahrscheinlich liegt."

Das ist ein riesiger Schritt hin zu einer transparenteren und verlässlicheren Wissenschaft.

1. Problemstellung

Die Schätzung der False Discovery Rate (FDR) auf Basis von veröffentlichten p-Werten ist ein zentrales Thema in der Wissenschaftsdiagnostik, insbesondere angesichts des „Publication Bias" (Veröffentlichungsbias). Das Kernproblem besteht darin, dass wissenschaftliche Ergebnisse oft nur dann veröffentlicht werden, wenn sie statistisch signifikant sind (z. B. $p < 0,05$ ). Dies führt zu einer verzerrten Stichprobe von p-Werten.

Bisherige FDR-Schätzer, die nur veröffentlichte p-Werte nutzen, müssen Annahmen über den zugrunde liegenden Selektionsmechanismus (welche p-Werte wurden veröffentlicht?) treffen. Die Literatur zeigt jedoch, dass diese Schätzer empfindlich auf Fehlspezifikationen dieses Selektionsmodells reagieren. Wenn das angenommene Modell (z. B. eine harte Schwelle bei $p < 0,05$ ) nicht dem tatsächlichen Selektionsprozess entspricht, können die FDR-Schätzungen entweder zu konservativ (untertreibend) oder zu liberal (überschätzend) ausfallen. Bisher fehlten jedoch allgemeine, geschlossene Ausdrücke, um den Bias und die Varianz von FDR-Schätzern unter beliebigen Selektionsmodellen zu quantifizieren.

2. Methodik

Das Paper entwickelt eine theoretische Rahmenarbeit, um die Auswirkungen von Fehlspezifikationen des Publikationsbias-Modells auf FDR-Schätzer zu analysieren.

Grundlegende Modelle:
- P-Wert-Mischmodell (Definition 2.1): Es wird angenommen, dass p-Werte aus einer Mischung von Null-Hypothesen ( $H_0$ , gleichverteilt) und Alternativ-Hypothesen ( $H_1$ , mit Verteilungsfunktion $F_1$ ) stammen.
- Selektionswahrscheinlichkeitsmodell (SPM, Definition 2.2): Die Wahrscheinlichkeit, dass ein p-Wert $p$ veröffentlicht wird, wird durch eine nicht-steigende Funktion $\mu(p)$ modelliert. Dies erlaubt die Abbildung verschiedener Szenarien, von harten Schwellenwerten bis zu komplexeren, stufenweisen oder kontinuierlichen Selektionsmechanismen.
Post-Selektive FDR:
Das Paper definiert die „Post-Selection FDR" als den erwarteten Anteil falscher Entdeckungen unter den tatsächlich ausgewählten (veröffentlichten) und signifikanten Ergebnissen.
Der Schätzer:
Es wird ein etablierter Momentenschätzer (basierend auf Storey, 2002/2004) verwendet, der angepasst an den Selektionskontext ist (Hung und Fithian, 2020). Der Schätzer für den Anteil der Null-Hypothesen $\hat{\pi}_0$ und damit die FDR wird auf adjustierten p-Werten ( $p'_i = p_i / \alpha$ ) berechnet.
Herleitung von Bias und Varianz:
Der Hauptbeitrag liegt in der Herleitung geschlossener Ausdrücke (closed-form expressions) für den Bias und die Varianz dieses Schätzers unter einem beliebigen SPM $\mu(p)$ .
- Bias (Theorem 4.1): Der Bias wird als Funktion des Tuning-Parameters $\lambda$ , des Signifikanzniveaus $\alpha$ , des wahren Null-Anteils $\pi_0$ , der Power und der Selektionsfunktion $\mu$ ausgedrückt.
- Varianz (Theorem 4.2): Eine asymptotische Approximation der Varianz wird für große Stichprobengrößen $n$ bereitgestellt.
Spezifische Szenarien:
Die Autoren leiten konkrete Formeln für gängige Modelle ab, darunter:
- Stufenfunktionen (z. B. unterschiedliche Selektionswahrscheinlichkeiten für $p < 0,025$ vs. $0,025 \le p < 0,05$ ).
- Stetige Funktionen (z. B. Beta-Kernel-Modelle, die P-Hacking oder graduelle Selektion abbilden).

3. Wichtige Beiträge

Allgemeine Bias- und Varianzformeln: Erstmals werden explizite Formeln bereitgestellt, die den Bias eines FDR-Schätzers in Abhängigkeit von der Diskrepanz zwischen dem angenommenen und dem wahren Selektionsmodell beschreiben.
Nachweis der Nicht-Monotonie und Vorzeichenwechsel: Die Analyse zeigt, dass der Bias nicht notwendigerweise positiv ist (wie oft bei korrekten Modellen angenommen) und nicht monoton in $\lambda$ verläuft. Unter Fehlspezifikation kann der Bias negativ sein, was zu einer Unterschätzung der FDR führt.
Sensitivitätsanalyse-Tool: Die Formeln ermöglichen eine einfache Sensitivitätsanalyse. Forscher können die FDR-Schätzung über einen Bereich möglicher Selektionsparameter (z. B. verschiedene Stärken des Bias) berechnen, anstatt sich auf ein einziges, möglicherweise falsches Modell zu verlassen.
Validierung: Die theoretischen Ergebnisse werden an realen Daten validiert, indem sie mit „Gold-Standard"-Schätzungen (die sowohl Original- als auch Replikationsdaten nutzen) verglichen werden.

4. Ergebnisse

Theoretische Erkenntnisse:
- Wenn das Selektionsmodell korrekt spezifiziert ist, verhält sich der Schätzer wie erwartet (positiver Bias, der mit steigender Power abnimmt).
- Bei Fehlspezifikation kann der Bias jedoch negativ werden. Dies tritt insbesondere auf, wenn der wahre Selektionsmechanismus p-Werte nahe 0 stärker bevorzugt als das angenommene Modell (z. B. wenn $p < 0,025$ viel häufiger veröffentlicht werden als $0,025 \le p < 0,05$ ).
- Abbildungen (Fig. 1 & 2) zeigen, dass der Bias stark von den Parametern $\pi_0$ (Prior-Wahrscheinlichkeit für $H_0$ ), der Power und dem Parameter $\rho$ (Stärke der Selektionsverzerrung) abhängt.
Empirische Anwendungen:
- Open Science Collaboration (Psychologie): Die Anwendung auf Daten von Johnson et al. (2017) zeigt, dass die berechneten Bias-Korrekturen die Diskrepanzen zwischen dem Schätzer (nur veröffentlichte Daten) und dem Gold-Standard (inkl. Replikation) erfolgreich erklären. Die korrigierten FDR-Schätzungen liegen im Bereich der Gold-Standard-Ergebnisse.
- Medizinische Abstracts (Jager & Leek, 2014): Eine Sensitivitätsanalyse für p-Werte aus medizinischen Journals zeigt, dass die FDR-Schätzung stark vom gewählten Selektionsmodell abhängt.
  - Unter dem Standardmodell ( $\rho=1$ , harte Schwelle) ergibt sich eine FDR von ca. 0,19.
  - Unter einem Modell mit stärkerer Selektion sehr kleiner p-Werte ( $\rho=0,4$ ) ändert sich der Bias signifikant (sogar negativ), was zu einer revidierten FDR-Schätzung von ca. 0,29 führt.
  - Dies verdeutlicht, dass eine einzelne FDR-Schätzung ohne Angabe des zugrunde liegenden Selektionsmodells irreführend sein kann.

5. Bedeutung und Implikationen

Das Paper liefert ein essenzielles Werkzeug für die Bewertung der Robustheit von FDR-Schätzungen in der wissenschaftlichen Literatur.

Für Forscher: Es bietet eine Methode, um die Unsicherheit von FDR-Schätzungen zu quantifizieren, wenn Replikationsdaten fehlen. Anstatt einen einzelnen Wert zu melden, können Forscher einen Bereich plausibler FDR-Werte basierend auf verschiedenen Annahmen über den Publikationsbias angeben.
Für Politik und Wissenschaftsmanagement: Die Ergebnisse unterstreichen, dass die Diagnose von Replikationskrisen und die Bewertung der wissenschaftlichen Integrität stark von den Annahmen über den Publikationsprozess abhängen. Die vorgeschlagene Sensitivitätsanalyse hilft Entscheidungsträgern, die Stabilität von Schlussfolgerungen besser einzuschätzen.
Methodischer Fortschritt: Die Arbeit schließt eine Lücke in der Literatur, indem sie die theoretischen Eigenschaften von FDR-Schätzern unter realistischen, aber unsicheren Selektionsbedingungen formalisiert. Sie zeigt, dass die Annahme eines einfachen „ $p < 0,05$ "-Modells oft unzureichend ist und zu systematischen Fehlern führen kann.

Zusammenfassend demonstriert das Paper, dass FDR-Schätzungen auf veröffentlichten Daten zwar möglich sind, aber nur dann zuverlässig interpretiert werden können, wenn die Unsicherheit bezüglich des Selektionsmechanismus durch formale Sensitivitätsanalysen explizit berücksichtigt wird.