📊 statistics

Calibration without labels in multiple testing

Dieses Paper schlägt eine neuartige Methode zur Kalibrierung von Ergebnissen multiplen Testens ohne Ground-Truth-Labels vor, indem Pseudo-Labels aus den Abständen der p-Werte konstruiert werden, um eine stochastische Bewertung zu ermöglichen, wobei aufgezeigt wird, dass der weit verbreitete q-Wert in der realen psychologischen und neurowissenschaftlichen Literatur oft schwerwiegend falsch kalibriert ist.

Ursprüngliche Autoren: Adway S. Wadekar, Jake A. Soloff

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Adway S. Wadekar, Jake A. Soloff

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, tausende winziger Rätsel gleichzeitig zu lösen. In jedem Rätsel haben Sie einen Verdächtigen (eine Hypothese) und ein Beweisstück (einen p-Wert). Ihre Aufgabe ist es zu entscheiden, welche Verdächtigen tatsächlich schuldig sind (die Nullhypothese ist falsch) und welche unschuldig sind (die Nullhypothese ist wahr).

Das Problem ist, dass Sie keine Lösungsskizze haben. In einer normalen Detektivgeschichte findet man schließlich heraus, wer der wahre Täter war. Aber in dieser statistischen Welt ist die „Wahrheit“ für immer verborgen. Sie haben nur die Beweise und müssen raten.

Dieses Paper von Wadekar und Soloff führt einen cleveren Trick ein, um dieses Rätsel zu lösen, ohne jemals die Lösungsskizze zu sehen. Sie schlagen einen Weg vor, um zu prüfen, ob Ihre Vermutungen „kalibriert“ sind – das heißt, wenn Sie sagen, es bestehe eine 10-prozentige Chance, dass ein Verdächtiger schuldig ist, ist es dann tatsächlich so, dass Sie in 10 % der Fälle falsch lagen?

Hier ist die Aufschlüsselung ihrer Lösung unter Verwendung alltäglicher Analogien:

1. Das Problem: Raten ohne Lösungsskizze

Normalerweise prüft man, ob ein Wetterfotograf gut ist, indem man abwartet, ob es tatsächlich regnet. Wenn er sagt „10 % Regenwahrscheinlichkeit“ und es in 10 % der Fälle regnet, ist er kalibriert.

In der Wissenschaft führen Forscher tausende Tests durch und erhalten p-Werte. Sie verwenden oft ein Standardwerkzeug namens q-Wert, um zu sagen: „Dieses Ergebnis ist wahrscheinlich echt.“ Da wir die wahre Antwort aber nie kennen (wir wissen nicht, welche Hypothesen tatsächlich wahr sind), können wir nicht überprüfen, ob diese q-Werte die Wahrheit sagen. Sie könnten maßlos über- oder unterkonfident sein, und wir würden es nicht einmal wissen.

2. Die Lösung: „Falsche“ Hinweise erstellen (Pseudo-Labels)

Die große Idee der Autoren besteht darin, falsche Hinweise (die sie „Pseudo-Labels“ nennen) zu erstellen, die als Stellvertreter für die fehlende Wahrheit dienen.

Stellen Sie sich vor, Sie betrachten eine Schlange von Menschen, sortiert nach ihrem Aussehen (von am verdächtigsten bis am wenigsten verdächtig).

Der Trick: Anstatt zu fragen „Ist diese Person schuldig?“ (was Sie nicht wissen können), schauen Sie auf die Lücke zwischen dieser Person und der nächsten in der Schlange.
Die Logik: Wenn die „unschuldigen“ Menschen gleichmäßig verteilt sind (wie Regentropfen auf einem Bürgersteig), sollten die Lücken zwischen ihnen gleichmäßig sein. Wenn Sie eine riesige Lücke zwischen zwei Personen sehen, deutet dies darauf hin, dass die Person vor der Lücke vielleicht „schuldig“ ist (oder zumindest hat sich das Muster geändert).
Das Ergebnis: Durch das Messen dieser Lücken erstellen die Autoren eine kontinuierliche Zahl für jeden Test, die sich wie eine Wahrscheinlichkeit der Schuld verhält. Es ist nicht die echte Wahrheit, aber es ist ein mathematischer Schatten der Wahrheit, der es ihnen ermöglicht, Standardprüfungen durchzuführen.

3. Das Werkzeug: Die Kanten glätten

Sob Sobald sie diese falschen Hinweise haben, verwenden sie eine Technik namens Isotonische Kalibrierung.

Denken Sie an eine hügelige, zackige Gebirgslandschaft. Sie möchten sie in einen sanften, stetigen Hang verwandeln, bei dem „mehr Beweise“ immer eine „höhere Wahrscheinlichkeit der Schuld“ bedeuten.

Die Autoren nehmen ihre zackigen Daten und zwingen sie in eine glatte, gerade Linie.
Sie beweisen, dass dieser Glättungsprozess mathematisch identisch mit drei anderen berühmten statistischen Methoden ist (eine, die von Wettervorhersagern verwendet wird, eine aus dem maschinellen Lernen und eine von Statistikern, die Verteilungen untersuchen).
Der Ertrag: Diese geglättete Linie gibt Ihnen einen Wert (wie eine „0,05“ oder „0,10“), dem Sie vertrauen können. Wenn der Wert 10 % sagt, bedeutet das wirklich, dass in etwa 10 % der Fälle die Hypothese tatsächlich wahr ist (ein Fehlalarm).

4. Die Entdeckung: Die alten Werkzeuge waren kaputt

Die Autoren testeten ihre neue Methode an einer massiven Sammlung echter wissenschaftlicher Arbeiten aus der Psychologie und den Neurowissenschaften (etwa 27.000 Studien).

Sie verglichen ihre neuen „geglätteten“ Scores mit dem alten Standard (dem q-Wert) und den rohen Beweisen (p-Werten).

Das Ergebnis: Die alten Werkzeuge waren schwer dekalibriert. Sie waren wie ein kaputtes Thermometer, das 21 °C anzeigt, während es eigentlich friert.
Die neue Methode: Ihre neuen „geglätteten“ Scores stimmten perfekt mit der Wahrheit überein (soweit wir das ohne Lösungsskizze feststellen können).

5. Warum das wichtig ist

Dieses Paper sagt nicht nur: „Wir haben einen neuen Taschenrechner.“ Es verändert die Art und Weise, wie wir das Ziel der Wissenschaft betrachten.

Alte Sichtweise: Das Ziel ist es, zu zählen, wie viele Fehler wir insgesamt machen (wie zu sagen: „Wir werden in dieser gesamten Charge 5 % Fehlalarme haben“).
Neue Sichtweise: Das Ziel ist es, eine personalisierte Wahrscheinlichkeit für jedes spezifische Experiment anzugeben. „Für diese spezifische Studie besteht eine 12-prozentige Chance, dass das Ergebnis ein Zufall ist.“

Da sie einen Weg geschaffen haben, diese Wahrscheinlichkeiten ohne die „Lösungsskizze“ zu überprüfen, können Wissenschaftler nun eine einzelne Studie betrachten und sagen: „Ich bin mir zu 88 % sicher, dass dies echt ist“, mit einem viel höheren Vertrauen als zuvor.

Zusammenfassende Analogie

Stellen Sie sich vor, Sie bewerten einen Stapel von 10.000 Aufsätzen, aber Sie haben nicht die Lösungsskizze.

Der alte Weg: Sie raten eine Note basierend auf einer Faustregel, haben aber keine Ahnung, ob Ihre Bewertungsskala fair ist.
Der neue Weg: Sie schauen sich die Abstände zwischen den Aufsätzen an. Wenn die „schlechten“ Aufsätze normalerweise gruppiert auftreten und die „guten“ weit verstreut sind, nutzen Sie die Lücken zwischen ihnen, um eine falsche Bewertungsskala zu erstellen. Dann glätten Sie Ihre Noten, damit eine „2“ immer dasselbe bedeutet.
Das Ergebnis: Sie stellen fest, dass Ihre alte Bewertungsskala kaputt war, und Ihre neue Skala liefert eine zuverlässige Wahrscheinlichkeit, dass ein einzelner Aufsatz tatsächlich gut ist, selbst ohne die Lösungsskizze des Lehrers zu sehen.

Technisches Resümee: Kalibrierung ohne Labels in der multiplen Testung

Problemstellung

Groß angelegte Hypothesentests zielen oft darauf ab, Wahrscheinlichkeitsaussagen über einzelne Hypothesen zu treffen, wie etwa die Schätzung der lokalen False Discovery Rate (lfdr) mittels empirischer Bayes-Methoden. Es besteht jedoch eine kritische Lücke bei der Interpretation dieser Scores: Ein berichteter Wert $g(p)$ ist nur dann sinnvoll, wenn er kalibriert ist, was bedeutet, dass unter den Tests, denen ein Score $g(p)$ zugewiesen wurde, die Nullhypothese mit genau der Wahrscheinlichkeit $g(p)$ wahr ist.

In der standardmäßigen überwachten Lernprozesse (Supervised Learning) wird die Kalibrierung anhand von Ground-Truth-Labels bewertet. In der multiplen Testung sind diese „Labels“ (ob die Nullhypothese wahr oder falsch ist) jedoch nicht beobachtbar. Folglich können standardmäßige Kalibrierungsdiagnosen nicht direkt angewendet werden. Während die empirische Bayes-Tradition anerkennt, dass die Verteilung der Teststatistiken strukturelle Informationen enthält, gab es bisher nur begrenzte Arbeiten zur formellen Bewertung oder Durchsetzung der Kalibrierung in Abwesenheit von Ground Truth, insbesondere unter Modellfehlspezifikation.

Methodik

Die Autoren formulieren die multiple Testung als ein stochastisch überwachtes binäres Klassifizierungsproblem um. Sie behandeln die $p$ -Werte als Kovariaten und die unobservierbare Wahrheit der Nullhypothese als binäres Label $Y_i \in \{0, 1\}$ . Das Ziel ist die Schätzung der Regressionsfunktion $lfdr(p) = P(Y=1|p)$.

1. Konstruktion von Pseudo-Labels

Um die durch fehlende Labels entstandene Lücke zu schließen, konstruieren die Autoren Pseudo-Labels, die aus den Abständen (Spacings) der geordneten $p$ -Werte abgeleitet werden. Sei $p_{(1)} \le \dots \le p_{(m)}$ die geordneten $p$ -Werte und $\hat{\pi}_{null}$ eine Schätzung des Anteils der wahren Nullhypothesen. Das Pseudo-Label für die $i$ -te Beobachtung ist definiert als:
$\tilde{Y}_i := m \hat{\pi}_{null} (p_{(R_i)} - p_{(R_i-1)})$
wobei $R_i$ der Rang von $p_i$ ist.

Die theoretische Rechtfertigung stützt sich auf die asymptotischen Eigenschaften von Ordnungsstatistik-Abständen (Pyke, 1965). Wenn $m \to \infty$ , erfüllen diese Pseudo-Labels ein Regressionsmodell mit multiplikativen exponentiellen Fehlern: $\tilde{Y}_i | p_i \approx lfdr(p_i) E_i$ , wobei $E_i \sim \text{Exp}(1)$ . Entscheidend ist, dass der Erwartungswert $E[\tilde{Y}_i | p_i]$ die wahre $lfdr(p_i)$ approximiert, wodurch die Pseudo-Labels als direkter Ersatz für wahre Labels in Standard-Kalibrierungswerkzeugen dienen können.

2. Isotone Kalibrierung und Äquivalenz

Die Autoren schlagen vor, Monotonie (kleinere $p$ -Werte sollten kleinere Fehlerwahrscheinlichkeiten ergeben) mittels isotoner Regression auf die Pseudo-Labels durchzusetzen. Sie zeigen, dass drei unterschiedliche methodische Ansätze exakt denselben Schätzer liefern:

Isotone Regression: Minimierung des quadratischen Fehlers zwischen dem Prädiktor und den Pseudo-Labels (Pool Adjacent Violators Algorithm).
Maximum Likelihood: Minimierung der negativen Log-Pseudo-Likelihood, die aus dem exponentiellen Fehlermodell abgeleitet wurde (äquivalent zur Minimierung der Itakura–Saito-Distanz).
Nichtparametrische empirische Bayes-Schätzung: Schätzung der Randdichte der $p$ -Werte unter Verwendung des Grenander-Schätzers (der MLE für eine nicht-steigende Dichte) und Anwendung der Bayes-Regel.

Der resultierende Schätzer, bezeichnet als $\widehat{lfdr}^\uparrow$ , ist eine Treppenfunktion, die benachbarte $p$ -Werte in Intervallen zusammenfasst, in denen die Schätzung der lokalen False Discovery Proportion (FDP) monoton ist.

3. Bewertung und Diagnostik

Das Framework ermöglicht die Anpassung von überwachten Kalibrierungsdiagnosen an die multiple Testung:

Reliabilitätsdiagramme: Durch das Binden der Pseudo-Labels kann man den durchschnittlichen vorhergesagten Score gegen die empirische Häufigkeit von „wahren Nullhypothesen“ (geschätzt via Pseudo-Labels) auftragen.
Brier Regret: Die Autoren definieren eine Finite-Sample-Schranke für den Brier Regret (den übermäßigen Brier-Score relativ zum besten monotonen Prädiktor) für ihren isotonen Schätzer.

Zentrale Beiträge

Konstruktion von Pseudo-Labels: Das Paper führt eine Methode ein, um Regressionsziele aus $p$ -Wert-Abständen zu generieren, die die $lfdr$ als bedingten Erwartungswert besitzen. Dies erschließt das volle Instrumentarium der überwachten Kalibrierung (z. B. Reliabilitätsdiagramme, isotone Kalibrierung) für die multiple Testung ohne Ground Truth.
Theoretische Vereinheitlichung: Die Autoren beweisen, dass die isotone Kalibrierung auf Pseudo-Labels, die Maximum-Likelihood-Schätzung unter einem exponentiellen Fehlermodell und die nichtparametrische empirische Bayes-Schätzung (via Grenander-Schätzer) mathematisch äquivalent sind.
Garantien für endliche Stichproben: Sie etablieren eine Finite-Sample-Schranke für den Brier Regret des isotonen Schätzers. Diese Schranke verschwindet, wenn $m \to \infty$ , selbst wenn die wahre $lfdr$ nicht monoton ist, vorausgesetzt die empirische Verteilungsfunktion konvergiert gleichmäßig. Dieses Ergebnis gilt unabhängig davon, ob die Monotonie-Annahme strikt wahr ist, da der Schätzer die isotonisierte $lfdr$ anstrebt (die $L_2$ -Projektion der wahren $lfdr$ auf die Klasse der monotonen Funktionen).
Empirischer Beleg für Fehlkalibrierung: Durch Simulationen und die Analyse von Realdaten zeigen die Autoren, dass Standard-Fehlerschätzer, spezifisch der q-Wert, schwerwiegend fehlkalibriert sein können und teilweise schlechter abschneiden als rohe $p$ -Werte.

Ergebnisse

Simulationsstudien

Die Autoren verglichen den Brier Regret von drei Prädiktoren: rohen $p$ -Werten, Storeys $q$ -Werten und ihrem isotonen Schätzer ( $\widehat{lfdr}^\uparrow$ ).

Konvergenz: Der Regret von $\widehat{lfdr}^\uparrow$ sank stetig mit der Anzahl der Tests $m$ und konvergierte mit einer polynomischen Rate.
Stagnation: Der Regret für $p$ -Werte blieb flach (da sie die Identitätsfunktion sind), und der Regret für $q$ -Werte blieb in den meisten Szenarien signifikant höher als der des isotonen Schätzers.
Robustheit: Selbst in Szenarien, in denen die wahre $lfdr$ nicht-monoton war (Verletzung der Formbedingung), konvergierte der isotone Schätzer gegen die isotonisierte $lfdr$ und behielt einen verschwindenden Regret relativ zum besten monotonen Prädiktor bei.

Anwendung auf Realdaten

Die Methode wurde auf einen Datensatz von ca. 27.000 $t$ -Statistiken aus der kognitiven Neurowissenschaft und der experimentellen Psychologie angewendet (Szucs und Ioannidis, 2017).

Kalibrierungsprüfung: Reliabilitätsdiagramme zeigten, dass sowohl rohe $p$ -Werte als auch $q$ -Werte schwerwiegend fehlkalibriert waren (Punkte wichen signifikant von der Diagonalen $y=x$ ab).
Leistung: Der isotone Schätzer $\widehat{lfdr}^\uparrow$ lieferte Scores, die nahe an der Diagonalen lagen, was darauf hindeutet, dass die kalibrierten Scores als valide lokale Wahrscheinlichkeitsaussagen für einzelne Studien interpretiert werden können.

Bedeutung und Ansprüche

Das Paper argumentiert, dass Kalibrierung ein primäres Inferenzziel in der groß angelegten multiplen Testung sein sollte, das sich von der bloßen Multiplizitätskorrektur unterscheidet. Indem sie die multiple Testung als Klassifizierungsproblem mit verborgenen Labels behandeln, zeigen die Autoren, dass aussagekräftige Fehlerwahrscheinlichkeiten selbst ohne Ground Truth etabliert werden können.

Die Bedeutung der Arbeit liegt in:

Interpretierbarkeit: Sie bietet einen Weg, Scores als kalibrierte Wahrscheinlichkeiten zu interpretieren, selbst unter Modellfehlspezifikation, da Kalibrierung eine Eigenschaft des Scores selbst ist und nicht des generativen Modells.
Methodologische Brücke: Sie importiert erfolgreich Werkzeuge aus der probabilistischen Vorhersage und dem überwachten Lernen (insbesondere isotone Kalibrierung und Reliabilitätsdiagramme) in den Bereich der multiplen Testung.
Kritische Erkenntnis: Die empirische Feststellung, dass populäre Maße wie der $q$ -Wert schlecht kalibriert sein können, stellt die Annahme in Frage, dass Standard-FDR-basierte Maße inhärent zuverlässig für die Bewertung einzelner Hypothesen sind.

Die Autoren bleiben hinsichtlich der Limitationen bescheiden und merken an, dass ihre Theorie darauf beruht, dass $p$ -Werte unter der Nullhypothese gleichverteilt sind. Sie identifizieren die Konstruktion ähnlicher Pseudo-Labels für nicht-gleichverteilte Nullverteilungen (z. B. $z$ -Scores oder hochdimensionale Statistiken) als offene Frage für zukünftige Forschung.