Directional replicability: when can the factor of two be omitted

Technische Zusammenfassung: Richtungsabhängige Replizierbarkeit: Wann kann der Faktor Zwei weggelassen werden

Problemstellung
Die Arbeit befasst sich mit der statistischen Herausforderung der Bewertung der richtungsabhängigen Replizierbarkeit über $n$ unabhängige Studien hinweg. Im Gegensatz zur Standard-Replizierbarkeit, die lediglich erfordert, dass ein Effekt in mindestens $r$ Studien vorhanden ist (unabhängig vom Vorzeichen), erfordert richtungsabhängige Replizierbarkeit, dass mindestens $r$ Studien denselben Effekt aufweisen (entweder alle positiv oder alle negativ).

Formal sei $\theta = (\theta_1, \dots, \theta_n)$ der Vektor der wahren Effektstärken. Die Autoren definieren $n_+$ als die Anzahl der positiven Effekte und $n_-$ als die Anzahl der negativen Effekte. Ziel ist es, die Nullhypothese $H_{r/n}: n_+ < r \land n_- < r$ zu testen. Das Ablehnen dieser Hypothese erlaubt den Schluss, dass es mindestens $r$ Effekte desselben Vorzeichens gibt ($n_+ \ge r \lor n_- \ge r$).

Der Standardansatz, folgend nach Owen (2009), behandelt $H_{r/n}$ als Schnittmenge zweier unilateraler Hypothesen: $H^+_{r/n}: n_+ < r$ und $H^-_{r/n}: n_- < r$. Um die Familienfehlerrate (Family-Wise Error Rate) zu kontrollieren, kombiniert das Standardverfahren die p-Werte dieser beiden unilateralen Tests und multipliziert das Minimum mit 2 (d. h. $p_{r/n} = 2 \min\{p^+_{r/n}, p^-_{r/n}\}$), um die Mehrfachtests der Richtungen zu berücksichtigen. Die zentrale Frage dieser Arbeit ist, ob dieser multiplikative Korrekturfaktor von 2 immer notwendig ist.

Methodik
Die Autoren nehmen unabhängige Normalverteilungen $T_i \sim N(\theta_i, 1)$ für die Effektstärken an. Sie nutzen die Bonferroni-Partialkonjunktionsmethode, um p-Werte für die unilateralen Hypothesen zu konstruieren.

• Für die positive Richtung ($H^+_{r/n}$) ist der p-Wert $p^+_{r/n} = (n-r+1)p_{(r)}$, wobei $p_{(r)}$ der $r$-te kleinste p-Wert aus den einzelnen Studien ist.
• Für die negative Richtung ($H^-_{r/n}$) ist der p-Wert $p^-_{r/n} = (n-r+1)q_{(r)}$, wobei $q_{(r)}$ dem $r$-ten kleinsten p-Wert für die negative Richtung entspricht.

Die Arbeit untersucht die Gültigkeit der unkorrigierten Statistik $p_{r/n} = \min\{p^+_{r/n}, p^-_{r/n}\}$ als gültiger p-Wert für die Schnittmengehypothese $H_{r/n}$ unter spezifischen Bedingungen.

Wesentliche Beiträge und Ergebnisse

1. Hinreichende Bedingung für das Weglassen des Faktors Zwei (Theorem 1):
   Der primäre theoretische Beitrag ist Theorem 1, welches feststellt, dass der Faktor 2 unnötig ist, wenn $r$ im Verhältnis zu $n$ ausreichend groß ist. Speziell gilt: Wenn $(n+1)/2 < r \le n$, dann ist $p_{r/n} = \min\{p^+_{r/n}, p^-_{r/n}\}$ ein gültiger p-Wert für $H_{r/n}$ auf dem Signifikanzniveau $\alpha$.

   • Mechanismus: Der Beweis zeigt, dass unter der Bedingung $r > (n+1)/2$ die Ereignisse, die zu Typ-I-Fehlern für die positive und die negative Richtung führen, disjunkt sind. Folglich übersteigt die Wahrscheinlichkeit, die Nullhypothese unter der Worst-Case-Parameterkonfiguration abzulehnen, nicht $\alpha$, wenn die Verdopplungskorrektur weggelassen wird.

2. Notwendigkeit der Korrektur für kleine $r$ (Abschnitt 3):
   Die Autoren liefern ein Gegenbeispiel, das zeigt, dass die unkorrigierte Statistik für kleinere Werte von $r$ (speziell $2 \le r \le (n+1)/2$) zu Typ-I-Fehlerraten führen kann, die über $\alpha$ liegen.

   • In diesem Regime ist es möglich, eine „diskordante“ Parameterkonfiguration zu haben, bei der gleichzeitig $r-1$ starke positive Effekte und $r-1$ starke negative Effekte auftreten. In solchen Fällen sind die Ereignisse, die zur Ablehnung in beiden Richtungen führen, nicht disjunkt, und die Wahrscheinlichkeit des Typ-I-Fehlers übersteigt das nominelle Niveau, wenn der Faktor 2 weggelassen wird.
   • Numerische Simulationen (Abbildung 1) illustrieren, dass für $n=20$ und $\alpha=0,1$ der Typ-I-Fehler für $r \in \{2, \dots, 7\}$ über $\alpha$ liegt, aber für $r \in \{8, 9, 10\}$ kontrolliert bleibt, obwohl die strikte Bedingung aus Theorem 1 (d. h. $r > 10,5$) nicht erfüllt ist. Dies deutet darauf hin, dass die Bedingung in Theorem 1 hinreichend, aber nicht notwendig ist.

3. Datenadaptive Auswahl von $r$:
   Das Paper skizziert ein sequentielles Testverfahren für Situationen, in denen $r$ nicht vorab spezifiziert ist. Durch das Testen verschachtelter Hypothesen $H_{k/n}, H_{(k+1)/n}, \dots, H_{n/n}$, beginnend mit $k = \lceil(n+2)/2\rceil$, kann man eine $(1-\alpha)$ untere Konfidenzgrenze für die maximale Anzahl an Effekten desselben Vorzeichens ableiten.

4. Erweiterung auf andere Kombinationsfunktionen:
   Die Autoren merken an, dass der Beweis zwar auf der Bonferroni-Methode basiert, das Ergebnis aber wahrscheinlich auf andere Kombinationsfunktionen übertragbar ist, die Unabhängigkeit voraussetzen, wie etwa die Šidák-Korrektur, die Simes-Methode und die Fisher-Kombinationsfunktion, wenngleich dies einer zukünftigen Verifizierung bedarf.

Bedeutung und Ansprüche
Das Paper beansprucht, die State-of-the-Art-Methodik der Analyse der richtungsabhängigen Replizierbarkeit zu verfeinern. Durch die Identifizierung der Bedingung $(n+1)/2 < r \le n$ zeigen die Autoren auf, dass Forscher in Szenarien, in denen die erforderliche Anzahl an replizierenden Effekten ($r$) die Mehrheit der Gesamtzahl der Studien ($n$) darstellt, die konservative „Faktor Zwei“-Korrektur sicher weglassen können. Dieses Weglassen erhöht die statistische Power, ohne die Typ-I-Fehlerrate zu erhöhen.

Die Arbeit adresst zudem das Problem des Typ-III-Fehlers (Schlussfolgerung auf das falsche Vorzeichen). Die Autoren behaupten, dass das Verfahren in Theorem 1 den Typ-III-Fehler kontrolliert und somit eine gültige Post-hoc-Inferenz des Vorzeichens der replizierten Effekte ermöglicht (positiv, falls $p^+_{r/n} < p^-_{r/n}$, negativ andernfalls).

Abschließend räumt das Paper ein, dass es sich zwar auf eine einzelne Hypothese konzentriert, viele Anwendungen jedoch mehrere Merkmale (Features) beinhalten. Es wird angeregt, dass die vorgeschlagene Logik in bestehende Filteransätze (z. B. Wang et al., 2022) integriert werden könnte, lässt jedoch die Frage offen, ob der Faktor 2 im Kontext von Mehrfachtests über verschiedene Merkmale hinweg entfernt werden kann, als offenes Problem für zukünftige Forschung.