Nonparametric methods controlling the median of the false discovery proportion

Titel

Nichtparametrische Methoden zur Kontrolle des Medians der False Discovery Proportion (FDP)

1. Problemstellung

In vielen Anwendungen des multiplen Testens (z. B. in der Lebensmittel-Sicherheitsbewertung, bei der Analyse von Metaboliten oder in der Bioäquivalenzforschung) besteht oft die a-priori-Erwartung, dass die meisten Nullhypothesen falsch sind. Das heißt, die meisten Parameter liegen in einer bestimmten Richtung oder innerhalb eines Äquivalenzintervalls.

• Herausforderung: Herkömmliche multiple Testverfahren (wie FDR-Kontrolle nach Benjamini-Hochberg oder FWER-Kontrolle) sind oft konservativ oder weniger leistungsfähig, wenn sie auf Szenarien angewendet werden, in denen ein großer Anteil der Hypothesen tatsächlich falsch ist (d. h., die meisten Effekte sind vorhanden).
• Ziel: Es wird ein Verfahren benötigt, das die Erwartung stützt, dass die meisten Hypothesen falsch sind, und dabei eine hohe Power (Trefferquote) bietet, ohne die Fehlerrate unkontrolliert zu erhöhen.
• Kontrollziel: Anstelle der Kontrolle des Erwartungswerts der False Discovery Proportion (FDR) wird die Kontrolle des Medians der FDP (mFDP) angestrebt. Dies bedeutet, dass mit einer Wahrscheinlichkeit von mindestens 50 % der Anteil der falsch entdeckten Hypothesen unter einem Schwellenwert $\gamma$ liegt ($P(\text{FDP} \le \gamma) \ge 0.5$).

2. Methodik

Die vorgeschlagenen Methoden basieren auf nichtparametrischen (oder semiparametrischen) Ansätzen, die eine spezifische Symmetrie-Eigenschaft der Teststatistiken ausnutzen.

A. Grundlegende Annahme (Symmetrie)

Die Methode setzt voraus, dass die Teststatistiken $T_j$ für die wahren Nullhypothesen (die Menge $N$) eine Symmetrie bezüglich ihres Erwartungswerts $\mu_j$ aufweisen:
$$(T_j - \mu_j : j \in N) \stackrel{d}{=} (-(T_j - \mu_j) : j \in N)$$
Diese Annahme ist für endliche Stichproben bei vielen nichtparametrischen Tests (z. B. Vorzeichen-Flip-Tests, Permutationstests) oder asymptotisch bei normalverteilten Statistiken erfüllt.

B. Schätzung der False Discovery Proportion (FDP)

Das Kernstück ist ein median-unkorrelierter Schätzer für die Anzahl der falsch positiven Entdeckungen ($V$).

• Für einseitige Tests (z. B. Nicht-Unterlegenheit):
  Es werden Hypothesen $H_j: \mu_j \le \delta_j$ getestet. Ein Hypothesenindex $j$ wird abgelehnt, wenn $T_j - \delta_j > t$.
  Der Schätzer für die Anzahl der falsch positiven Ablehnungen ist definiert als:
  $$\tilde{V}(t) = R(t) \wedge R^-(t)$$
  wobei $R(t)$ die Anzahl der abgelehnten Hypothesen ist und $R^-(t)$ die Anzahl der Hypothesen, deren Teststatistik unter $-\delta_j - t$ liegt (die "gespiegelten" Werte).
  Unter der Symmetrieannahme gilt: $P(V(t) \le \tilde{V}(t)) \ge 0.5$. Dies entspricht einem 50%-Konfidenz-Obergrenze für die FDP.

• Für Äquivalenztests:
  Ein analoger Schätzer wird für Hypothesen der Form $H_j: |\mu_j| \ge \delta_j$ entwickelt, wobei die Ablehnungsbereiche und die gespiegelten Bereiche entsprechend definiert werden.

C. Kontrolle des mFDP (Verfahren)

Basierend auf den Schätzern $\tilde{V}(t)$ wird ein Verfahren entwickelt, um eine Ablehnungsregion zu wählen, die die mFDP-Kontrolle garantiert.

1. Man definiert eine Funktion $\tilde{\text{FDP}}(t) = \tilde{V}(t) / (R(t) \vee 1)$.
2. Man sucht den kleinsten Schwellenwert $s^+$, sodass für alle $t \ge s^+$ gilt: $\tilde{\text{FDP}}(t) \le \gamma$.
3. Alle Hypothesen mit Teststatistiken, die strenger als $s^+$ sind, werden abgelehnt.
4. Theoretische Garantie: Unter bestimmten Bedingungen (z. B. Unabhängigkeit zwischen wahren und falschen Hypothesen oder asymptotisch) wird bewiesen, dass $P(\text{FDP}(s^+) \le \gamma) \ge 0.5$ gilt.

D. Vergleich mit existierenden Methoden

• SAM (Significance Analysis of Microarrays): Die neuen Schätzer sind im Szenario mit vielen falschen Hypothesen leistungsfähiger als SAM (basierend auf Permutationen).
• SAM+CT (Closed Testing): Obwohl SAM+CT eine gleichmäßig verbesserte Schätzung bietet, ist sie rechnerisch exponentiell aufwendig ($O(2^m)$). Die neue Methode ist linear in $m$ (nach Sortierung) und damit für große $m$ praktikabel.
• Admissibilität: Es wird bewiesen, dass die Schätzer (in einer leicht modifizierten Form mit Zufallsentscheidung bei Gleichstand) admissible sind, d. h., sie können nicht durch einen anderen median-unkorrelierten Schätzer uniform verbessert werden.

3. Wichtige Beiträge

1. Neue mFDP-Kontrollverfahren: Entwicklung von Verfahren, die speziell für Szenarien optimiert sind, in denen die meisten Hypothesen falsch sind (hohe Signalstärke). Diese sind leistungsfähiger als bestehende exakte mFDP- oder FDR-Methoden.
2. Nichtparametrische Symmetrie-Ausnutzung: Die Methoden nutzen die Symmetrie der Teststatistiken direkt, ohne auf Permutationen der Rohdaten angewiesen zu sein. Dies ermöglicht eine hohe Recheneffizienz.
3. Median-unkorrelierte Schätzer: Einführung von Schätzern für die Anzahl der falsch positiven Entdeckungen, die eine 50%-Konfidenz-Obergrenze darstellen und als Basis für die mFDP-Kontrolle dienen.
4. Theoretische Fundierung: Beweis der Admissibilität der Schätzer und der Gültigkeit der mFDP-Kontrolle für endliche Stichproben und asymptotisch.
5. Implementierung: Die Methoden sind im R-Paket mFDP verfügbar.

4. Ergebnisse

• Simulationen:

  • In Szenarien mit vielen falschen Hypothesen (z. B. $\pi_0 = 0.1$, wobei $\pi_0$ der Anteil wahrer Nullhypothesen ist) liefert der neue Schätzer $\tilde{\text{FDP}}$ im Durchschnitt niedrigere Schätzwerte für die FDP als das SAM-Verfahren.
  • Bei der Kontrolle des mFDP (Power-Vergleich) übertrifft das neue Verfahren (Abschnitt 5.1) sowohl die Benjamini-Hochberg-Methode (FDR-Kontrolle), das Romano-Wolf-Verfahren (FDX-Kontrolle) als auch die flexible mFDP-Methode aus früheren Arbeiten (Hemerik et al., 2024).
  • Der Vorteil ist besonders ausgeprägt, wenn die Anzahl der wahren Nullhypothesen gering ist.

• Datenanalyse (Beispiel):

  • Anwendung auf Immobilienverkaufsdaten (Ames, Iowa).
  • Ziel: Nachweis, dass viele Kovariablen keinen starken negativen Effekt auf den Preis haben.
  • Ergebnis: Das neue Verfahren lehnte 30 von 31 Hypothesen ab (bei $\gamma=0.1$), während Benjamini-Hochberg nur 29 ablehnte. Bei reduzierter Stichprobengröße ($n=100$) zeigte sich der Vorteil noch deutlicher: Das neue Verfahren lehnte 27 Hypothesen ab, Benjamini-Hochberg nur 16 und Bonferroni nur 7.

5. Bedeutung und Fazit

Das Papier bietet eine innovative Lösung für multiple Testprobleme, bei denen eine starke a-priori-Erwartung besteht, dass die meisten Effekte real sind (z. B. Sicherheitsbewertungen, Äquivalenzstudien).

• Vorteil gegenüber FDR: Da die Verteilung der FDP oft rechtsschief ist, ist der Median kleiner als der Erwartungswert. In Szenarien mit vielen falschen Hypothesen führt die Kontrolle des Medians (mFDP) zu einer deutlich höheren Power als die Kontrolle des Erwartungswerts (FDR), ohne die Validität zu verlieren.
• Recheneffizienz: Im Gegensatz zu Permutationsmethoden mit geschlossenen Tests (Closed Testing), die bei großen $m$ nicht durchführbar sind, ist der neue Ansatz linear in der Anzahl der Hypothesen.
• Robustheit: Die Methoden sind nichtparametrisch und benötigen keine spezifische Verteilungsannahme (außer Symmetrie), was sie für eine breite Palette von Anwendungen geeignet macht.

Zusammenfassend stellen die vorgeschlagenen Methoden einen wichtigen Fortschritt dar, um in "signalreichen" Umgebungen die Anzahl der entdeckten wahren Effekte zu maximieren, während die Wahrscheinlichkeit eines hohen Anteils an Fehlentdeckungen kontrolliert bleibt.