Anytime-valid simultaneous lower confidence bounds for the true discovery proportion

Die vorgestellte Studie entwickelt eine Methode, die das geschlossene Testverfahren mit dem Konzept der sicheren, jederzeit gültigen Inferenz kombiniert, um simultane untere Konfidenzschranken für den Anteil echter Entdeckungen zu berechnen, die eine sequenzielle Aktualisierung und optionales Stoppen in Anwendungen wie der Neurowissenschaft ermöglichen.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Detektiv, der in einer riesigen Stadt (dem Gehirn oder einem großen Datensatz) nach Beweisen für ein Verbrechen sucht. Die Stadt hat Millionen von Häusern (Hypothesen), und Sie müssen herausfinden, welche davon tatsächlich „schuldig" sind (also eine echte Entdeckung darstellen) und welche unschuldig sind.

Das Problem: Die Beweise kommen nicht alle auf einmal an. Sie müssen die Stadt Haus für Haus durchsuchen, und manchmal müssen Sie entscheiden: „Reicht das schon? Oder soll ich weiter suchen?"

Hier ist die Geschichte der Forschung von Friederike Preusse, einfach erklärt:

1. Das Problem: „Wann hören wir auf?"

In der Wissenschaft (z. B. bei Gehirnscans) ist es teuer und zeitaufwendig, Daten zu sammeln.

• Der alte Weg: Man plant, 100 Personen zu scannen. Man sammelt alle 100 Datenpunkte, schaut dann erst auf die Uhr und rechnet aus: „Okay, wir haben 100 Beweise, also sind wir sicher."
• Das Risiko: Was, wenn man nach 30 Personen schon so klare Beweise hat, dass man weitermachen könnte? Oder was, wenn nach 50 Personen klar ist, dass es nichts gibt und man die restlichen 50 Personen sparen könnte? Der alte Weg erlaubt kein „Zwischenstopp". Man muss bis zum Ende warten, sonst ist die Statistik ungültig.

2. Die Lösung: Der „Sichere Kompass" (Anytime-Valid)

Die Autorin entwickelt eine neue Methode, die wie ein sicherer Kompass funktioniert, der zu jedem beliebigen Zeitpunkt funktioniert.

• Die Idee: Egal, ob Sie nach 5, 50 oder 100 Personen schauen – die Methode gibt Ihnen sofort eine verlässliche Antwort. Sie können aufhören, wenn Sie wollen, oder weitermachen, wenn Sie mehr Beweise brauchen. Die Statistik „vergisst" nicht, dass Sie früher aufgehört haben könnten. Das nennt man „Optional Stopping" (willkürliches Stoppen).

3. Die Metapher: Der „Wachhund" und die „Menge"

Stellen Sie sich vor, Sie haben einen riesigen Garten mit vielen Blumenbeeten (Hypothesen). Sie wollen wissen: „Wie viele dieser Blumen sind wirklich giftig (echte Entdeckungen)?"

• Der alte Wachhund: Er bellt nur, wenn Sie ihm alle Blumen gezeigt haben. Wenn Sie ihn nach 10 Blumen fragen, sagt er: „Ich kann nichts sagen, ich habe noch nicht genug gesehen."
• Der neue Wachhund (die neue Methode): Er ist extrem vorsichtig. Er sagt: „Okay, ich habe 10 Blumen gesehen. Ich bin mir zu 95 % sicher, dass mindestens 3 davon giftig sind."
  • Wenn Sie ihm eine 11. Blume zeigen, aktualisiert er seine Schätzung sofort: „Jetzt bin ich mir sicher, dass mindestens 4 giftig sind."
  • Das Tolle: Er lügt nie. Selbst wenn Sie ihn nach 5 Blumen fragen, ist seine Aussage „mindestens 1" statistisch korrekt und sicher.

4. Das große Rätsel: Wie rechnet man das schnell?

Das Schwierige an dieser Methode ist die Rechenleistung. Wenn Sie 100.000 Hypothesen haben (wie bei Gehirnscans), müssen Sie theoretisch prüfen, ob jede mögliche Kombination von Hypothesen stimmt. Das wäre wie der Versuch, jeden möglichen Weg durch ein Labyrinth zu testen – das dauert ewig.

Der Trick (Der „Shortcut"):
Die Autorin hat einen cleveren mathematischen Abkürzungsweg gefunden.

• Statt jeden einzelnen Weg im Labyrinth zu prüfen, schaut sie sich nur die „schlechtesten" Beweise an.
• Vergleich: Stellen Sie sich vor, Sie wollen wissen, wie viele schwere Koffer Sie tragen können. Statt jeden Koffer einzeln zu wiegen, schauen Sie nur auf die leichtesten Koffer. Wenn diese schon zu schwer sind, wissen Sie sofort, dass Sie keine weiteren Koffer tragen können.
• Dieser Trick macht es möglich, die Berechnung auch auf riesigen Datensätzen (wie 100.000 Gehirn-Voxel) in vernünftiger Zeit durchzuführen.

5. Das echte Beispiel: Gehirnscans (fMRI)

Die Methode wurde an echten Daten getestet.

• Szenario: 56 Menschen mussten Wörter lesen und entscheiden, ob sie die gleiche Bedeutung haben. Währenddessen wurde ihr Gehirn gescannt.
• Anwendung: Die Forscher wollten wissen: „Welche Teile des Gehirns sind aktiv?"
• Ergebnis: Mit der neuen Methode konnten sie schon nach 15 Personen sagen: „Hier ist etwas los!" und nach 53 Personen hatten sie eine sehr genaue Schätzung, wie viele Zellen in bestimmten Hirnregionen aktiv sind. Sie mussten nicht bis zum Ende warten, um eine sichere Aussage zu treffen.

Zusammenfassung in einem Satz

Die Autorin hat einen neuen mathematischen „Sicherheitsgurt" entwickelt, der es Forschern erlaubt, ihre Experimente zu jedem beliebigen Zeitpunkt zu stoppen oder fortzusetzen, ohne dass die Ergebnisse ungültig werden, und das alles so schnell, dass es auch bei riesigen Datenmengen (wie Gehirnscans) funktioniert.

Warum ist das wichtig?
Es spart Zeit, Geld und Nerven. Forscher müssen nicht stur bis zum geplanten Ende weitermachen, wenn die Ergebnisse schon klar sind, oder Angst haben, dass sie zu früh aufhören und alles umsonst war. Es ist wie ein GPS, das Ihnen sagt: „Du bist schon am Ziel", auch wenn Sie noch gar nicht alle Straßen abgefahren haben.

Technische Zusammenfassung

Titel:

Anytime-valide simultane untere Konfidenzschranken für den wahren Entdeckungsanteil (True Discovery Proportion - TDP)

1. Problemstellung

In der statistischen Inferenz bei multiplen Hypothesentests (z. B. in der Genomik oder Neuroimaging) ist es oft von Interesse, nicht nur einzelne Hypothesen zu testen, sondern Rückschlüsse auf Gruppen von Hypothesen zu ziehen. Ein zentrales Maß hierfür ist der wahre Entdeckungsanteil (TDP), definiert als der Anteil der falsch verworfenen Nullhypothesen (wahren Entdeckungen) innerhalb einer beliebigen Teilmenge der getesteten Hypothesen.

Herausforderungen in diesem Bereich sind:

• Simultaneität: Forscher möchten oft beliebige Teilmengen von Hypothesen nachträglich untersuchen, ohne die Fehlerkontrolle zu verlieren.
• Optional Stopping: Herkömmliche Methoden für simultane Konfidenzschranken (basierend auf dem "Closed Testing"-Framework) erfordern eine feste Stichprobengröße. Sie sind ungültig, wenn die Datenerhebung gestoppt oder fortgesetzt wird, basierend auf den aktuellen Ergebnissen (optional stopping).
• Skalierbarkeit: Die Berechnung simultaner Schranken erfordert das Testen von bis zu $2^m - 1$ Schnittmengen-Hypothesen, was bei großen $m$ (z. B. >100.000 Voxel in fMRI) rechnerisch unmöglich ist.

Das Ziel der Arbeit ist es, ein Verfahren zu entwickeln, das anytime-valid (zu jedem beliebigen Zeitpunkt gültig) ist, simultane untere Konfidenzschranken für den TDP liefert und auch bei großen Hypothesenzahlen berechenbar bleibt.

2. Methodik

Die vorgeschlagene Methode kombiniert drei Hauptkomponenten:

A. Closed Testing Framework

Das Verfahren baut auf dem Closed Testing Framework von Marcus et al. (1976) auf. Um eine untere Schranke für den TDP in einer Entdeckungsmenge $R$ zu erhalten, muss die Anzahl der falsch verworfenen Hypothesen $\tau(R)$ nach oben begrenzt werden.

• Herkömmlich wird dies durch die Größe der größten Hypothese $I \subseteq R$ bestimmt, die vom Closed-Testing-Verfahren nicht verworfen wird.
• Die neue Methode definiert diese Schranke dynamisch über die Zeit.

B. Safe Anytime-Valid Inference (SAVI) und E-Prozesse

Um die Gültigkeit bei optionaler Stoppung zu gewährleisten, werden E-Prozesse (e-processes) anstelle von klassischen p-Werten verwendet.

• Ein E-Wert ist eine nicht-negative Zufallsvariable mit Erwartungswert $\le 1$ unter der Nullhypothese.
• Ein E-Prozess ist eine zeitliche Folge von E-Werten, die zu jedem Stoppzeitpunkt $\nu$ (optional stopping) als gültiger E-Wert fungiert.
• Lokale Tests werden definiert als $\phi^{[n]}_\alpha(E) = \mathbb{I}\{E^{[n]} \ge 1/\alpha\}$.

C. Closed Testing mit E-Prozess-basierten lokalen Tests (Schritt 4)

Dieser Schritt integriert die E-Prozesse in das Closed-Testing-Verfahren und stellt sicher, dass die beiden wesentlichen Eigenschaften – Anytime-Validität und die "Carefree"-Eigenschaft – korrekt durch unterschiedliche Mechanismen gewährleistet werden:

1. Anytime-Validität durch E-Prozesse:
   Sei $X_\alpha[n]$ die Menge der Schnittmengen-Hypothesen, die zum Zeitpunkt $n$ durch das Closed-Testing-Verfahren verworfen werden. Die lokalen Tests innerhalb dieses Verfahrens sind die in Abschnitt 2.A definierten anytime-validen E-Prozess-basierten Tests.

   • Die Verwendung von E-Prozess-basierten lokalen Tests im Closed-Testing-Verfahren ist der Mechanismus, der die Anytime-Validität des Ablehnungssatzes $X_\alpha[n]$ sicherstellt. Das bedeutet, dass die Kontrolle des Typ-I-Fehlers unter beliebigen Stoppregeln, einschließlich datenabhängiger Stoppregeln, gewährleistet ist.
   • Die obere Konfidenzschranke für die Anzahl der falsch positiven Entdeckungen $\tau(R)$ wird als die Größe der größten Hypothesenmenge $I \subseteq R$ definiert, die von Closed Testing nicht verworfen wird.

2. Carefree-Eigenschaft durch den Minimum-Operator:
   Um zusätzlich die Carefree-Eigenschaft zu gewährleisten (d.h., dass die Schranken monoton verbessert werden – untere Schranken für den TDP steigen nur, obere Schranken für falsch positive Entdeckungen fallen nur, wenn mehr Daten hinzukommen), wird der endgültige Schätzwert zum Zeitpunkt $n$ als Minimum der bis dahin beobachteten Schranken gewählt:
   $$\tilde{c}_\alpha[n](R) = \min_{0 \le \ell \le n} \left( \max \{ |I| : I \subseteq R, I \neq \emptyset, I \notin X_\alpha[\ell] \} \right)$$
   Die untere Konfidenzschranke für den TDP ergibt sich dann als:
   $$\tilde{d}_\alpha[n](R) = 1 - \frac{\tilde{c}_\alpha[n](R)}{|R|}$$
   Wichtig: Die Anytime-Validität resultiert aus der Natur der E-Prozesse in den lokalen Tests, während die Carefree-Eigenschaft (Monotonie) spezifisch durch die Anwendung des Minimums über die Zeit sichergestellt wird. Diese beiden Garantien sind getrennt und werden durch unterschiedliche Mechanismen erreicht.

D. Berechnungsschritt (Computational Shortcut)

Da das direkte Testen aller $2^m$ Teilmengen bei großen $m$ nicht möglich ist, leitet die Autorin einen computationalen Shortcut her (Lemma 1).

• Annahme: Die Entdeckungsmenge $R$ ist über die Zeit fixiert.
• Strategie: Anstatt alle Teilmengen zu prüfen, wird nur diejenige Teilmenge der Größe $h$ innerhalb von $R$ betrachtet, die die kleinsten E-Prozess-Werte aufweist (am wenigsten wahrscheinlich verworfen wird).
• Formel: Die Schranke $\tilde{h}(n)$ wird iterativ bestimmt, indem geprüft wird, ob die Summe der E-Werte der $h$ kleinsten Entdeckungen eine bestimmte Schwelle unterschreitet, die von den E-Werten der Nicht-Entdeckungen abhängt.
• Komplexität: Dies reduziert die Komplexität von exponentiell auf linear in Bezug auf die Anzahl der Hypothesen ($O(m \log m + mr)$), was die Anwendung auf fMRI-Daten ermöglicht.

3. Wichtige Beiträge

1. Anytime-Validität: Das Verfahren liefert simultane untere Konfidenzschranken für den TDP, die zu jedem Zeitpunkt während der Datenerhebung gültig sind. Dies erlaubt optional stopping und das spätere Fortsetzen der Studie ohne Inflations des Fehlers.
2. Simultaneität für beliebige Teilmengen: Die Schranken gelten gleichzeitig für alle möglichen Teilmengen der Hypothesen, was eine flexible nachträgliche Analyse ermöglicht.
3. Skalierbarer Algorithmus: Der vorgestellte Shortcut macht die Anwendung auf hochdimensionale Daten (z. B. >100.000 Hypothesen) praktisch durchführbar.
4. Integration von E-Prozessen: Die Arbeit integriert E-Prozesse in das Closed-Testing-Framework, um die Vorteile von E-Werten (Robustheit bei optionaler Stoppung) mit der Strenge des Closed Testing zu verbinden.

4. Ergebnisse

Simulationsstudie

• Setup: 1.000 Hypothesen, bis zu 100 Probanden, sequenzielle Datenerhebung. Vergleich mit der etablierten "All-Resolution Inference" (ARI) Methode (Goeman et al., 2019), die auf p-Werten basiert.
• Validität: Die empirische Nicht-Abdeckungsrate (Empirical Non-Coverage Rate) lag in allen Szenarien (unterschiedliche Abhängigkeitsstrukturen, Effektstärken, Entdeckungsgrößen) unter dem nominalen Niveau $\alpha = 0.2$. Dies bestätigt die Gültigkeit der anytime-validen Schranken.
• Leistung (Power): Die Konvergenz der Schranken zum wahren TDP erfolgte schneller bei höheren Effektstärken.
  • Trade-off: Die anytime-validen Schranken benötigten im Durchschnitt eine etwas größere Stichprobengröße, um genauso eng (tight) zu sein wie die klassischen ARI-Schranken (die keine anytime-validen Garantien bieten).
  • Bei großen Effektstärken ($\mu \ge 1$) konvergierten die Schranken jedoch in ca. 30 Beobachtungen.

Fallstudie (fMRI)

• Daten: Funktionale Magnetresonanztomographie (fMRI) Daten von 56 Probanden (semantische Aufgabe vs. Kontrollaufgabe).
• Analyse: Test von über 100.000 Voxel-Hypothesen. Verwendung des "mom"-E-Prozesses (basierend auf einem nicht-lokalen Moment-Prior).
• Ergebnisse:
  • Die Methode identifizierte Aktivierungen in allen sieben zuvor durch Meta-Analysen bekannten Regionen von Interesse (ROIs).
  • Nach 53 Probanden wurde in 7 der 48 untersuchten ROIs eine signifikante Aktivität gefunden (mehr als 10% der Voxel aktiv).
  • Die größte untere Schranke für den Anteil aktiver Voxel lag bei ca. 38,8% (im linken Inferior Frontal Gyrus).
  • Die Schranken nahmen mit zunehmender Stichprobengröße zu, was darauf hindeutet, dass weitere Daten die Präzision erhöhen würden.

5. Bedeutung und Ausblick

Die vorgestellte Methode ist ein bedeutender Fortschritt für Anwendungen, bei denen Datenerhebung teuer und zeitaufwendig ist (z. B. Neuroimaging, klinische Studien).

• Praktischer Nutzen: Forscher können die Datenerhebung stoppen, sobald Ergebnisse zufriedenstellend sind, oder bei Bedarf fortsetzen, ohne die statistische Validität zu gefährden.
• Flexibilität: Die Möglichkeit, beliebige Hypothesengruppen nachträglich zu analysieren, unterstützt explorative Forschung.
• Zukünftige Arbeiten: Die Autorin schlägt vor, E-Prozesse spezifisch für fMRI-Daten zu entwickeln, die die räumliche und zeitliche Abhängigkeitsstruktur im Gehirn besser modellieren. Auch die Erweiterung auf andere Fehlerkontrollen (z. B. Knock-offs) wird als vielversprechender Forschungsweg identifiziert.

Zusammenfassend bietet das Paper eine robuste, recheneffiziente und flexible Lösung für die simultane Inferenz in dynamischen Umgebungen, die den aktuellen Anforderungen moderner Datenwissenschaft gerecht wird.