Post-Hoc Large-Sample Statistical Inference

Diese Arbeit entwickelt eine Theorie der post-hoc Inferenz im asymptotischen Setting, die auf E-Werten basiert und asymptotische Konfidenzmengen sowie p-Werte bereitstellt, die bei schwächeren Annahmen schärfere Ergebnisse liefern als bisherige nicht-asymptotische Verfahren.

Das Wesentliche

Hier ist eine einfache Erklärung der wissenschaftlichen Arbeit „Post-Hoc Large-Sample Statistical Inference" auf Deutsch, verpackt in eine Geschichte mit Analogien.

Die Geschichte vom strengen Richter und dem flexiblen Detektiv

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, die wahre Geschwindigkeit eines Diebes (den „wahren Wert" oder Parameter) herauszufinden, indem Sie ihm hinterherlaufen und seine Spuren zählen.

Das alte Problem: Der unflexible Richter

In der klassischen Statistik gibt es einen sehr strengen Richter. Bevor Sie überhaupt einen einzigen Fußabdruck untersuchen, müssen Sie ihm sagen: „Ich will eine 95%ige Sicherheit haben." Das nennt man das Signifikanzniveau (oft $\alpha$).

Der Richter sagt: „Einverstanden. Aber sobald wir anfangen, ist das festgeschrieben. Wenn Sie nach 100 Spuren sehen und sagen: ‚Hmm, das Ergebnis ist zu ungenau, ich will lieber nur 90% Sicherheit, um eine klare Antwort zu bekommen', dann sagt der Richter: Nein! Das ist Betrug. Sie haben die Regeln nach dem Sehen der Daten geändert. Das Ergebnis ist ungültig."

Das ist das Problem: Wenn Sie ein Ergebnis haben, das „in der Schwebe" liegt (ein zu breites Intervall), können Sie nicht einfach nachbessern, indem Sie die Anforderungen senken. Sie müssen entweder mit dem ersten Ergebnis leben oder die ganze Untersuchung verwerfen. Das ist wie beim Poker: Wenn Sie Ihre Karten sehen und dann entscheiden, die Einsatzregeln zu ändern, ist das unfair.

Die neue Lösung: Der flexible Detektiv mit dem „E-Wert"

Die Autoren dieses Papers (Chugg, Gauthier, Jordan, Ramdas, Waudby-Smith) haben eine neue Methode entwickelt, die es erlaubt, die Regeln nach dem Sehen der Daten anzupassen. Sie nennen das „Post-Hoc-Inferenz".

Statt eines starren Richters nutzen sie ein neues Werkzeug, das sie E-Werte (e-values) nennen.

• Die Analogie: Stellen Sie sich den E-Wert wie einen Wett-Tipp vor.
• Wenn Sie eine Hypothese aufstellen (z. B. „Der Dieb fährt 50 km/h"), setzen Sie einen Einsatz darauf.
• Ein „guter" E-Wert bedeutet: „Wenn meine Hypothese falsch wäre, wäre mein Einsatz fast sicher verloren gegangen."
• Der Clou: Mit E-Werten können Sie jeden Zeitpunkt entscheiden, wie streng Sie sein wollen. Sie können sagen: „Okay, ich habe die Daten gesehen. Ich will jetzt eine 99%ige Sicherheit." Oder: „Eigentlich reicht mir 90%." Und das ist mathematisch erlaubt, ohne dass die Ergebnisse ungültig werden.

Das große Problem: Die Unendlichkeit

Bisher gab es diese E-Werte nur für kleine, endliche Datensätze. Aber in der echten Welt (z. B. bei medizinischen Studien oder KI-Modellen) haben wir oft riesige Datenmengen. Hier greift die klassische Statistik, die auf „Grenzwerten" (Asymptotik) basiert – also dem, was passiert, wenn die Datenmenge gegen unendlich geht.

Das Problem: Die alten E-Werte funktionierten bei riesigen Datenmengen nicht gut. Sie waren entweder zu vorsichtig (die Intervalle waren riesig) oder machten zu viele Annahmen über die Daten.

Die Entdeckung dieses Papers

Die Autoren haben nun die Brücke geschlagen. Sie haben gezeigt, wie man E-Werte für riesige Datenmengen baut.

1. Die „IWR"-Methode (Ignatiadis, Wang, Ramdas):
   Stellen Sie sich vor, Sie haben eine Schatzkarte. Um den Schatz zu finden, müssen Sie einen Kompass (einen Parameter $\lambda$) einstellen.

   • Das Problem: Wenn Sie den Kompass nach dem Sehen der Karte einstellen, ist es unfair.
   • Die Lösung: Die Autoren sagen: „Wir stellen den Kompass auf eine gute Schätzung ein, bevor wir die Karte sehen (z. B. auf eine Standard-Einstellung). Selbst wenn sich herausstellt, dass wir die falsche Einstellung hatten, ist der Fehler so klein, dass wir trotzdem eine gültige Antwort bekommen."
   • Das nennt sie „Ex-Ante-Anker". Es ist wie ein Anker, der fest im Boden verankert ist, bevor der Sturm (die Daten) kommt.

2. Die „Mischungs"-Methode:
   Statt einen einzigen Kompass zu wählen, nehmen sie alle möglichen Einstellungen und mischen sie zu einer Art „Super-Kompass". Das ist sicherer, aber manchmal etwas ungenauer.

3. Die „R-WS"-Methode (Ruf, Waudby-Smith):
   Das ist der „Schutzengel". Diese Methode ist etwas breiter (sie gibt einen größeren Bereich an), aber sie ist unverwundbar. Sie funktioniert auch dann, wenn die Daten sehr „wild" sind (z. B. wenn ein paar extrem große Ausreißer vorkommen). Sie ist wie ein Sicherheitsgurt: Er ist etwas unbequem, aber er hält Sie, wenn alles andere versagt.

Warum ist das wichtig?

Stellen Sie sich vor, Sie analysieren die Wirksamkeit eines neuen Impfstoffs.

• Alt: Sie berechnen ein Intervall. Es ist zu breit. „Der Impfstoff könnte wirken oder auch nicht." Sie dürfen nicht nachbessern, indem Sie die Anforderungen senken. Sie müssen warten, bis Sie mehr Daten haben.
• Neu (mit diesem Paper): Sie sehen das breite Intervall. Sie sagen: „Okay, ich will jetzt eine 90%ige Sicherheit statt 95%." Sie nutzen die neuen Formeln, berechnen das Intervall neu, und es ist immer noch wissenschaftlich valide. Sie können Entscheidungen treffen, ohne die Regeln zu brechen.

Zusammenfassung in einem Satz

Dieses Paper entwickelt eine neue Art von statistischem Werkzeug, das es Forschern erlaubt, ihre Sicherheitsanforderungen nachträglich an die Daten anzupassen, ohne dabei die wissenschaftliche Integrität zu verlieren – besonders dann, wenn man mit sehr großen Datenmengen arbeitet.

Es ist der Unterschied zwischen einem starren Richter, der sagt „Die Regeln waren vorher festgelegt, also ist dein Ergebnis ungültig", und einem weisen Mentor, der sagt: „Schauen wir uns die Daten an, und dann entscheiden wir gemeinsam, wie sicher wir sein wollen."

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Post-Hoc Large-Sample Statistical Inference" auf Deutsch.

1. Problemstellung

In der klassischen statistischen Inferenz muss das Signifikanzniveau $\alpha$ (das „Type-I-Fehlerrisiko") vor der Datenerhebung und -analyse festgelegt werden. Sobald ein Konfidenzintervall (CI) berechnet wurde, ist die statistische Garantie für dieses spezifische $\alpha$ gebunden.

Das Hauptproblem, das in diesem Paper adressiert wird, ist die Post-Hoc-Validität:

• Das Dilemma: Wenn ein Analyst ein Konfidenzintervall berechnet und es zu breit oder nicht aussagekräftig ist, ist es verlockend, das Intervall mit einem anderen (z. B. größeren) Signifikanzniveau neu zu berechnen, um eine schärfere Aussage zu treffen.
• Die Konsequenz: Klassische Methoden erlauben dies nicht. Das Nachjustieren von $\alpha$ basierend auf den Daten („roving alphas") zerstört die statistischen Garantien und führt zu verzerrten Ergebnissen (False Positives).
• Bestehende Lösungen: Bisherige Ansätze wie „$\alpha$-Spending" (Aufteilung des Fehlers auf mehrere Tests) sind ineffizient, da sie die statistische Power drastisch reduzieren und nur eine begrenzte Anzahl von geplanten Analysen erlauben.
• Der Ansatz: Die Verwendung von e-Werten (e-values) hat sich im nicht-asymptotischen Bereich als Lösung für Post-Hoc-Inferenz etabliert. Allerdings fehlen bisher theoretische Grundlagen für den asymptotischen Fall (große Stichprobengrößen), der in der Praxis am häufigsten angewendet wird. Nicht-asymptotische Methoden erfordern oft starke Momentannahmen und sind im Allgemeinen konservativ.

2. Methodik und theoretischer Rahmen

Das Paper entwickelt eine Theorie der asymptotischen Post-Hoc-Inferenz, die es erlaubt, Signifikanzniveaus datenabhängig zu wählen, während die statistischen Garantien erhalten bleiben.

A. Definitionen und Risikokontrolle

Statt die Wahrscheinlichkeit eines Fehlers für ein festes $\alpha$ zu begrenzen, führt das Paper das Konzept der Risikokontrolle ein.

• Ein asymptotisches Post-Hoc-Konfidenzintervall (APH-CI) ist eine Folge von Intervallen $H_n(\alpha)$, für die der erwartete Wert des Risikos $R = \sup_{\alpha > 0} \frac{\mathbb{1}\{\theta \notin H_n(\alpha)\}}{\alpha}$ im Grenzwert ($n \to \infty$) durch 1 beschränkt ist.
• Dies gilt sowohl punktuell (für eine spezifische Verteilung) als auch verteilungseinheitlich (uniform über eine Klasse von Verteilungen), was robustere Garantien für unbekannte Verteilungsfamilien bietet.

B. Die Rolle asymptotischer e-Werte

Das zentrale Werkzeug ist das asymptotische e-Variable (eine Folge nicht-negativer Zufallsvariablen $E_n$, deren Erwartungswert im Grenzwert $\le 1$ ist).

• Proposition 2.6 zeigt, dass asymptotische Post-Hoc-Konfidenzintervalle und p-Werte notwendig und hinreichend durch das Schwellenwertverfahren (Thresholding) von asymptotischen e-Werten konstruiert werden können: $H_n(\alpha) = \{ \theta : E_n(\theta) < 1/\alpha \}$.
• Dies erweitert fundamentale Ergebnisse der nicht-asymptotischen Theorie auf den asymptotischen Bereich.

C. Konstruktion spezifischer e-Variable

Das Paper stellt drei Hauptmethoden zur Konstruktion dieser e-Werte vor:

1. IWR-asymptotisches e-Variable (Ignatiadis, Wang, Ramdas):

   • Basierend auf der Statistik $S_n(\theta)/V_n(\theta)$ (selbstnormalisierte Summe).
   • Es wird gezeigt, dass dies unter schwächeren Annahmen (Domäne der Anziehung einer Normalverteilung) als bisher bekannt gilt.
   • Für verteilungseinheitliche Gültigkeit wird eine gleichmäßig beschränkte Schiefe (drittes Moment) gefordert.
   • Parameterwahl ($\lambda$): Da $\lambda$ nicht von $\alpha$ abhängen darf, werden zwei Strategien vorgestellt:
     • Ex-ante-Anker: $\lambda$ wird basierend auf einem vorab geschätzten $\alpha_0$ gewählt.
     • Mischungsmethode (Method of Mixtures): Integration über $\lambda$ mittels einer abgeschnittenen Gauß-Verteilung, um $\lambda$-Unabhängigkeit zu erreichen.

2. R-WS-asymptotisches e-Variable (Ruf, Waudby-Smith):

   • Basierend auf einer Abschneidetechnik (Truncation) und einem nicht-asymptotischen starken Gesetz der großen Zahlen (SLLN).
   • Vorteil: Gilt unter einer $2+\delta$ Momentannahme (schwächer als die dritte Momentannahme für IWR) und ist verteilungseinheitlich gültig.
   • Nachteil: Das resultierende Intervall ist etwas breiter, bietet aber eine stärkere Garantie: Es ist ein Post-Hoc-asymptotisches Konfidenzsequenz (APH-CS), was bedeutet, dass es auch für beliebige Stoppzeiten (optional continuation) gültig bleibt.

3. Wichtige Beiträge

1. Theoretische Fundierung: Erster Nachweis, dass asymptotische e-Werte die einzige Möglichkeit sind, asymptotische Post-Hoc-Intervalle zu konstruieren (unter Standardannahmen wie Monotonie und Rechtsstetigkeit).
2. Neue Konstruktionen:
   • Erweiterung des IWR-e-Variables auf den verteilungseinheitlichen Fall.
   • Einführung des R-WS-e-Variables, das robustere Momentannahmen benötigt und als asymptotischer e-Prozess (e-process) fungiert.
3. Verbindung von Post-Hoc und Sequential Inference: Das Paper definiert „Post-Hoc-asymptotische Konfidenzsequenzen", die sowohl die Flexibilität der Post-Hoc-Analyse (datenabhängiges $\alpha$) als auch der sequentiellen Analyse (willkürliche Stoppzeiten) vereinen.
4. Praktische Algorithmen: Bereitstellung von Formeln für die Intervallbreiten und Implementierungsdetails (Python-Code verfügbar).

4. Ergebnisse und Simulationen

Die Autoren vergleichen ihre Methoden (APH-CIs) mit klassischen asymptotischen Intervallen (Wald-Intervall) und nicht-asymptotischen e-basierten Intervallen.

• Intervallbreite:
  • Die IWR-basierten Intervalle (mit Ex-ante-Anker) sind in der Praxis oft die engsten und performen ähnlich wie das klassische Wald-Intervall, bleiben aber post-hoc gültig.
  • Die Mischungs-Methoden (Mix IWR) sind etwas breiter, bieten aber bessere Worst-Case-Garantien, wenn das gewählte $\alpha$ stark vom Anker $\alpha_0$ abweicht.
  • Das R-WS-Intervall ist am breitesten (skaliert mit $\sqrt{\log(n)/n}$ statt $1/\sqrt{n}$), da es die stärkere Garantie einer Konfidenzsequenz erfüllt.
• Risikokontrolle:
  • Simulationen zeigen, dass die klassischen Wald-Intervalle bei datenabhängiger $\alpha$-Wahl (P-Hacking) das Risiko massiv überschreiten (Risikowerte weit über 1).
  • Alle vorgeschlagenen APH-CIs halten das Risiko strikt unter 1 (oft sogar deutlich darunter, z. B. 0.367 für Mix IWR), was die theoretischen Garantien bestätigt.
• Robustheit: Die Methoden funktionieren auch bei schweren Verteilungsschwänzen (z. B. t-Verteilung), solange die erforderlichen Momente existieren.

5. Bedeutung und Fazit

Dieses Paper schließt eine wichtige Lücke in der statistischen Theorie, indem es die Vorteile von e-Werten (Post-Hoc-Validität) mit der Praktikabilität asymptotischer Methoden (schwache Annahmen, große Stichproben) verbindet.

• Für die Praxis: Statistiker können nun Signifikanzniveaus datenabhängig wählen, ohne die Gültigkeit ihrer Schlussfolgerungen zu gefährden. Dies ermöglicht flexiblere Workflows, insbesondere in Bereichen wie Epidemiologie oder A/B-Testing, wo Entscheidungen oft iterativ getroffen werden.
• Wissenschaftlicher Fortschritt: Es etabliert den Rahmen für „Post-Hoc-asymptotische Inferenz" und verbindet zwei bisher getrennte Stränge der Statistik: Post-Hoc-Validität und sequentielle/asymptotische Analyse.
• Empfehlung: Die Autoren empfehlen für die Praxis die IWR-basierten Intervalle mit Ex-ante-Anker für die beste Balance zwischen Breite und Einfachheit. Für Szenarien mit optionaler Fortsetzung (Stoppzeiten) wird das R-WS-Intervall empfohlen, trotz seiner etwas größeren Breite.

Zusammenfassend bietet das Paper einen rigorosen, aber flexiblen Werkzeugkasten für moderne Datenanalyse, der die starren Grenzen klassischer Hypothesentests aufhebt, ohne auf frequentistische Garantien zu verzichten.