Either a Confidence Interval Covers, or It Doesn't (Or Does It?): A Model-Based View of Ex-Post Coverage Probability

Die Arbeit argumentiert gegen die strikte Neyman'sche Interpretation, wonach ein Konfidenzintervall den Parameter entweder trifft oder nicht, und schlägt stattdessen eine modellbasierte Sichtweise vor, die Konfidenz als prädiktive Wahrscheinlichkeit für die Abdeckung eines einzelnen Intervalls neu definiert.

Das Wesentliche

Hier ist eine einfache Erklärung des Artikels von Scott Lee, verpackt in alltägliche Sprache und anschauliche Bilder.

Das große Missverständnis: „Entweder-oder" oder doch „Vielleicht"?

Stellen Sie sich vor, Sie werfen eine Münze. Solange die Münze in der Luft ist, sagen wir: „Die Wahrscheinlichkeit für Kopf ist 50 %." Aber sobald die Münze auf dem Boden liegt und wir sehen, dass sie „Kopf" zeigt, sagen viele Statistiker (nach der klassischen Lehrmeinung): „Jetzt ist die Wahrscheinlichkeit 100 %. Sie war Kopf, Punkt. Es gibt keine Wahrscheinlichkeit mehr, nur noch eine Tatsache."

Der Autor dieses Artikels, Scott Lee, sagt: Moment mal! Das ist zu streng.

Er argumentiert, dass wir auch nachdem wir das Ergebnis gesehen haben (aber bevor wir es genau kennen oder wenn wir uns auf eine Vorhersage für die Zukunft verlassen), weiterhin sinnvolle Wahrscheinlichkeitsaussagen treffen dürfen.

Hier ist die Idee, aufgeteilt in drei einfache Teile:

---

1. Das Problem mit dem „Entweder-oder"-Slogan

Der berühmte Statistiker Jerzy Neyman hat vor Jahren gesagt: Ein Konfidenzintervall (eine Art statistischer Schätzbereich) funktioniert nur, wenn man über viele Versuche nachdenkt. Wenn man einen einzelnen Versuch gemacht hat, ist das Ergebnis entweder richtig (es deckt den wahren Wert ab) oder falsch. Man könne also nicht sagen: „Ich bin zu 95 % sicher, dass dieser eine Bereich richtig ist."

Die Metapher:
Stellen Sie sich einen sehr zuverlässigen Briefträger vor, der in 95 % der Fälle die Briefe pünktlich bringt.

• Vor dem Versuch: Wir sagen: „Die Wahrscheinlichkeit, dass dieser Brief heute pünktlich kommt, liegt bei 95 %."
• Die strenge Sichtweise: Der Brief ist jetzt schon unterwegs. Entweder kommt er pünktlich oder er kommt zu spät. Da er entweder so oder so ist, ist die Wahrscheinlichkeit für ihn jetzt entweder 0 % oder 100 %. Wir dürfen nicht mehr von „95 %" sprechen, weil wir die „Zufälligkeit" verloren haben.

Lee sagt: Das ist wie ein Selbstmord für die Statistik. Wenn wir so denken, können wir keine nützlichen Vorhersagen mehr treffen, sobald ein Experiment gestartet ist.

---

2. Die Gedankenexperimente (Warum die strenge Sichtweise scheitert)

Lee führt drei lustige Beispiele an, um zu zeigen, wie absurd die „Entweder-oder"-Logik im echten Leben wird.

A. Der Arzt und der Patient (Die Grippe-Falle)

Ein Patient hat Fieber und Husten. Ein Schnelltest zeigt „Grippe positiv".

• Die strenge Logik: Der Patient hat entweder die Grippe oder er hat sie nicht. Da er sie hat (oder nicht), ist die Wahrscheinlichkeit 100 % (oder 0 %). Der Arzt darf also keine Wahrscheinlichkeit mehr angeben.
• Das Problem: Wenn der Arzt so denkt, kann er keine Entscheidung treffen! Er weiß nicht, ob der Patient krank ist. Er muss aber handeln. In der Realität nutzen Ärzte die Wahrscheinlichkeit (z. B. „81 % Chance auf Grippe"), um zu entscheiden, ob sie Medikamente verschreiben. Die „Entweder-oder"-Logik würde die Medizin lahmlegen.

B. Die Katze Sophie und die Leckerlis

Sophie mag Fisch-Leckerlis (75 % der Box) mehr als Hühnchen-Leckerlis (25 %). Wenn sie Fisch isst, schnurrt sie oft und schläft dann ein.

• Die Frage: Die Besitzerin nimmt ein Leckerli (Nummer 123) heraus, weiß aber nicht, welchen Geschmack es hat. Sophie isst es und schläft ein.
• Die strenge Logik: Das Leckerli war entweder Fisch oder Hühnchen. Also ist die Wahrscheinlichkeit, dass es Fisch war, entweder 0 oder 1.
• Das Problem: Die Besitzerin weiß es nicht! Für sie ist es immer noch eine Frage des Wissens. Wenn sie sagt „Es ist 100 % Fisch", weil es in der Welt so ist, hilft ihr das nicht, wenn sie das nächste Mal ein Leckerli auswählt. Sie braucht die Wahrscheinlichkeit, um zu verstehen, wie die Welt funktioniert, auch wenn ein Teil der Information (der Geschmack) für sie noch verborgen ist.

C. Die Schokoladenfabrik (Das Trüffel-Problem)

Eine Maschine füllt Schokoladentrüffel. Manchmal vergisst sie die Füllung (10 %). Eine Waage prüft sie, ist aber nicht perfekt.

• Das Szenario: Eine Trüffel kommt aus der Maschine, wird gewogen, aber die Waage hat noch nicht gemeldet, ob sie hohl ist.
• Die strenge Logik: Die Trüffel ist schon jetzt entweder gefüllt oder hohl. Also ist die Wahrscheinlichkeit für die nächste Trüffel, die gefüllt wird, entweder X oder Y, je nachdem, was diese eine Trüffel ist.
• Das Problem: Wenn wir uns auf die „schon feststehende" Wahrheit der ersten Trüffel versteifen, verlieren wir die Fähigkeit, die Wahrscheinlichkeit für die nächste Trüffel zu berechnen. Das Modell der Fabrik funktioniert nur, wenn wir die Unsicherheit über den aktuellen Zustand beibehalten, um Vorhersagen für die Zukunft zu machen.

---

3. Die Lösung: Drei Ebenen der Wahrscheinlichkeit

Lee schlägt vor, dass wir nicht nur zwei, sondern drei Arten zu denken haben, wenn wir über Wahrscheinlichkeit sprechen.

Stellen Sie sich das wie eine Kamera mit verschiedenen Zoom-Stufen vor:

1. Der Weitwinkel (Die Design-Ebene):

   • Was wir sehen: Die gesamte Maschine, die über Jahre läuft.
   • Die Aussage: „Diese Methode funktioniert zu 95 %."
   • Wann nutzen: Wenn wir das System entwerfen oder über lange Zeiträume sprechen. Das ist die klassische Neyman-Sicht.

2. Der Makro-Modus (Die „Gott-Ebene"):

   • Was wir sehen: Wir sehen alles. Wir wissen genau, welche Trüffel hohl ist, welche Katze schnurrt, welcher Patient krank ist.
   • Die Aussage: „Es ist 100 % passiert." (0 oder 1).
   • Wann nutzen: Nur wenn wir alles wissen. Aber in der echten Welt wissen wir das fast nie.

3. Der Zoom für den Beobachter (Die Vorhersage-Ebene):

   • Was wir sehen: Wir sind mitten im Geschehen. Wir haben Daten, aber wir kennen das Endergebnis noch nicht ganz oder wir wollen eine Vorhersage treffen.
   • Die Aussage: „Basierend auf dem, was ich jetzt weiß, ist die Chance 81 %."
   • Wann nutzen: Im echten Leben. Das ist das, was Ärzte, Investoren und Wissenschaftler tun.

Die Kernaussage des Autors:
Es ist ein Fehler zu sagen, dass nur die „Gott-Ebene" (0 oder 1) zählt. Wenn wir uns auf die „Gott-Ebene" versteifen, verlieren wir die Fähigkeit, Unsicherheit zu messen und gute Entscheidungen zu treffen.

Statistik ist nicht nur das Zählen von Münzwürfen in der Vergangenheit. Sie ist auch ein Werkzeug, um Vorhersagen zu treffen, basierend auf dem, was wir gerade wissen. Ein Konfidenzintervall ist also nicht nur eine trockene Regel für die Vergangenheit, sondern kann auch als eine Vorhersage verstanden werden: „Wenn wir diese Methode oft anwenden, werden wir in 95 % der Fälle richtig liegen. Und da ich gerade diese Daten habe, ist es vernünftig zu sagen, dass mein Ergebnis zu dieser Gruppe gehört."

Fazit in einem Satz

Nehmen Sie die Regel „Entweder-oder" nicht zu wörtlich; Wahrscheinlichkeit ist nicht nur eine Eigenschaft der Welt, sondern auch ein Maß für unser Wissen über die Welt – und dieses Wissen bleibt auch nach einem Experiment wichtig, um die Zukunft vorherzusagen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Papers von Scott Lee auf Deutsch:

Titel

Entweder deckt ein Konfidenzintervall ab, oder es tut es nicht (Oder doch?): Eine modellbasierte Sichtweise auf die Ex-Post-Abdeckungswahrscheinlichkeit

1. Problemstellung

Das Paper adressiert ein fundamentales Interpretationsproblem in der frequentistischen Statistik, das auf Jerzy Neymans ursprünglicher Formulierung von Konfidenzintervallen (CIs) aus dem Jahr 1937 zurückgeht.

• Der etablierte Konsens: Nach Neyman ist der Parameter $\theta$ eine feste, unbekannte Konstante. Sobald ein Intervall $I(X)$ basierend auf einer Datenrealisierung $X=x$ konstruiert wurde, ist die Abdeckungswahrscheinlichkeit $P(L(X) \le \theta \le U(X))$ mathematisch degeneriert: Das Intervall deckt $\theta$ entweder ab (Wahrscheinlichkeit 1) oder nicht (Wahrscheinlichkeit 0).
• Die Konsequenz: Aussagen über die Wahrscheinlichkeit, dass ein einzelnes, bereits realisiertes Intervall den Parameter enthält, gelten als konzeptionell unzulässig ("out of bounds"). Statistiker werden angewiesen, sich ausschließlich auf die langfristigen (ex-ante) Abdeckungseigenschaften des Verfahrens zu beziehen.
• Das Dilemma: Diese strikte "Entweder-oder"-Logik steht im Widerspruch zur intuitiven und praktischen Notwendigkeit, Wahrscheinlichkeitsaussagen über bereits eingetretene, aber nicht beobachtete Ereignisse zu treffen (z. B. in der medizinischen Diagnostik: "Hat der Patient trotz des positiven Tests wirklich die Grippe?"). Die strikte Ablehnung solcher ex-post-Aussagen führt zu interpretativen Spannungen und schränkt den praktischen Nutzen frequentistischer Methoden ein.

2. Methodik

Lee verwendet einen zweigleisigen Ansatz, um die strikte "Entweder-oder"-Interpretation zu hinterfragen:

A. Informelle Argumentation durch Gedankenexperimente

Der Autor präsentiert drei Szenarien, um die Absurdität zu demonstrieren, die entsteht, wenn man die strikte Neyman-Interpretation als normative Regel für alle frequentistischen Wahrscheinlichkeitsaussagen anwendet:

1. Medizinische Diagnose (Dr. I-Don't-No): Ein Patient hat einen positiven Schnelltest. Nach strikter frequentistischer Logik (da der Gesundheitszustand feststeht) könnte keine Wahrscheinlichkeit für eine Infektion mehr angegeben werden, obwohl der Positive Predictive Value (PPV) klinisch essenziell ist.
2. Katzen-Leckerli (The Cat Tasting Treats): Eine Katze nistet nach einem Leckerli. Wenn man den Geschmack des Leckerlis als fest, aber unbekannt betrachtet, zerfällt die Vorhersagewahrscheinlichkeit für das Niesen in zwei entgegengesetzte, deterministische Pfade. Dies macht die Vorhersage für zukünftige Ereignisse (basierend auf dem aktuellen Zustand) unmöglich, wenn man nur den "wahren" Zustand zugrunde legt.
3. Schokoladen-Trüffel (Deep Truffle): Ein Produktionsprozess mit Rückkopplungsschleifen. Die Bedingung auf den realisierten Zustand des aktuellen Trüffels (gefüllt oder hohl) führt zu zwei verschiedenen bedingten Wahrscheinlichkeiten für den nächsten Trüffel. Dies erzeugt ein Paradoxon, bei dem das Design-Level-Modell (das eine einzige Wahrscheinlichkeit liefert) durch die Bedingung auf den realisierten Zustand ungültig gemacht wird.

B. Formale Argumentation mittels unendlicher Folgen und Mikrozuständen

Der Autor rekonstruiert die Konfidenzintervall-Theorie im Rahmen der Kolmogorovschen Wahrscheinlichkeitstheorie:

• Unendliche Folgen: Die Konstruktion von CIs wird als unendliche Folge von Versuchen $(X_1, X_2, \dots)$ modelliert.
• Mikrozustände: Jeder mögliche Weltzustand $\omega$ entspricht einer vollständig fixierten unendlichen Folge von Intervallen und Abdeckungsindikatoren $Z_i \in \{0, 1\}$.
• Bedingungsebenen:
  • Design-Level (Ex-ante): $P_\theta(Z_i = 1) = 1 - \alpha$. Dies ist der Erwartungswert über die gesamte Stichprobenverteilung.
  • Realisiert (Ex-post): $P_\theta(Z_i = 1 \mid X_i = x_i) = Z_i(x_i) \in \{0, 1\}$.
• Kernthese: Beide Wahrscheinlichkeiten sind mathematisch gültige Teile desselben Modells, unterscheiden sich jedoch nur im Grad der bedingten Information (feiner vs. gröberer $\sigma$-Algebra). Die strikte Forderung, nur die feinste Bedingung (den realisierten Wert) zu akzeptieren, ist eine willkürliche Wahl der Bedingungsebene und nicht durch die Mathematik selbst diktiert.

3. Schlüsselbeiträge

1. Entlarvung der "Entweder-oder"-Norm: Lee zeigt auf, dass die strikte Ablehnung von ex-post-Wahrscheinlichkeitsaussagen für einzelne Intervalle zu Inkonsistenzen innerhalb des frequentistischen Rahmens führt. Wenn man diese Logik konsequent anwendet, verliert man die Fähigkeit, sinnvolle Vorhersagen über zukünftige Ereignisse zu treffen, die von aktuellen, aber unbekannten Zuständen abhängen (wie in den Gedankenexperimenten gezeigt).
2. Modellbasierte Hierarchie der Wahrscheinlichkeit: Das Paper etabliert, dass Wahrscheinlichkeit nicht nur im "Zufallsprozess" (Sampling) lebt, sondern in der Struktur des Wahrscheinlichkeitsmodells selbst. Es gibt verschiedene Ebenen der Bedingung:
   • Ebene 1: Design-Level (unbedingte Abdeckungswahrscheinlichkeit $1-\alpha$).
   • Ebene 2: Degenerierte Bedingung auf den wahren, aber unbekannten Zustand (0 oder 1).
   • Ebene 3 (Vorschlag): Eine informationssensitive, prädiktive Wahrscheinlichkeit, die auf den verfügbaren Daten basiert, ohne auf den wahren Zustand zu konditionieren.
3. Neudefinition von "Konfidenz": Der Autor schlägt vor, "Konfidenz" nicht als eine Eigenschaft eines einzelnen Intervalls zu sehen, sondern als eine prädiktive Wahrscheinlichkeit (predictive probability) oder eine probabilistische Vorhersage. Es ist die beste Schätzung eines nicht-orakelhaften Beobachters darüber, wie viele Intervalle, die unter ähnlichen Bedingungen konstruiert werden, den Parameter treffen werden.

4. Ergebnisse

• Die strikte "Entweder-oder"-Interpretation ist mathematisch zwar für den realisierten Fall korrekt (das Intervall deckt ab oder nicht), aber als normative Regel für die Interpretation von CIs zu restriktiv.
• Die Ablehnung von ex-post-Wahrscheinlichkeitsaussagen steht im Widerspruch zu den mathematischen Werkzeugen (Erwartungswerte, Gesetz der großen Zahlen), die Neyman selbst zur Definition der langfristigen Fehlerraten verwendet.
• Es ist möglich und konsistent, im frequentistischen Rahmen Wahrscheinlichkeitsaussagen über einzelne, realisierte Intervalle zu treffen, solange man klar definiert, auf welcher Bedingungsebene (Informationsebene) diese Aussage basiert.
• Die Bedingung auf den maximalen Informationsgehalt (den wahren Zustand) führt zu Degeneration und macht das Modell für Vorhersagen unbrauchbar. Eine Bedingung auf die beobachteten Daten (ohne den wahren Zustand zu kennen) erhält die stochastische Struktur des Modells.

5. Signifikanz und Implikationen

• Theoretische Klärung: Das Paper bietet eine Brücke zwischen der strengen frequentistischen Theorie und der intuitiven Notwendigkeit, Unsicherheit auch nach der Datenerhebung zu quantifizieren. Es entkräftet das Argument, dass frequentistische Wahrscheinlichkeit nach der Stichprobenziehung "verschwindet".
• Praktische Anwendung: Statistiker können berechtigt sein, Wahrscheinlichkeitsaussagen über die Abdeckung eines spezifischen Intervalls zu treffen, indem sie diese als prädiktive Wahrscheinlichkeit im Kontext des zugrunde liegenden Modells interpretieren. Dies ist besonders relevant für Fälle, in denen die Daten Hinweise auf die Abdeckung geben (z. B. bei nicht-trivialen Intervallen).
• Philosophische Verschiebung: Der Autor plädiert für eine Trennung von "ontischer" Wahrscheinlichkeit (wie sich der Zufall in der Welt entfaltet) und "epistemischer" Wahrscheinlichkeit (was wir basierend auf dem Modell wissen). Er schlägt vor, Wahrscheinlichkeit primär als eine Eigenschaft des Modells und der $\sigma$-Algebren zu betrachten, nicht als inhärente Eigenschaft physikalischer Prozesse.
• Zukunftsperspektive: Die Arbeit legt den Grundstein für eine erweiterte frequentistische Inferenz, die "Konfidenz" als eine Form der modellbasierten Vorhersage versteht, was die Spannung zwischen Neymans langfristiger Fehlerkontrolle und der Interpretation einzelner Fälle auflöst.

Zusammenfassend argumentiert Scott Lee, dass das "Entweder-oder"-Slogan zwar mathematisch für den realisierten Fall wahr ist, aber als einzige Interpretation zu streng ist. Stattdessen sollte die frequentistische Theorie eine breitere Klasse von ex-post-Wahrscheinlichkeitsaussagen zulassen, die auf der modellbasierten Vorhersagekraft beruhen.