Confidence as Forecast: A Decision-Theoretic Interpretation of Confidence Intervals

Dieser Artikel argumentiert, dass Konfidenzniveaus als optimale, designbasierte Wahrscheinlichkeitsvorhersagen für die Abdeckung eines Parameters interpretiert werden können, was eine frequentistische Deutung einzelner Konfidenzintervalle ermöglicht, ohne auf subjektive Priors zurückzugreifen.

Das Wesentliche

Wenn das „Vertrauen" eine Vorhersage ist: Eine neue Sicht auf Statistik

Stell dir vor, du bist ein Wettervorhersage-Experte. Jemand fragt dich: „Hat es gestern in Berlin geregnet?"
Die Antwort ist eigentlich ganz einfach: Ja oder Nein. Es hat entweder geregnet oder nicht. Es gibt keine „50 % Wahrscheinlichkeit", dass es gestern geregnet hat – das ist eine Tatsache, die bereits geschehen ist.

Genau hier liegt das große Missverständnis bei Konfidenzintervallen (den berühmten statistischen „Fehlerbalken" in Diagrammen).

Der Autor dieses Papers, Scott Lee, sagt: „Halt! Wir Statistiker machen einen Fehler, wenn wir versuchen, über einzelne Intervalle zu sprechen, als wären sie Wahrscheinlichkeiten. Aber wir machen einen noch größeren Fehler, wenn wir sagen: 'Es ist entweder drin oder nicht, Punkt.' Stattdessen sollten wir das Konfidenzintervall wie eine Wettervorhersage behandeln."

Hier ist die Idee, einfach erklärt:

1. Das alte Problem: Der „Entweder-Oder"-Streit

Der Erfinder der Konfidenzintervalle, Jerzy Neyman, sagte einst: „Wenn du ein Intervall berechnet hast, ist es entweder fertig oder es ist nicht fertig. Du kannst keine Wahrscheinlichkeit mehr angeben."
Das ist wie bei einem vergrabenen Schatz. Wenn du eine Karte hast, ist der Schatz entweder unter dem Baum oder nicht. Sobald du die Karte hast, ist die Antwort fest.

Das Problem für Studenten und Praktiker ist: Das fühlt sich falsch an. Wenn ich ein Intervall habe, das sehr schmal ist, fühlt es sich „sicherer" an als eines, das riesig ist. Aber die alte Statistik sagt: „Nein, beide haben exakt die gleiche Chance, den wahren Wert zu treffen, weil wir nur die Langzeit-Regel zählen."

2. Die neue Idee: Vertraue als Vorhersage (Forecast)

Lee schlägt vor: Vergiss die Philosophie. Denk an Wetten.

Stell dir vor, du musst wetten, ob dein Intervall den wahren Wert trifft.

• Die alte Regel (Neyman): Du darfst nur sagen: „Es trifft!" (Wahrscheinlichkeit 100 %) oder „Es trifft nicht!" (Wahrscheinlichkeit 0 %).
• Die neue Regel (Lee): Du darfst eine Vorhersage machen. Wenn dein Intervall aus einem Verfahren kommt, das in 95 % aller Fälle richtig liegt, sagst du: „Ich wette mit 95 %iger Sicherheit, dass es passt."

Warum ist das besser? Weil es dich vor Fehlern schützt.
Wenn du immer zu 100 % sagst „Es passt!", wirst du oft verlieren (weil 5 % der Intervalle eben nicht passen). Wenn du aber sagst „Ich bin zu 95 % sicher", dann ist deine Vorhersage mathematisch perfekt kalibriert. Du verlierst auf lange Sicht am wenigsten Punkte.

3. Das „Monty-Hell"-Spiel (Ein Gedankenexperiment)

Der Autor erzählt eine lustige Geschichte von einem Straßenkünstler, der ein Spiel namens „Monty's Hell" anbietet. Es ist eine Variante des berühmten „Monty-Hall"-Problems (die Ziegen-und-Auto-Spielshow).

• Das Spiel: Es gibt drei Tassen. Unter einer ist ein Gewinn (ein Geldbetrag). Du wählst eine. Der Künstler hebt eine der anderen Tassen auf, die nicht gewinnt. Du darfst dann wechseln oder bleiben.
• Die Statistik: Wenn du die Tassen nicht kennst, ist deine Chance 1/3. Aber wenn der Künstler eine verlorene Tasse wegnimmt, ist es klüger zu wechseln (2/3 Chance).
• Die Lehre: Wenn du nach dem Wechseln die Tasse umdrehst und siehst, was drin ist, ändert das nichts an deiner Strategie für die Zukunft. Die Wahrscheinlichkeit, dass du gewonnen hast, war schon vorher festgelegt durch die Regeln des Spiels (das Design), nicht durch das, was du gerade siehst.

Genau so ist es mit Konfidenzintervallen. Die „Sicherheit" (das Konfidenzniveau, z. B. 95 %) ist eine Eigenschaft des Verfahrens, nicht des einzelnen Ergebnisses.

4. Der „Verlorene U-Boot"-Fall (Wann man die Vorhersage anpassen kann)

Hier wird es spannend. Der Autor zeigt ein Beispiel mit einem verlorenen U-Boot. Man sieht zwei Blasen, die aus dem Wasser kommen, und muss die Position des U-Boots schätzen.

• Szenario A (Normale Statistik): Oft sagt die Statistik: „Egal wie breit dein Intervall ist, die Chance ist immer 50 %." Das fühlt sich dumm an, wenn das Intervall winzig ist.
• Szenario B (Die Entdeckung des Autors): Es gibt spezielle Fälle (wie beim U-Boot), wo die Breite des Intervalls uns verrät, wie gut es ist!
  • Wenn das Intervall sehr schmal ist (die Blasen waren nah beieinander), ist die Chance, dass es das U-Boot trifft, vielleicht nur 25 %.
  • Wenn das Intervall sehr breit ist, ist die Chance vielleicht 75 %.

Die Erkenntnis: In diesen speziellen Fällen ist es klüger, die Vorhersage anzupassen! Anstatt immer „50 %" zu sagen, solltest du sagen: „Da das Intervall so schmal ist, tippe ich nur auf 25 %."

Das ist wie beim Wetter:

• Normalerweise sagst du: „Es regnet zu 50 %."
• Aber wenn du siehst, dass der Himmel schwarz ist und der Wind heult (zusätzliche Information), sagst du: „Okay, jetzt sind es 90 %."
• Die Statistik erlaubt uns, diese „Wetterbeobachtung" (die Breite des Intervalls) zu nutzen, um unsere Vorhersage zu verbessern, ohne dass wir raten müssen oder Gott um Hilfe bitten müssen.

5. Was bedeutet das für dich? (Die Anleitung)

Der Autor gibt uns eine einfache Checkliste, wie wir mit Konfidenzintervallen umgehen sollen:

1. Die Basis-Regel: Wenn du ein Intervall siehst und keine speziellen Hinweise hast, sag einfach: „Ich bin zu 95 % sicher, dass es passt." (Das ist die beste Vorhersage, die du machen kannst, ohne mehr zu wissen).
2. Die Ausnahme: Wenn du weißt, dass dein Verfahren so funktioniert, dass die Breite des Intervalls verrät, wie gut es ist (wie beim U-Boot), dann passe deine Vorhersage an!
   • Schmales Intervall? Vielleicht ist die Chance geringer als gedacht.
   • Breites Intervall? Vielleicht ist die Chance höher.
3. Kein Raten: Du musst keine „Glaubenssätze" (wie bei Bayesianern) entwickeln. Du nutzt nur die Regeln des Spiels (des statistischen Designs), um deine Vorhersage zu optimieren.

Zusammenfassung in einem Satz

Statt zu sagen „Das Intervall ist entweder richtig oder falsch" (was uns nichts hilft) oder „Ich glaube, es ist richtig" (was zu subjektiv ist), sollten wir sagen: „Basierend auf den Regeln, nach denen dieses Intervall berechnet wurde, ist meine beste Vorhersage, dass es mit X % Wahrscheinlichkeit stimmt."

Das macht Statistik weniger mystisch und mehr wie eine nützliche Vorhersage-Werkbank für den Alltag.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des vorliegenden Papers auf Deutsch:

Titel: Confidence as Forecast: A Decision-Theoretic Interpretation of Confidence Intervals

Autor: Scott Lee (CDC)

1. Problemstellung

Das Paper adressiert ein langjähriges interpretatorisches Dilemma in der frequentistischen Statistik: Was sollte ein frequentist über einen einzelnen, realisierten Konfidenzintervall (CI) aussagen, insbesondere bezüglich der Wahrscheinlichkeit, dass dieser Intervall den wahren Parameter $\theta$ überdeckt?

• Der Neyman'sche Standpunkt: Jerzy Neyman, der Erfinder der Konfidenzintervalle, lehnte es ab, nach der Datenerhebung (ex post) eine nicht-degenerierte Wahrscheinlichkeit für die Überdeckung zu assignieren. Da $\theta$ als feste Konstante und nicht als Zufallsvariable betrachtet wird, ist die Überdeckung nach der Konstruktion des Intervalls entweder sicher (Wahrscheinlichkeit 1) oder unmöglich (Wahrscheinlichkeit 0). Neyman empfahl stattdessen, einfach zu behaupten, das Intervall überdecke den Parameter, und sich auf die langfristige Fehlerkontrolle (Nominalniveau $1-\alpha$) zu verlassen.
• Das Missverständnis: Diese Sichtweise führt oft zu Verwirrung bei Anwendern und Studierenden. Es entsteht der Eindruck, dass Konfidenzintervalle nach der Datenerhebung keine probabilistische Aussagekraft mehr haben, obwohl sie in der Praxis oft so interpretiert werden (z. B. "Ich bin zu 95% sicher").
• Die Kritik: Es gibt Gegenbeispiele (wie das "verlorene U-Boot" von Morey et al.), die zeigen, dass die strikte Anwendung des Nominalniveaus $1-\alpha$ für spezifische realisierte Intervalle zu inkonsistenten oder irreführenden Schlussfolgerungen führen kann, wenn zusätzliche Informationen (wie die Intervallbreite) ignoriert werden.

2. Methodik

Der Autor schlägt einen neuen, entscheidungstheoretischen Rahmen vor, der Konfidenz als Wahrscheinlichkeitsvorhersage (Probability Forecast) für das Bernoulli-Ereignis der Überdeckung behandelt.

• Formalisierung der Überdeckung:
  • Das Überdeckungsereignis $Z(X) = \mathbb{I}(\theta \in I(X))$ wird als Bernoulli-Zufallsvariable modelliert.
  • Auf Design-Ebene (vor der Datenbeobachtung) ist der Erwartungswert $E_\theta[Z(X)] = 1-\alpha$.
  • Auf Daten-Ebene (nach der Beobachtung, bedingt auf $\sigma(X)$) degeneriert $Z(X)$ zu $\{0, 1\}$.
• Proper Scoring Rules: Die Qualität der Vorhersage wird durch strikt korrekte Bewertungsfunktionen (strictly proper scoring rules, z. B. Brier-Score oder Log-Score) gemessen. Ein strikt korrekter Score minimiert den erwarteten Verlust genau dann, wenn die prognostizierte Wahrscheinlichkeit $q$ der wahren Wahrscheinlichkeit des Ereignisses entspricht.
• Vorhersagestrategien:
  1. Konstante Vorhersage: $q = 1-\alpha$ (das Nominalniveau).
  2. Bedingte Vorhersage: $q = P(\theta \in I(X) | G)$, wobei $G$ eine $\sigma$-Algebra ist, die auf Daten basierende, aber $\theta$-freie Statistiken (z. B. relative Intervallbreite) enthält.
• Theorem 3.1: Es wird bewiesen, dass wenn eine $\theta$-freie Statistik $T(X)$ existiert, deren bedingte Überdeckungswahrscheinlichkeit $g(T(X))$ für alle $\theta$ gleich ist, dann ist $q^*(X) = g(T(X))$ die eindeutig optimale Vorhersage, die den erwarteten Verlust minimiert.

3. Schlüsselbeiträge

1. Neudefinition von "Confidence": Konfidenz wird nicht als subjektiver Glaube (Bayesianisch) oder als degenerierte Tatsache (strikter Neyman) interpretiert, sondern als eine modellbasierte Vorhersage der empirischen Überdeckung.
2. Optimalität des Nominalniveaus: Es wird gezeigt, dass $1-\alpha$die einzig optimale *konstante* Vorhersage ist, die den erwarteten Verlust unter strikt korrekten Scores für alle$\theta$minimiert. Dies rechtfertigt die Verwendung von$1-\alpha$ als Standardvorhersage, wenn keine weiteren Informationen vorliegen.
3. Design-basierte Verfeinerung: Das Paper zeigt, dass in bestimmten Designs (z. B. endliche Fenster-Modelle wie das U-Boot-Beispiel) $\theta$-freie Statistiken existieren, die eine nicht-konstante, datenabhängige Vorhersage ermöglichen. Diese Verfeinerung verbessert die Vorhersageleistung strikt gegenüber dem konstanten $1-\alpha$.
4. Auflösung von Paradoxien: Der Ansatz löst interpretatorische Paradoxien (wie das "verlorene U-Boot" oder Monty-Hall-ähnliche Szenarien), indem er zeigt, dass die Vorhersage aktualisiert werden kann, ohne auf Priors zurückzugreifen. Die Aktualisierung basiert rein auf den Eigenschaften des Versuchsdesigns.

4. Ergebnisse

• Monty-Hall-Analogie: Ein Gedankenexperiment ("Monty's Hell") demonstriert, dass die strikte Neyman-Interpretation (Entweder-oder) zu suboptimalen Entscheidungen führt, während die Behandlung der Überdeckungswahrscheinlichkeit als Vorhersage ($1-\alpha$) zu einer optimalen Strategie führt.
• Verlust des U-Boots (Lost Submarine):
  • In einem Modell, bei dem zwei Blasenpositionen $X_1, X_2$ uniform um $\theta$ verteilt sind, wird gezeigt, dass die bedingte Überdeckungswahrscheinlichkeit von der relativen Breite des Intervalls abhängt.
  • Simulationen (mit $N=10^5$) belegen, dass Vorhersagen, die auf der bedingten Überdeckung basieren (z. B. basierend auf der Intervallbreite), einen signifikant niedrigeren Brier-Score (Fehlermaß) aufweisen als die konstante Vorhersage von $0.5$($1-\alpha$).
  • Beispiel: Ein sehr schmales Intervall hat eine bedingte Überdeckungswahrscheinlichkeit von ca. 33%, nicht 50%. Die Vorhersage von 33% ist hier statistisch überlegen.
• Nesting (Verschachtelung): Auch bei verschachtelten Intervallen zeigt sich, dass die gemeinsame Überdeckungswahrscheinlichkeit von der relativen Position der Intervalle abhängt. Die bedingte Vorhersage nutzt diese Information, um den Fehler zu minimieren.
• Allgemeine Modelle: In unbeschränkten, translationsinvarianten Modellen (Standard-Case wie t-Intervalle) tragen die realisierten Endpunkte keine zusätzlichen $\theta$-freien Informationen zur Überdeckung bei. Hier bleibt $1-\alpha$ die optimale Vorhersage.

5. Bedeutung und Implikationen

• Didaktische Relevanz: Das Paper schlägt vor, Konfidenzintervalle im Unterricht als Werkzeuge zur Vorhersage der langfristigen Überdeckung zu lehren. Dies klärt die drei Ebenen der Interpretation:
  1. Degeneriert (ex post, bedingt auf Daten): 0 oder 1.
  2. Design-Ebene (ex ante): $1-\alpha$.
  3. Vorhersage (ex post, bedingt auf relevante, $\theta$-freie Statistiken): $P(\text{Cover} | \text{Datenmerkmale})$.
• Objektivität: Die Interpretation bleibt streng frequentistisch und objektiv. Die Wahrscheinlichkeiten basieren auf relativen Häufigkeiten in definierten Referenzklassen (dem Design), nicht auf subjektiven Glaubensgraden.
• Praktische Anwendung: Für Angewandte Statistik bietet dies eine klare Handlungsanweisung:
  • Wenn keine $\theta$-freien Statistiken existieren, die die Überdeckung beeinflussen, verwende $1-\alpha$.
  • Wenn solche Statistiken existieren (z. B. bei endlichen Stützintervallen), verwende die bedingte Überdeckungswahrscheinlichkeit, um die Vorhersage zu verfeinern.
• Philosophische Klärung: Es wird argumentiert, dass "Confidence" als informationsrelatives Konzept verstanden werden kann, das den Informationszustand des Statistikers widerspiegelt, ohne dabei in den subjektiven Bayesianismus abzugleiten.

Zusammenfassend bietet das Paper eine robuste, entscheidungstheoretische Rechtfertigung dafür, Konfidenzintervalle als probabilistische Vorhersagen zu behandeln, was die Lücke zwischen der strengen frequentistischen Theorie und der intuitiven Anwendung schließt.