Confidence as Forecast: A Decision-Theoretic Interpretation of Confidence Intervals

Dit artikel biedt een decision-theoretische interpretatie van betrouwbaarheidsintervallen door 'betrouwbaarheid' te behandelen als een probabilistische voorspelling van de dekking, waarbij wordt aangetoond dat het nominale niveau 1-alpha de optimale constante voorspelling is en dat conditionele verfiningen mogelijk zijn zonder toevlucht te nemen tot Bayesiaanse priors.

De kern

Vertrouwen als Voorspelling: Een Simpele Uitleg van Statistische Intervals

Stel je voor dat je een statisticus bent die een "vertrouwensinterval" (confidence interval) berekent. Dit is een berekende range, bijvoorbeeld "de gemiddelde lengte van mensen ligt tussen 1,70m en 1,80m". De grote vraag is: Hoe zeker kunnen we zijn dat deze specifieke range de waarheid bevat?

Volgens de oude, strenge regels (uitgevonden door Jerzy Neyman) was het antwoord: "We kunnen er niets over zeggen. Het is of het wel, of het niet. Of het interval bevat de waarheid, of het niet. Er is geen kans." Dit voelt voor veel mensen als een teleurstelling. Het is alsof je zegt: "Ik heb een loterijticket gekocht, en ik weet niet of ik win of verlies, dus ik zeg gewoon: 'Ik heb gewonnen'."

In dit artikel stelt Scott Lee een nieuw, veel praktischer perspectief voor: Behandel "vertrouwen" niet als een statische waarheid, maar als een voorspelling.

Hier is de uitleg in simpele taal, met behulp van een paar creatieve metaforen.

1. De Metafoor: Het Shell-spel van Monty Hall

Stel je voor dat je een straatartiest bent die een spelletje doet met drie kopjes.

• Onder één kopje zit een briefje met een geldbedrag (de "waarheid").
• Je kiest een kopje.
• De artiest verwijdert een van de andere kopjes die niet het geld bevat.
• Nu krijg je de kans om van je keuze te wisselen.

In dit spel weet je dat je kans om te winnen 1 op 3 is als je bij je eerste keuze blijft, en 2 op 3 als je wisselt. Dit is een vaststaand feit van het spel (het "ontwerp").

Nu, stel je voor dat je het spel hebt gespeeld en je hebt je keuze gemaakt. Je hebt nog niet onder het kopje gekeken.

• De oude manier (Neyman): "Ik heb een kopje gekozen. Of er zit geld onder, of er zit geen geld. Ik kan geen kans geven. Ik zeg gewoon: 'Het zit er onder'." Dit is dom, want als je dit altijd zegt, verlies je geld in de lange termijn.
• De nieuwe manier (Lee): "Ik weet dat dit spel zo is ontworpen dat als ik wissel, ik 2 op 3 kans heb om te winnen." Zelfs als je al hebt gekozen, is die 2/3 nog steeds de beste voorspelling die je kunt doen voordat je het kopje opent.

De les: Het feit dat het kopje nu onder je hand ligt (de data is verzameld), verandert niet het feit dat het spel zelf een bepaalde winstkans heeft. Je kunt die kans gebruiken als een voorspelling voor je volgende stap.

2. Wat is een "Vertrouwensinterval" eigenlijk?

In de statistiek is een interval (bijv. 1,70m - 1,80m) net als dat kopje.

• De waarheid (de parameter): De echte gemiddelde lengte. Die is vast, maar we kennen hem niet.
• Het interval: Een berekende range.
• De dekking (Coverage): Of de echte waarde binnen die range valt.

De oude regel zegt: "Kijk niet naar de range, kijk alleen naar het ontwerp. Het ontwerp zegt dat 95% van de tijd de range klopt. Dus zeg '95%'."
De nieuwe regel zegt: "Ja, het ontwerp zegt 95%. Maar soms geeft de vorm van de range extra informatie."

3. Het Verloren Onderzeebootje (De "Lost Submarine")

Stel je voor dat een onderzeeboot is gezonken en je moet de exacte positie van de hatch vinden. Je ziet twee bubbels op het wateroppervlak. Je weet dat de onderzeeboot 10 meter lang is en de hatch precies in het midden zit. De bubbels komen willekeurig uit de boot.

Je maakt een interval op basis van de bubbels.

• Situatie A: De bubbels zitten heel dicht bij elkaar. Je interval is heel smal (bijv. 2 meter).
• Situatie B: De bubbels zitten ver uit elkaar. Je interval is heel breed (bijv. 8 meter).

In beide gevallen zegt de standaard statistiek: "Dit is een 50% betrouwbaarheidsinterval." Dus je zou zeggen: "Er is 50% kans dat de hatch hierin zit."

Maar dat voelt niet goed.

• Als je interval heel smal is (2 meter), is de kans dat de hatch erin zit eigenlijk veel lager dan 50%. De bubbels zouden dan heel specifiek moeten vallen.
• Als je interval heel breed is (8 meter), is de kans dat de hatch erin zit veel hoger dan 50%.

De ontdekking: De breedte van het interval (de "vorm") geeft je extra informatie, zelfs zonder de echte positie te kennen.

• Als je een heel smal interval ziet, moet je je voorspelling aanpassen: "Oké, het ontwerp zegt 50%, maar gezien hoe smal dit is, is de kans waarschijnlijk maar 33%."
• Als je een breed interval ziet, pas je aan: "De kans is misschien wel 70%."

Dit is voorspellen. Je gebruikt de informatie die je hebt (de breedte van het interval) om je voorspelling over de dekking te verfijnen.

4. Waarom is dit belangrijk?

De auteur stelt dat we "vertrouwen" moeten zien als een voorspelling die we kunnen scoren, net zoals we voorspellen of het morgen gaat regenen.

• De oude manier: "Of het regent of niet, het is 100% of 0%. Ik geef geen percentage." (Dit is nutteloos voor besluitvorming).
• De nieuwe manier: "Op basis van de wolken (het ontwerp en de vorm van het interval), voorspel ik 50% kans op regen." Als het regent, had je gelijk. Als het niet regent, had je een fout gemaakt. Maar je kunt je voorspelling verbeteren als je meer info hebt (bijv. "Oh, het is een heel donkere wolk, ik ga naar 80%").

5. Wat moet je doen als je een interval ziet?

De auteur geeft een simpele handleiding voor de praktijk:

1. Kijk naar het ontwerp: In de meeste standaard gevallen (zoals het meten van gemiddelden in een grote populatie) verandert de vorm van het interval niets aan de kans. Dan is je beste voorspelling gewoon het standaardgetal (bijv. 95%).
2. Kijk naar de "breedte" of vorm: In sommige speciale gevallen (zoals het onderzeebootje) geeft de vorm van het interval extra info. Als je interval heel smal is, pas je je voorspelling aan. Als het heel breed is, pas je hem ook aan.
3. Gebruik het als een gids: Gebruik dit getal om te beslissen of je op het interval kunt vertrouwen. Het is geen "waarheid" in de zin van "dit is het antwoord", maar het is de beste schatting die je kunt maken over de kans dat het antwoord klopt.

Samenvatting in één zin

In plaats van te zeggen "Dit interval bevat de waarheid of niet" (wat je niet weet), kun je zeggen: "Op basis van hoe dit interval eruitziet en hoe het is gemaakt, voorspel ik dat er een X% kans is dat het klopt." Dit maakt statistiek minder raadselachtig en meer een handig instrument voor het maken van slimme voorspellingen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Confidence as Forecast: A Decision-Theoretic Interpretation of Confidence Intervals" van Scott Lee, in het Nederlands.

Titel: Vertrouwen als Voorspelling: Een Decision-theoretische Interpretatie van Vertrouwensintervallen

1. Het Probleem

Het artikel adresseert een langdurig en fundamenteel probleem in de frequentistische statistiek: hoe moet men een gerealiseerd (eenmalig) betrouwbaarheidsinterval (CI) interpreteren na het verzamelen van de data?

• De klassieke Neyman-interpretatie: Jerzy Neyman, de uitvinder van CIs, stelde dat men na het construeren van een interval geen waarschijnlijkheid mag toekennen aan de dekking (coverage). Omdat de parameter $\theta$ vast is en het interval nu bekend is, is de dekking ofwel 0 ofwel 1. Men kan alleen verwijzen naar de langetermijn-eigenschappen (de dekkingssnelheid van $1-\alpha$ over herhaalde steekproeven).
• De verwarring: Dit leidt tot cognitieve dissonantie bij studenten en practitioners. Het is onbevredigend om te zeggen dat een interval "ofwel de parameter bevat of niet", terwijl men tegelijkertijd weet dat de procedure in 95% van de gevallen werkt.
• De kritiek: Bayesiaanse critici en sommige frequentisten (zoals Morey et al.) argumenteren dat CIs ex post (na de data) betekenisloos zijn of tot paradoxen leiden, omdat de nominale dekking ($1-\alpha$) niet overeenkomt met de specifieke dekking van een gerealiseerd interval in bepaalde scenario's (bijv. het "verloren onderzeeboot"-voorbeeld).

2. Methodologie

Lee introduceert een decision-theoretisch raamwerk dat "vertrouwen" (confidence) herdefinieert als een probabilistische voorspelling (forecast) van de dekking, in plaats van een subjectieve overtuiging.

• Bernoulli-model: De dekking van een interval wordt gemodelleerd als een Bernoulli-stochastische variabele $Z(X) = \mathbb{1}\{\theta \in I(X)\}$.
• Drie lagen van waarschijnlijkheid:
  1. Degeneraat conditioneel: Gegeven de volledige data $X$, is $Z(X)$ ofwel 0 of 1 (de "oracle"-kennis).
  2. Ontwerp-niveau (Design-level): De onvoorwaardelijke kans $P_\theta(Z=1) = 1-\alpha$, gebaseerd op de steekproefverdeling.
  3. Voorspellende waarschijnlijkheid: Een schatting van $P(Z=1)$ gebaseerd op de informatie die de statisticus daadwerkelijk heeft (bijv. de procedure, de breedte van het interval), maar niet de volledige data of de ware $\theta$.
• Proper Scoring Rules: De auteur gebruikt strikt correcte scoringsregels (zoals de Brier-score of log-score) om de kwaliteit van voorspellingen te evalueren. Een voorspelling $q$ is optimaal als deze de verwachte score (verlies) minimaliseert.
  • Voor een Bernoulli-gebeurtenis met succeskans $p$ is de optimale constante voorspelling $q=p$.
• Conditionele dekking: Het artikel onderzoekt of er statistieken $T(X)$ bestaan die onafhankelijk zijn van $\theta$ (theta-vrij) en waarvoor de conditionele dekking $P(\theta \in I(X) | T(X))$ verschilt van de nominale $1-\alpha$.

3. Belangrijkste Bijdragen

1. Vertrouwen als Voorspelling: De auteur stelt dat de nominale betrouwbaarheidsniveaus ($1-\alpha$) de **unieke optimale constante voorspelling** zijn voor de dekking, zowel voor als na het zien van de data, zolang er geen aanvullende$\theta$-vrije informatie beschikbaar is. Dit lost de paradox op dat men "niets kan zeggen" over een eenmalig interval; men kan wel een geoptimaliseerde voorspelling doen.
2. Decision-theoretische Optimaliteit: Het wordt wiskundig bewezen dat het zeggen "het interval dekt" (voorspelling $q=1$) of "het dekt niet" ($q=0$) strikt inferieur is aan het gebruik van de nominale $1-\alpha$als voorspelling, mits$0 < 1-\alpha < 1$. De "alles-of-niets" benadering maximaliseert het verwachte verlies onder strikt correcte scoringsregels.
3. Refinement via $\theta$-vrije statistieken: Het artikel toont aan dat in specifieke ontwerpen (zoals eindige vensters of uniforme modellen), de relatieve breedte van het interval een $\theta$-vrije statistiek is. De conditionele dekking gegeven deze breedte kan een niet-constante, optimale voorspelling opleveren die strikt beter presteert dan de constante $1-\alpha$.
4. Oplossing voor de "Verloren Onderzeeboot" Paradox: Het paper analyseert het bekende voorbeeld van Morey et al. (een onderzeeboot met twee bubbels). Het toont aan dat:
   • De constante voorspelling van 50% ($1-\alpha$) beter is dan het claimen van 100% dekking.
   • Door te conditioneren op de relatieve breedte van het interval (een $\theta$-vrije eigenschap), kan de voorspelling worden verfijnd. Bijvoorbeeld, een zeer smal interval in dit model heeft een lagere dekking dan 50%, terwijl een breder interval een hogere dekking heeft. Het gebruik van deze conditionele kansen verlaagt de Brier-score aanzienlijk ten opzichte van de constante voorspelling.

4. Resultaten

• Unieke Optimaliteit: In standaard, onbegrensde, translatie-invariante modellen (zoals de t-toets voor een normaal gemiddelde) is de optimale voorspelling voor dekking, zowel ex ante als ex post, altijd de nominale waarde $1-\alpha$. De gerealiseerde eindpunten dragen geen extra informatie over de dekking.
• Verbetering door Conditionering: In modellen met een eindige steun (zoals het uniforme onderzeeboot-model), leidt het conditioneren op de relatieve breedte van het interval tot een voorspelling $q^*(X) = P(\theta \in I(X) | T(X))$ die strikt beter is dan $1-\alpha$.
• Simulatie-resultaten:
  • Voor het onderzeeboot-experiment daalde de gemiddelde Brier-score van 0.25 (bij gebruik van de constante 0.5) naar ongeveer 0.12 (voor de niet-parametrische procedure) en 0.17 (voor de UMP-procedure) wanneer conditionele dekking werd gebruikt.
  • Dit bewijst dat het negeren van de specifieke vorm van het interval (de breedte) informatieverspilling is in deze specifieke ontwerpen.
• Nestende Intervallen: Het paper toont aan dat bij nestende intervallen de gezamenlijke dekking anders is dan de marginale dekking, en dat het conditioneren op de nestingsrelatie de voorspelling verder verbetert.

5. Betekenis en Implicaties

• Oplossing voor Interpretatieproblemen: Het artikel biedt een principieel frequentistisch antwoord op de vraag "wat betekent dit specifieke interval?". Het antwoord is: het is een voorspelling met een bepaalde waarschijnlijkheid van succes, gebaseerd op de beschikbare informatie en het ontwerp van de procedure. Dit vermijdt zowel subjectieve Bayesiaanse priors als de starre "0 of 1" interpretatie.
• Pedagogische Implicaties: Het stelt voor om CIs te onderwijzen als instrumenten voor het voorspellen van langetermijn-dekking. Studenten moeten leren onderscheid maken tussen:
  1. De degeneratie van een eenmalig geval (0 of 1).
  2. De ontwerpgarantie ($1-\alpha$).
  3. De voorspellende waarschijnlijkheid gebaseerd op relevante, $\theta$-vrije kenmerken van het gerealiseerde interval.
• Frequentistische Zuiverheid: De auteur benadrukt dat deze interpretatie volledig frequentistisch blijft. De kansen zijn gedefinieerd als limiet-frequenties binnen specifieke referentieklassen (ontwerpen), niet als subjectieve overtuigingen. Het "vertrouwen" is dus een objectieve, informatie-afhankelijke voorspelling.
• Praktische Richtlijnen: Voor de praktijk wordt een stappenplan geboden:
  1. Controleer of er een $\theta$-vrije statistiek is die de dekking beïnvloedt.
  2. Zo ja, gebruik de conditionele dekking als voorspelling.
  3. Zo nee (zoals in de meeste standaard gevallen), gebruik de nominale $1-\alpha$ als de beste voorspelling.

Samenvattend transformeert dit paper het concept van "vertrouwen" van een statische, vaak verwarrende filosofische claim naar een dynamisch, decision-theoretisch instrument voor het voorspellen van de waarschijnlijkheid dat een interval de parameter bevat, waarbij de kwaliteit van deze voorspelling kwantificeerbaar is.