Non-parametric finite-sample credible intervals with one-dimensional priors: a middle ground between Bayesian and frequentist intervals

Deze paper introduceert een nieuwe type statistisch interval dat door een verzwakte definitie van een credibel interval een pragmatisch en filosofisch middenweg biedt tussen Bayesiaanse en frequentistische methoden, waarbij de voordelen van Bayesiaanse benaderingen worden gecombineerd met de eenvoud van één-dimensionale prioren zonder de complexiteit van hoog-dimensionale prioren.

De kern

Stel je voor dat je een voorspelling doet, bijvoorbeeld: "Hoeveel procent van de appels in deze grote kist is rot?" of "Wat is het gemiddelde gewicht van de appels?"

In de wereld van statistiek zijn er tot nu toe twee hoofdmanieren om een antwoord te geven, en beide hebben hun eigen problemen:

1. De Frequentistische Manier (De "Strenge Rekenaar"):
   Deze methode zegt: "Als we dit experiment 100 keer herhalen, dan zit het juiste antwoord in 95 van die 100 keer binnen ons berekende interval."

   • Het probleem: Zodra je de kist opent en de echte appels ziet, is die 95% garantie weg. Je kunt niet zeggen: "Ik heb 95% zekerheid dat deze specifieke kist goed is." Het is alsof je zegt: "Ik heb 95% kans dat de trein op tijd komt," maar zodra je op het perron staat, is die statistiek nutteloos voor je huidige beslissing.

2. De Bayesiaanse Manier (De "Geloofwaardige Gokker"):
   Deze methode zegt: "Op basis van wat ik al weet (mijn 'vooroordeel' of prior) en wat ik nu zie, heb ik 95% vertrouwen dat het antwoord hier ligt."

   • Het probleem: Om dit te doen, moet je een heel complex "vooroordeel" hebben over elke mogelijke verdeling van appels. Dat is als proberen een kaart te tekenen van elke mogelijke vorm die een appel kan hebben. In de praktijk is dit vaak te ingewikkeld en subjectief (iemand anders heeft misschien een ander vooroordeel).

De Nieuwe Oplossing: De "Slimme Tussenweg"

Tim Ritmeester, de auteur van dit paper, heeft een nieuwe soort interval bedacht. Hij noemt het een "niet-parametrische, eindige steekproef geloofwaardigheidsinterval". Laten we dat in gewoon Nederlands vertalen met een analogie.

Stel je voor dat je een magische voorspeller hebt.

• De Regel: Je mag de voorspeller niet direct de hele kist met appels laten zien. Je geeft hem alleen een samenvatting (bijvoorbeeld: "Er zijn 30 appels in de kist, en 10 zijn rot").
• Het Resultaat: De voorspeller geeft je een interval: "Ik ben er 95% zeker van dat het echte percentage rotte appels tussen 25% en 35% ligt."
• De Magie: Zelfs als jij (de gebruiker) de volledige kist nog niet hebt gezien, maar alleen dit interval en de samenvatting, mag je echter zeggen: "Ik heb 95% vertrouwen in dit antwoord."

Dit is de "gouden middenweg":

• Het is niet zo streng als de frequentistische methode (die pas zekerheid geeft voor je de data ziet).
• Het is niet zo complex als de volledige Bayesiaanse methode (die een onmogelijk complexe kaart van alle mogelijke werelden nodig heeft).

Hoe werkt het in de praktijk?

De auteur toont dit aan met twee voorbeelden:

1. Het Aandeel (CDF): "Hoeveel appels wegen minder dan 100 gram?"

   • Hier werkt de methode perfect. Het interval is precies zo nauwkeurig als wat je zou krijgen als je een Bayesiaan was, maar dan zonder dat je een ingewikkelde kaart van alle mogelijke gewichten hoeft te tekenen. Je hebt alleen een idee nodig over het percentage zelf.

2. Het Gemiddelde: "Wat is het gemiddelde gewicht?"

   • Hier is het iets breder (conservatiever) dan de Bayesiaanse methode. Het is alsof de voorspeller een beetje extra ruimte laat in zijn antwoord om op zeker te spelen. Maar het is nog steeds veel praktischer dan de volledige Bayesiaanse aanpak, omdat je alleen een idee hoeft te hebben over het gemiddelde, niet over de vorm van de hele verdeling.

Waarom is dit belangrijk?

Stel je voor dat je een manager bent die een belangrijke beslissing moet nemen op basis van data, maar je hebt geen tijd of kennis om complexe statistische modellen te bouwen.

• Vroeger: Je moest kiezen tussen een rigide frequentistische methode (die je na het zien van de data geen vertrouwen gaf) of een Bayesiaanse methode (die te moeilijk was om in te stellen).
• Nu: Je kunt deze nieuwe methode gebruiken. Je geeft je "vooroordeel" over het specifieke getal dat je zoekt (bijv. "Ik denk dat het gemiddelde rond de 50 ligt"). De methode berekent dan een interval dat waarachtig is: je kunt erop vertrouwen dat het interval klopt, zelfs als je de ruwe data nog niet zelf hebt gecontroleerd.

Kortom:
Deze paper introduceert een slimme tussenweg. Het geeft je het vertrouwen van een Bayesiaan (je kunt erop vertrouwen dat het antwoord klopt) zonder de last van een Bayesiaan (je hoeft geen ingewikkeld model van de hele wereld te bouwen). Het is alsof je een betrouwbare gids krijgt die je een route wijst, zonder dat je eerst de hele kaart van het land uit je hoofd hoeft te kennen.

Technische samenvatting

Probleemstelling

Het artikel adresseert de fundamentele spanning tussen twee dominante stromingen in statistische inferentie: Bayesiaanse en frequentistische methoden.

• Bayesiaanse kredibele intervallen: Bieden een subjectieve waarschijnlijkheid (bijv. 95% zekerheid) dat een parameter binnen het interval ligt, na het zien van de data. Het nadeel is dat ze een volledige prior-verdeling over de gehele ruimte van mogelijke verdelingen vereisen (vooral lastig in niet-parametrische gevallen), wat vaak onpraktisch en subjectief is.
• Frequentistische betrouwbaarheidsintervallen: Zijn objectief en geldig vóór het zien van de data (de frequentie van correcte intervallen over herhaalde steekproeven is $p\%$). Het nadeel is dat men, na het zien van de specifieke data en het berekende interval, niet altijd een $p\%$ geloofwaardigheid kan toekennen aan het specifieke interval (soms weten we zelfs zeker dat het interval fout is). Ze zijn ook rigide bij sequentiële analyse.

De kernvraag is: Kan men een interval creëren dat de praktische voordelen van Bayesiaanse methoden (geloofwaardigheid na data-observatie, flexibiliteit) combineert met de objectiviteit en eenvoud van frequentistische methoden, zonder de complexiteit van hoog-dimensionale priors?

Methodologie

De auteur stelt een nieuw type statistisch interval voor dat een "middenweg" vormt door de definitie van een Bayesiaans kredibel interval te verzwakken.

Definitie van het nieuwe interval:
Een $p\%$ kredibel interval $S_p$ voor een parameter $\theta$ is gedefinieerd als een interval waarvoor geldt:

Na het observeren van het interval $S_p$ (maar zonder zelf de volledige dataset $X$ te inspecteren), moet men ten minste een $p\%$ geloof hebben dat $\theta$ binnen dit interval ligt.

Formeel wordt dit uitgedrukt als:
$$b(\theta \in s \mid S_p = s) \geq p$$
waarbij $b$ de overtuiging (belief) van de gebruiker voorstelt.

De aanpak:
In plaats van een prior te specificeren over de volledige verdelingsruimte, specificeert de gebruiker alleen een één-dimensionale prior $b(\theta)$ over de parameter van belang.
Het algoritme werkt als volgt:

1. De data $X$ wordt niet direct gebruikt, maar via een functie $m = M(X)$ (een statistiek).
2. Er wordt een ondergrens berekend voor de overtuiging dat $\theta$ in een set $s$ zit, gegeven alleen $m$.
3. Er wordt een interval $S_p$ geselecteerd dat voldoet aan de validiteitscriteria.

De methode wordt toegepast op twee specifieke niet-parametrische gevallen:

1. CDF-schatting: Het schatten van het fractie van een verdeling onder een bepaalde waarde $y$ ($\theta = P(X < y)$). Hier wordt de binomiale verdeling gebruikt als likelihood.
2. Schatting van het gemiddelde: Het schatten van het gemiddelde van een verdeling met begrenste steun (bijv. $[0,1]$). Hier wordt gebruikgemaakt van de Hoeffding-ongelijkheid om een ondergrens te construeren voor de waarschijnlijkheid, gecombineerd met een toegevoegde ruisvariabele $Z \sim \text{univ}(-\delta, \delta)$.

Belangrijkste Bijdragen

1. Conceptuele Innovatie: De introductie van een "middenweg"-interval dat geldig is onder de voorwaarde dat men het interval ziet, maar niet de ruwe data. Dit lost het probleem op dat frequentistische intervallen vaak geen directe geloofwaardigheid bieden na data-observatie.
2. Vermindering van Complexiteit: De methode vereist slechts een één-dimensionale prior over de parameter van interesse, in plaats van een complexe prior over de hele ruimte van kansverdelingen (zoals bij volledig Bayesiaanse niet-parametrische inferentie).
3. Concreet Algoritme: Afleiding van specifieke algoritmen voor CDF- en gemiddelde-schattingen die voldoen aan de geldigheidsvoorwaarde (Eq. 1) en een goede precisie (Eq. 2) bieden.
4. Flexibiliteit: De methode behoudt voordelen zoals sequentiële bemonstering (door likelihoods te vermenigvuldigen) en het kunnen testen van verschillende priors zonder de geldigheid van het interval te schenden, zolang de ruwe data niet direct wordt ingezien.

Resultaten

De resultaten zijn zowel analytisch als numeriek (via ABC-rejectie-sampling) gevalideerd:

• Validiteit: De intervallen voldoen strikt aan de definitie: $b(\theta \in s \mid S_p = s) \geq p$.
  • Voor CDF-schattingen geldt de ongelijkheid als gelijkheid.
  • Voor gemiddelde-schattingen geldt de ongelijkheid (ze zijn conservatiever).
• Precisie (Breedte):
  • Kleine steekproeven: De intervallen zijn smaller dan frequentistische equivalenten omdat ze prior-informatie gebruiken.
  • Asymptotisch gedrag:
    • Bij CDF-schattingen zijn de intervallen asymptotisch even breed als standaard frequentistische intervallen (Clopper-Pearson) en volledig Bayesiaanse intervallen.
    • Bij gemiddelde-schattingen zijn de intervallen asymptotisch breder dan frequentistische intervallen (bijv. 48,79% breder dan Hoeffding-intervallen voor $p=0.95$). Dit is een prijs die wordt betaald voor de geldigheid in eindige steekproeven zonder volledige data-inspectie.
• Vergelijking: De methode combineert de "beste van beide werelden": objectiviteit (geen hoge-dimensionale prior nodig) en Bayesiaanse interpretatie (geloofwaardigheid na interval-observatie).

Betekenis en Toekomstperspectief

Dit werk biedt een praktische oplossing voor besluitvorming onder onzekerheid in situaties waar:

1. Men een prior-gissing heeft over een specifieke parameter, maar niet over de volledige verdeling.
2. Men behoefte heeft aan intervallen die een directe interpretatie hebben (geloofwaardigheid) na het zien van het resultaat, maar waar volledige Bayesiaanse modellering te complex of subjectief is.

Toekomstige richtingen:

• Het verbeteren van de precisie voor gemiddelde-schattingen (bijv. door andere ruisverdelingen of variantie-informatie te gebruiken).
• Het uitbreiden van de methode naar andere statistische problemen.
• Het combineren met fiduciaire statistiek om volledig niet-parametrische intervallen te creëren zonder subjectieve priors, door gebruik te maken van symmetrie-eigenschappen van het probleem.

Kortom, het artikel presenteert een robuust framework dat de kloof tussen frequentistische en Bayesiaanse inferentie dicht voor niet-parametrische problemen met eindige steekproeven, met een focus op praktische toepasbaarheid en interpretatie.