Confidence intervals for the Poisson distribution

Dit paper bespreekt de verwarring rondom Poisson-sampling in de natuurkunde en beveelt aan om de resultaten samen te vatten met Garwood's betrouwbaarheidsintervallen vanwege hun goede statistische eigenschappen en intuïtieve p-waarden.

De kern

De Poisson-verdeling: Hoe tellen we de sterren (en de fouten) in de statistiek?

Stel je voor dat je in een donkere kamer staat en probeert te tellen hoeveel sterren je door een klein raampje ziet. Soms zie je er veel, soms weinig, en soms helemaal geen. Dit is precies wat natuurkundigen doen als ze op zoek zijn naar nieuwe deeltjes of zeldzame gebeurtenissen. Ze tellen "gebeurtenissen" (zoals sterren) die volgen op een wiskundig patroon dat we de Poisson-verdeling noemen.

Maar hier zit de kluif: als je maar één keer telt (bijvoorbeeld: "Ik zag 3 sterren"), hoe weet je dan of dat een gelukstreffer was, of dat er echt een heel groot aantal sterren is? En hoe geef je dat aan anderen door zonder dat ze denken dat je het verkeerd hebt?

Dit paper van Frank Porter is als het ware een receptenboek voor statistische eerlijkheid. Het probeert de verwarring weg te nemen over hoe we onze metingen moeten beschrijven.

1. Het grote misverstand: "Wat is het antwoord?" vs. "Wat heb ik gezien?"

Porter maakt een cruciaal onderscheid, alsof je een fotograaf bent:

• De interpretatie (Bayesiaans): "Ik geloof dat er 100 sterren zijn, gebaseerd op wat ik zag en wat ik al wist." Dit is een mening, een geloof.
• De beschrijving (Frequentistisch): "Ik zag 3 sterren. Als ik dit experiment 1000 keer zou herhalen, zou mijn berekening 95% van de tijd het juiste antwoord bevatten." Dit is een verslag van de feiten, onafhankelijk van wat je gelooft.

De auteur zegt: "Laten we eerst gewoon vertellen wat we hebben gezien, voordat we gaan gokken over de waarheid." Het doel is een betrouwbare beschrijving van de meting, niet het bepalen van de absolute waarheid.

2. De zoektocht naar de perfecte "veiligheidsnet" (Betrouwbaarheidsintervallen)

Stel je voor dat je een vis vangt. Je wilt weten hoe groot de vis is, maar je kunt hem niet direct meten. Je gooit een net (een betrouwbaarheidsinterval) om de vis.

• Als het net te klein is, ontsnapt de vis (je hebt je vergist).
• Als het net te groot is, vang je ook veel water en zeewier (je bent te voorzichtig en je zegt niets specifieks).

De natuurkundigen willen een net dat:

1. Altijd de vis vangt (minstens 95% van de tijd, zelfs als de vis een beetje wegzwemt).
2. Niet te groot is (zodat je weet waar de vis ongeveer zit).
3. Logisch is (als je meer vis ziet, moet het net groter worden, niet kleiner).
4. Geen gaten heeft (het moet één stuk zijn, niet twee losse stukken net).

3. De strijd tussen de methoden

Er zijn veel manieren om zo'n net te vissen. De auteur test verschillende "visserijtechnieken" die in de wiskundige wereld bekend zijn:

• De Garwood-methode (De oude, betrouwbare visser):
  Dit is de klassieke manier. Het net is soms wat groter dan strikt noodzakelijk (het vangt ook wat extra water), maar het vangt altijd de vis. Het is eerlijk, voorspelbaar en gedraagt zich logisch: als je meer vis ziet, wordt het net groter. De p-waarden (een maat voor hoe "raar" je meting is) zijn hier duidelijk en begrijpelijk.

  • Analogie: Het is als een stevige, wat zware jas. Hij is misschien wat warm (te groot), maar hij houdt je altijd droog.

• De Crow&Gardner-methode (De slimme, maar grillige visser):
  Deze methode probeert het net zo klein mogelijk te houden om water te besparen. Soms is het net een stukje smaller. Maar... soms gebeurt er iets raars: als je meer vis ziet, wordt het net plotseling kleiner of springt het op een vreemde manier. Ook kan het zijn dat het net de vis die je net hebt gevangen (je beste schatting) niet eens bevat.

  • Analogie: Een superstrakke, modieuze jas die perfect past, maar soms ineens te strak wordt als je beweegt, of juist te groot als je stilstaat.

• De Feldman-Cousins-methode (De strenge politieagent):
  Deze methode is populair in de deeltjesfysica. Hij weigert om een net te maken dat onder de grond ligt (negatieve waarden), omdat "negatieve sterren" onmogelijk zijn. Het probleem? Als je heel weinig ziet (bijvoorbeeld 0 sterren), maakt hij een net dat zo klein is dat het bijna niet bestaat. Dit suggereert dat je de vis perfect hebt gemeten, terwijl je eigenlijk niets zag.

  • Analogie: Een agent die zegt: "Je hebt 0 overtredingen gezien, dus je bent 100% onschuldig en je straf is 0." Maar wat als je gewoon geen agent was? Het is een vals gevoel van zekerheid.

• De CLs-methode (De voorzichtige advocaat):
  Deze methode is ontworpen om nooit per ongeluk een onschuldige verdachte te veroordelen. Het resultaat is vaak een enorm groot net dat bijna de hele oceaan omvat. Het is veilig, maar zegt eigenlijk niets.

4. De winnaar: Garwood!

Na al deze vergelijkingen komt de auteur tot een verrassend simpele conclusie: Gebruik de Garwood-methode.

Waarom?

• Het is eerlijk: Het net vangt de vis minstens 95% van de tijd (zoals beloofd).
• Het is logisch: Als je meer data hebt, wordt het net logischerwijs groter. Geen rare sprongen.
• Het is consistent: Als je kijkt naar verschillende zekerheidsniveaus (bijvoorbeeld 90% vs 95%), zit het kleinere net altijd netjes binnen het grotere net.
• Het geeft duidelijke antwoorden: De "p-waarde" (de kans dat je resultaat een toevalstreffer is) gedraagt zich netjes en voorspelbaar.

De andere methoden proberen misschien slimmer te zijn door het net kleiner te maken, maar ze betalen daarvoor met verwarring, onlogische sprongen en soms zelfs het verliezen van de vis die je net hebt gevangen.

5. Een waarschuwing over het "samenvoegen" van metingen

De auteur geeft ook een belangrijke waarschuwing. Stel, je hebt 10 verschillende metingen gedaan. Je wilt ze samenvoegen tot één groot antwoord.

• Fout: Je neemt de "netten" van de 10 metingen, rekent het gemiddelde en maakt een nieuw net. Dit werkt niet goed bij Poisson-data; je krijgt dan een vals gevoel van precisie.
• Goed: Je gaat terug naar de ruwe data (de 10 oorspronkelijke tellingen) en telt die samen, alsof het één grote meting was.

Conclusie in één zin

In een wereld vol complexe wiskunde en verschillende manieren om met onzekerheid om te gaan, adviseert deze auteur: Blijf bij de simpele, oude Garwood-methode. Hij is misschien niet de kleinste, maar hij is de meest betrouwbare, eerlijke en begrijpelijke manier om te vertellen wat je hebt gezien, zonder je in de war te laten sturen door te slimme trucjes.

Het is alsof je zegt: "Ik heb 3 sterren gezien. Hier is een net dat 95% van de tijd de waarheid bevat. En ja, het is misschien wat groot, maar dat is beter dan dat we de waarheid kwijtraken."

Technische samenvatting

Titel: Betrouwbaarheidsintervallen voor de Poisson-verdeling

Auteur: Frank C. Porter (California Institute of Technology)

---

1. Het Probleem

De Poisson-verdeling is fundamenteel in natuurkundige metingen, vooral bij het zoeken naar zeldzame fenomenen met zeer weinig verwachte tellingen (inclusief achtergrondruis). Ondanks de schijnbare eenvoud van deze verdeling, bestaat er aanzienlijke verwarring onder fysici over de juiste beschrijving van resultaten die via Poisson-steekproeven worden verkregen.

De kern van het probleem ligt in de onderscheiding tussen:

• Beschrijvende statistiek: Het objectief rapporteren van het resultaat van een meting (de waarneming $n$) zonder verdere inferentie over de ware waarde van de parameter.
• Interpretatieve statistiek: Het maken van uitspraken over de ware waarde van de parameter (bijv. "de signaalsterkte is groter dan nul"), wat vaak een Bayesiaanse "graad van overtuiging" vereist.

Veel bestaande methoden voor betrouwbaarheidsintervallen mengen deze twee doelen, wat leidt tot inconsistente resultaten, onintuïtieve p-waarden en methoden die de frequentistische dekking (coverage) schenden of onnodig conservatief zijn.

2. Methodologie

De auteur analyseert en vergelijkt diverse methoden voor het construeren van exacte frequentistische betrouwbaarheidsintervallen voor de Poisson-verdeling (waarbij de achtergrond $b$ bekend is en de signaalsterkte $\theta$ onbekend is).

Belangrijke uitgangspunten:

• Doel: De focus ligt puur op beschrijvende statistiek. Het interval moet een eerlijke weergave zijn van de waarneming $n$, inclusief de mogelijkheid van "onfysische" waarden (zoals een negatief geschat signaal bij een sterke achtergrondfluctuatie), tenzij expliciet anders beoogd.
• Exactheid: Intervallen moeten voldoen aan de dekkingseis $P(\theta \in C_\alpha(N)) \geq 1-\alpha$. Benaderingen (zoals de normale benadering) worden afgewezen voor kleine steekproeven.
• Verwensenswaardige eigenschappen: De auteur definieert een reeks criteria om methoden te beoordelen, waaronder:
  • Exactheid: Geen onderdekking.
  • Verbondenheid: Het interval moet een enkel continu bereik zijn.
  • Bevat MLE: Het interval moet het Maximum Likelihood Schatter (MLE, $\hat{\theta} = n-b$) bevatten.
  • Optimale dekking: Dekking zo dicht mogelijk bij de nominale waarde, zonder te veel "overdekking".
  • Lengte: Korte intervallen zijn gewenst, maar niet ten koste van andere eigenschappen.
  • Gestructureerdheid (Ordered): Hogere waarnemingen moeten leiden tot hogere intervalgrenzen.
  • Genest (Nested): Een interval met een hoger betrouwbaarheidsniveau moet een superset zijn van een interval met een lager niveau.
  • Continuïteit en Monotonie: Kleine veranderingen in het betrouwbaarheidsniveau of de nulhypothese mogen niet leiden tot grote sprongen in het interval of de p-waarde.
  • Zintuiglijke p-waarden: p-waarden moeten continu en monotoon zijn ten opzichte van de nulhypothese.

3. Geanalyseerde Methoden

De paper vergelijkt een breed scala aan technieken, waaronder:

1. Garwood (Fiduciaal): De klassieke "equal-tailed" methode, gebaseerd op de $\chi^2$-verdeling.
2. Sterne & Crow & Gardner: Methoden die proberen de lengte van het interval te minimaliseren door de acceptatieregions te ordenen op waarschijnlijkheid.
3. Blaker: Een methode gebaseerd op een "acceptability function" om geneste intervallen te garanderen.
4. Likelihood Ratio (LR) & Score Test: Intervallen afgeleid van het inverteren van hypothesetoetsen.
5. Feldman-Cousins (FC): Een populaire methode in de deeltjesfysica die probeert onfysische gebieden te vermijden en de keuze tussen een- en tweezijdige intervallen objectief te maken.
6. CLs-methode: Een conservatieve methode voor uitsluiting, veel gebruikt in deeltjesfysica.
7. Bayesiaanse intervallen: Met uniforme en Jeffreys-priors (geanalyseerd op frequentistische eigenschappen).
8. Gemiddelden: Analyse van het probleem bij het middelen van intervallen van verschillende metingen zonder terug te gaan naar de onderliggende Poisson-verdeling.

4. Belangrijkste Resultaten en Bevindingen

• Garwood is superieur voor beschrijving: De Garwood-intervallen voldoen aan bijna alle wenselijke eigenschappen voor beschrijvende statistiek: ze zijn exact, verbonden, genest, continu, monotoon en leveren intuïtieve, continue p-waarden.
• Het compromis van optimaliteit: Methoden die proberen de interval-lengte te minimaliseren (zoals Sterne, Crow & Gardner, Blaker, en LR) doen dit vaak ten koste van andere cruciale eigenschappen.
  • Ze zijn vaak niet genest: Een interval met 95% betrouwbaarheid is niet altijd een superset van het 90% interval.
  • Ze hebben discontinue p-waarden: Kleine veranderingen in de nulhypothese kunnen leiden tot grote sprongen in de p-waarde, wat onintuïtief en verwarrend is.
  • Ze bevatten soms niet de MLE: Bij lage betrouwbaarheidsniveaus kan het Maximum Likelihood Schatter buiten het interval vallen.
• Problemen met Feldman-Cousins (FC) en CLs:
  • FC: Hoewel populair in de deeltjesfysica om "onfysische" negatieve waarden te vermijden, leidt dit tot intervallen die bij lage tellingen en sterke achtergrondfluctuaties onredelijk klein zijn (schijnbare hoge precisie). Dit verstoort de beschrijvende waarde van de meting.
  • CLs: Deze methode is zeer conservatief en leidt tot aanzienlijke overdekking, waardoor de intervallen onnodig breed zijn voor beschrijvende doeleinden.
• Gemiddelden van intervallen: Het is gevaarlijk om betrouwbaarheidsintervallen van verschillende experimenten direct te middelen (bijv. via inverse variantie-gewichting) zonder terug te gaan naar de onderliggende steekproefverdelingen. Dit kan leiden tot ernstige onderdekking van het gecombineerde resultaat.
• Bayesiaanse priors: Intervallen gebaseerd op oninformatieve priors (uniform of Jeffreys) voldoen niet aan de frequentistische dekkingseis en zijn dus niet geschikt als puur beschrijvende frequentistische statistiek.

5. Conclusie en Aanbeveling

De auteur concludeert dat er geen enkele methode perfect is die alle eigenschappen (korte lengte, perfecte dekking, genest, continu, etc.) simultaan optimaliseert. Echter, voor het specifieke doel van beschrijvende statistiek (het objectief rapporteren van een meting zonder inferentie over de "ware" waarde), is de Garwood-interval de beste keuze.

Redenen voor de aanbeveling van Garwood:

1. Consistentie: Het is de enige tweezijdige exacte interval die continu, genest en monotoon is.
2. Intuïtieve p-waarden: Het levert p-waarden die continu en bimonotoon zijn ten opzichte van de nulhypothese, wat essentieel is voor een logisch consistent beschrijvend kader.
3. Bevat MLE: Het bevat altijd het maximum likelihood schatter.
4. Beschikbaarheid: Het is de standaard in softwarepakketten zoals MATLAB (poissfit) en R (poisson.exact).

De auteur waarschuwt dat de zoektocht naar kortere intervallen (zoals bij Sterne of Crow & Gardner) vaak leidt tot methoden die in andere opzichten (zoals p-waarden en genestheid) zo defect zijn dat ze minder bruikbaar zijn voor een eerlijke beschrijving van de data. De "overdekking" van Garwood wordt gezien als een aanvaardbare prijs voor de robuustheid en consistentie van het beschrijvende kader.

Praktische implicatie: Fysici moeten zich bewust zijn van het onderscheid tussen beschrijving en interpretatie. Als het doel is om de meting te beschrijven, moet de Garwood-interval worden gebruikt. Als het doel is om een uitspraak te doen over de ware waarde van een parameter (bijv. een bovengrens stellen), dan zijn Bayesiaanse methoden of specifieke frequentistische limieten (zoals de standaard bovengrens) meer geschikt, maar dan moet men zich realiseren dat dit een interpretatieve stap is.