Confidence, Statistical Evidence and Relative Belief with Applications to a Problem in Particle Physics

Dit artikel past inferenties op basis van relatieve overtuiging toe, die zowel voldoen aan de Bayesiaanse likelihood-ordening als aan de frequentistische betrouwbaarheidseisen, om onzekerheidsintervallen te construeren voor een Poisson signaal-met-achtergrondmodel in de deeltjesfysica, waarbij de voordelen ten opzien van de standaard Feldman-Cousins-benadering worden aangetoond.

De kern

Stel je voor dat je een detective bent die een mysterie probeert op te lossen in een zeer lawaaierige kamer. De "mysterie" is of er een nieuw, zeldzaam deeltje is gecreëerd in een natuurkundig experiment. De "ruis" is de achtergrondstraling die er altijd is, zelfs wanneer er niets nieuws gebeurt.

Dit artikel, geschreven door Michael Evans en Siqi Zheng, gaat over hoe je het verschil kunt zien tussen een echte ontdekking en gewoon willekeurige ruis, en hoe je kunt meten hoe zeker je kunt zijn van dat antwoord.

Hier is de uiteenzetting van hun argument met behulp van eenvoudige analogieën:

1. Het doel: Het signaal vinden in de ruis

In de deeltjesfysica tellen wetenschappers gebeurtenissen. Soms zien ze veel gebeurtenissen. Komt dat doordat er een nieuw deeltje is gevonden (het Signaal), of komt het simpelweg doordat de achtergrondruis luider is geworden (de Achtergrond)?

De auteurs stellen dat de belangrijkste taak van statistiek niet alleen het geven van een getal is, maar het onthullen van bewijs. Ze vragen: Wijst de data daadwerkelijk naar een nieuw deeltje, of is het slechts een toevalstreffer?

2. De oude manier: Het "Feldman-Cousins" interval

Al een lange tijd gebruiken natuurkundigen een methode genaamd de Feldman-Cousins Confidence Interval (FCCI).

• De analogie: Stel je voor dat je probeert het gewicht van een verborgen object te raden. De FCCI is als een vangnet. Het zegt: "Als we dit experiment 100 keer zouden herhalen, zouden 95 van die netten het ware gewicht vangen."
• Het probleem: De auteurs stellen dat hoewel dit net goed is om de waarheid op de lange termijn te vangen, het niet altijd vertelt wat de huidige data daadwerkelijk zegt.
  • Soms bevat het net gewichten die de data eigenlijk als onwaarschijnlijk beschouwt (het schenden van de "likelihood ordering").
  • Soms gedraagt het net zich vreemd. Bijvoorbeeld, als je nul gebeurtenissen ziet, kan de FCCI kleiner worden als je aanneemt dat de achtergrondruis hoger is. De auteurs zeggen dat dit geen zin heeft: als je niets ziet, zou je onzekerheid over het nieuwe deeltje niet kleiner moeten worden enkel omdat je denkt dat de achtergrondruis luider is.

3. De nieuwe manier: "Relative Belief" en de "Plausible Region"

De auteurs stellen een andere aanpak voor genaamd Relative Belief.

• De analogie: Stel je voor dat je een vermoeden hebt (een Prior) over waar het nieuwe deeltje zich bevindt. Vervolgens krijg je nieuwe data (het Evidence).
  • Relative Belief vraagt: "Hoeveel is mijn vermoeden veranderd nadat ik de data heb gezien?"
  • Als de data een specifieke waarde veel waarschijnlijker maakt dan voorheen, dan is dat bewijs ten gunste van (evidence in favor).
  • Als de data een waarde veel minder waarschijnlijk maakt, dan is dat bewijs tegen (evidence against).
• De Plausible Region: Dit is het nieuwe "interval" van de auteurs. Het is een lijst van alle waarden die de data in ons geloof heeft versterkt.
  • Denk aan het als een "Lijst van verdachten". De Plausible Region bevat alleen verdachten die de data meer geloofwaardig heeft gemaakt dan vóór het onderzoek begon.
  • Als een verdachte op de lijst staat, ondersteunt de data deze persoon. Als dat niet zo is, doet de data dat niet.

4. Waarom de nieuwe manier beter is (volgens het artikel)

De auteurs beweren dat de Plausible Region superieur is voor de wetenschap om drie belangrijke redenen:

1. Het respecteert het bewijs: De Plausible Region is altijd een "Likelihood Region". Dit betekent dat het nooit een waarde bevat die de data minder waarschijnlijk maakt dan een andere waarde buiten de regio. De oude FCCI overtreedt deze regel soms.
2. Het vermijdt absurditeit: De FCCI kan soms een resultaat produceren dat elke mogelijke waarde beslaat (de hele parameterruimte). De auteurs zeggen dat dit belachelijk is, want als je zegt "het kan alles zijn", heb je niets geleerd. De Plausible Region doet dit nooit; het verkleint de zaken altijd op basis van wat de data daadwerkelijk ondersteunt.
3. Het gaat beter om met ruis: In hun voorbeelden, wanneer de achtergrondruis hoog of onbekend is, blijft de Plausible Region stabiel en logisch. De FCCI gedraagt zich echter grillig (zoals krimpen wanneer dat niet zou moeten gebeuren).

5. Het werk controleren: "Bias" en "Betrouwbaarheid"

De auteurs weten dat wetenschappers bezorgd zijn over betrouwbaarheid (Frequentistische zorgen). Ze zeggen niet alleen: "Vertrouw op onze wiskunde." Ze voeren ook "Bias Checks" uit.

• De analogie: Voordat je op een visreis gaat, controleer je je boot om er zeker van te zijn dat hij niet zinkt.
• De controle: Ze berekenen, voordat ze het experiment uitvoeren, hoe vaak hun methode zou kunnen falen.
  • Bias Against (Bias tegen): Hoe vaak missen we een echte ontdekking?
  • Bias In Favor (Bias in het voordeel): Hoe vaak claimen we een ontdekking terwijl er eigenlijk geen is?
• Ze laten zien dat door de juiste hoeveelheid data (steekproefomvang) te kiezen, ze deze fouten zeer klein kunnen maken, waardoor hun "Plausible Region" betrouwbaar is, net als de oude methoden, maar zonder de logische gebreken.

6. Wereldwijde test: Het Neutrino-experiment

Het artikel test dit op een echt historisch experiment (Karmen II) waarbij wetenschappers zochten naar neutrino-oscillaties.

• Het resultaat: In het eerste deel van het experiment was de data zwak en waren de resultaten sterk afhankelijk van de initiële aannames. Maar naarmate er meer data binnenkwam, stabiliseerde de "Plausible Region" zich en gaf het een duidelijk antwoord: Er was geen bewijs voor een signaal.
• De auteurs merken op dat hun methode de "achtergrondruis" (die onzeker was) veel natuurlijker afhandelde dan de oude methoden dat konden.

Samenvatting

Het artikel betoogt dat hoewel de oude methode van het "Confidence Interval" goed is voor foutmarges op de lange termijn, het vaak niet accuraat weergeeft wat de huidige data ons vertelt.

De auteurs stellen Relative Belief voor als een beter instrument. Het creëert een Plausible Region die strikt de logica van het bewijs volgt: het bevat alleen waarden die de data geloofwaardiger hebben gemaakt. Ze bewijzen dat deze methode niet alleen logisch sluitend is, maar ook betrouwbaar genoeg is om aan strikte wetenschappelijke standaarden te voldoen, wat het een betere manier maakt om ontdekkingen in de deeltjesfysica te rapporteren.

Technische samenvatting

Technische Samenvatting: Vertrouwen, Statistische Bewijsvoering en Relatieve Overtuiging met Toepassingen op een Probleem in de Deeltjesfysica

Probleemstelling
Het artikel behandelt de fundamentele moeilijkheid in de statistische analyse bij het definiëren en kwantificeren van "statistisch bewijs", in het bijzonder in de context van experimenten in de deeltjesfysica met Poisson-verdelde tellingen met achtergrondruis. De auteurs bekritiseren het gangbare gebruik van Feldman-Cousins Betrouwbaarheidsintervallen (FCCI) en andere frequentistische betrouwbaarheidsgebieden. Hoewel deze methoden voldoen aan de eisen van herhaalde steekproeven (frequentistische) dekking, stellen de auteurs dat ze er niet in slagen statistisch bewijs naar behoren te representeren. Specifiek kunnen FCCI's de likelihood-ordening schenden (waarden met een hogere likelihood uitsluiten die wel binnen het interval zouden moeten vallen) en kunnen ze "improper" regio's produceren (bijvoorbeeld het gehele parameterruimte dekken of waarden uitsluiten die door de data worden ondersteund) wanneer parameters beperkt zijn (bijvoorbeeld $\lambda \ge 0$). Het kernprobleem is het verzoenen van het bewijstechnische doel om te onthullen wat de data aangeeft met het gedragsmatige doel om betrouwbaarheid van inferentie onder herhaalde steekproeven te waarborgen.

Methodologie: Inferentie via Relatieve Overtuiging
De auteurs stellen Inferentie via Relatieve Overtuiging voor en passen dit toe, een Bayesiaans kader dat is geworteld in het Principe van Bewijsvoering. Dit principe stelt dat bewijs ten gunste van een hypothese $H$ bestaat als de posterieure waarschijnlijkheid groter is dan de priori waarschijnlijkheid ($P(H|data) > P(H)$), en bewijs tegen als de posterieure waarschijnlijkheid lager is.

Belangrijke methodologische componenten zijn:

1. Relatieve Overtuigingsratio (RB): Gedefinieerd als $RB(\psi | x) = \frac{\pi(\psi|x)}{\pi(\psi)} = \frac{m(x|\psi)}{m(x)}$, waarbij $\pi$ de prior is, $\pi(\cdot|x)$ de posterieure en $m$ de marginale likelihood.
   • $RB > 1$: Bewijs ten gunste.
   • $RB < 1$: Bewijs tegen.
   • $RB = 1$: Geen bewijs in welke richting dan ook.
2. Plausibel Gebied: De verzameling parameterwaarden waar $RB > 1$. Deze regio is gegarandeerd een likelihood-regio (die de likelihood-ordening respecteert) en bevat alle waarden met bewijs in hun voordeel.
3. Schatting: De relatieve overtuigingsschatting is de waarde die de RB maximaliseert, wat overeenkomt met de Maximum Likelihood Schatting (MLE) onder het marginale model.
4. Bias-berekeningen: Om de frequentistische betrouwbaarheid aan te pakken, gebruiken de auteurs a priori bias-berekeningen:
   • Bias Tegen: De priori waarschijnlijkheid van het niet vinden van bewijs ten gunste van een ware waarde (analoog aan Type I-fout).
   • Bias Ten Gunste: De priori waarschijnlijkheid van het vinden van bewijs ten gunste van een betekenisvol valse waarde (analoog aan Type II-fout).
     Deze worden gebruikt in het experimenteel ontwerp om steekproefgroottes te selecteren die betrouwbare inferenties waarborgen.
5. Controle op Prior-Data Conflict: De methodologie bevat een controle (Evans en Moshonov, 2006) om te garanderen dat de prior de ware parameter niet in de staarten van de priorverdeling plaatst ten opzichte van de geobserveerde data. Indien een conflict wordt gedetecteerd, wordt de prior aangepast.

Toepassing op de Deeltjesfysica
De methodologie wordt toegepast op het probleem van het detecteren van een nieuw deeltjessignaal ($\lambda$) te midden van achtergrondruis ($b$), gemodelleerd als $X \sim \text{Poisson}(\lambda + b)$. Twee scenario's worden geanalyseerd:

1. Bekende Achtergrond ($b$ is bekend): Een Gamma-prior wordt geplaatst op $\lambda$. Het plausibele interval wordt geconstrueerd, en de frequentistische dekking en bias-eigenschappen worden geëvalueerd.
2. Onbekende Achtergrond ($b$ is onbekend): Onafhankelijke Gamma-priors worden geplaatst op zowel $\lambda$ als $b$. De hinderparameter $b$ wordt uit geïntegreerd om een marginaal model voor $\lambda$ te vormen. Dezelfde relatieve overtuigingsmethode wordt toegepast.

Belangrijkste Resultaten

• Schending van de Likelihood-ordening door FCCI: Het artikel demonstreert via voorbeelden (inclusclusief discrete modellen en normale gemiddelden) dat FCCI's vaak de likelihood-ordening schenden. Bijvoorbeeld, een FCCI kan een parametervarde $\theta_3$ uitsluiten terwijl het $\theta_2$ wel insluit, zelfs wanneer de likelihood van de data onder $\theta_3$ hoger is dan onder $\theta_2$.
• Properheid van Plausibele Regio's: In tegenstelling tot FCCI's zijn plausibele regio's afgeleid van relatieve overtuiging nooit gelijk aan de gehele parameterruimte (tenzij de likelihood vlak is, in welk geval de regio leeg is). Ze houden zich strikt aan de likelihood-ordening.
• Prestatievergelijking:
  • In simulaties met een bekende achtergrond bereikt het plausibele interval frequentistische betrouwbaarheidsniveaus die vergelijkbaar zijn met FCCI's (bijv. >90% voor $n=10$), terwijl het de eigenschap behoudt van een likelihood-regio.
  • Het plausibele interval vertoont een aanzienlijk lagere "bias ten gunste" (waarschijnlijkheid van het dekken van betekenisvol valse waarden) vergeleken met FCCI's over diverse steekproefgroottes en betekenisvolle verschil-drempels ($\delta$).
  • FCCI's vertonen gevoeligheid voor de achtergrondrate $b$ wanneer er nul gebeurtenissen worden geobserveerd (de bovengrens neemt af naarmate $b$ toeneemt), een gedrag dat het plausibele interval vermijdt.
• Reële Toepassing (Karmen II): De methode werd toegepast op de Karmen II neutrino-oscillatiegegevens. Met behulp van een sequentiële Bayesiaanse strategie stabiliseerde het plausibele interval robuust na het tweede experiment, wat sterke bewijslast voor het nul-signaal ($\lambda=0$) bevestigde, ongeacht de initiële prior-aannames. De auteurs merken op dat een directe vergelijking met FCCI structureel ongepast is hier vanwege het sequentiële karakter van de data en de behandeling van $b$ als een hinderparameter.

Significantie en Claims
Het artikel claimt dat inferenties via relatieve overtuiging een meer passende methode bieden voor wetenschappelijke contexten dan traditionele betrouwbaarheidsgebieden, omdat ze direct de definitie van bewijs adresseren.

• Bewijs vs. Fout: De auteurs argumenteren dat terwijl betrouwbaarheidsgebieden zijn ontworpen om foutenpercentages te meten (gedragsmatig), ze niet noodzakelijkerwijs bewijs reflecteren. Regio's van relatieve overtuiging voldoen aan het Principe van Bewijsvoering (Stelling 1), waardoor elk gerapporteerd interval de likelihood-ordening respecteert.
• Integratie van Benaderingen: De methodologie slaagt erin de bewijstechnische benadering (inferentie gebaseerd op verandering van overtuiging) succesvol te combineren met de gedragsmatige benadering (ontwerp gebaseerd op bias-controle). De a priori bias-berekeningen zorgen ervoor dat de resulterende inferenties betrouwbaar zijn onder herhaalde steekproeven, waardoor zij aan frequentistische eisen voldoen zonder de coherentie van de bewijstechnische interpretatie op te offeren.
• Robuustheid: De benadering is robuust tegen de keuze van de prior, mits er geen prior-data conflict is. De inclusie van conflictcontrole en de mogelijkheid om de prior aan te passen, zorgt ervoor dat de inferenties worden gedreven door de data in plaats van door subjectieve prior-keuzes.

Concluderend stellen de auteurs dat het plausibele gebied, afgeleid van relatieve overtuiging, een superieur samenvattend bewijs biedt voor problemen in de deeltjesfysica (en algemene statistische inferentie) door te garanderen dat gerapporteerde intervallen consistent zijn met de likelihood-functie en dat hun betrouwbaarheid wordt gekwantificeerd en gecontroleerd tijdens de experimentele ontwerpfase.