Covering Unknown Correlations in Bayesian Priors by Inflating Uncertainties

Dit artikel toont aan dat het mogelijk is om door inflatie van onzekerheden een prior-parametrisatie te kiezen die onder algemene aannames zorgt voor conservatieve achteraf-onzekerheden, zelfs wanneer de correlaties tussen onbekende verstorende parameters in gecombineerde Bayesiaanse analyses niet bekend zijn.

De kern

Titel: Hoe je zekerheid behoudt als je niet weet hoe dingen met elkaar verbonden zijn

Stel je voor dat je twee verschillende teams hebt die proberen hetzelfde mysterie op te lossen: het gedrag van neutrino's (die kleine, spookachtige deeltjes). Team A en Team B hebben allebei hun eigen manier om de onzekerheden in hun metingen te beschrijven. Ze noemen deze onzekerheden "nuisance parameters" (lastige parameters), maar laten we ze gewoon onbekende factoren noemen.

Het probleem is dat Team A en Team B deze factoren op heel verschillende manieren hebben gemeten en beschreven.

• Team A zegt: "We zijn niet zeker over de grootte van de botsingen."
• Team B zegt: "We zijn niet zeker over het aantal deeltjes dat overblijft na de botsing."

In de echte wereld beschrijven deze twee waarschijnlijk precies hetzelfde fysieke proces. Als Team A's onzekerheid groot is, zou Team B's onzekerheid ook groot moeten zijn. Ze zijn 100% met elkaar verbonden. Maar omdat ze het in verschillende talen spreken, weten we niet precies hoe we die twee onzekerheden aan elkaar moeten koppelen.

Het Gevaar: Te Zeker Zijn

In de statistiek (en dan specifiek in de 'Bayesiaanse' methode) moet je voor elke onbekende factor een gok doen over hoe waarschijnlijk het is dat die factor een bepaalde waarde heeft. Dit noem je een prior (een voorafgaande veronderstelling).

Als je twee teams combineert, moet je beslissen: Zijn de onzekerheden van Team A en Team B onafhankelijk van elkaar, of hangen ze samen?

• Als je denkt dat ze niet samenhangen, tel je de onzekerheden gewoon op.
• Als je denkt dat ze wel samenhangen, moet je ze anders berekenen.

Het gevaar zit hem in het niet weten. Als je denkt dat ze onafhankelijk zijn, maar ze hangen eigenlijk wel samen, kun je per ongeluk denken dat je resultaat veel preciezer is dan het echt is. Je zou kunnen zeggen: "Wij weten het met 99% zekerheid!" terwijl het eigenlijk maar 80% is. Dit is als een brugbouwer die denkt dat de brug veilig is, maar de schroeven die hij gebruikt, blijken toch met elkaar verbonden te zijn en breken tegelijkertijd.

De Oplossing: De "Veiligheidsmarge"

De auteur van dit paper, Lukas Koch, heeft een slimme oplossing bedacht om dit probleem op te lossen zonder dat je de hele natuurkunde opnieuw hoeft uit te vinden.

Hij stelt voor: "Laten we er gewoon van uitgaan dat ze helemaal niets met elkaar te maken hebben, maar laten we de onzekerheid van beide teams een beetje opblazen."

Hoe werkt dat?
Stel je voor dat je twee teams hebt (2 blokken).

1. Je neemt de onzekerheid van Team A en Team B.
2. Je doet alsof ze totaal onafhankelijk zijn (geen verbinding).
3. Maar om zeker te zijn dat je niet te optimistisch bent, vermenigvuldig je de onzekerheid met het aantal teams. In dit geval: vermenigvuldig alles met 2.

De Analogie van de Regenscherm:
Stel je voor dat je twee regenschermen hebt. Je weet niet of ze tegen dezelfde wind staan of niet.

• Als je ze apart houdt, denk je dat je droog blijft als de wind uit één kant komt.
• Maar als de wind uit een andere kant komt, kunnen beide schermen tegelijk falen.
• De oplossing van Koch is: "Laten we doen alsof we twee schermen hebben, maar laten we doen alsof we vier schermen nodig hebben om veilig te zijn."

Door de onzekerheid op te blazen (inflatie), zorg je ervoor dat je resultaat conservatief is. Dat betekent: je zegt niet "We weten het precies", maar "We weten het met een grote veiligheidsmarge". Als de onzekerheden toch samenhangen, is je opgeblazen marge precies groot genoeg om dat op te vangen. Als ze niet samenhangen, heb je misschien een beetje te veel marge, maar dat is veiliger dan te weinig.

Waarom werkt dit?

Koch laat wiskundig zien dat, zolang de relatie tussen de onzekerheden en het eindresultaat redelijk lineair is (geen rare, gekrulde lijnen), deze methode altijd werkt.

• De regel: Als je $N$ verschillende teams combineert, vermenigvuldig je de onzekerheid met $N$.
• Het resultaat: Je kunt er zeker van zijn dat je nooit de onzekerheid onderschat, zelfs als je niet weet hoe de teams met elkaar verbonden zijn.

Wanneer werkt het niet?

Deze truc werkt perfect voor kleine, onbelangrijke onzekerheden. Maar als één van die onzekerheden de grootste oorzaak is van je twijfel (bijvoorbeeld: "We weten niet eens of de brug wel bestaat"), dan is het vermenigvuldigen met 2 of 3 misschien niet genoeg, of juist te veel. In die gevallen moet je echt diep in de natuurkunde duiken om te begrijpen hoe de teams precies met elkaar verbonden zijn.

Conclusie

Kort samengevat: Als je twee wetenschappelijke teams samenbrengt die in verschillende talen praten over hun onzekerheden, en je weet niet hoe die onzekerheden met elkaar verbonden zijn, doe dan alsof ze los van elkaar staan, maar maak je marge groter.

Het is als het dragen van een extra dikke jas op een dag waarop je niet zeker weet of het gaat regenen of niet. Als het niet regent, heb je het misschien een beetje warm, maar als het stortregent, blijf je droog. Je voorkomt zo dat je nat wordt door een onbekende correlatie.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Covering Unknown Correlations in Bayesian Priors by Inflating Uncertainties" van Lukas Koch, geschreven in het Nederlands.

Titel: Het afdekken van onbekende correlaties in Bayesiaanse priors door inflatie van onzekerheden

1. Het Probleem

Bayesiaanse analyses vereisen dat alle variabele modelparameters een a-priori waarschijnlijkheidsverdeling (prior) krijgen. Een specifieke uitdaging doet zich voor bij het combineren van meerdere experimenten die verschillende parametrisaties gebruiken voor hun nuisance parameters (storende parameters).

• Het dilemma: Als parameters in twee modellen exact dezelfde fysica beschrijven, zouden ze 100% gecorreleerd moeten zijn. Als ze onafhankelijke fysica beschrijven, moeten ze ongecorreleerd zijn.
• De complexiteit: Vaak beschrijven de parameters echter gerelateerde of overlappende fysica (bijvoorbeeld neutrino-interacties in verschillende experimenten zoals T2K en NOvA). Het is niet triviaal om de gezamenlijke prior-verdeling te bepalen voor deze gevallen.
• Het risico: Zelfs als de priors per experiment goed gemotiveerd zijn, kunnen onbekende correlaties tussen de experimenten leiden tot onbedoelde gevolgen voor de posterior-verdeling van de parameters van belang. Dit kan resulteren in onderschatte onzekerheden, wat de betrouwbaarheid van de resultaten ondermijnt.

2. Methodologie

De auteur analyseert wiskundig hoe correlaties in de prior de posterior-variatie beïnvloeden en stelt een conservatieve benadering voor.

• Wiskundige basis:
  De totale variantie van een parameter van belang ($\theta$) wordt uitgedrukt via de wet van totale variantie:
  $$\text{Var}[\theta|x] = E[\text{Var}[\theta | x, \phi] | x] + \text{Var}[E[\theta | x, \phi] | x]$$
  Waarbij $\phi$ de vector van nuisance parameters is. De tweede term (de "extrinsieke" variantie) hangt af van de covariantiematrix $\Sigma_\phi$ van de nuisance parameters.
  Als er $n_B$ blokken zijn met bekende covariantie (binnen elk experiment) maar onbekende correlaties tussen deze blokken, kan de keuze van de correlatie de totale onzekerheid significant beïnvloeden.

• De oplossing: Inflatie van de prior:
  In plaats van te proberen de exacte (onbekende) correlaties te schatten, stelt de auteur voor om de aannames van geen correlatie (onafhankelijkheid) te gebruiken, maar de onzekerheid (covariantie) van de priors systematisch op te blazen.

  • Laat $\Sigma_{\phi,0}$ de covariantiematrix zijn onder de aanname van nul correlatie tussen de blokken.
  • De conservatieve covariantiematrix wordt dan:
    $$\Sigma_{\phi, \text{conservative}} = n_B \cdot \Sigma_{\phi,0}$$
  • Hierbij is $n_B$ het aantal blokken (d.w.z. het aantal experimenten dat wordt gecombineerd).

• Analyse van hogere-orde effecten:
  De methode is strikt geldig onder de aanname dat het effect van nuisance parameters op de parameters van belang lineair is binnen het bereik van de onzekerheden. De auteur onderzoekt ook kwadratische en hogere-orde termen:

  • Voor de intrinsieke variantie: Inflatie is veilig zolang de kwadratische termen de variantie niet verkleinen (positief semi-definiet).
  • Voor de extrinsieke variantie: Zelfs bij kwadratische termen in de verwachtingswaarde van $\theta$, is de inflatie met een factor $n_B$ conservatief; de maximale invloed van het "fine-tunen" van onbekende correlaties is altijd kleiner dan of gelijk aan de inflatie.
  • Voor de posterior gemiddelde waarde: Kwantitatieve termen kunnen de gemiddelde waarde verschuiven. Hoewel er geen strikt "conservatief" argument is voor de bias in de gemiddelde waarde, kan de maximale mogelijke bias worden geschat en vergeleken met de totale onzekerheid.

3. Belangrijkste Bijdragen

1. Formele afleiding van een conservatieve bovengrens: Het paper bewijst wiskundig dat het inflateren van de ongecorreleerde prior-covariantie met een factor $n_B$ (het aantal experimenten) altijd leidt tot een conservatieve schatting van de posterior-variantie, mits de relatie lineair is.
2. Praktische oplossing voor complexe analyses: Het biedt een directe, reproduceerbare methode voor analyses waarbij verschillende experimenten worden gecombineerd met verschillende parametrisaties, zonder dat er uitgebreide, arbeidsintensieve studies nodig zijn voor elke mogelijke correlatiecombinatie.
3. Analyse van lineariteitsaanname: Het paper gaat in op de beperkingen van de lineaire benadering en biedt richtlijnen om te beoordelen of hogere-orde effecten (kwadratische termen) de geldigheid van de methode in gevaar brengen.

4. Resultaten

• De maximale extrinsieke variantie die kan worden veroorzaakt door onbekende correlaties is beperkt tot een factor $n_B$ ten opzichte van het geval zonder correlaties.
• Het inflateren van de prior met $n_B$ dekt dus alle mogelijke scenario's van correlatie tussen de blokken.
• Voor kwadratische termen in de verwachtingswaarde van $\theta$ geldt een vergelijkbare ongelijkheid: de inflatie is veiliger dan het proberen te fine-tunen van de correlaties.
• De methode is het meest effectief voor sub-dominante parameters. Als nuisance parameters de dominante bron van onzekerheid zijn, kan het verdubbelen of verdrievoudigen van de variantie onacceptabel zijn, en is een specifieke fysica-gebaseerde herparametrisatie nodig.

5. Significantie

Deze paper biedt een cruciale oplossing voor een veelvoorkomend probleem in de moderne deeltjesfysica en statistiek: het combineren van datasets met verschillende modeldefinities.

• Voorkomen van "Attrition": Zonder deze methode kunnen vele kleine, onbekende correlaties zich optellen tot een aanzienlijke onderschatting van de totale onzekerheid (het "attrition"-effect).
• Robuustheid: Het stelt onderzoekers in staat om conservatieve resultaten te publiceren zonder de fysica van de correlaties volledig te hoeven begrijpen of te modelleren.
• Toepasbaarheid: De methode is direct toepasbaar op complexe gezamenlijke analyses, zoals die van T2K en NOvA voor neutrino-oscillaties, en voorkomt dat resultaten onnodig optimistisch worden gepresenteerd.

Kortom, de auteur stelt dat het "veilig" is om onzekerheden op te blazen met een factor gelijk aan het aantal gecombineerde experimenten, om zo gegarandeerd conservatieve posterior-onzekerheden te verkrijgen in het geval van onbekende correlaties tussen nuisance parameters.