On combining estimated and analytic covariance matrices

Titel: Over het combineren van geschatte en analytische covariantiematrices

Auteurs: Alan Heavens, Lorne Whiteway, Elena Sellentin
Datum: April 2026 (Preprint)

1. Probleemstelling

In de statistische analyse van kosmologische data wordt vaak aangenomen dat de steekproefverdeling Gaussian (normaal) is. De likelihood-functie wordt dan gebaseerd op een covariantiematrix die uit simulaties is geschat. Echter, wanneer de ware covariantiematrix onbekend is en alleen een schatting ($\hat{C}$) uit een eindig aantal simulaties ($N_{sim}$) beschikbaar is, is de ware likelihood-functie geen Gaussian, maar een multivariate Student-t-verdeling.

Dit komt doordat men marginaliseert over de onzekerheid in de ware covariantiematrix (die een inverse-Wishart-verdeling volgt). Bestaande methoden zoals de Hartlap-correction (Hartlap et al. 2007) corrigeren wel voor de bias in de precisiematrix, maar falen om de "zware staarten" (heavy tails) van de ware verdeling weer te geven. Dit leidt tot onnauwkeurige waarschijnlijkheidsschattingen, vooral bij spanningen (tensions) tussen datasets.

De uitdaging:
In de praktijk bevatten kosmologische analyses vaak extra Gaussian foutbronnen (bijv. instrumentale ruis, super-sample covariance, emulator-onzekerheden) die analytisch berekend kunnen worden. De likelihood wordt dan een convolutie van een Student-t-verdeling (vanwege de geschatte covariantie) en een Gaussian-verdeling (vanwege de analytische fouten). Deze convolutie heeft geen eenvoudige gesloten vorm, wat de inferentie complex maakt.

2. Methodologie

Het paper introduceert een nauwkeurige benadering voor deze convolutie door deze te modelleren als een nieuwe multivariate Student-t-verdeling met aangepaste parameters.

Kernstappen van de methode:

1. Definitie van de verdeling:

   • $X \sim t_\nu(0, \Sigma)$: De variabele met onzekerheid uit simulaties (Student-t).
   • $Y \sim N(0, \Sigma_g)$: De onafhankelijke Gaussian variabele (bijv. ruis).
   • Doel: De verdeling van $Z = X + Y$ benaderen als $Z \approx t_{\nu^*}(0, \Sigma^*)$.

2. Momentenmatching:
   Om de parameters $\nu^*$ (effectieve vrijheidsgraden) en $\Sigma^*$ (schaal-matrix) te bepalen, worden de eerste twee momenten van de ware verdeling gelijkgesteld aan die van de benaderende Student-t-verdeling:

   • Covariantie: De totale covariantie is de som van de covarianties van de componenten. Voor Student-t is de covariantie $\frac{\nu}{\nu-2}\Sigma$.
     $$\Sigma_Z = \Sigma_g + \frac{\nu}{\nu-2}\Sigma$$
   • Multivariate Kurtosis: Er wordt gebruikgemaakt van de kurtosis-definitie van Mardia (1970). De kurtosis van de convolutie wordt berekend en gelijkgesteld aan de kurtosis van een Student-t-verdeling met $\nu^*$ vrijheidsgraden:
     $$\text{Kurt}(t_{\nu^*}) = \frac{p(p+2)(\nu^*-2)}{\nu^*-4}$$

3. Afleiding van parameters:
   Uit het matchen van de kurtosis en covariantie worden de volgende formules afgeleid voor de effectieve parameters:

   • $\nu^* = 4 + \frac{2p(p+2)}{\kappa}$
   • $\Sigma^* = \frac{\nu^*-2}{\nu^*} \Sigma_Z$
     Waarbij $\kappa$ afhangt van de sporen van matrices afgeleid van $\Sigma_Z$ en $\Sigma$.

4. Alternatieve Sampling:
   Het paper presenteert ook een exacte sampling-algoritme gebaseerd op de mengsel-representatie (mixture representation) van de Student-t-verdeling. Hierbij wordt de Student-t-verdeling geschreven als een schaal-mix van Gaussian-verdelingen, wat efficiënte sampling in hiërarchische modellen (bijv. via Stan) mogelijk maakt zonder benadering.

3. Belangrijkste Bijdragen

• Analytische Benadering: Een compacte, analytisch hanteerbare formule voor de likelihood-functie die zowel de onzekerheid uit simulaties als extra Gaussian ruis combineert, terwijl de zware staarten behouden blijven.
• Generalisatie: De methode generaliseert het werk van Sellentin & Heavens (2016) en Percival et al. (2022) naar situaties met gemengde covariantiebronnen.
• Praktische Implementatie: De auteurs bieden een Python-implementatie (Appendix D) die direct kan worden gebruikt in bestaande kosmologische inferentie-pipelines. Het vereist alleen het aanpassen van de vrijheidsgraden en de schaal-matrix.
• Theoretische Inzicht: Bewijs dat de convolutie van een Student-t en een Gaussian strikt genomen geen Student-t is (Appendix A), maar dat de momentenmatching een zeer nauwkeurige benadering biedt.

4. Resultaten

De methode is getest met synthetische data en realistische kosmologische scenario's (zwakke lensing/cosmic shear):

• Coverage Tests: In synthetische experimenten (Fig. 1 en 2) toont de benaderde Student-t likelihood aanzienlijk betere dekking (coverage) dan de traditionele Gaussian benadering (zelfs met Hartlap-correction of covariantie-matching). De Gaussian benadering faalt vooral wanneer de Gaussian ruis niet dominant is ($\Sigma_g \not\gg 1$).
• Cosmologische Inferentie: Bij toepassing op cosmic shear surveys (met 777 en 14000 vierkante graden) bleek dat de benaderde Student-t likelihood bijna identiek is aan de exacte posterior verkregen via hiërarchische modellen (BHM).
  • De traditionele Gaussian benadering onderschat de foutmarges aanzienlijk.
  • De Student-t benadering herstelt de juiste onzekerheidsintervallen, zelfs bij een relatief klein aantal simulaties ($N_{sim}$) ten opzichte van het aantal datapunten.

5. Betekenis en Toepassingsgebied

Deze paper biedt een cruciale oplossing voor de toenemende complexiteit in de analyse van grote kosmologische datasets (zoals Euclid, LSST, CMB):

1. Behoud van Zware Staarten: Het behoudt de statistische eigenschappen die nodig zijn om correcte waarschijnlijkheden te geven in de staarten van de verdeling, wat essentieel is voor het detecteren en interpreteren van spanningen tussen datasets.
2. Efficiëntie: Het biedt een "drop-in" vervanging voor bestaande Gaussian likelihood-codes, zonder de rekenkosten van complexe hiërarchische sampling te hoeven betalen, terwijl het wel de nauwkeurigheid van die methoden benadert.
3. Brede Toepasbaarheid: De methode is relevant voor:
   • Cosmic Shear: Combinatie van binnen-steekproef covariantie (simulaties) en super-sample covariance (analytisch).
   • Bayesische Hiërarchische Modellen (BHM): Waar onzekerheden over meerdere niveaus worden doorgegeven.
   • Emulators: Waar emulator-onzekerheid (Gaussian) wordt gecombineerd met simulatie-onzekerheid.
   • CMB: Bij lage multipoles waar de verdeling van power spectra niet-Gaussian is.

Conclusie:
De auteurs concluderen dat voor analyses waarbij het aantal simulaties niet ver boven het aantal datapunten ligt, het gebruik van de voorgestelde Student-t likelihood (of het exacte hiërarchische model) noodzakelijk is om systematische fouten in de onzekerheidsbepaling te voorkomen. De voorgestelde benadering is een eenvoudige, maar fundamenteel correcte verbetering op de huidige standaardpraktijk.