Cosmological Analysis with Calibrated Neural Quantile Estimation and Approximate Simulators

Probleemstelling

Een van de grootste uitdagingen bij het extraheren van informatie uit huidige en toekomstige surveys van de Kosmologische Groot-Schaal Structuur (LSS) is de beperkte beschikbaarheid van rekenkundig kostbare, hoogwaardige simulaties (zoals Particle-Particle of PP-simulaties en hydrodynamische simulaties).

• Op kleine schalen breekt de perturbatietheorie af, waardoor traditionele samenvattende statistieken (zoals het machtsspectrum) niet langer optimaal zijn.
• Simulation-Based Inference (SBI) biedt een oplossing door direct te leren van simulaties zonder een expliciete likelihood-functie. Echter, om nauwkeurige resultaten te krijgen, zijn enorme aantallen dure simulaties nodig.
• Benaderde simulaties (zoals Particle-Mesh of PM-simulaties) zijn veel sneller, maar bevatten residualen fouten die leiden tot vooringenomen (biased) inferentie van kosmologische parameters. Bestaande methoden kunnen deze fouten vaak niet volledig corrigeren zonder de rekenkosten van dure simulaties te dragen.

Methodologie: Gecalibreerde Neural Quantile Estimation (NQE)

De auteurs introduceren een nieuw SBI-framework dat Neural Quantile Estimation (NQE) combineert met een twee-staps calibratiestrategie. Dit framework maakt gebruik van een groot aantal snelle, benaderde simulaties voor training en een klein aantal dure, hoogwaardige simulaties voor calibratie.

1. Neural Quantile Estimation (NQE):

   • In plaats van de volledige posterior te modelleren met Normalizing Flows (zoals bij NPE), decomposeert NQE de joint posterior autoregressief in 1-dimensionale conditionele posteriors: $p(\theta|x) = \prod_i p(\theta^{(i)} | x, \theta^{(j<i)})$.
   • Het netwerk leert de kwantielen van deze conditionele verdelingen door een gewogen L1-verlies te minimaliseren.
   • De volledige posterior wordt gereconstrueerd door interpolatie van deze voorspelde kwantielen.

2. Twee-staps Calibratie:
   Om de vooringenomenheid veroorzaakt door de onnauwkeurige simulaties te elimineren, wordt een calibratie uitgevoerd met een kleine set hoogwaardige data:

   • Stap 1: Shift (Verschuiving): Elke geschatte $\tau$-kwantiel wordt aangepast zodat deze overeenkomt met de $\tau$-kwantiel op de calibratiedataset. Dit corrigeert systematische verschuivingen in de kwantielvoorspellingen.
   • Stap 2: Importance Sampling (IS): Gewichten worden toegepast aan de steekproeven op basis van de rangorde van hun waarschijnlijkheidsdichtheid. Dit zorgt ervoor dat de empirische dekking (empirical coverage) diagonaal is, wat een onbevooroordeelde posterior garandeert.

3. Datacompressie en Simulaties:

   • Data: Projectie van 2-dimensionale donkere-materiedichtheidskaarten (tot $k_{max} \sim 1.5 \, h/\text{Mpc}$).
   • Simulaties:
     • Trainingsdata: $\sim 10^4$ snelle PM-simulaties, gecorrigeerd met een overdrachtsfunctie (Transfer Function, TF) om de discrepantie met PP-simulaties te verminderen (PM+TF).
     • Calibratie: $\sim 10^2$ dure PP-simulaties.
   • Architectuur: Een diep Convolutional Neural Network (ResNet) wordt gezamenlijk getraind met het inferentienetwerk om informatie uit de kaarten te extraheren. Dit presteert beter dan vooraf gedefinieerde statistieken zoals het machtsspectrum (PS) of scattering transform (ST).

Belangrijkste Bijdragen

• Garantie van Onbevooroordeeldheid: Het framework garandeert een onbevooroordeelde posterior (diagonale empirische dekking), ongeacht de nauwkeurigheid van de benaderde simulator, zolang er maar voldoende hoogwaardige data voor calibratie beschikbaar is.
• Efficiëntie: Het bereikt bijna optimale beperkingskracht (constraining power) met een fractie van de rekenkosten. Het is mogelijk om te trainen op duizenden snelle simulaties en slechts honderden dure simulaties te gebruiken voor calibratie.
• Superioriteit van CNN's: De studie toont aan dat diepe CNN's, gezamenlijk getraind met het inferentienetwerk, meer informatie extraheren uit de velden dan traditionele samenvattende statistieken (zoals PS of ST), zelfs in scenario's met beperkte simulatiebudgetten.
• Open Source: Het NQE-algoritme is beschikbaar gesteld via het nqe pakket.

Resultaten

De methode werd getest op het infereren van de parameters $(\Omega_m, \sigma_8, n_s)$ uit donkere-materiekaarten bij $z=0$.

• Prestatie van Calibratie:
  • Ongecalibreerde schatters getraind op PM+TF-data vertoonden een duidelijke vooringenomenheid op PP-data.
  • Na calibratie met slechts 100 PP-simulaties werd deze vooringenomenheid volledig verwijderd, wat resulteerde in een diagonale empirische dekkingcurve.
• Beperkingskracht (Constraining Power):
  • De gecalibreerde schatter (getraind op $10^4$ PM+TF simulaties) bereikte een beperkingskracht die vergelijkbaar was met die van een schatter die direct was getraind op $10^4$ dure PP-simulaties.
  • Dit resulteerde in een 50-voudige reductie in de benodigde rekenkosten voor $k_{max} = 0.5 \, h/\text{Mpc}$, en een 12-voudige reductie voor $k_{max} = 1.5 \, h/\text{Mpc}$.
• Vergelijking Methoden:
  • De CNN-methode overtrof consistent de methoden gebaseerd op PS en ST+PS.
  • Zelfs met een klein budget (440 PP-simulaties) presteerde de gecalibreerde PM+TF-methode beter dan een methode die direct op die 440 PP-simulaties was getraind.

Betekenis en Toekomstperspectief

Dit werk biedt een praktisch en schaalbaar kader voor Simulation-Based Inference in de kosmologie.

• Het transformeert de evaluatie van benaderde simulatoren van een binair "goed genoeg of niet" naar een continuüm. Zelfs als een simulator niet perfect is, kan deze worden gebruikt voor training, zolang er maar een kleine set hoogwaardige data is voor calibratie.
• Het maakt het mogelijk om precieze inferentie uit te voeren over enorme volumes en tot op zeer kleine schalen, wat essentieel is voor toekomstige surveys zoals DESI, Euclid, Rubin en Roman.
• De methode is breed toepasbaar op elk probleem waarbij dure hoogwaardige simulaties worden gecombineerd met snellere, maar minder nauwkeurige alternatieven.

De auteurs benadrukken dat hoewel de huidige focus ligt op "bekende" onnauwkeurigheden in simulaties, de robuustheid ten opzichte van "onbekende" systematische fouten in de waarnemingen een onderwerp voor toekomstig onderzoek blijft.