Fisher Forecasting for the DESC with $\texttt{Augur}$

Technische Samenvatting: Fisher Forecasting voor de DESC met Augur

Probleemstelling
De Legacy Survey of Space and Time (LSST) van de Vera C. Rubin Observatory zal naar verwachting ongekende beperkingen opleggen aan kosmologische parameters door middel van haar tienjarige survey. Om robuuste kosmologische metingen te waarborgen, vereist de Dark Energy Science Collaboration (DESC) computationeel goedkope methoden om de prestaties van voorgestelde analyses te beoordelen en keuzes in modellering te testen voordat de dataverzameling begint. Hoewel volledige Markov Chain Monte Carlo (MCMC) of nested sampling analyses precieze beperkingen bieden, zijn deze vaak te rekenintensief voor snelle exploratie van modelruimtes. De Fisher Information Matrix-formaliteit biedt een sneller alternatief door parameterbeperkingen te schatten via numerieke afgeleiden van de log-likelihood. De betrouwbaarheid van Fisher-voorspellingen hangt echter sterk af van de aanname dat de log-posterior lokaal goed benaderd kan worden door een kwadratische functie en van de numerieke stabiliteit van de afgeleideberekeningen. Eerdere LSST DESC-werken hadden vastgesteld wat de vereisten zijn voor systematische effecten, maar misten een publiekelijk beschikbare, verenigde forecasting-bibliotheek die geïntegreerd is in het DESC-software-ecosysteem.

Methodologie
Dit artikel introduceert Augur, een door de LSST DESC ontwikkelde Python-gebaseerde Fisher forecasting-tool. Augur is ontworpen om direct te koppelen met de bestaande DESC-softwarestack, waaronder:

• CCL (Core Cosmology Library): Voor theoretische voorspellingen van kosmologische observeerbare grootheden.
• TJPCov: Voor analytische covariantieschatting.
• firecrown: Het officiële DESC-likelihood-framework.

De tool berekent Fisher-matrices door numerieke afgeleiden van modelvoorspellingen te evalueren met betrekking tot kosmologische en systematische parameters. De auteurs valideren Augur met behulp van een "3×2pt"-analyse (combinatie van galaxy clustering, cosmic shear en galaxy-galaxy lensing) in de harmonische ruimte, waarbij configuraties voor Year 1 (Y1) en Year 10 (Y10) van de LSST-survey worden gemodelleerd.

Belangrijke methodologische componenten zijn onder meer:

1. Numerieke Differentiatie: De studie onderzoekt diverse differentietechnieken, waaronder de 5-punts stencil-methode, numdifftools en derivkit (gebruikmakend van adaptieve Chebyshev-polynomen).
2. Hyperparameter Stabiliteit: De auteurs testen systematisch de stabiliteit van voorspellingen tegen:
   • Stapgrootte (Step Size): De grootte van de parameterperturbaties die gebruikt worden voor de afgeleiden.
   • Roodverschuivingsverdeling ($n(z)$): De bemonsteringsresolutie (aantal knopen) van de bron- en lens-galaxie roodverschuivingsverdelingen.
   • Vermogensspectrummodellen (Power Spectrum Models): Vergelijking van lineaire (Eisenstein-Hu, CAMB) en niet-lineaire (Halofit, HMCode2020) voorschriften.
   • Binning: De impact van bin-averaging op de hoekvermogensspectra (top-hat filters).
3. Validatiebenchmarks: De outputs van Augur worden vergeleken met:
   • De legacy DESC Science Requirements Document (SRD) pipeline (gebruikmakend van een aangepaste CosmoLike).
   • CosmoSIS met firecrown.
   • Directe posterior sampling via PolyChord nested sampling.
   • Interne consistentiecontroles voor de schatting van de Fisher-bias.

Kernbijdragen

• Augur Framework: De release van een publieke, DESC-native forecasting-tool die theoretische voorspellingen, likelihood-evaluatie en covariantieschatting verenigt binnen één enkel ecosysteem.
• Stabiliteitsdiagnostiek: Het artikel stelt specifieke "werkgebieden" vast voor numerieke hyperparameters. Er wordt vastgesteld dat een genormaliseerde stapgrootte van ongeveer 5% van het uniforme prior-bereik (bijv. $\Delta s = 0.05$) stabiele resultaten oplevert, terwijl kleinere stapgroottes numerieke ruis introduceren, met name bij niet-lineaire vermogensspectrummodellen zoals Halofit.
• Modelsensitiviteit: De studie toont aan dat verschillende niet-lineaire vermogensspectrumvoorschriften (bijv. Halofit versus HMCode2020) kunnen leiden tot significante variaties (tot 10% of meer) in Figures of Merit (FOMs), zelfs binnen stabiele stapgrootte-regimes, wat de gevoeligheid van Fisher-voorspellingen voor modelkeuzes benadrukt.
• Bias-schatting: De tool bevat functionaliteit om de parameterbiases te schatten die voortvloeien uit modelmismatches, waarbij het artikel de geldigheidsgrenzen van deze lineaire benaderingen definieert.

Resultaten

• Overeenstemming met Externe Codes: Augur produceert resultaten die consistent zijn met de CosmoSIS + firecrown pipeline (bijna exacte overeenstemming in correlatiematrices) en de DESC SRD pipeline (DEFOM-overeenstemming binnen 10% voor Y1 en 2% voor Y10). Discrepanties met de SRD-pipeline worden toegeschreven aan verschillen in $n(z)$ binning en integratiemethoden.
• Validatie tegenover Nested Sampling: Voor stabiele stapgroottes ($\Delta s = 0.05$) reproduceren de Fisher-contouren van Augur nauwkeurig de vorm, oriëntatie en het gebied van de parameter-posteriors verkregen via PolyChord nested sampling. De correlatiematrices tussen de Fisher- en de nested sampling-resultaten verschillen met minder dan 0,05, wat ruim binnen de acceptatie-drempel van de auteurs van 0,1 ligt.
• Instabiliteitsrisico's: De studie bevestigt dat onstabiele stapgroottes (te klein) of ontoereikende $n(z)$-sampling kunnen leiden tot onbetrouwbare FOMs en incorrecte degeneratierichtingen. Specifiek leiden stapgroottes onder de 1% van de prior-breedte vaak tot situaties waarin numerieke ruis de afgeleiden domineert.
• Bin-Averaging: De inclusie van top-hat bandpower-filters vlakt variaties in FOMs over stapgroottes uit, waardoor sommige numerieke instabiliteiten geassocieerd met single-mode evaluaties worden gemitigeerd.
• Fisher Bias Limieten: Interne consistentietests laten zien dat de schattingen van de Fisher-bias kleine input-parameterverschuivingen accuraat herstellen (binnen $\sim 1\sigma$). Echter, voor grotere verschuivingen (groter dan $\sim 1\sigma$ in $w_0$ of $0,5\sigma$ in $w_a$) faalt de lineaire benadering en wordt de bias niet robuust hersteld.

Betekenis en Claims
De auteurs stellen expliciet dat het primaire doel van dit werk niet is om geüpdatete kosmologische voorspellingen te leveren, maar om een forecasting-framework te introduceren en te valideren. Het artikel claimt dat Augur een stabiele, betrouwbare en reproduceerbare methode biedt voor het genereren van Fisher-voorspellingen binnen het DESC-software-ecosysteem. Door best practices voor numerieke afgeleiden en modelkeuzes te documenteren, stelt de tool gebruikers in staat om betrouwbare diagnostieken te verkrijgen voor toekomstige LSST-analyses. Het werk dient als een methode- en validatiestudie, die aantoont dat Fisher-voorspellingen met hoge getrouwheid ten opzichte van volledige likelihood-sampling kunnen worden gegenereerd wanneer aan de juiste numerieke stabiliteitscriteria wordt voldaan. De auteurs merken op dat hoewel de huidige implementatie vertrouwt op eindige-verschil-afgeleiden, de hier vastgestelde stabiliteitsbenchmarks zullen dienen als fundament voor toekomstige differentiabele kosmologie-frameworks.