Euclid preparation. LXXXIX. Accurate and precise data-driven angular power spectrum covariances

Titel: Euclid voorbereiding LXXXIX: Nauwkeurige en precieze datagedreven covarianties voor hoekvermogensspectra

1. Het Probleem

De Euclid-missie zal de verdeling van miljarden sterrenstelsels in kaart brengen over 14.000 vierkante graden aan de hemel. Een van de belangrijkste wetenschappelijke doelen is het meten van de hoekvermogensspectra (angular power spectra) van clustering en weak lensing (cosmische shear).

• Grote datavector: De volledige datavector bestaat naar schatting uit ongeveer $10^5$ elementen (gecombineerde auto- en cross-spectra voor clustering en E/B-modes in meerdere tomografische bins).
• Covariantie-uitdaging: Voor betrouwbare statistische inferentie (zoals likelihood-analyses) is een nauwkeurige schatting van de covariantiematrix nodig.
  • Traditionele methoden vereisen dat het aantal realisaties (mocks of jackknife-segmenten) groter is dan de lengte van de datavector om een niet-singuliere (inverteerbare) matrix te garanderen. Dit zou meer dan $10^5$ realisaties vereisen, wat computationeel onhaalbaar is.
  • Analytische voorspellingen zijn vaak afhankelijk van aannames over de kosmologie, de galaxiepopulatie en bias, wat de validatie van systematische fouten bemoeilijkt.
  • Bestaande datagedreven methoden, zoals Jackknife-resampling, leiden vaak tot covarianties die singulier zijn (niet inverteerbaar) en bevooroordeeld (biased). Specifiek neigen jackknife-schattingen om de diagonale elementen (varianties) te overschatten en hebben ze een slechte structuur voor de niet-diagonale elementen (correlaties), vooral bij een beperkt aantal segmenten.

2. Methodologie

De auteurs ontwikkelen een nieuwe methode genaamd DICES (Debiased Internal Covariance Estimation with Shrinkage). De aanpak bestaat uit vier hoofdstappen:

A. Optimale Hemelverdeling (Sky Partitioning)

Om jackknife-segmenten te creëren die gelijk zijn in oppervlakte (essentieel voor onbevooroordeelde schattingen), passen de auteurs een Binary Space Partitioning (BSP) algoritme toe op de eenheidsbol.

• In plaats van de gebruikelijke k-means clustering (wat leidt tot segmenten met grote variatie in oppervlakte), deelt BSP het survey-voetafdruk sequentieel op langs hypervlakken.
• Dit zorgt voor segmenten met een extreem gelijk oppervlak (standaardafwijking van slechts 0,11% ten opzichte van het gemiddelde, vergeleken met 16% bij k-means).
• Het algoritme is geïmplementeerd in het open-source Python-pakket SkySegmentor.

B. Covariantieberekening en Correcties

1. Delete-1 Jackknife: Er worden $N_{JK}$ segmenten gegenereerd. Voor elk segment wordt de data verwijderd en het vermogensspectrum opnieuw berekend.
2. Partial-Sky Correctie: Omdat het verwijderen van een segment het hemeloppervlak verandert, wordt een correctie toegepast om de menging van harmonische modi te compenseren. Dit gebeurt door de spectra om te zetten naar de reële ruimte (correlatiefunctie), te normaliseren met de maskers, en terug te transformeren. Een logistische demping wordt gebruikt om numerieke instabiliteiten te voorkomen waar het masker dicht bij nul ligt.
3. Lineaire Shrinkage: Om het ruisprobleem en singulariteit op te lossen, wordt de empirische covariantiematrix ($C_{est}$) gecombineerd met een goed geconditioneerde doelmatrix ($C_{tar}$), gebaseerd op een Gaussische voorspelling van de correlatiematrix.
   • Formule: $C_{shr} = \lambda C_{tar} + (1 - \lambda) C_{est}$.
   • De shrinkage-intensiteit $\lambda$ wordt geoptimaliseerd om de ruis te minimaliseren terwijl de structuur behouden blijft. Dit garandeert dat de matrix niet-singulier en inverteerbaar is.

C. Bias Correctie (Delete-2 Jackknife)

Jackknife-schattingen neigen ertoe de diagonale elementen (varianties) te overschatten.

• De auteurs passen een delete-2 jackknife correctie toe. Hierbij worden telkens twee segmenten tegelijk verwijderd om de bias te schatten en te corrigeren.
• Hoewel dit de diagonale elementen onbevooroordeeld maakt, blijft de niet-diagonale structuur (correlaties) zeer ruisgevoelig.

D. De DICES Combinatie

De uiteindelijke methode combineert het beste van beide werelden:

• De niet-diagonale structuur (correlatiematrix) wordt overgenomen van de geshrinkte covariantie (die ruisarm en stabiel is).
• De diagonale elementen (standaardafwijkingen) worden vervangen door de onbevooroordeelde schattingen van de delete-2 jackknife.
• Formule: $C^{DICES}_{ij} = C^{shr}_{ij} \times \frac{\sqrt{C^{debias, ii}_{JK} C^{debias, jj}_{JK}}}{\sqrt{C^{shr, ii} C^{shr, jj}}}$.

3. Belangrijkste Bijdragen

1. BSP-algoritme voor de hemel: Een nieuwe, efficiënte methode om willekeurig gevormde survey-voetafdrukken op de bol op te delen in exact gelijke oppervlakken, wat de variabiliteit in jackknife-schattingen drastisch verlaagt.
2. DICES-methode: Een hybride aanpak die de singulariteit van jackknife-covarianties oplost via shrinkage en de bias in de varianties corrigeert via delete-2 jackknife.
3. Validatie op Lognormale Catalogi: De methode is getest op 1000 synthetische Euclid-achtige catalogi (gegenereerd met GLASS), wat een robuust testplatform biedt voor de statistische eigenschappen.

4. Resultaten

De validatie op synthetische data toont de volgende verbeteringen aan ten opzichte van standaard jackknife-schattingen:

• Niet-singulier: DICES produceert altijd een inverteerbare covariantiematrix, zelfs met een beperkt aantal jackknife-segmenten ($N_{JK} = 74$).
• Onbevooroordeeld: De diagonale elementen (fouten) zijn niet langer systematisch te hoog, in tegenstelling tot standaard jackknife.
• Verbeterde Nauwkeurigheid:
  • De relatieve fout in de covariantie is met 33% verbeterd.
  • De nauwkeurigheid van de correlatiestructuur is met 48% verbeterd.
• Signaal-Ruisverhouding (SNR): De berekende SNR voor DICES komt beter overeen met de "ground truth" (sample covariance) dan bij andere methoden, hoewel er bij clustering nog een lichte bias blijft bestaan die afhankelijk is van het aantal segmenten.
• Eigenspectra: De verdeling van eigenwaarden van de DICES-covariantie volgt nauwkeuriger die van de ware sample-covariantie dan bij enkel shrinkage of enkel debiasing.

5. Betekenis en Toekomst

• Validatie van Systematische Fouten: DICES stelt de Euclid-wetenschappers in staat om covarianties direct uit de data te schatten zonder aannames over kosmologie of bias. Dit is cruciaal om te verifiëren of waargenomen effecten kosmologisch van aard zijn of het gevolg van instrumentele systematische fouten.
• Schaalbaarheid: De methode is schaalbaar naar de volledige Euclid-datavector ($10^5$ elementen), wat met traditionele jackknife-methoden onmogelijk zou zijn zonder duizenden realisaties.
• Toepassing: De methode is geïmplementeerd in het heracles.py pakket van de Euclid-collaboratie en is beschikbaar voor toekomstige data releases (zoals DR1).
• Beperkingen: De berekening van de delete-2 bias correctie is computationeel duur ($O(N_{JK}^2)$). Voor de eerste data releases wordt een lager aantal segmenten ($N_{JK} \approx 100$) gebruikt, maar voor latere releases met grotere oppervlakken kan dit aantal worden verhoogd voor nog hogere precisie.

Kortom, DICES biedt een robuuste, datagedreven oplossing voor het berekenen van covarianties die essentieel is voor de nauwkeurige kosmologische analyse van de Euclid-missie.