Euclid preparation. LXXXIX. Accurate and precise data-driven angular power spectrum covariances

Titolo: Preparazione Euclid LXXXIX. Covarianze accurate e precise per gli spettri di potenza angolare basate sui dati

1. Il Problema

Il telescopio spaziale Euclid mapperà la distribuzione di miliardi di galassie fino a un redshift di 2, generando un vettore di dati estremamente grande (circa $10^5$ elementi) composto da spettri di potenza angolare per il clustering e il lensing debole (modi E e B).
Per validare le misure cosmologiche e testare il modello $\Lambda$CDM, è fondamentale disporre di matrici di covarianza robuste, non singolari e non distorte (unbiased).
Le sfide principali identificate sono:

• Dimensionalità: Le tecniche standard per stimare le covarianze interne (come il jackknife) richiedono un numero di segmenti o simulazioni superiore alla lunghezza del vettore di dati per evitare che la matrice di covarianza sia singolare (non invertibile). Con $10^5$ elementi, ciò richiederebbe un numero proibitivo di simulazioni o segmenti.
• Bias del Jackknife: Le stime di covarianza ottenute tramite ricampionamento jackknife tendono a essere distorte verso l'alto (soprattutto sulla diagonale) e possono sottostimare le covarianze su grandi scale.
• Dipendenze dai modelli: I metodi analitici richiedono assunzioni sulla cosmologia e sulla popolazione di galassie, che non sono desiderabili per la validazione dei dati osservativi.

2. Metodologia

Gli autori hanno sviluppato una nuova metodologia chiamata DICES (Debiased Internal Covariance Estimation with Shrinkage). Il processo si articola in quattro fasi principali:

A. Partizionamento del Cielo (Sky Partitioning)

Per calcolare le stime jackknife, il cielo deve essere diviso in segmenti di area uguale.

• Problema: L'algoritmo k-means (spesso usato in cosmologia) produce segmenti con aree disuguali (deviazione standard del 16%), introducendo varianza indesiderata.
• Soluzione: Gli autori hanno adattato l'algoritmo di Partizionamento dello Spazio Binario (BSP - Binary Space Partition) per lavorare su regioni arbitrariamente forme sulla sfera unitaria.
  • L'algoritmo divide ricorsivamente la mappa di copertura (footprint) in due parti di peso uguale.
  • Garantisce che le aree dei segmenti siano quasi identiche (deviazione standard ridotta a 0,11% rispetto al 16% del k-means).
  • È stato implementato nel pacchetto Python pubblico SkySegmentor.

B. Correzione Parziale del Cielo (Partial-Sky Correction)

Poiché i segmenti jackknife rimuovono porzioni di dati, la copertura del cielo cambia, alterando la misurazione degli spettri di potenza.

• Viene applicata una correzione trasformando gli spettri di potenza angolare ($C_\ell$) in funzioni di correlazione nello spazio reale.
• Si utilizza una funzione di smorzamento logistica per evitare instabilità numeriche quando la copertura del cielo jackknife tende a zero.

C. Shrinking Lineare (Linear Shrinkage)

Per gestire la dimensionalità elevata e il rumore nelle stime jackknife:

• Si applica lo shrinking lineare (Ledoit & Wolf 2004) alla matrice di correlazione empirica.
• La matrice di covarianza rumorosa ($C_{est}$) viene combinata con una matrice target ben condizionata ($C_{tar}$), predetta da un modello Gaussiano.
• Si utilizza lo shrinking scalare (un unico parametro $\lambda$ per l'intera matrice), che si è dimostrato il più stabile e accurato. Questo garantisce che la matrice risultante sia non singolare e invertibile.

D. Correzione del Bias (Bias Correction)

Per correggere la tendenza del jackknife a sovrastimare la varianza (diagonale):

• Viene applicata una correzione di bias delete-2 jackknife.
• Si rimuovono coppie di segmenti invece di uno solo, calcolando una correzione matematica basata su Efron & Stein (1981).
• Questo rimuove il bias sistematico sulle componenti diagonali.

E. La Sintesi DICES

Il metodo finale combina i vantaggi delle due tecniche:

1. Si prende la struttura di correlazione (off-diagonale) dalla matrice di covarianza shrunk (che è stabile e non rumorosa).
2. Si sostituiscono le deviazioni standard (diagonale) con quelle ottenute dal jackknife debiasato (che sono accurate e non distorte).
   La formula risultante è:
   $$C^{DICES}_{ij} = C^{shr}_{ij} \frac{\sqrt{C^{debias, ii}_{JK} C^{debias, jj}_{JK}}}{\sqrt{C^{shr, ii}_{shr} C^{shr, jj}_{shr}}}$$

3. Risultati Chiave

Il metodo è stato validato su 1000 cataloghi sintetici di galassie simili a Euclid (simulazioni log-normali GLASS).

• Accuratezza: DICES produce stime di covarianza accurate e non singolari.
• Riduzione dell'Errore: Rispetto alle stime jackknife standard, DICES migliora l'errore relativo:
  • -33% per la matrice di covarianza.
  • -48% per la struttura di correlazione.
• Rapporto Segnale-Rumore (SNR): L'uso di DICES porta a stime di SNR più accurate rispetto alla sola covarianza shrunk, specialmente per il clustering, correggendo i bias osservati nelle stime diagonali.
• Confronto con la "Verità": Le stime DICES riproducono fedelmente lo spettro degli autovalori (eigenspectrum) e la struttura di correlazione della covarianza campionaria (ground truth), eliminando sia il rumore delle off-diagonali che il bias delle diagonali.

4. Contributi e Significatività

• Indipendenza dal Modello: DICES è un metodo puramente basato sui dati (data-driven), non richiede assunzioni sulla cosmologia, sulla popolazione di galassie o sul bias, rendendolo ideale per la validazione sistematica.
• Scalabilità: Permette di gestire vettori di dati di dimensioni massive ($10^5$ elementi) che altrimenti renderebbero impossibile l'inversione della matrice di covarianza con metodi tradizionali.
• Strumenti Open Source: L'algoritmo di partizionamento (SkySegmentor) e l'implementazione DICES (tramite il pacchetto heracles.py) sono resi pubblici per la comunità scientifica.
• Impatto su Euclid: Questo metodo è cruciale per il primo rilascio di dati (DR1) e per le future analisi della Wide Survey di Euclid, garantendo che le misure di energia oscura e materia oscura siano robuste contro errori sistematici osservativi.

In sintesi, il lavoro presenta una soluzione tecnica matura per uno dei problemi più critici nell'analisi dei dati di cosmologia osservativa moderna: la stima robusta e invertibile di matrici di covarianza ad alta dimensionalità senza introdurre bias cosmologici.