A multi-eigenbasis approach to covariance matrix denoising for cosmological inference

Sintesi Tecnica: Un approccio a basi di autovettori multipli per la denoising della matrice di covarianza per l'inferenza cosmologica

Problematica
La stima accurata della matrice di covarianza è fondamentale per l'inferenza dei parametri cosmologici, particolarmente per i sondaggi della struttura su larga scala che mirano a una precisione sub-percentuale. Una sfida primaria sorge quando la dimensione del vettore dei dati ($n$) eccede il numero di campioni indipendenti disponibili ($N$). In questi regimi ($N < n$), la matrice di covarianza campionaria diventa singolare e non invertibile, rendendola inutilizzabile per le analisi standard di verosimiglianza.

Questo problema è acuto nell'analisi della foresta Lyman-alpha ($Ly\alpha$) 3D, che misura le auto-correlazioni e le cross-correlazioni con i quasar attraverso bin di separazione comobile. I vettori dei dati risultanti sono grandi (ad esempio, $7500 \times 7500$ per il dataset DESI DR1), mentre il numero di sub-campioni disponibili (tipicamente $\sim1000$ pixel HEALPix) è insufficiente per produrre una stima affidabile e invertibile. L'attuale approccio standard per mitigare questo problema prevede lo smoothing degli elementi fuori diagonale della matrice di correlazione basandosi sulle distanze di separazione. Tuttavia, questa procedura impone forti assunzioni strutturali che cancellano genuine strutture di correlazione su larga scala (come quelle derivanti dalla varianza cosmica), portando potenzialmente a incertezze sottostimate e alla perdita di potere di vincolo. Sebbene esistano stimatori di shrinkage e approcci basati su reti neurali, essi affrontano limitazioni riguardanti le matrici singolari o i costi computazionali per dati ad alta dimensionalità.

Metodologia
Il lavoro propone un nuovo framework di "denoising a basi di autovettori multipli" che sfrutta simulazioni mock per ricostruire una matrice di covarianza affidabile da stime guidate dai dati e rumorose. Il metodo opera sotto l'assunto che la vera struttura di covarianza sia ragionevolmente catturata da matrici di covarianza prive di rumore derivate dal campionamento di grandi numeri di realizzazioni mock. Il processo prevede due fasi principali:

1. Ricostruzione Iniziale tramite Base di Autovettori di Riferimento:

   • Una matrice di correlazione di riferimento "vera" ($R_{ref}$) viene costruita prendendo la media non pesata di matrici di correlazione prive di rumore derivate da due suite di mock distinte (Ly$\alpha$CoLoRe e Saclay DESI DR1 mocks).
   • La matrice di correlazione rumorosa in input ($R_{noisy}$) viene proiettata sulla base di autovettori ($V$) di $R_{ref}$.
   • La matrice risultante è approssimativamente diagonale. Gli elementi diagonali, definiti "pseudo-autovalori", rappresentano il contributo del segnale di ciascun autovettore di riferimento, mentre gli elementi fuori diagonale sono trattati come rumore.
   • Una stima iniziale denoisata ($\hat{R}_{initial}$) viene ricostruita ruotando gli pseudo-autovalori diagonali nella base originale, filtrando efficacemente il rumore pur preservando la dominante struttura del segnale definita dal riferimento.

2. Correzione del Residuo Pesato:

   • Riconoscendo che la base di autovettori di riferimento non può catturare completamente il segnale in una specifica realizzazione rumorosa (a causa delle differenze tra i mock e la specifica realizzazione dei dati), viene applicata una correzione del residuo.
   • Un classificatore viene addestrato sugli pseudo-autovalori delle matrici rumorose per determinare la somiglianza di un dato input con le suite di mock disponibili. Questo classificatore utilizza una metrica di distanza pesata, dove vengono assegnati pesi ai modi di autovettore in base alla loro capacità di distinguere tra le suite di mock (alta varianza tra le suite rispetto alla varianza all'interno della suite).
   • In base alla classificazione, viene calcolata una media pesata delle "vere" matrici residue ($\Delta_s = R_{s,truth} - \hat{R}_{initial,s}$) dalle suite di mock.
   • Questo residuo di matrice denoisato viene deplito in una seconda base di autovettori per formare una seconda base di autovettori. Il residuo rumoroso ($R_{noisy} - \hat{R}_{initial}$) viene proiettato su questa seconda base, e i suoi elementi diagonali vengono utilizzati per ricostruire una correzione residua denoisata ($\hat{\Delta}$).
   • La matrice di correlazione finale denoisata è la somma della stima iniziale e del residuo denoisato: $\hat{R}_{final} = \hat{R}_{initial} + \hat{\Delta}$.
   • Infine, la matrice di correlazione denoisata viene riscalata dalla varianza misurata dei dati di input per ripristinare la corretta scala di covarianza.

Risultati Chiave
Il metodo è stato validato su un set di test di covarianze mock tenute nascoste al classificatore durante l'addestramento, utilizzando la covarianza "vera" accumulata dai mock come verità fondamentale (ground truth).

• Ricostruzione a livello di Matrice: Le matrici denoisate mostrano miglioramenti significativi rispetto all'attuale approccio basato su smoothing. La norma di Frobenius e l'Errore Quadratico Medio (MSE) rispetto alla verità sono stati ridotti rispettivamente di fattori di $\sim30$ e $\sim1000$, rispetto alle matrici rumorose originali. Le matrici denoisate finali hanno raggiunto una divergenza di Kullback-Leibler (KL) mediana circa 4,2 volte inferiore rispetto alla fase di ricostruzione iniziale, indicando un migliore adattamento al contenuto informativo reale.
• Recupero dei Parametri Cosmologici: Quando utilizzato in fit cosmologici a forma completa (estrazione di parametri BAO, Alcock-Pacýński e $f\sigma_8$), la covarianza denoisata ha prodotto bias dei parametri centrati vicino allo zero, comparabili alla vera covarianza. Fondamentalmente, la distribuzione dei bias dei parametri attraverso il set di test mock era significativamente più stretta per la covarianza denoisata rispetto all'approccio di smoothing, indicando un recupero più consistente tra le realizzazioni.
• Calibrazione dell'Incertezza: Il rapporto tra le incertezze inferite e le vere incertezze ($\sigma_{metodo}/\sigma_{verità}$) era centrato vicino all'unità sia per l'approccio di smoothing che per quello denoisato, ma l'approccio denoisato ha prodotto una distribuzione molto più stretta, suggerendo una stima dell'incertezza più affidabile.
• Applicazione a DESI DR1: Applicata al reale dataset DESI DR1 $Ly\alpha$, la covarianza denoisata ha prodotto risultati coerenti con l'analisi standard di smoothing per i parametri BAO e Alcock-Pacýński. È stato osservato uno spostamento di $\sim0,5\sigma$ in $f\sigma_8$, sebbene gli autori notino che questo parametro non è stato dimostrato essere privo di bias nelle precedenti analisi a forma completa, richiedendo cautela nell'interpretare lo spostamento.

Significatività e Rivendicazioni
Il lavoro sostiene di presentare un metodo principato e empiricamente motivato per denoisare matrici di covarianza campionarie non invertibili senza fare affidamento sulle aggressive assunzioni strutturali delle attuali tecniche di smoothing. Utilizzando un approccio a basi di autovettori multipli condizionato dalle simulazioni mock, il metodo recupera le strutture di correlazione che altrimenti andrebbero perse, portando a un recupero più coerente dei parametri cosmologici e a una calibrazione dellata delle incertezze.

Gli autori sottolineano che, sebbene il metodo sia stato sviluppato nel contesto dell'analisi DESI $Ly\alpha$, esso è generale e applicabile a qualsiasi problema di inferenza cosmologica in cui la dimensione del vettore dei dati eccede la dimensione del campione. Il lavoro evidenzia come l'attuale approccio di smoothing sopprima le genuine caratteristiche di correlazione su larga scala. Il metodo proposto offre una via per utilizzare l'intero contenuto informativo di grandi vettori di dati in presenza di campioni limitati, a condizione che siano disponibili suite di mock adeguate per costruire le basi di autovettori di riferimento. Gli autori rimangono modesti riguardo ai limiti del metodo, notando la sua dipendenza dalla fedeltà delle suite di mock e la mancanza attuale di una terza suite di mock per eseguire una validazione completamente indipendente di tipo "leave-one-suite-out".