Denoising clustering covariance matrices with Rotational Invariant Estimators

Titolo: Denoising clustering covariance matrices with Rotational Invariant Estimators

Autori: A. Farina, M. Guidi, A. Veropalumbo, C. Guida
Contesto: Cosmologia di precisione, inferenza dei parametri cosmologici, struttura su larga scala.

1. Il Problema

Nell'era della cosmologia di precisione, l'inferenza dei parametri cosmologici dalla distribuzione delle galassie dipende criticamente dalla stima accurata della matrice di covarianza ($C$) e della sua inversa, la matrice di precisione ($C^{-1}$).

• La sfida: In pratica, la vera covarianza è sconosciuta e viene stimata tramite un numero limitato di cataloghi simulati (mock). Quando la dimensione del vettore dei dati ($D$, numero di bin) diventa comparabile al numero di realizzazioni disponibili ($N$), si verifica il "maledizione della dimensionalità".
• Conseguenze:
  • L'inversione diretta della matrice di covarianza campionaria introduce un bias sistematico nella matrice di precisione (corretto dal fattore Hartlap).
  • Rimane un rumore di campionamento (fluttuazioni stocastiche) che causa:
    1. Aumento della varianza delle incertezze sui parametri.
    2. Spostamenti casuali dei valori "best-fit" (effetto Dodelson-Schneider).
    3. Bias nella dimensione media dei volumi posteriori.
• Limiti degli approcci attuali: I modelli teorici puri falliscono nel regime non lineare. Metodi di compressione dati o tecniche di resampling (jackknife, bootstrap) hanno i loro limiti. Gli stimatori di shrinkage non lineare come NERCOME sono stati proposti, ma la loro efficacia varia a seconda dello statisticale utilizzato.

2. Metodologia

Gli autori hanno confrontato tre approcci per stimare la covarianza in un contesto controllato:

1. Covarianza Campionaria (Sample Covariance): Corretta con il fattore Hartlap per il bias e il fattore Percival per il rumore (sebbene quest'ultimo non sia stato incluso nelle stime finali per chiarezza, come specificato nel testo).
2. NERCOME (Non-parametric Eigenvalue Regularised Covariance Matrix Estimator): Uno stimatore non parametrico che mescola stime di covarianza da sottoinsiemi indipendenti per regolarizzare lo spettro degli autovalori.
3. RIE (Rotational Invariant Estimator): Un approccio basato sulla Teoria delle Matrici Casuali (RMT).
   • Innovazione: È la prima applicazione del RIE (proposto da Bun et al. 2016) a dataset cosmologici reali/sintetici.
   • Meccanismo: Il RIE "denuisifica" lo spettro degli autovalori della matrice di covarianza campionaria. Sfruttando il limite per $D \to \infty$, deriva un'espressione analitica per gli autovalori corretti che dipende solo dalla trasformata di Stieltjes della matrice osservata, senza bisogno di conoscere la vera covarianza.
   • Implementazione: Il RIE è stato applicato alla matrice di correlazione (non direttamente alla covarianza) e i risultati sono stati riscalati alle varianze originali per preservare la normalizzazione statistica.

Setup Sperimentale:

• Dati Sintetici: Sono stati generati dataset con covarianza analiticamente nota per due statistiche:
  • Funzione di Correlazione a Due Punti (2PCF) nello spazio delle configurazioni.
  • Spettro di Potenza nello spazio di Fourier.
• Variabili: Sono state testate diverse dimensioni del vettore dati ($D = 90, 180, 270$) e diversi rapporti tra mock e dimensione ($q = N/D \in [1.2, 16]$).
• Inferenza: È stato utilizzato un modello basato sulla Teoria del Campo Efficace (EFT) per la struttura su larga scala. L'inferenza bayesiana è stata eseguita con il campionatore Nautilus (importance nested sampling).
• Metriche di Valutazione:
  • FoB (Figure of Bias): Misura la deviazione dei parametri best-fit dai valori veri.
  • FoM (Figure of Merit): Misura la precisione dei vincoli (inverso del volume della regione di confidenza).

3. Risultati Chiave

A. Spazio delle Configurazioni (2PCF)

• Stabilità del Best-Fit: Sia NERCOME che RIE riducono drasticamente lo spostamento stocastico dei parametri (FoB) rispetto allo stimatore campionario quando $q$ è basso (es. $q < 2$), mitigando l'effetto Dodelson-Schneider.
• Volumi Posteriori (FoM):
  • La covarianza campionaria (corretta) recupera volumi posteriori accurati.
  • NERCOME e RIE tendono a sottostimare le incertezze, producendo vincoli troppo stretti (FoM inflato).
  • Questo bias di FoM cresce all'aumentare della dimensione del vettore dati $D$. In questo regime, il RIE mostra un bias più marcato rispetto a NERCOME.

B. Spazio di Fourier (Power Spectrum)

• Stabilità del Best-Fit: Il RIE eccelle in questo regime. Mantiene un FoB molto basso e stabile su tutto il range di $q$, superando sia lo stimatore campionario che NERCOME, anche quando $N$ è appena superiore a $D$ (es. $q=1.2$).
• Volumi Posteriori (FoM):
  • NERCOME: Sottostima sistematicamente le incertezze (FoM inflato), confermando risultati precedenti su spettro di potenza.
  • RIE: Mostra un comportamento opposto rispetto allo spazio delle configurazioni. Presenta una sottostima lieve del FoM (volumi leggermente più ampi del riferimento), ma senza il grande bias osservato nello spazio delle configurazioni.
  • Confronto Visivo: A $q=1.2$, le distribuzioni posteriori ottenute con il RIE nel spazio di Fourier riproducono quasi perfettamente la forma e la posizione delle distribuzioni di riferimento (covarianza vera), mentre NERCOME e lo stimatore campionario mostrano un degrado significativo.

4. Contributi e Significatività

1. Prima Applicazione Cosmologica del RIE: Il lavoro introduce il Rotational Invariant Estimator nel campo della struttura su larga scala, dimostrando la sua superiorità nel stabilizzare il recupero dei parametri best-fit, specialmente nello spazio di Fourier.
2. Dipendenza dallo Statistico: Il lavoro evidenzia che le prestazioni degli stimatori di shrinkage (come RIE e NERCOME) non sono universali ma dipendono fortemente dalla struttura della matrice di covarianza sottostante.
   • La struttura più liscia e diagonalmente dominante tipica degli spettro di potenza favorisce il modello di shrinkage del RIE.
   • La struttura più complessa della 2PCF nello spazio delle configurazioni rende il RIE più soggetto a bias nel volume posteriore.
3. Soluzione per la "Carestia di Mock": Il RIE si dimostra efficace anche quando il numero di simulazioni è appena superiore alla dimensionalità dei dati ($q \approx 1.2$), una situazione critica per le statistiche di ordine superiore (es. bispettro, 3PCF) dove il numero di bin cresce esponenzialmente e il costo computazionale per generare mock sufficienti diventa proibitivo.
4. Implicazioni Future:
   • Il RIE è un candidato ideale per le future analisi di grandi survey (come Euclid o DESI) che combineranno statistiche di ordine superiore.
   • Si suggerisce una strategia ibrida: utilizzare il RIE per stabilizzare la posizione del best-fit (riducendo il "wander" stocastico) e calibrare separatamente i volumi posteriori per correggere i bias di FoM specifici dello statisticale utilizzato.

Conclusione

Il RIE emerge come lo stimatore più efficace per stabilizzare l'inferenza dei parametri cosmologici in regimi ad alta dimensionalità e basso numero di mock, in particolare nello spazio di Fourier. Tuttavia, il suo impatto sui volumi delle distribuzioni posteriori deve essere validato con cura per ogni specifica statistica e definizione del vettore dati prima dell'implementazione su dati reali.