Euclid preparation. LXXXIX. Accurate and precise data-driven angular power spectrum covariances

1. Problématique et Contexte

Le satellite Euclid vise à cartographier la distribution de milliards de galaxies jusqu'à un redshift de 2, permettant de mesurer avec une grande précision les spectres de puissance angulaire du clustering et du cisaillement gravitationnel (weak lensing). Pour la première livraison de données (DR1), le vecteur de données complet (incluant les modes E et B, les spectres auto et croisés sur plusieurs tranches de redshift) devrait contenir environ $10^5$ éléments.

Le défi majeur réside dans la nécessité d'estimer la matrice de covariance de ces mesures de manière interne (à partir des données elles-mêmes) pour valider les résultats contre les effets systématiques observationnels, sans faire d'hypothèses a priori sur la cosmologie ou le biais des galaxies.

• Limites des méthodes actuelles : Les techniques de rééchantillonnage par jackknife (en particulier le delete-1) sont couramment utilisées mais souffrent de deux défauts critiques pour les grands vecteurs de données :
  1. Elles produisent souvent des matrices de covariance singulières (non inversibles) lorsque le nombre de segments est inférieur à la longueur du vecteur de données, rendant l'inférence statistique impossible.
  2. Elles tendent à être biaisées vers le haut (surestimation des variances diagonales), un problème connu depuis Efron & Stein (1981).
• Problème de partitionnement : Les méthodes traditionnelles de partitionnement du ciel (comme le k-means) créent des segments de tailles inégales, introduisant une variance supplémentaire indésirable.

2. Méthodologie : La méthode DICES

Les auteurs proposent une nouvelle méthode nommée DICES (Debiased Internal Covariance Estimation with Shrinkage), combinant plusieurs techniques avancées pour produire des covariances non singulières et non biaisées.

A. Partitionnement du ciel par BSP (Binary Space Partitioning)

Pour pallier les défauts du k-means, les auteurs adaptent l'algorithme de partitionnement binaire de l'espace (BSP) à la sphère unité.

• Fonctionnement : L'algorithme divise séquentiellement la zone d'observation (footprint) en sous-régions en trouvant des plans de coupe qui équilibrent les poids (aires) des segments.
• Avantage : Contrairement au k-means qui produit des cellules de Voronoï avec des aires très variables (écart-type de 16 %), la méthode BSP garantit que les segments ont des aires quasi identiques (écart-type de 0,11 %). Cela minimise les erreurs systématiques liées à la taille des segments. Un package Python public, SkySegmentor, a été développé pour implémenter cette méthode.

B. Correction de ciel partiel (Partial Sky Correction)

Lors de la création des échantillons jackknife (en retirant un segment), la couverture du ciel change, ce qui affecte les spectres de puissance calculés.

• Les auteurs transforment les spectres de puissance angulaire en fonctions de corrélation dans l'espace réel pour appliquer une correction multiplicative basée sur le masque.
• Une fonction de pondération logistique est utilisée pour amortir les signaux là où la fonction de corrélation du masque jackknife tend vers zéro, évitant ainsi les instabilités numériques.

C. Réduction par rétrécissement linéaire (Linear Shrinkage)

Pour rendre la matrice de covariance non singulière et inversible, même avec un nombre limité de segments (NJK), les auteurs appliquent un rétrécissement linéaire (Ledoit & Wolf 2004).

• Principe : La covariance estimée ($C_{est}$) est combinée avec une matrice cible bien conditionnée ($C_{tar}$), ici la matrice de corrélation prédite par un modèle gaussien.
• Formule : $C_{shr} = \lambda C_{tar} + (1 - \lambda) C_{est}$.
• Choix de la cible : Le rétrécissement est appliqué sur la matrice de corrélation (et non directement sur la covariance) pour préserver la structure de corrélation tout en stabilisant l'estimation. Le paramètre d'intensité $\lambda$ est optimisé pour minimiser l'erreur quadratique moyenne.

D. Correction de biais par Delete-2 Jackknife

Pour corriger la surestimation systématique des variances diagonales (biais vers le haut), les auteurs utilisent une correction de biais de type delete-2.

• Au lieu de retirer un seul segment, cette méthode calcule les statistiques en retirant deux segments à la fois.
• Cela permet d'estimer et de soustraire le biais de la variance diagonale de la covariance jackknife initiale.

E. Combinaison finale (DICES)

La méthode DICES fusionne les avantages des deux approches précédentes :

1. Elle prend la structure de corrélation (les termes hors-diagonale) de la covariance rétrécie (shrinkage), qui est robuste et non singulière.
2. Elle remplace les variances diagonales par les estimations corrigées du biais (debiased jackknife).

• Formule : $C^{DICES}_{ij} = C^{shr}_{ij} \times \frac{\sqrt{C^{debias, ii}_{JK} C^{debias, jj}_{JK}}}{\sqrt{C^{shr, ii} C^{shr, jj}}}$.

3. Résultats Clés

Les méthodes ont été validées sur 1000 catalogues de galaxies synthétiques de type Euclid (simulations log-normales GLASS) mimant la couverture de la DR1.

• Précision et Biais : La méthode DICES produit des estimations de covariance précises et non biaisées.
  • L'erreur relative sur la covariance est améliorée de 33 % par rapport aux estimations jackknife classiques.
  • L'erreur sur la structure de corrélation est améliorée de 48 %.
• Non-singularité : Contrairement aux covariances jackknife brutes qui deviennent singulières pour un nombre de segments insuffisant par rapport à la taille des données, DICES reste non singulière et inversible grâce au rétrécissement.
• Performance des statistiques de signal : Les rapports signal-sur-bruit (SNR) calculés avec DICES sont cohérents avec la covariance de référence (échantillon de 1000 simulations), corrigeant les biais observés avec les méthodes standards, notamment pour le clustering.
• Impact du nombre de segments : L'augmentation du nombre de segments (NJK) améliore la précision de la structure hors-diagonale, mais DICES reste robuste même avec un nombre de segments modéré (ex: 74 segments), ce qui est crucial pour les coûts de calcul.

4. Contributions et Signification

• Innovation algorithmique : L'adaptation du BSP pour la partition de surfaces arbitraires sur la sphère unitaire avec une égalité d'aire quasi parfaite est une contribution méthodologique majeure pour l'analyse de données de sondages astronomiques.
• Solution pratique pour Euclid : DICES fournit un outil opérationnel pour générer des covariances internes fiables pour le DR1 et les livraisons futures, sans dépendre de modèles cosmologiques ou de simulations externes coûteuses.
• Validation des effets systématiques : En fournissant des covariances non biaisées et non singulières, cette méthode permet des tests rigoureux de validation contre les effets systématiques observationnels (via les spectres croisés), garantissant que les interprétations de la physique fondamentale (énergie noire, matière noire) sont fiables.
• Logiciel Open Source : Les auteurs ont rendu publics les outils nécessaires via le package Python SkySegmentor (pour la partition) et heracles.py (pour le calcul des spectres et DICES), facilitant l'adoption par la communauté.

En conclusion, ce papier établit un nouveau standard pour l'estimation de covariance dans les grands sondages cosmologiques, résolvant le compromis historique entre la précision des variances diagonales et la stabilité de la structure de corrélation.