Euclid preparation. LXXXIX. Accurate and precise data-driven angular power spectrum covariances

Resumen Técnico: Euclid LXXXIX. Covarianzas precisas y precisas de espectros de potencia angulares basadas en datos

1. El Problema
El telescopio espacial Euclid generará un volumen de datos sin precedentes, mapeando miles de millones de galaxias. Un desafío crítico para la cosmología de precisión es la estimación robusta de las matrices de covarianza para los espectros de potencia angular (agrupamiento y cizallamiento débil).

• Limitaciones de los métodos actuales: Las covarianzas analíticas requieren suposiciones sobre la cosmología y el sesgo de las galaxias, lo cual es problemático para la validación de efectos sistemáticos observacionales. Las covarianzas basadas en simulaciones (mocks) requieren un número de realizaciones mayor que la longitud del vector de datos (del orden de $10^5$), lo cual es computacionalmente prohibitivo.
• Deficiencias del Jackknife: El método de remuestreo jackknife es una alternativa basada en datos, pero tiende a producir estimaciones sesgadas hacia arriba (sobreestimación de la varianza en la diagonal) y, para vectores de datos grandes, las matrices resultantes suelen ser singulares (no invertibles), lo que impide su uso en inferencias de verosimilitud. Además, la partición del cielo tradicional (clustering k-means) genera segmentos de áreas desiguales, introduciendo variabilidad adicional.

2. Metodología
Los autores desarrollan una nueva técnica llamada DICES (Debiased Internal Covariance Estimation with Shrinkage), que combina tres componentes clave:

• A. Partición del Cielo mediante BSP (Binary Space Partitioning):

  • Se reemplaza el algoritmo k-means por una adaptación del algoritmo de partición binaria del espacio (BSP) en la esfera unitaria.
  • Este método divide el área de observación (footprint) en segmentos de área casi idéntica (reduciendo la desviación estándar del área de un 16% en k-means a un 0.11% en BSP).
  • Se implementa en el paquete público SkySegmentor.

• B. Estimación de Covarianza con Corrección de Cielo Parcial y Shrinkage:

  • Se calculan estimaciones jackknife (delete-1) de los espectros de potencia.
  • Se aplica una corrección de cielo parcial transformando los espectros a espacio real para estabilizar la corrección de la máscara, evitando inestabilidades numéricas donde la cobertura es baja.
  • Se aplica shrinkage lineal (encogimiento) de la matriz de correlación empírica hacia una predicción gaussiana. Esto asegura que la matriz de covarianza sea no singular e invertible, crucial para el análisis estadístico. Se utiliza scalar shrinkage (intensidad de encogimiento escalar) por su estabilidad numérica.

• C. Corrección de Sesgo (Debiasing):

  • Para corregir la sobreestimación inherente de las varianzas en el método jackknife, se aplica una corrección de sesgo delete-2 (removiendo dos segmentos a la vez).
  • Esto genera una estimación de la desviación estándar (diagonal) libre de sesgo, aunque la estructura de correlación (fuera de la diagonal) sigue siendo ruidosa.

• D. La Técnica DICES (Combinación Final):

  • Se combina la estructura de correlación de la covarianza con shrinkage (que es suave y no singular) con las desviaciones estándar de la covarianza jackknife corregida por sesgo (que son precisas y no sesgadas).
  • Fórmula conceptual: $C_{DICES}^{(ij)} = C_{shr}^{(ij)} \times \frac{\sqrt{C_{debias, (ii)}^{JK} C_{debias, (jj)}^{JK}}}{\sqrt{C_{shr, (ii)} C_{shr, (jj)}}}$.

3. Contribuciones Clave

• Algoritmo de Partición: Desarrollo e implementación de un algoritmo BSP para generar segmentos de jackknife de área uniforme en regiones arbitrarias de la esfera, superando las limitaciones del k-means.
• Método DICES: Una metodología integral que resuelve simultáneamente los problemas de singularidad (mediante shrinkage) y sesgo de varianza (mediante corrección delete-2), sin depender de suposiciones cosmológicas.
• Validación Rigurosa: Validación exhaustiva utilizando 1000 catálogos lognormales sintéticos similares a Euclid, comparando los resultados con la covarianza de la muestra (considerada la "verdad fundamental").
• Herramientas Públicas: Liberación del código SkySegmentor para la partición del cielo y la integración del método DICES en el paquete heracles.py de la colaboración Euclid.

4. Resultados

• Precisión: La técnica DICES mejora la precisión de la estimación de la covarianza en un 33% y la estructura de correlación en un 48% en comparación con las estimaciones jackknife estándar.
• No Singularidad: A diferencia de las covarianzas jackknife puras, DICES produce matrices no singulares e invertibles, permitiendo su uso directo en análisis de verosimilitud.
• Eliminación de Sesgo: La corrección delete-2 elimina exitosamente el sesgo hacia arriba en las componentes diagonales (varianzas), alineándolas con la covarianza de la muestra.
• Robustez: Se demostró que el método funciona bien incluso con un número moderado de segmentos (NJK = 74), aunque se recomienda aumentar este número para futuras liberaciones de datos de Euclid para reducir aún más el ruido.
• Rendimiento en SNR: La relación señal-ruido (SNR) calculada con DICES es consistente con la de la covarianza de la muestra, especialmente para modos de agrupamiento, donde las correcciones son más críticas.

5. Significado
Este trabajo es fundamental para la preparación de la misión Euclid. Proporciona una herramienta robusta, basada puramente en los datos observados, para cuantificar las incertidumbres en las mediciones de estructura a gran escala.

• Validación de Sistemáticos: Permite validar las mediciones cosmológicas contra efectos sistemáticos observacionales sin depender de modelos teóricos que podrían estar sesgados.
• Viabilidad Computacional: Ofrece una solución viable para manejar los vectores de datos masivos de Euclid ($\sim 10^5$ elementos) sin requerir millones de simulaciones costosas.
• Futuro: Establece un estándar para el análisis de covarianzas internas en grandes sondeos astronómicos, asegurando que las inferencias sobre energía oscura y materia oscura sean fiables y precisas.