Denoising clustering covariance matrices with Rotational Invariant Estimators

Título: Desruido de matrices de covarianza de agrupamiento mediante Estimadores Invariantes Rotacionales (RIE)

1. El Problema

En la era de la cosmología de precisión, la inferencia de parámetros cosmológicos a partir del agrupamiento de galaxias depende críticamente de la estimación precisa de las matrices de covarianza y de precisión.

• La maldición de la dimensionalidad: En la práctica, estas matrices se estiman a partir de un número limitado de catálogos simulados (mocks). Cuando la dimensión del vector de datos ($D$) se vuelve comparable al número de realizaciones disponibles ($N$), la estimación de la matriz de precisión ($C^{-1}$) sufre de sesgos significativos y ruido.
• Efectos negativos: La inversión directa de la matriz de covarianza de muestra introduce un sesgo sistemático (factor de Hartlap) y, más críticamente, fluctuaciones estocásticas que provocan desplazamientos aleatorios en los mejores ajustes de los parámetros (efecto Dodelson–Schneider) y una estimación incorrecta de los volúmenes de incertidumbre posterior.
• Limitaciones actuales: Los métodos existentes, como la compresión de datos o el uso de modelos teóricos puros, a menudo no son suficientes en regímenes no lineales o cuando se requiere alta dimensionalidad.

2. Metodología

Los autores presentan la primera aplicación de los Estimadores Invariantes Rotacionales (RIE) propuestos por Bun et al. (2016) al contexto de la cosmología de agrupamiento de galaxias.

• Enfoque Comparativo: Se compara el RIE contra dos métodos estándar:
  1. La covarianza de muestra (corregida con el factor de Hartlap y Percival).
  2. El estimador de contracción no lineal NERCOME (Non-parametric Eigenvalue Regularised Covariance Matrix Estimator).
• Datos Sintéticos: Se utilizan conjuntos de datos sintéticos controlados donde la matriz de covarianza verdadera es conocida analíticamente. Se generan realizaciones para dos estadísticas principales:
  • La función de correlación de dos puntos (2PCF) en el espacio de configuración.
  • El espectro de potencia en el espacio de Fourier.
• Configuración: Se varía la relación $q = N/D$ (número de mocks dividido por la dimensión del vector de datos) en un rango de $1.2$a$16$, y se prueban diferentes tamaños de vector de datos ($D = 90, 180, 270$).
• Inferencia Bayesiana: Se realiza una inferencia de parámetros utilizando un modelo basado en la Teoría de Campo Efectivo (EFT) de la estructura a gran escala. Se evalúa el rendimiento mediante:
  • Figura de Sesgo (FoB): Mide la desviación de los mejores ajustes respecto a los valores verdaderos.
  • Figura de Mérito (FoM): Cuantifica la precisión de las restricciones (inverso del volumen de la región de confianza).
• Implementación del RIE: Se aplica el RIE primero a la matriz de correlación (para aislar la estructura de correlación) y luego se reescala a las varianzas originales, utilizando la teoría de matrices aleatorias para denoizar el espectro de autovalores.

3. Contribuciones Clave

• Primera aplicación cosmológica del RIE: Introducen el RIE como una herramienta viable para la estimación de matrices de precisión en cosmología, destacando su fundamento en la teoría de matrices aleatorias para el denoising analítico del espectro de autovalores.
• Análisis comparativo exhaustivo: Proporcionan una evaluación rigurosa que distingue el comportamiento de los estimadores entre el espacio de configuración (2PCF) y el espacio de Fourier (espectro de potencia), revelando que el rendimiento depende fuertemente de la estadística utilizada.
• Validación en regímenes de baja simulación: Demuestran la capacidad de los estimadores para operar cuando el número de mocks apenas supera la dimensión de los datos ($q \approx 1.2$).

4. Resultados Principales

• Covarianza de Muestra: Aunque recupera volúmenes de incertidumbre promedio no sesgados tras correcciones, sufre de un gran dispersión en los mejores ajustes y sesgos crecientes a medida que disminuye $q$ (debido al efecto Dodelson–Schneider).
• NERCOME:
  • Reduce significativamente el desplazamiento estocástico en los mejores ajustes.
  • En espacio de configuración: Tiende a producir restricciones demasiado ajustadas (sobreestimación del FoM), con un sesgo que crece con $D$.
  • En espacio de Fourier: Tiende a sobreestimar el poder de restricción (volumen posterior inflado), alineándose con hallazgos previos en lentes gravitacionales.
• RIE (Estimador Invariante Rotacional):
  • Estabilidad: Ofrece la mayor estabilidad en la recuperación de los mejores ajustes, reduciendo drásticamente la dispersión estocástica en comparación con los otros métodos.
  • Espacio de Fourier: Es el método más efectivo. Mantiene un sesgo de FoB muy bajo y un sesgo de FoM leve (subestimación moderada), reproduciendo casi perfectamente los posteriors de referencia incluso cuando $q = 1.2$.
  • Espacio de Configuración: También mejora la estabilidad, pero muestra un sesgo de FoM más pronunciado (restricciones demasiado optimistas) a medida que aumenta $D$.
• Conclusión sobre la estructura de covarianza: El éxito superior del RIE en el espacio de Fourier se atribuye probablemente a que la estructura de covarianza del espectro de potencia es más suave y dominada por la diagonal, lo que se ajusta mejor al modelo de contracción subyacente del RIE.

5. Significado e Implicaciones

• Viabilidad para futuros sondeos: El RIE emerge como la herramienta más prometedora para análisis de datos de grandes sondeos (como DESI o Euclid) donde el número de simulaciones necesarias para cubrir la dimensionalidad de estadísticas de alto orden (como el bispectro) sería prohibitivo.
• Estrategias híbridas: Los resultados sugieren que el RIE puede utilizarse para estabilizar la recuperación de los mejores ajustes, mientras que el volumen posterior podría calibrarse mediante factores de corrección específicos para cada estadística.
• Aplicación a estadísticas de alto orden: Dado que la dimensionalidad de las estadísticas de orden superior (tres puntos, bispectro) crece rápidamente, el RIE se presenta como una solución natural para evitar la prohibición computacional de generar miles de millones de mocks para obtener una covarianza de muestra estable.
• Próximos pasos: Se destaca la necesidad de validar el RIE con modelos de covarianza más realistas que incluyan contribuciones no gaussianas, efectos de geometría del sondeo y sistemáticos observacionales antes de su aplicación en datos reales.