On combining estimated and analytic covariance matrices

1. Planteamiento del Problema

El análisis estadístico de datos cosmológicos asume tradicionalmente una distribución de muestreo gaussiana para las estadísticas de resumen (como la función de correlación o el espectro de potencia). Sin embargo, en la práctica, la matriz de covarianza necesaria para esta función de verosimilitud a menudo no se conoce analíticamente y debe estimarse mediante un número finito de simulaciones.

• El problema de la incertidumbre en la covarianza: Cuando la covarianza se estima a partir de simulaciones, la distribución de verosimilitud de los datos deja de ser gaussiana y se convierte en una distribución t de Student multivariada (Sellentin & Heavens, 2016; Percival et al., 2022). Esta distribución posee "colas pesadas" (heavy tails) que reflejan la incertidumbre en la estimación de la covarianza.
• Limitaciones de las correcciones actuales: El enfoque estándar en cosmología utiliza la corrección de Hartlap para eliminar el sesgo en la matriz de precisión (inversa de la covarianza) asumiendo una verosimilitud gaussiana. Aunque esto corrige el sesgo en la media, falla al no capturar las colas pesadas de la distribución real, lo que lleva a probabilidades inexactas, especialmente en situaciones de tensión entre conjuntos de datos.
• El desafío de la combinación: En muchos análisis modernos (como el cizallamiento cósmico o modelos jerárquicos bayesianos), existe una fuente de variabilidad con covarianza estimada por simulaciones (distribución t de Student) que debe combinarse con otra fuente de error con covarianza analítica o teóricamente computable (ruido instrumental, super-muestra, incertidumbres de emuladores), la cual es gaussiana.
• La dificultad: La convolución de una distribución t de Student y una gaussiana no tiene una expresión cerrada simple. Esto impide el uso directo de la verosimilitud exacta en las cadenas de inferencia estándar.

2. Metodología

Los autores proponen una aproximación precisa para la función de verosimilitud resultante de esta convolución, manteniendo la tratabilidad analítica.

• Aproximación por otra distribución t de Student: En lugar de intentar calcular la convolución exacta, proponen aproximar la distribución resultante ($Z = X + Y$, donde $X$ es t de Student y $Y$ es gaussiana) mediante otra distribución t de Student multivariada con parámetros modificados ($\nu^*$ y $\Sigma^*$).
• Método de coincidencia de momentos: Los parámetros de la nueva distribución t se determinan igualando dos momentos estadísticos clave de la distribución verdadera con los de la aproximación:
  1. La Covarianza: Se calcula la covarianza total sumando la covarianza de la componente gaussiana y la covarianza de la componente t de Student (ajustada por sus grados de libertad).
  2. La Curtosis Multivariada (Mardia): Se iguala la curtosis multivariada de Mardia (1970) de la convolución con la de una distribución t de Student. Esto es crucial para capturar correctamente la "pesadez" de las colas.
• Derivación Analítica:
  • Se derivan fórmulas explícitas para los grados de libertad efectivos ($\nu^*$) y la matriz de escala efectiva ($\Sigma^*$) basadas en la covarianza total y la estructura de la matriz de covarianza original.
  • Se demuestra que la convolución exacta no es una distribución t de Student (ni una distribución elíptica en general), por lo que la aproximación es necesariamente imperfecta, pero altamente precisa en la práctica.
• Muestreo Exacto (Alternativa): Como complemento, los autores presentan un algoritmo de muestreo eficiente basado en la representación de mezcla de la distribución t de Student. Esto permite muestrear la distribución exacta sin aproximaciones, útil para validar la aproximación o en casos donde la precisión absoluta es crítica, aunque es computacionalmente más costoso que la aproximación analítica.

3. Contribuciones Clave

1. Fórmulas Prácticas: Se derivan expresiones compactas y fáciles de aplicar para calcular los grados de libertad efectivos y la matriz de escala de la verosimilitud aproximada cuando se combina una covarianza estimada (simulaciones) con una covarianza analítica.
2. Generalización del Marco t de Student: El trabajo generaliza el marco de Sellentin & Heavens (2016) y Percival et al. (2022) para incluir explícitamente componentes gaussianas adicionales, que son omnipresentes en análisis cosmológicos modernos (ruido de forma, covarianza de super-muestra, errores de emuladores).
3. Implementación de Software: Se proporciona una implementación en Python (incluida en el Apéndice D) que permite a los investigadores sustituir fácilmente sus funciones de verosimilitud gaussianas o t de Student existentes por esta versión mejorada, requiriendo solo el ajuste de parámetros.
4. Validación Rigurosa: Se demuestra mediante experimentos numéricos y casos de estudio realistas (cizallamiento cósmico) que la aproximación mantiene una cobertura estadística excelente, a diferencia de las aproximaciones gaussianas que subestiman los errores en las colas.

4. Resultados

• Experimentos Numéricos: En pruebas de cobertura (P-P plots), la aproximación t de Student propuesta muestra una cobertura superior a la aproximación gaussiana (incluso con corrección de Hartlap o coincidencia de covarianza), especialmente cuando la contribución gaussiana no es dominante.
• Estudios de Cizallamiento Cósmico (Weak Lensing):
  • Se aplicó el método a dos encuestas simuladas (777 y 14,000 grados cuadrados) combinando covarianza dentro de la muestra (estimada por 350 simulaciones) y covarianza de super-muestra (analítica).
  • Comparación de Posteriores:
    • La aproximación gaussiana ingenua subestima drásticamente los errores.
    • La aproximación gaussiana con coincidencia de covarianza total sigue siendo pobre.
    • La aproximación t de Student propuesta coincide casi perfectamente con la posterior verdadera obtenida mediante muestreo exacto del modelo jerárquico (BHM).
• Robustez: La aproximación es particularmente valiosa cuando el número de simulaciones no es mucho mayor que el número de puntos de datos, una situación común donde las colas pesadas son críticas para evaluar tensiones en los datos.

5. Significado e Impacto

Este trabajo ofrece una solución sencilla, principista y analíticamente tratable para un problema fundamental en la cosmología observacional moderna.

• Mejora de la Inferencia: Permite realizar inferencias cosmológicas más precisas al preservar el comportamiento de colas pesadas esperado de las estimaciones de covarianza basadas en simulaciones finitas, evitando la subestimación de la incertidumbre que ocurre con las aproximaciones gaussianas.
• Adoptabilidad: Al ser una "sustitución directa" (drop-in replacement) para las funciones de verosimilitud existentes en las cadenas de inferencia (como Cobaya, CosmoSIS, MontePython), facilita su adopción inmediata en pipelines de análisis.
• Relevancia para Futuros Sondeos: Dado que los futuros sondeos (como Euclid, LSST, DESI) dependerán cada vez más de emuladores y modelos jerárquicos complejos que combinan múltiples fuentes de error, esta metodología proporciona el marco estadístico necesario para manejar correctamente la propagación de incertidumbres sin incurrir en costos computacionales prohibitivos.

En resumen, los autores han resuelto la dificultad de combinar covarianzas estimadas y analíticas proporcionando una aproximación de alta fidelidad que equilibra la precisión estadística con la eficiencia computacional, mejorando la fiabilidad de las conclusiones cosmológicas derivadas de datos observacionales.