Hermes - Towards an Optimal High-Performance Algorithm for Cosmic Statistics of Large Data Sets

Resumen Técnico: Hermes – Hacia un Algoritmo de Alto Rendimiento Óptimo para la Estadística Cósmica de Grandes Conjuntos de Datos

Planteamiento del Problema
El análisis de la estructura a gran escala (LSS, por sus siglas en inglés) del cosmos está entrando en una era de volumen y precisión estadística sin precedentes, impulsada por sondeos como DESI, Euclid y el Observatorio Vera C. Rubin. Un cuello de botella principal en este régimen es el coste computacional de medir las estadísticas de agrupamiento (clustering). Los métodos convencionales dependen del conteo explícito "ex situ" de tuplas de partículas (pares, tríos, etc.), lo que escala como $\mathcal{O}(N_g^N)$ para una función de correlación de $N$ puntos (NPCF) con $N_g$ objetos. Este enfoque de fuerza bruta se vuelve impráctico para los catálogos modernos que contienen millones o miles de millones de trazadores. Además, los paquetes de software existentes suelen estar diseñados para estadísticas o estimadores específicos, careciendo de un marco unificado que trate las diferentes estadísticas cósmicas como variaciones de una única medición subyacente. Asimismo, la necesidad de evaluaciones repetidas de estadísticas de agrupamiento y de una estimación de covarianza fiable de grandes conjuntos de catálogos simulados (mocks) impone demandas computacionales severas.

Metodología
El artículo presenta Hermes (HYPER-speed Multiresolution cosmic Statistics), un marco que reemplaza el conteo discreto de partículas por operaciones algebraicas sobre campos de densidad continuos filtrados mediante ventanas. La metodología central se basa en tres pilares:

1. Análisis de Multirresolución (MRA) de Reconstrucción de Campos: Las distribuciones de puntos discretos (por ejemplo, catálogos de galaxias o halos) se reconstruyen como campos de densidad continuos utilizando una base de funciones de escala de soporte compacto (específicamente, wavelets de Daubechies D4). Esto transforma el campo de densidad singular en un conjunto de coeficientes de expansión sobre una rejilla (grid). El nivel de resolución $J$ controla el compromiso entre la localización espacial y la suavidad.
2. Formalismo de Operador de Ventana: Los estimadores estadísticos se definen no por algoritmos de conteo, sino por funciones de ventana ($W$). Una medición estadística se formula como un producto espacial de campos filtrados localmente. Por ejemplo, una función de correlación de dos puntos (2PCF) es el producto escalar de un campo de densidad y su contraparte filtrada por la ventana. Esto unifica los esquemas de agrupación convencionales (por ejemplo, capas esféricas, anillos) y las estadísticas generalizadas (por ejemplo, correlaciones marcadas, operadores diferenciales) bajo un único marco matemático donde cambiar el núcleo de la ventana modifica la estadística sin necesidad de rediseñar el estimador.
3. Evaluación Algebraica In Situ: En lugar de iterar sobre pares de partículas, el marco computa las estadísticas mediante operaciones sobre los coeficientes de MRA.
   • 2PCF: Se evalúa como un producto escalar de los coeficientes del campo original y los coeficientes del campo con la ventana convolucionada.
   • NPCF (Monopolos): Las estadísticas de orden superior se computan construyendo campos "plegados" (por ejemplo, un campo de doble plegado para la 3PCF) mediante contracciones de estarcido (stencil) locales de los coeficientes de escala utilizando "coeficientes de conexión" precomputados. Esto reduce la complejidad de enumerar $N$-tuplas a operaciones de $\mathcal{O}(N_{grid})$, independientemente del número de partículas.
   • Descomposición de Multipolos: Las estadísticas anisotrópicas (por ejemplo, en el espacio de velocidades de redundancia o redshift space) y los multipolos de orden superior se gestionan descomponiendo los núcleos de la ventana en armónicos esféricos y realizando las contracciones necesarias en el espacio de coeficientes.

El marco está implementado en PyHermes, un kit de herramientas de Python de código abierto que utiliza convoluciones de ventana basadas en FFT, paralelismo MPI/hilos y aceleración CUDA para contracciones de alto orden.

Contribuciones Clave

• Marco Unificado: El artículo formula una amplia clase de estadísticas —incluyendo conteos en celdas (CIC), 2PCF, 3PCF, estadísticas de multipolos y campos de varianza filtrados, así como mediciones basadas en operadores (ej. potencial gravitatorio, divergencia de velocidad)— como operaciones de ventana sobre campos de densidad de multirresolución.
• Estimadores Generalizados: Demuestra que los estimadores convencionales de 2PCF y 3PCF corresponden a elecciones de ventana específicas dentro de este marco. El formalismo se extiende naturalmente a funciones de correlación ponderadas, marcadas y de orden superior mediante la modificación del núcleo de la ventana.
• Implementación PyHermes: Se lanza una biblioteca de alto rendimiento en Python que cuenta con:
  • Campos reconstruidos reutilizables (SFCField) que desacoplan la reconstrucción del campo de la medición estadística.
  • Soporte para funciones de ventana arbitrarias (integradas y definidas por el usuario).
  • Paralelismo híbrido (MPI + hilos de Numba) y aceleración por GPU para las contracciones computacionalmente intensivas.
• Validación y Pruebas de Rendimiento: El marco se valida utilizando catálogos de halos de las suites de simulaciones Quijote y Kun.
  • Convergencia: Las mediciones de los monopolos de 2PCF y 3PCF muestran convergencia con el aumento de la resolución de MRA ($J$), coincidiendo con los códigos convencionales de conteo de pares (ej. Corrfunc, TreeCorr) con una resolución suficiente.
  • Flexibilidad: Demostraciones de correlaciones marcadas (marcas de ley de potencia e inversa de la densidad), estadísticas anisotrópicas de espacio de redundancia con diversas geometrías de ventana (anillos, capas) y la construcción de campos físicos derivados (divergencia de velocidad, potencial Newtoniano).
  • Rendimiento: Las pruebas de rendimiento indican que el coste computacional escala con el número de celdas de la rejilla y las operaciones de ventana, en lugar del número de partículas. Para los estimadores de multipolos de la 3PCF, la aceleración por GPU de la etapa de contracción final produce una aceleración de $\sim 4.1\text{--}4.7\times$ en comparación con la ejecución solo por CPU para esa etapa, con una aceleración del flujo de trabajo global de $\sim 1.8\text{--}1.9\times$.

Resultados

• Precisión: Las mediciones de PyHermes para la 2PCF isotrópica y los monopolos de la 3PCF coinciden con las predicciones de los emuladores teóricos y con los resultados de conteo de pares convencionales cuando la resolución de la rejilla MRA es lo suficientemente fina para resolver las escalas de agrupación.
• Escalabilidad: El algoritmo maneja con éxito grandes conjuntos de datos (ej. $\sim 4 \times 10^5$ halos) con costes computacionales dominados por el tamaño de la rejilla ($N_{grid}$) y el número de aplicaciones de la ventana, en lugar de la explosión combinatoria de pares de partículas.
• Versatilidad: El marco construye con éxito estadísticas complejas, tales como espectros de potencia promediados en bandas mediante filtros de wavelets y 3PCFs descompuestos en multipolos, sin requerir algoritmos de conteo separados para cada estadística.

Significado y Reivindicaciones
El artículo sostiene que Hermes proporciona un marco computacional unificado donde un único campo reconstruido puede ser reutilizado para una amplia gama de estadísticas cósmicas estándar y personalizadas. Al separar la representación del campo de las ventanas estadísticas, el marco permite el análisis escalable de los crecientes conjuntos de datos esperados de los actuales y futuros sondeos de galaxias.

Los autores posicionan a PyHermes no meramente como un contador de pares más rápido para estadísticas específicas, sino como una infraestructura estadística flexible para la cosmología de precisión. Permite la extracción eficiente de información no gaussiana (vía correlaciones de orden superior, estadísticas marcadas y estadísticas de densidad dividida) y la construcción de campos físicos derivados (potencial, aceleración) dentro de un único flujo de trabajo. El artículo afirma que este enfoque es particularmente adecuado para el régimen donde se requieren muchas estadísticas, geometrías de ventana complejas o correlaciones de orden superior a partir de grandes conjuntos de datos, abordando los cuellos de botella computacionales que dificultan la plena explotación de los sondeos de próxima generación como DESI, Euclid y CSST.