Hermes - Towards an Optimal High-Performance Algorithm for Cosmic Statistics of Large Data Sets

Resumo Técnico: Hermes – Rumo a um Algoritmo de Alto Desempenho Ótimo para Estatísticas Cósmicas de Grandes Conjuntos de Dados

Definição do Problema
A análise da estrutura em grande escala (LSS) cósmica está entrando em uma era de volume e precisão estatística sem precedentes, impulsionada por levantamentos como DESI, Euclid e o Observatório Vera C. Rubin. Um gargalo primário neste regime é o custo computacional de medir estatísticas de agrupamento (clustering). Métodos convencionais dependem da contagem explícita "ex situ" de tuplas de partículas (pares, trios, etc.), que escala como $\mathcal{O}(N_g^N)$ para uma função de correlação de $N$ pontos (NPCF) com $N_g$ objetos. Essa abordagem de força bruta torna-se impraticável para catálogos modernos contendo milhões a bilhões de traçadores. Além disso, pacotes de software existentes são frequentemente projetados para estatísticas ou estimadores específicos, carecendo de um arcabouço unificado que trate diferentes estatísticas cósmicas como variações de uma única medição subjacente. Adicionalmente, a necessidade de avaliações repetidas de estatísticas de agrupamento e de estimativas de covariância confiáveis a partir de grandes conjuntos de catálogos fictícios (mocks) impõe demandas computacionais severas.

Metodologia
O artigo introduz o Hermes (HYPER-speed Multiresolution cosmic Statistics), um arcabouço que substitui a contagem discreta de partículas por operações algébricas em campos de densidade contínuos e filtrados por janela. A metodologia central baseia-se em três pilares:

1. Reconstrução de Campo por Análise Multirresolução (MRA): Distribuições de pontos discretos (ex: catálogos de galáxias ou halos) são reconstruídas como campos de densidade contínuos usando uma base de funções de escala com suporte compacto (especificamente, wavelets Daubechies D4). Isso transforma o campo de densidade singular em um conjunto de coeficientes de expansão em uma grade. O nível de resolução $J$ controla o equilíbrio entre localização espacial e suavidade.
2. Formalismo de Operador de Janela: Estimadores estatísticos são definidos não por algoritmos de contagem, mas por funções de janela ($W$). Uma medição estatística é formulada como um produto espacial de campos filtrados localmente. Por exemplo, uma função de correlação de dois pontos (2PCF) é o produto interno de um campo de densidade e sua contraparte filtrada por janela. Isso unifica esquemas de agrupamento (binning) convencionais (ex: cascas esféricas, anéis) e estatísticas generalizadas (ex: correlações marcadas, operadores diferenciais) sob um único arcabouço matemático onde a mudança no núcleo (kernel) da janela modifica a estatística sem a necessidade de redesenhar o estimador.
3. Avaliação Algébrica In Situ: Em vez de iterar sobre pares de partículas, o arcabouço computa estatísticas via operações nos coeficientes MRA.
   • 2PCF: Avaliada como um produto escalar dos coeficientes do campo original e dos coeficientes do campo convolvido pela janela.
   • NPCF (Monopolos): Estatísticas de ordem superior são computadas através da construção de campos "dobrados" (ex: um campo de duas dobras para 3PCF) por meio de contrações de estêncil locais dos coeficientes de escala usando "coeficientes de conexão" pré-computados. Isso reduz a complexidade de enumerar $N$-tuplas para operações $\mathcal{O}(N_{grid})$, independentemente do número de partículas.
   • Decomposição de Multipolos: Estatísticas anisotrópicas (ex: no espaço de redundância/redshift) e multipolos de ordem superior são tratadas decompondo os núcleos das janelas em harmônicos esféricos e realizando as contrações necessárias no espaço dos coeficientes.

O arcabouço é implementado no PyHermes, um kit de ferramentas Python de código aberto que utiliza convoluções de janela baseadas em FFT, paralelismo MPI/threads e aceleração CUDA para contrações de alta ordem.

Principais Contribuições

• Arcabouço Unificado: O artigo formula uma classe ampla de estatísticas — incluindo contagens em células (CIC), 2PCF, 3PCF, estatísticas de multipolos, variâncias filtradas e medições baseadas em operadores (ex: potencial gravitacional, divergência de velocidade) — como operações de janela em campos de densidade multirresolução.
• Estimadores Generalizados: Demonstra que os estimadores convencionais de 2PCF e 3PCF correspondem a escolhas específicas de janelas dentro deste arcabouço. O formalismo estende-se naturalmente para funções de correlação de ordem superior, ponderadas e marcadas ao modificar o núcleo da janela.
• Implementação PyHermes: Uma biblioteca Python de alto desempenho e código aberto é lançada, apresentando:
  • Campos reconstruídos reutilizáveis (SFCField) que desacoplam a reconstrução do campo da medição estatística.
  • Suporte para funções de janela arbitrárias (embutidas ou definidas pelo usuário).
  • Paralelismo híbrido (MPI + threads Numba) e aceleração por GPU para contrações computacionalmente intensivas.
• Validação e Benchmarks: O arcabouço é validado utilizando catálogos de halos das suítes de simulação Quijote e Kun.
  • Convergência: Medições de monopolos de 2PCF e 3PCF mostram convergência com o aumento da resolução MRA ($J$), concordando com códigos convencionais de contagem de pares (ex: Corrfunc, TreeCorr) em resolução suficiente.
  • Flexibilidade: Demonstrações de correlações marcadas (marcas de lei de potência e de densidade inversa), estatísticas anisotrópicas de espaço de redshift usando diversas geometrias de janela (anéis, cascas) e a construção de campos físicos derivados (divergência de velocidade, potencial Newtoniano).
  • Desempenho: Os testes indicam que o custo computacional escala com o número de células da grade e operações de janela, em vez do número de partículas. Para estimadores de multipolos de 3PCF, a aceleração por GPU da etapa final de contração produz um ganho de velocidade de $\sim 4.1\text{--}4.7\times$ em comparação com a execução apenas por CPU para essa etapa, com um ganho de velocidade no fluxo de trabalho total de $\sim 1.8\text{--}1.9\times$.

Resultos

• Precisão: As medições de 2PCF e 3PCF isotrópicos do PyHermes coincidem com as previsões de emuladores teóricos e resultados de contagem de pares convencionais quando a resolução da grade MRA é fina o suficiente para resolver as escalas de agrupamento (binning).
• Escalabilidade: O algoritmo lida com sucesso com grandes conjuntos de dados (ex: $\sim 4 \times 10^5$ halos) com custos computacionais dominados pelo tamanho da grade ($N_{grid}$) e pelo número de aplicações de janela, em vez da explosão combinatória de pares de partículas.
• Versatilidade: O arcabouço constrói com sucesso estatísticas complexas, como espectros de potência com média de banda (band-averaged) usando filtros de wavelet e 3PCFs decompostos em multipolos, sem exigir algoritmos de contagem separados para cada estatística.

Significância e Alegações
O artigo alega que o Hermes fornece um arcabouço computacional unificado onde um único campo reconstruído pode ser reutilizado para uma ampla gama de estatísticas cósmicas padrão e customizadas. Ao separar a representação do campo das janelas estatísticas, o arcabouço permite a análise escalável dos crescentes conjuntos de dados esperados das atuais e futuras pesquisas astronômicas.

Os autores posicionam o PyHermes não meramente como um contador de pares mais rápido para estatísticas específicas, mas como uma infraestrutura estatística flexível para a cosmologia de precisão. Ele permite a extração eficiente de informação não-gaussiana (via correlações de ordem superior, estatísticas marcadas e estatísticas de divisão de densidade) e a construção de campos físicos derivados (potencial, aceleração) dentro de um único pipeline. O artigo afirma que esta abordagem é particularmente adequada para o regime onde muitas estatísticas, geometrias de janela complexas ou correlações de ordem superior são necessárias a partir de grandes conjuntos de dados, abordando os gargalos computacionais que impedem a exploração total de levantamentos de próxima geração como DESI, Euclid e CSST.