Euclid preparation. LXXXIX. Accurate and precise data-driven angular power spectrum covariances

Título: Euclid Preparation LXXXIX: Covariâncias Angulares de Espectro de Potência Precisas e Acuradas Baseadas em Dados

1. O Problema

O telescópio espacial Euclid tem como objetivo mapear a distribuição de bilhões de galáxias para estudar a energia escura e a matéria escura. Para atingir seus objetivos científicos, o Euclid medirá espectros de potência angular de aglomeramento (clustering) e cisalhamento cósmico (weak lensing) em múltiplas faixas de redshift.

• Desafio da Dimensionalidade: O vetor de dados completo esperado terá cerca de $10^5$ elementos.
• Limitação das Técnicas Atuais: Métodos tradicionais para estimar covariâncias (matrizes de erro) a partir de dados internos (como jackknife) ou externos (simulações) enfrentam dois problemas críticos:
  1. Singularidade: Para garantir que a matriz de covariância seja não-singular (invertível), o número de amostras (simulações ou segmentos jackknife) deve ser maior que o tamanho do vetor de dados. Com $10^5$ elementos, isso exigiria mais de $10^5$ simulações ou segmentos, o que é computacionalmente proibitivo.
  2. Viés: Estimativas internas de covariância, como as baseadas em jackknife, tendem a ser viesadas para cima (superestimam a variância diagonal) e podem ser sub-representadas em grandes escalas. Além disso, estimativas ruidosas podem levar a limites de parâmetros artificialmente apertados se a inversão da matriz não for tratada corretamente.
• Necessidade: É crucial desenvolver um método que produza covariâncias internas, não-singulares, não-viesadas e independentes de suposições cosmológicas ou de viés de galáxias para validação de efeitos sistemáticos.

2. Metodologia

Os autores desenvolveram uma nova técnica chamada DICES (Debiased Internal Covariance Estimation with Shrinkage - Estimativa de Covariância Interna Desviesada com Encolhimento). O método combina várias etapas avançadas:

• Particionamento do Céu (Sky Partitioning):
  • Para criar amostras jackknife, o céu deve ser dividido em segmentos de área igual. O método tradicional de k-means gera segmentos com áreas desiguais (desvio padrão de ~16%), introduzindo variância indesejada.
  • Solução: Os autores adaptaram o algoritmo de Particionamento de Espaço Binário (BSP) para a esfera unitária. Este algoritmo divide recursivamente a região de observação em hiperplanos, garantindo que os segmentos tenham áreas quase idênticas (desvio padrão reduzido para ~0,11%). Isso foi implementado no pacote Python público SkySegmentor.
• Correção de Céu Parcial:
  • Ao remover segmentos para criar amostras jackknife, a área do céu muda, afetando a estimativa do espectro de potência.
  • Os autores aplicam uma correção transformando os espectros de potência para o espaço real (função de correlação angular), aplicando um fator de correção baseado na máscara do céu e suavizando a correção com uma função logística para evitar instabilidades numéricas onde a cobertura do céu é baixa.
• Encolhimento Linear (Linear Shrinkage):
  • Para lidar com a singularidade e o ruído em vetores de dados grandes, aplica-se o encolhimento linear (Ledoit & Wolf, 2004).
  • A matriz de covariância estimada ($C_{est}$) é combinada com uma matriz alvo bem condicionada ($C_{tar}$), neste caso, a correlação gaussiana predita.
  • A fórmula é $C_{shr} = \lambda C_{tar} + (1 - \lambda) C_{est}$. Isso garante que a matriz resultante seja não-singular e invertível.
• Correção de Viés (Bias Correction):
  • Para corrigir o viés de superestimação nas diagonais da covariância jackknife, os autores utilizam uma correção de viés de delete-2 (removendo dois segmentos simultaneamente), conforme proposto por Efron & Stein (1981).
• Combinação Final (DICES):
  • O método DICES combina as vantagens de ambas as abordagens:
    1. Usa a estrutura de correlação (fora da diagonal) da covariância com encolhimento (que é estável e não-singular).
    2. Substitui os elementos diagonais (desvios padrão) pela estimativa desviesada obtida via jackknife delete-2.
  • Matematicamente: $C^{(ij)}_{DICES} = C^{(ij)}_{shr} \times \frac{\sqrt{C^{(ii)}_{debias} C^{(jj)}_{debias}}}{\sqrt{C^{(ii)}_{shr} C^{(jj)}_{shr}}}$.

3. Principais Contribuições

1. Algoritmo BSP para Esfera: Desenvolvimento e implementação de um novo método de particionamento de céu que garante áreas de segmentos jackknife extremamente uniformes, superando as limitações do k-means.
2. Técnica DICES: Proposta de um novo framework híbrido que resolve o dilema entre singularidade (resolvida pelo encolhimento) e viés de amplitude (resolvido pela correção delete-2).
3. Validação Robusta: O método foi testado em 1.000 catálogos sintéticos de galáxias do tipo Euclid (baseados em campos lognormais), simulando a primeira liberação de dados (DR1).
4. Software Público: O código para particionamento (SkySegmentor) e a implementação do método DICES (heracles.py) foram disponibilizados publicamente para a comunidade.

4. Resultados

A validação nos catálogos sintéticos demonstrou que o DICES supera significativamente as estimativas jackknife convencionais:

• Precisão: O erro relativo na estimativa da covariância melhorou em 33% em comparação com as estimativas jackknife padrão.
• Estrutura de Correlação: A precisão na estrutura de correlação (elementos fora da diagonal) melhorou em 48%.
• Não-Singularidade: O método produz matrizes não-singulares e invertíveis, essenciais para cálculos de verossimilhança (likelihood), mesmo com vetores de dados grandes.
• Viés: A correção delete-2 removeu eficazmente o viés de superestimação nas diagonais (desvios padrão), enquanto o encolhimento manteve a estrutura de correlação realista, evitando o ruído excessivo observado em jackknives desviesados puros.
• Razão Sinal-Ruído (SNR): As métricas de SNR obtidas com DICES estão consistentes com a covariância de amostra (o "padrão-ouro" conhecido apenas em simulações), enquanto métodos tradicionais apresentavam viés.

5. Significado e Impacto

• Validação do Euclid: O DICES permitirá que a colaboração Euclid valide suas medições cosmológicas contra efeitos sistemáticos observacionais sem depender de modelos cosmológicos específicos ou de grandes conjuntos de simulações externas.
• Eficiência Computacional: Permite obter covariâncias precisas para vetores de dados massivos ($10^5$ elementos) usando um número viável de segmentos jackknife (na ordem de centenas, em vez de centenas de milhares), reduzindo drasticamente o custo computacional e de armazenamento.
• Aplicabilidade Geral: Embora desenvolvido para o Euclid, a metodologia é geral e pode ser aplicada a outras sondas de grande escala (como KiDS, DES, HSC) para análise de espectros de potência angular e validação de dados.
• Futuro: O método estabelece uma base para futuras liberações de dados do Euclid, onde o aumento da área de observação permitirá otimizações adicionais, como o uso de encolhimento não-linear.

Em resumo, o artigo apresenta uma solução técnica robusta e inovadora para um dos maiores gargalos na análise de dados de levantamentos cosmológicos de próxima geração: a estimativa precisa e não-singular de matrizes de covariância a partir dos próprios dados observacionais.