Denoising clustering covariance matrices with Rotational Invariant Estimators

Título: Desruído de matrizes de covariância de aglomeramento com Estimadores Invariantes Rotacionais (RIE)

1. O Problema

A inferência de parâmetros cosmológicos a partir do aglomeramento de galáxias depende criticamente da precisão das estimativas das matrizes de covariância e de precisão (inversa da covariância). Na prática, essas matrizes são frequentemente derivadas de um número limitado de catálogos simulados (mocks).

• A Maldição da Dimensionalidade: Quando a dimensão do vetor de dados ($D$, número de bins) se torna comparável ao número de realizações disponíveis ($N$), a estimativa da matriz de precisão torna-se enviesada e instável.
• Efeitos Negativos: O uso direto da inversa da covariância amostral (Sample Covariance) introduz:
  1. Viés Sistemático: Superestimação da precisão (corrigível pelo fator de Hartlap).
  2. Ruído Estocástico: Flutuações aleatórias que causam deslocamentos nos melhores ajustes (best-fit) e aumentam a variância das incertezas (efeito Dodelson–Schneider).
• Limitações Atuais: Abordagens teóricas puras falham no regime não-linear, e técnicas de compressão de dados ou machine learning ainda não são a solução padrão para todos os casos.

2. Metodologia

Os autores realizaram uma aplicação pioneira do Estimador Invariante Rotacional (RIE), proposto por Bun et al. (2016), no contexto de dados cosmológicos de larga escala.

• Dados Sintéticos: Foram gerados conjuntos de dados controlados com matrizes de covariância verdadeiras conhecidas analiticamente, simulando a função de correlação de dois pontos (2PCF) e o espectro de potência (Fourier space).
• Comparação: O desempenho do RIE foi comparado contra:
  1. Covariância Amostal (Sample): Corrigida pelo fator de Hartlap e fator de Percival (para ruído de amostragem).
  2. NERCOME: Um estimador de encolhimento não-paramétrico de autovalores (Non-parametric Eigenvalue Regularised Covariance Matrix Estimator), usado anteriormente em cosmologia.
• Implementação do RIE:
  • O método utiliza a Teoria de Matrizes Aleatórias (RMT) para "desruir" o espectro de autovalores da matriz de covariância amostral.
  • Diferente do NERCOME, que mistura subconjuntos de dados, o RIE aplica uma correção analítica aos autovalores baseada na estrutura espectral.
  • Estratégia de Aplicação: O RIE foi aplicado à matriz de correlação (normalizada) e não diretamente à covariância, para isolar os efeitos de regularização na estrutura de correlação, reescalando as variâncias apenas no final.
• Inferência: Foi utilizada uma abordagem Bayesiana com um modelo baseado na Teoria do Campo Eficiente (EFT) para aglomeramento de larga escala, amostrando o posterior com o método Nautilus (Importance Nested Sampling).
• Métricas de Avaliação:
  • FoB (Figure of Bias): Mede o desvio dos parâmetros de melhor ajuste em relação aos valores verdadeiros.
  • FoM (Figure of Merit): Mede a precisão (volume do espaço de parâmetros) das restrições.

3. Principais Contribuições

• Primeira Aplicação Cosmológica do RIE: Introduz o RIE como uma ferramenta viável para a análise de aglomeramento de galáxias.
• Análise Comparativa Abrangente: Avalia o desempenho em diferentes regimes de dimensão ($D$) e razões de amostra ($q = N/D$), cobrindo tanto o espaço de configuração (2PCF) quanto o espaço de Fourier (espectro de potência).
• Descoberta de Dependência do Probe: Demonstra que o desempenho dos estimadores de encolhimento não é universal; ele varia drasticamente dependendo da estatística utilizada (2PCF vs. Espectro de Potência).

4. Resultados Chave

A. Espaço de Configuração (2PCF):

• Estabilidade do Melhor Ajuste: Tanto NERCOME quanto RIE reduzem significativamente o deslocamento estocástico dos parâmetros (best-fit) causado pelo efeito Dodelson–Schneider, superando a covariância amostral para baixos valores de $q$.
• Viés no Volume (FoM): Ambos os estimadores de encolhimento tendem a produzir restrições excessivamente apertadas (subestimam as incertezas), resultando em um FoM inflado. Esse viés cresce com o aumento da dimensão do vetor de dados ($D$).

B. Espaço de Fourier (Espectro de Potência):

• Desempenho Superior do RIE: O RIE destaca-se como o método mais eficaz.
  • Estabilidade: Mantém uma recuperação estável do melhor ajuste mesmo quando o número de mocks é apenas ligeiramente maior que a dimensão dos dados ($q \approx 1.2$).
  • Incertezas: Apresenta um viés leve no FoM (subestimação moderada), mas muito mais controlado do que no espaço de configuração.
  • Comparação: O NERCOME, neste espaço, tende a superestimar o poder de restrição (subestimar incertezas) de forma mais acentuada, comportando-se pior do que no espaço de configuração.
• Causa Provável: A estrutura de covariância do espaço de Fourier é mais suave e dominada pela diagonal, o que parece alinhar-se melhor com o modelo de encolhimento subjacente ao RIE.

C. Visualização de Posteriores:

• Em regimes de poucos mocks ($q=1.2$), as conturas do RIE no espaço de Fourier seguem quase perfeitamente as conturas de referência (covariância verdadeira), enquanto a covariância amostral e o NERCOME mostram desvios significativos e alargamento excessivo.

5. Significado e Conclusões

• Estabilidade em Regimes de Dados Escassos: O RIE emerge como a ferramenta mais robusta para estabilizar a recuperação de parâmetros quando o número de simulações é limitado, uma situação crítica para futuros levantamentos de grande escala (como Euclid e DESI) que utilizarão estatísticas de alta ordem (bispectro, 3PCF) onde a dimensão dos dados explode.
• Validação Necessária: Embora o RIE estabilize o best-fit, seu impacto no volume do posterior (incertezas) deve ser validado cuidadosamente para cada estatística específica. Não é uma "bala de prata" universal; o espaço de configuração ainda exige cautela devido ao viés de subestimação de incertezas.
• Futuro: Os autores sugerem estratégias híbridas: usar o RIE para suprimir o ruído no melhor ajuste e calibrar separadamente o volume do posterior. A aplicação do RIE a estatísticas de ordem superior (bispectro) é identificada como o próximo passo lógico, dado que a estimativa amostral tradicional se tornaria proibitivamente cara em termos de recursos computacionais.

Em resumo, o artigo demonstra que o RIE é superior ao NERCOME e à covariância amostral para a inferência de parâmetros no espaço de Fourier, oferecendo uma solução promissora para o desafio da "maldição da dimensionalidade" na cosmologia de precisão.