Improved photometric redshift estimations through self-organising map-based data augmentation

Título: Melhorias nas estimativas de redshift fotométrico através de aumento de dados baseado em Mapas Auto-Organizáveis (SOM)

1. O Problema

A cosmologia moderna e o estudo da evolução de galáxias dependem criticamente de estimativas precisas de redshift fotométrico ($z_{phot}$) para bilhões de galáxias observadas em levantamentos de grande área, como o futuro Legacy Survey of Space and Time (LSST) do Observatório Vera C. Rubin.

• Limitação Atual: Métodos de aprendizado de máquina (ML) para estimar redshifts exigem amostras de treinamento espectroscópicas completas e representativas. No entanto, os levantamentos espectroscópicos atuais e futuros possuem limitações de magnitude, viés de seleção (cobertura desigual no espaço cor-magnitude) e taxas de sucesso variáveis.
• Consequência: Isso resulta em conjuntos de treinamento não representativos, especialmente para galáxias fracas e de alto redshift ($z \gtrsim 1.5$), levando a vieses sistemáticos, falhas catastróficas e incertezas nas distribuições de densidade condicional de redshift.
• Desafio Específico: Simplesmente adicionar dados sintéticos pode falhar se os modelos de Distribuição de Energia Espectral (SED) dos catálogos simulados diferirem significativamente dos dados observacionais reais, introduzindo novos vieses.

2. Metodologia

Os autores propõem um novo quadro de trabalho que utiliza Mapas Auto-Organizáveis (SOM) para identificar lacunas na cobertura espectroscópica e realizar um aumento de dados direcionado e adaptativo.

• Catálogos de Dados:
  • OpenUniverse2024: Utilizado como proxy para as observações reais do LSST (Y1 e Y10), gerando o conjunto de dados "Aplicação" (fotometria realista).
  • CosmoDC2: Utilizado exclusivamente para o aumento de dados. Embora use modelos de SED diferentes (baseados em Galacticus e UniverseMachine), oferece uma cobertura mais ampla no espaço de cores.
• Pipeline de Geração de Dados:
  1. Seleção Fotométrica (Application): Geração de 501 realizações de conjuntos de dados fotométricos simulando o LSST, incluindo ruído e seleção "Gold".
  2. Degradação Espectroscópica (Degradation): Criação de 501 conjuntos de treinamento espectroscópico sintéticos aplicando cortes de magnitude, redshift e cor, além de taxas de sucesso probabilísticas, para mimetizar a incompletude de levantamentos reais.
  3. Treinamento do SOM: Um SOM (140x140 para Y1, 180x180 para Y10) é treinado no conjunto de dados "Aplicação" para mapear o espaço de SEDs de alta dimensão em uma grade bidimensional.
  4. Aumento de Dados Adaptativo (Augmentation):
     • Galáxias do CosmoDC2 são mapeadas para as células do SOM.
       São aplicados pesos para alinhar a distribuição global do CosmoDC2 à do OpenUniverse2024 no espaço do SOM.
     • Identificação de Lacunas: Células do SOM vazias ou sub-representadas no conjunto "Degradação" são identificadas.
     • Preenchimento: Galáxias do CosmoDC2 correspondentes são adicionadas ao conjunto de treinamento ("Combinação") para preencher essas lacunas, com um limite de razão para evitar dominância de dados sintéticos.
  5. Modelagem de Redshift: O algoritmo FlexZBoost (baseado em XGBoost e decomposição de densidade condicional) é treinado no conjunto "Combinação" (Degradação + Aumento) e aplicado aos dados fotométricos de teste.

3. Principais Contribuições

• Framework SOM para Aumento de Dados: Introdução de uma metodologia que utiliza a topologia do SOM para identificar visual e quantitativamente regiões do espaço de cores-magnitude com cobertura espectroscópica insuficiente, permitindo um aumento de dados mais direcionado do que métodos baseados em limites de cor/magnitude fixos.
• Simulação Realista de Incompletude: Desenvolvimento de 501 realizações de conjuntos de dados degradados que incorporam variações nas funções de seleção espectroscópica, permitindo uma avaliação estatística robusta da incerteza sistemática.
• Validação em Cenários Y1 e Y10: Demonstração da eficácia do método tanto para o primeiro ano (Y1) quanto para dez anos (Y10) de observação do LSST, cobrindo diferentes profundidades e desafios de ruído.
• Integração com RAIL: Implementação prática dentro da plataforma RAIL (Redshift Assessment Infrastructure Layers) do LSST DESC, utilizando ferramentas padrão como Somoclu e FlexZBoost.

4. Resultados

A avaliação foi realizada utilizando métricas de viés escalado ($\delta_z$), desvio absoluto mediano normalizado (NMAD), fração de outliers e taxa de falhas catastróficas, além da perda de divergência em histogramas PIT (para a qualidade da distribuição de probabilidade).

• Melhoria em Alto Redshift: O método demonstrou melhorias significativas, particularmente para galáxias com $z_{true} \gtrsim 1.5$.
  • Redução da taxa de falhas catastróficas em até um fator de 2.
  • Redução do viés sistemático (median scaled bias) em um fator de 2 a 3.
  • Diminuição da fração de outliers em 10-20%.
• Estabilidade do Modelo: O uso de dados aumentados reduziu drasticamente a dispersão (scatter) nas métricas de desempenho entre as diferentes realizações de seleção espectroscópica, indicando que o método torna as estimativas de redshift menos sensíveis às variações na seleção dos dados de treinamento.
• Qualidade da Densidade Condicional: O aumento de dados melhorou a fidelidade das distribuições de probabilidade condicional ($p(z)$), reduzindo a perda de divergência (divergence loss) nos histogramas PIT, especialmente para amostras de fontes fracas.
• Desempenho em Baixos Redshifts: Para galáxias brilhantes e de baixo redshift ($z < 1.5$), onde a cobertura espectroscópica já é boa, o aumento de dados trouxe melhorias marginais, mas não degradou o desempenho, mantendo o cumprimento dos requisitos do LSST DESC.
• Limitações: Ainda persistem discrepâncias residuais em galáxias muito fracas e de alto redshift devido às diferenças intrínsecas nos modelos de SED entre os catálogos CosmoDC2 e OpenUniverse2024, o que limita a melhoria em certas faixas de redshift extremo.

5. Significado e Impacto

Este trabalho fornece uma solução robusta para um dos maiores gargalos da cosmologia de precisão: a calibração de redshifts fotométricos em levantamentos de próxima geração.

• Viabilidade para o LSST: Demonstra que é possível mitigar a incompletude espectroscópica inevitável do LSST através de técnicas inteligentes de aumento de dados, sem depender exclusivamente de levantamentos espectroscópicos mais profundos e caros.
• Precisão Cosmológica: Ao reduzir vieses sistemáticos e falhas catastróficas, o método permite medições mais precisas de lente gravitacional fraca e estrutura em grande escala, essenciais para investigar a energia escura e a matéria escura.
• Futuro: O framework estabelece a base para trabalhos futuros que focarão no binning tomográfico e na calibração de distribuições de redshift ensemble, integrando-se diretamente ao ecossistema de software do LSST DESC.

Em resumo, a abordagem baseada em SOM transforma a maneira como lidamos com a incompletude de dados em astrofísica, permitindo que simulações complementares preencham lacunas críticas de forma adaptativa, resultando em estimativas de redshift mais confiáveis para a próxima era da astronomia.