The miniJPAS survey quasar selection V: combined algorithm

Resumo Técnico: O Algoritmo Combinado de Seleção de Quasares da Pesquisa miniJPAS V.

Definição do Problema
Pesquisas fotométricas geram vastos conjuntos de dados que exigem classificação eficiente de objetos e estimativa de redshift para apoiar o acompanhamento espectroscópico e estudos cosmológicos, como as Oscilações Acústicas de Bárions (BAO) usando absorção de Lyman-$\alpha$. Embora algoritmos individuais de aprendizado de máquina tenham sido desenvolvidos para distinguir quasares de estrelas e galáxias usando dados do miniJPAS, eles frequentemente produzem catálogos ligeiramente diferentes. O desafio reside em combinar otimamente essas diversas saídas algorítmicas para maximizar tanto a pureza (minimizando a contaminação) quanto a completude (maximizando a detecção) do catálogo final de quasares, além de melhorar as estimativas de redshift fotométrico.

Metodologia
Este trabalho apresenta um "algoritmo combinado" que atua como um meta-classificador, integrando as saídas de oito classificadores de aprendizado de máquina previamente desenvolvidos e dois estimadores de redshift.

1. Fontes de Dados:

   • Dados miniJPAS: A análise utiliza o Data Release do miniJPAS, cobrindo $\sim1$ deg$^2$ com 56 filtros de banda estreita mais 4 filtros de banda larga do SDSS. A amostra é restrita a magnitudes de banda $r$ entre $17.0 < r \le 23.5$ (estendida para 24.3 em alguns testes) e foca principalmente em fontes pontuais ($ERT \ge 0.1$).
   • Dados Simulados (Mocks): Utilizados para treinamento e validação inicial. Estes mocks são baseados em espectros do SDSS convoluídos com filtros J-PAS, contendo números iguais de estrelas, galáxias e quasares para facilitar o treinamento.
   • Dados Reais: O DESI Early Data Release (EDR) cruzado com o miniJPAS é utilizado como uma tabela de verdade independente para validar o desempenho contra observações reais.

2. Características de Entrada:
   O modelo combinado não utiliza dados fotométricos brutos diretamente. Em vez disso, ele ingere os escores de confiança e as estimativas de redshift de oito classificadores individuais (CNN1, CNN1NE, CNN2, RF, LGBM, ANN1, ANN2 e SQUEZE) e dois estimadores de redshift de ajuste de template (QPz e LePhore).

   • Classificação: Um Classificador de Floresta Aleatória (Random Forest) é treinado para prever a classe final (estrela, galáxia, quasar de baixo-$z$, quasar de alto-$z$) com base nos resultados de confiança dos algoritmos individuais.
   • Estimativa de Redshift: Um Regressor de Floresta Aleatória (implementado via XGBoost) é treinado para refinar as estimativas de redshift. Notavelmente, a métrica de treinamento é o Desvio Absoluto da Mediana Normalizada ($\sigma_{NMAD}$) em vez do Erro Quadrático Médio, para lidar melhor com a natureza não gaussiana dos erros de redshift fotométrico. Para objetos brilhantes ($r < 22$), as estimativas do QPz são mantidas, pois superam o conjunto (ensemble).

3. Métricas de Avaliação:
   O desempenho é avaliado usando o escore F1 (média harmônica de pureza e completude), pureza, completude e $\sigma_{NMAD}$ para precisão de redshift.

Principais Contribuições

• Aprendizado de Conjunto (Ensemble Learning): O artigo introduz uma abordagem de aprendizado de máquina de segunda camada que combina otimamente as saídas de oito algoritmos distintos, em vez de depender de um único modelo.
• Análise de Importância de Características: O estudo quantifica a importância relativa dos algoritmos de entrada, revelando que o algoritmo CNN1 domina a decisão combinada, com CNN2 e ANN1 fornecendo contribuições secundárias significativas.
• Refinamento de Redshift: Um regressor dedicado é desenvolvido para melhorar as estimativas de redshift, visando especificamente a redução de outliers catastróficos (confusão de linhas) ao aproveitar estimativas alternativas de SQUEZE e outros, mesmo quando são menos precisas que o QPz para objetos brilhantes.
• Validação com Dados Reais: Ao contrário de trabalhos anteriores da série que dependiam exclusivamente de mocks, este artigo valida o algoritmo combinado contra o DESI EDR, fornecendo um teste de realidade crítico sobre o desempenho baseado em simulações.

Resultados

• Desempenho em Mocks:

  • O algoritmo combinado supera todos os classificadores individuais nos conjuntos de teste de mocks.
  • Para quasares de alto redshift ($z \ge 2.1$) em $r \le 23.5$, o algoritmo combinado atinge um escore F1 de 0.88 (Pureza: 0.91, Completude: 0.85).
  • Para quasares de baixo redshift ($z < 2.1$) em $r \le 23.5$, o escore F1 é de 0.79 (Pureza: 0.79, Completude: 0.79).
  • A precisão de redshift nos mocks resulta em $\sigma_{NMAD} = 0.11$ global, com $\sigma_{NMAD} = 0.03$ para quasares de alto-$z$ e $0.19$ para quasares de baixo-$z$.

• Desempenho em Dados Reais (DESI EDR):

  • Quando aplicado ao cruzamento com o DESI, a dinâmica de desempenho muda significamente. O algoritmo combinado não supera os classificadores individuais; de fato, seu desempenho cai em relação aos resultados dos mocks.
  • Especificamente, o algoritmo CNN1, que impulsiona o modelo combinado, mostra uma queda significativa na pureza em dados reais comparado aos mocks.
  • Inversamente, algoritmos como SQUEZE e Random Forest (RF), que tiveram desempenho insatisfatório nos mocks, mostram ganhos substanciais de desempenho em dados reais.
  • A precisão de redshift em dados reais é inesperadamente alta, com $\sigma_{NMAD} = 0.02$, significativamente melhor do que a previsão do mock de 0.11.

• Produção de Catálogo:

  • Dois catálogos são lançados: um para fontes pontuais (784 quasares) e outro incluindo fontes estendidas (11.487 quasares).
  • Os autores observam que o número de fontes estendidas é excessivamente alto, sugerindo que o algoritmo combinado não é robusto para objetos não pontuais.
  • Para alinhar-se com as expectativas teóricas (Palanque-Delabrouille et al. 2016), recomenda-se um corte de confiança $\ge 0.67$ para fontes pontuais, resultando em ~298 quasares até $r=23$.

Significância e Limitações
O artigo conclui que, embora o algoritmo combinado consiga otimizar a integração de diversos métodos de aprendizado de máquina, a discrepância entre o desempenho nos mocks e nos dados reais indica que os mocks simulados não são realistas o suficiente. Os autores atribuem isso ao fato de os mocks serem baseados em espectros do SDSS e não capturarem totalmente as propriedades de objetos mais tênues ou as características específicas de ruído da sobreposição DESI/miniJPAS.

A significância deste trabalho reside na demonstração de que:

1. Métodos de ensemble podem melhorar a seleção de quasares em dados simulados.
2. Os atuais mocks podem levar ao overfitting ou à má estimativa da importância dos algoritmos ao transitar para dados reais.
3. Uma nova versão mais refinada dos mocks é necessária para validar plenamente a abordagem combinada e para considerar adequadamente as fontes estendidas.

Os autores afirmam modestamente que a amostra de dados ainda não é grande o suficiente para uma consideração estatística completa, e que o catálogo atual deve ser utilizado com o entendimento de que as métricas de desempenho derivadas dos mocks podem não se traduzir totalmente para aplicações no mundo real sem o refinamento posterior dos mocks.