Quality Assessment of Spectroscopic Data Reduction Pipelines Using Artificial Intelligence: Scrutinizing Data Release 2 from the DESI Survey

Resumo Técnico: Avaliação de Qualidade de Dados Espectroscópicos do DESI DR2 Usando IA Não Supervisionada

Definição do Problema
Pesquisas espectroscópicas de larga escala como o Dark Energy Spectroscopic Instrument (DESI) agora coletam dados em uma escala (milhões de espectros por mês) que torna a inspeção visual tradicional para garantia de qualidade (QA) impraticável. Efeitos sistemáticos na redução de dados podem se propagar para vieses na estimativa de redshift e em medições cosmológicas, enquanto anomalias espectrais também podem representar variabilidade astrofísica genuína ou falhas instrumentais. Os métodos de QA automatizados existentes frequentemente dependem de aprendizado supervisionado que requer dados de treinamento rotulados ou flags de qualidade padrão do pipeline (ex: ZWARN), que podem não detectar artefatos sutis de redução. Há uma necessidade de um método não supervisionado escalável para identificar espectros problemáticos sem rotulagem prévia, capaz de operar em toda a pegada da pesquisa.

Metodologia
Os autores apresentam um pipeline não supervisionado para avaliação de qualidade espectroscópica aplicado a 58.291.334 espectros coados do DESI Data Release 2 (DR2). O método opera independentemente em cada um dos 14.199 tiles da pesquisa para produzir um catálogo de outliers ao nível do tile. O pipeline consiste em duas etapas primárias:

1. Redução de Dimensionalidade (UMAP): O pipeline utiliza a Projeção de Aproximação de Variedade Uniforme (UMAP) para projetar vetores de fluxo de alta dimensão (concatenados dos braços Azul, Vermelho e de Infravermelho Próximo, totalizando ~7.900 bins de comprimento de onda) em um embedding 2D. Crucialmente, os autores não aplicam denoising, normalização de contínuo ou filtragem específica de banda antes do embedding. Essa escolha deliberada garante que artefatos de redução (ex: descontinuidades de fluxo, resíduos de calibração) permaneçam como parte do sinal a ser detectado. Os hiperparâmetros do UMAP (vizinhos $N_n=45$, distância mínima $M_d=1.0$, métrica de cosseno) são fixos em todos os tiles para garantir reprodutibilidade e comparabilidade.
2. Agrupamento (Friends-of-Friends): Os embeddings 2D são processados usando o agrupamento Friends-of-Friends (FoF). Este algoritmo agrupa espectros com base na distância euclidiana no espaço de embedding. Espectros que formam componentes pequenos e isolados (tamanho $< N_{min}=5$) ou singletons são sinalizados como candidatos a outliers.

A abordagem não requer dados de treinamento rotulados; ela aprende a distribuição de espectros "normais" diretamente da população local do tile. O pipeline preserva identificadores padrão do DESI (TILEID, PETAL_LOC, FIBER, TARGETID), permitindo a recuperação direta e auditoria dos espectros sinalizados.

Principais Resultados

• Detecção de Outliers: O pipeline identificou 1.095.816 candidatos a outliers em toda a pesquisa. A fração média de outliers por tile é de aproximadamente 1,96%.
• Dependência de Programa: As taxas de outliers variam significamente por programa de observação:
  • Programa Dark: ~0,76%
  • Programa Bright: ~2,36%
  • Programa Backup: ~7,31%
    Isso sugere que as condições de observação e as populações de alvos são fatores dominantes nas taxas de outliers.
• Distribuição Espacial: A análise do plano focal revela que as frações de outliers não são uniformes. Taxas elevadas estão concentradas perto das bordas dos blocos de espectrógrafos de 500 fibras (petals), indicando variações instrumentais dependentes da borda (ex: mudanças de foco, vazão ou resolução) em vez de um gradiente global suave.
• Validação por Inspeção Visual: Uma inspeção visual de 391 candidatos selecionados aleatoriamente dos programas principais Dark e Bright revelou que:
  • 66,8% dos candidatos exibiam anomalias espectrais identificáveis consistentes com efeitos de redução conhecidos (ex: descontinuidades de fluxo na junção dos braços, emissão espúria no braço Z, contínuo azul negativo).
  • Apenas 4,1% desses candidatos inspecionados carregavam uma flag ZWARN não nula do pipeline de redução padrão.
    Essa grande discrepância demonstra que o método UMAP+FoF recupera uma população substancial de espectros problemáticos que os diagnósticos padrão não detectam.
• Anomalias Genuínas: Extrapolando para o catálogo completo da pesquisa principal, os autores estimam que aproximadamente 218.000 candidatos não apresentam artefatos de redução identificáveis e podem corresponder a espectros atípicos genuínos.

Significância e Alegações
O artigo afirma que este framework não supervisionado fornece uma camada complementar de avaliação de qualidade aos diagnósticos de pipeline existentes. Ao isolar um núcleo denso de espectros típicos de componentes isolados, o método concentra os esforços de revisão humana nos espectros que têm maior probabilidade de serem problemáticos, em vez de substituir o julgamento humano.

Os autores enfatizam que o pipeline é:

• Escalável: Processa tiles independentemente, tornando-o viável para análise em escala de pesquisa e adequado para QA próximo do tempo real.
• Reprodutível: Hiperparâmetros fixos permitem a comparação direta da qualidade dos dados entre sucessivas liberações de dados (ex: rastreando o impacto de correções de pipeline como a transição de "Kibo" para "Loa").
• Prático: Serve como um monitor para o desempenho da redução, identificando efeitos instrumentais sutis (como os próximos às fronteiras do espectrógrafo) que poderiam passar despercebidos, mas que poderiam impactar análises cosmológicas.

O trabalho não pretende definir uma taxonomia global de todas as anomalias ou corrigir espectros automaticamente. Em vez disso, posiciona a ferramenta como um mecanismo de priorização para revisão humana, reduzindo a carga de inspeção do conjunto de dados completo para um subconjunto gerenciável de candidatos de alta probabilidade. Os autores observam que o trabalho futuro se concentrará na integração deste método nas operações diárias e na extensão do método para outras pesquisas espectroscópicas de múltiplos objetos.