Euclid. Properties and performance of the NISP signal estimator

Resumo Técnico: Propriedades e Desempenho do Estimador de Sinal do NISP

Definição do Problema
O instrumento NISP (Espectrômetro e Fotômetro de Infravermelho Próximo) da espaçonave Euclid enfrenta restrições rigorosas em relação aos recursos computacionais de bordo e à largura de banda de telemetria. Para gerenciar o enorme volume de dados gerados pelo seu mosaico de 16 detectores (aproximadamente 67 milhões de pixels), o NISP utiliza um algoritmo estimador de sinal de bordo para processar dados de infravermelho próximo em tempo real. Este algoritmo reduz o volume de dados ao estimar o fluxo e um fator de qualidade (QF) diretamente nas Unidades de Processamento de Dados (DPUs), em vez de transmitir quadros brutos para a Terra.

No entanto, para atender às limitações de hardware, o estimador baseia-se em simplificações específicas: ele opera no espaço de diferença de sinal, assume uma matriz de covariância diagonal (negligenciando correlações fora da diagonal), trata o componente de ruído de fótons como um parâmetro livre e utiliza valores médios do detector para o ruído de leitura e ganho de conversão, em vez de mapas específicos por pixel. Essas aproximações introduzem potenciais vieses sistemáticos na estimativa de fluxo e afetam a confiabilidade estatística do parâmetro QF, que é usado para sinalizar anomalias como impactos de raios cósmicos. Embora o estimador tenha sido derivado teoricamente em trabalhos anteriores (Kubik et al. 2016b), seu desempenho sob condições reais de voo e a quantificação precisa dos vieses introduzidos pelas aproximações de bordo exigiam investigação adicional.

Metodologia
Este estudo avalia o estimador de sinal do NISP através de uma combinação de reanálise teórica, simulações de Monte Carlo (MC) e análise empírica de dados iniciais de voo.

1. Análise Teórica e de Simulação: Os autores revisitaram os fundamentos estatísticos da função de verossimilhança utilizada no estimador. Investigaram a validade da aproximação Gaussiana para diferenças de grupo, o impacto de negligenciar termos de covariância fora da diagonal e o "viés de dobra" (folding bias) que ocorre em níveis baixos de fluxo quando diferenças de grupo negativas são elevadas ao quadrado. Simulações de MC foram conduzidas em vários regimes de fluxo (corrente escura, radiação zodiacal e campo plano) e níveis de ruído de leitura para modelar o comportamento do estimador de sinal e do QF sob condições ideais versus condições que mimetizam a Aproximação de Processamento de Dados (DPA) de bordo.
2. Análise de Dados de Voo: O desempenho foi validado utilizando dados de NISP Nível 1 (LE1) adquiridos durante as fases de Verificação de Desempenho e fases iniciais de levantamento (setembro de 2023 – abril de 2024). Este conjunto de dados inclui exposições de corrente escura e observações científicas (grizmas espectroscópicos e filtros fotométricos).
3. Construção do Sinal de Referência: Para quantificar o viés sem conhecer o fluxo incidente real a priori, os autores utilizaram "science-pixels rawlines" — subconjuntos de dados de leitura única de quadro completo transmitidos para uma pequena fração de pixels. Aplicaram um ajuste de mínimos quadrados lineares (LSF) a essas rawlines para gerar um sinal de referência não enviesado ($g_{LSF}$). O viés do estimador de bordo foi então calculado como o desvio da saída do estimador em relação a esta referência LSF.
4. Análise do QF: A distribuição do parâmetro QF foi analisada para avaliar sua sensibilidade à DPA e sua capacidade de detectar não-linearidades e impactos de raios cósmicos, comparando as distribuições de dados de voo com as expectativas teóricas de $\chi^2$.

Principais Contribuições

• Derivação Analítica de Viés e Variância: O artigo deriva uma expressão analítica de forma fechada para o viés constante do estimador de sinal em altos níveis de fluxo (Eq. 18) e fornece uma nova expressão analítica melhorada para a variância do estimador (Eq. 19). Esta última corrige aproximações anteriores que negligenciavam elementos de covariância fora da diagonal, oferecendo uma estimativa de incerteza mais precisa, particularmente quando a matriz de covariância não é pré-computada.
• Quantificação dos Efeitos da Aproximação de Processamento de Dados (DPA): O estudo isola e quantifica o viés sistemático introduzido pelo uso de valores médios do detector para o ruído de leitura e ganho de conversão em vez de mapas específicos por pixel. Demonstra que, embora essas aproximações introduzam viés, a magnitude é previsível e controlável.
• Caracterização Estatística do QF: Os autores derivam o valor esperado e a variância do parâmetro QF, confirmando que ele segue uma distribuição $\chi^2$ escalonada. Estabelecem a relação entre o viés do QF e o viés do estimador de sinal, mostrando que o valor esperado do QF é $n_g - 2$ sob condições ideais.
• Validação do Desempenho de Voo: O artigo fornece a primeira validação abrangente do estimador de sinal do NISP usando dados de voo, confirmando que os modelos teóricos e as simulações preveem com precisão o comportamento do instrumento.

Resultados

• Viés de Sinal: Para 99% do arranjo de pixels do NISP, o viés sistemático do estimador de sinal é inferior a $0,01 \, e^- s^{-1}$ em toda a faixa de fluxo relevante ($f \gtrsim 0,01 \, e^- s^{-1}$). Este viés está bem dentro do orçamento de ruído do sinal estimado.
• Impacto da DPA: O viés induzido pelo uso do ruído de leitura médio do detector ($\sigma_{R, DPU}$) aumenta com o desvio do ruído real de um pixel em relação à média. No entanto, para a grande maioria dos pixels, este efeito permanece negligenciável. A análise confirma que o viés é dependente do fluxo em regimes específicos, mas amplamente constante em altos fluxos.
• Precisão da Variância: O novo estimador de variância derivado (Eq. 19) mostra concordância perfeita com a dispersão observada para fluxos acima de $0,5 \, e^- s^{-1}$, independente do ruído de leitura e do modo de leitura.
• Desempenho do QF: O parâmetro QF identifica efetivamente anomalias. No modo espectroscópico, a distribuição do QF segue a distribuição $\chi^2$ esperada em altos fluxos. Em fluxos mais baixos, ocorrem desvios devido à DPA e à dominância do ruído de leitura. O estudo confirma que o QF é altamente sensível a impactos de raios cósmicos, que se manifestam como valores discrepantes (outliers) na distribuição. A fração de pixels sinalizados como outliers apenas pela DPA é inferior a 1% no modo espectroscópico e até ~3,5% no modo fotométrico sob condições de corrente escura, mas estes são distinguíveis de outliers causados pelo clima espacial.
• Clima Espacial: Os dados de voo revelam que a cauda da distribuição do QF é significativamente influenciada pelo ambiente de radiação espacial (partículas solares energéticas), que podem sinalizar uma grande porcentagem de pixels durante eventos solares, um fator não presente nas simulações baseadas em solo.

Significância
O artigo conclui que o estimador de sinal do NISP opera de forma robusta em voo, atendendo aos rigorosos requisitos de qualidade de dados da missão Euclid. Os achados corroboram resultados teóricos anteriores e demonstram que as simplificações necessárias para o processamento de bordo não introduzem sistemas de erro incontroláveis. As correções analíticas derivadas para viés e variância fornecem uma estrutura robusta para o Segmento de Solo Científico (SGS) interpretar os dados com precisão. Além disso, o estudo valida o parâmetro QF como uma ferramenta de diagnóstico confiável para a qualidade dos dados, capaz de distinguir entre aproximações instrumentais e anomalias físicas genuínas, como impactos de raios cósmicos. A concordância entre os dados de voo e as simulações sugere que a modelagem teórica do estimador de sinal é sólida, permitindo a derivação de correções de primeira ordem para vieses sistemáticos onde necessário.