Euclid. Properties and performance of the NISP signal estimator

Resumen Técnico: Propiedades y Rendimiento del Estimador de Señal del NISP

Planteamiento del Problema
El instrumento NISP (Espectrómetro y Fotómetro de Infrarrojo Cercano) de la nave espacial Euclid enfrenta restricciones estrictas en cuanto a recursos computacionales a bordo y ancho de banda de telemetría. Para gestionar el enorme volumen de datos generado por su mosaico de 16 detectores (aproximadamente 67 millones de píxeles), el NISP emplea un algoritmo de estimación de señal a bordo para procesar los datos de infrarrojo cercano en tiempo real. Este algoritmo reduce el volumen de datos estimando el flujo y un factor de calidad (QF) directamente en las Unidades de Procesamiento de Datos (DPU), en lugar de enviar tramas completas sin procesar.

Sin embargo, para cumplir con las limitaciones de hardware, el estimador se basa en simplificaciones específicas: opera en el espacio de diferencia de señal, asume una matriz de covarianza diagonal (ignorando las correlaciones fuera de la diagonal), trata el componente de ruido de fotones como un parámetro libre y utiliza valores promediados del detector para el ruido de lectura y la ganancia de conversión en lugar de mapas específicos por píxel. Estas aproximaciones introducen posibles sesgos sistemáticos en la estimación del flujo y afectan la fiabilidad estadística del parámetro QF, que se utiliza para señalar anomalías como los impactos de rayos cósmicos. Aunque el estimador fue derivado teóricamente en un trabajo previo (Kubik et al. 2016b), su rendimiento bajo condiciones de vuelo reales y la cuantificación precisa de los sesgos introducidos por las aproximaciones a bordo requerían una investigación adicional.

Metodología
Este estudio evalúa el estimador de señal del NISP mediante una combinación de reanálisis teórico, simulaciones de Monte Carlo (MC) y análisis empírico de datos de vuelo tempranos.

1. Análisis Teórico y de Simulación: Los autores revisaron los fundamentos estadísticos de la función de verosimilitud utilizada en el estimador. Investigaron la validez de la aproximación gaussiana para las diferencias de grupo, el impacto de ignorar los términos de covarianza fuera de la diagonal y el "sesgo de plegado" (folding bias) que ocurre a niveles bajos de flujo cuando las diferencias de grupo negativas se elevan al cuadrado. Se realizaron simulaciones de MC a través de varios regímenes de flujo (corriente oscura, fondo zodiacal y campo plano) y niveles de ruido de lectura para modelar el comportamiento del estimador de señal y el QF bajo condiciones ideales frente a condiciones que imitan la Aproximación de Procesamiento de Datos (DPA) a bordo.
2. Análisis de Datos de Vuelo: El rendimiento se validó utilizando datos de Nivel 1 (LE1) adquiridos durante las fases de Verificación de Rendimiento y de las primeras etapas de observación (septiembre de 2023 – abril de 2024). Este conjunto de datos incluye exposiciones de oscuridad y observaciones científicas (grismos espectroscópicos y filtros fotométricos).
3. Construcción de la Señal de Referencia: Para cuantificar el sesgo sin conocer el flujo incidente real a priori, los autores utilizaron "science-pixels rawlines" —subconjuntos de datos de lectura única de cuadro completo descargados para una pequeña fracción de píxeles—. Aplicaron un ajuste de mínimos cuadrados lineales (LSF) a estas rawlines para generar una señal de referencia no sesgada ($g_{LSF}$). El sesgo del estimador a bordo se calculó entonces como la desviación de la salida del estimador respecto a esta referencia LSF.
4. Análisis del QF: La distribución del parámetro QF se analizó para evaluar su sensibilidad a la DPA y su capacidad para detectar no linealidades e impactos de rayos cósmicos, comparando las distribuciones de los datos de vuelo con las expectativas teóricas de $\chi^2$.

Contribuciones Clave

• Derivación Analítica de Sesgo y Varianza: El artículo deriva una expresión analítica de forma cerrada para el sesgo constante del estimador de señal a altos niveles de flujo (Ec. 18) y proporciona una nueva y mejorada expresión analítica para la varianza del estimador (Ec. 19). Esta última corrige aproximaciones previas que ignoraban los elementos de covarianza fuera de la diagonal, ofreciendo una estimación de incertidumbre más precisa, particularmente cuando la matriz de covarianza no se precalcula.
• Cuantificación de los Efectos de la Aproximación de Procesamiento de Datos (DPA): El estudio aísla y cuantifica el sesgo sistemático introducido por el uso de valores de ruido de lectura y ganancia de conversión promediados del detector en lugar de mapas específicos por píxel. Demuestra que, si bien estas aproximaciones introducen sesgo, su magnitud es predecible y controlable.
• Caracterización Estadística del QF: Los autores derivan el valor esperado y la varianza del parámetro QF, confirmando que sigue una distribución $\chi^2$ escalada. Establecen la relación entre el sesgo del QF y el sesgo del estimador de señal, mostrando que el valor esperado del QF es $n_g - 2$ bajo condiciones ideales.
• Validación del Rendimiento en Vuelo: El artículo proporciona la primera validación exhaustiva del estimador de señal del NISP utilizando datos de vuelo, confirmando que los modelos teóricos y las simulaciones predicen con precisión el comportamiento del instrumento.

Resultados

• Sesgo de la Señal: Para el 99% del arreglo de píxeles del NISP, el sesgo sistemático del estimador de señal es inferior a $0.01 \, e^- s^{-1}$ en el rango de flujo relevante ($f \gtrsim 0.01 \, e^- s^{-1}$). Este sesgo está bien dentro del presupuesto de ruido de la señal estimada.
• Impacto de la DPA: El sesgo inducido por el uso de ruido de lectura promedio del detector ($\sigma_{R, DPU}$) aumenta con la desviación del ruido real de un píxel respecto al promedio. Sin embargo, para la gran mayoría de los píxeles, este efecto es insignificante. El análisis confirma que el sesgo depende del flujo en regímenes específicos, pero es mayormente constante a flujos altos.
• Precisión de la Varianza: El nuevo estimador de varianza derivado (Ec. 19) muestra una concordancia perfecta con la dispersión observada para flujos superiores a $0.5 \, e^- s^{-1}$, independientemente del ruido de lectura y del modo de lectura.
• Rendimiento del QF: El parámetro QF identifica eficazmente las anomalías. En modo espectroscópico, la distribución del QF sigue la distribución $\chi^2$ esperada a flujos altos. A flujos más bajos, ocurren desviaciones debido a la DPA y al predominio del ruido de lectura. El estudio confirma que el QF es altamente sensible a los impactos de rayos cósmicos, que se manifiestan como valores atípicos en la distribución. La fracción de píxeles marcados como valores atípicos debido únicamente a la DPA es inferior al 1% en modo espectroscópico y de hasta ~3.5% en modo fotométrico bajo condiciones de oscuridad, pero estos son distinguibles de los valores atípicos causados por el clima espacial.
• Clima Espacial: Los datos de vuelo revelan que la cola de la distribución del QF está significativamente influenciada por el entorno de radiación espacial (partículas solares energéticas), que puede marcar un gran porcentaje de píxeles durante eventos solares, un factor no presente en las simulaciones basadas en tierra.

Significancia
El artículo concluye que el estimador de señal del NISP funciona de manera robusta en vuelo, cumpliendo con los estrictos requisitos de calidad de datos de la misión Euclid. Los hallazgos corroboran los resultados teóricos previos y demuestran que las simplificaciones requeridas para el procesamiento a bordo no introducen sistemáticas incontroladas. Las correcciones analíticas derivadas para el sesgo y la varianza proporcionan un marco robusto para que el Segmento de Tierra Científico (SGS) interprete los datos con precisión. Además, el estudio valida el parámetro QF como una herramienta de diagnóstico fiable para la calidad de los datos, capaz de distinguir entre aproximaciones instrumentales y anomalías físicas genuinas como los impactos de rayos cósmicos. La concordancia entre los datos de vuelo y las simulaciones sugiere que el modelado teórico del estimador de señal es sólido, permitiendo la derivación de correcciones de primer orden para los sesgos sistemáticos cuando sea necesario.