Euclid. Properties and performance of the NISP signal estimator

Résumé technique : Propriétés et performances de l'estimateur de signal du NISP

Énoncé du problème
L'instrument NISP (Near-Infrared Spectrometer and Photometer) de la sonde Euclid est soumis à des contraintes strictes concernant les ressources de calcul embarquées et la bande passante de télémétrie. Pour gérer le volume massif de données générées par sa mosaïque de 16 détecteurs (environ 67 millions de pixels), le NISP utilise un algorithme d'estimation de signal embarqué pour traiter les données infrarouges proches en temps réel. Cet algorithme réduit le volume de données en estimant le flux et un facteur de qualité (QF) directement sur les unités de traitement de données (DPU), plutôt que de transmettre les trames brutes.

Cependant, pour respecter les limitations matérielles, l'estimateur repose sur des simplifications spécifiques : il opère dans l'espace de différence de signal, suppose une matrice de covariance diagonale (négligeant les corrélations hors-diagonale), traite la composante du bruit de photons comme un paramètre libre, et utilise des valeurs moyennes au détecteur pour le bruit de lecture et le gain de conversion au lieu de cartes spécifiques par pixel. Ces approximations introduisent des biais systématiques potentiels dans l'estimation du flux et affectent la fiabilité statistique du paramètre QF, qui est utilisé pour signaler les anomalies telles que les impacts de rayons cosmiques. Bien que l'estimateur ait été théoriquement dérivé dans des travaux précédents (Kubik et al. 2016b), sa performance dans les conditions de vol réelles et la quantification précise des biais introduits par les approximations embarquées nécessitaient des investigations supplémentaires.

Méthodologie
Cette étude évalue l'estimateur de signal du NISP par une combinaison de réanalyse théorique, de simulations de Monte Carlo (MC) et d'analyse empirique des premières données de vol.

1. Analyse théorique et de simulation : Les auteurs ont revisité les fondements statistiques de la fonction de vraisemblance utilisée dans l'estimateur. Ils ont étudié la validité de l'approximation gaussienne pour les différences de groupe, l'impact de la négligence des termes de covariance hors-diagonale, et le « biais de repliement » (folding bias) qui se produit à de faibles niveaux de flux lorsque les différences de groupe négatives sont mises au carré. Des simulations MC ont été menées à travers divers régimes de flux (courant d'obscurité, fond zodiacal et champ plat) et niveaux de bruit de lecture pour modéliser le comportement de l'estimateur de signal et du QF sous des conditions idéales par rapport à des conditions simulant l'approximation de traitement de données (DPA) embarquée.
2. Analyse des données de vol : La performance a été validée à l'aide de données NISP de niveau 1 (LE1) acquises lors des phases de vérification des performances et des débuts de l'étude (septembre 2023 – avril 2024). Ce jeu de données comprend des expositions d'obscurité et des observations scientifiques (grismes spectroscopiques et filtres photométriques).
3. Construction du signal de référence : Pour quantifier le biais sans connaître le flux incident réel a priori, les auteurs ont utilisé des « science-pixels rawlines » — des sous-ensembles de données de lecture unique à trame complète téléchargées pour une petite fraction de pixels. Ils ont appliqué un ajustement linéaire par moindres carrés (LSF) à ces rawlines pour générer un signal de référence non biaisé ($g_{LSF}$). Le biais de l'estimateur embarqué a ensuite été calculé comme l'écart entre la sortie de l'estimateur et cette référence LSF.
4. Analyse du QF : La distribution du paramètre QF a été analysée pour évaluer sa sensibilité à la DPA et sa capacité à détecter les non-linéarités et les impacts de rayons cosmiques, en comparant les distributions des données de vol aux attentes théoriques de $\chi^2$.

Principales contributions

• Dérivation analytique du biais et de la variance : L'article dérive une expression analytique sous forme fermée pour le biais constant de l'estimateur de signal à haut flux (Éq. 18) et fournit une nouvelle expression analytique améliorée pour la variance de l'estimateur (Éq. 19). Cette dernière corrige les approximations précédentes qui négligeaient les éléments de covariance hors-diagonale, offrant une estimation d'incertitude plus précise, particulièrement lorsque la matrice de covariance n'est pas pré-calculée.
• Quantification des effets de l'approximation de traitement de données (DPA) : L'étude isole et quantifie le biais systématique introduit par l'utilisation de valeurs de bruit de lecture et de gain de conversion moyennes au détecteur au lieu de cartes spécifiques par pixel. Elle démontre que bien que ces approximations introduisent un biais, son ampleur est prévisible et contrôlable.
• Caractérisation statistique du QF : Les auteurs dérivent la valeur attendue et la variance du paramètre QF, confirmant qu'il suit une distribution $\chi^2$ mise à l'échelle. Ils établissent la relation entre le biais du QF et le biais de l'estimateur de signal, montrant que la valeur attendue du QF est $n_g - 2$ dans des conditions idéales.
• Validation de la performance en vol : L'article fournit la première validation complète de l'estimateur de signal du NISP utilisant des données de vol, confirmant que les modèles théoriques et les simulations prédisent avec précision le comportement de l'instrument.

Résultats

• Biais du signal : Pour 99 % de la matrice de pixels du NISP, le biais systématique de l'estimateur de signal est inférieur à $0,01 \, e^- s^{-1}$ sur la plage de flux pertinente ($f \gtrsim 0,01 \, e^- s^{-1}$). Ce biais est largement en deçà du budget de bruit du signal estimé.
• Impact de la DPA : Le biais induit par l'utilisation du bruit de lecture moyen du détecteur ($\sigma_{R, DPU}$) augmente avec l'écart entre le bruit réel d'un pixel et la moyenne. Cependant, pour la grande majorité des pixels, cet effet reste négligeable. L'analyse confirme que le biais dépend du flux dans des régimes spécifiques mais reste largement constant à haut flux.
• Précision de la variance : Le nouvel estimateur de variance dérivé (Éq. 19) montre un accord parfait avec la dispersion observée pour des flux supérieurs à $0,5 \, e^- s^{-1}$, indépendamment du bruit de lecture et du mode de lecture.
• Performance du QF : Le paramètre QF identifie efficacement les anomalies. En mode spectroscopique, la distribution du QF suit la distribution $\chi^2$ attendue à haut flux. À des flux plus faibles, des écarts surviennent en raison de la DPA et de la dominance du bruit de lecture. L'étude confirme que le QF est hautement sensible aux impacts de rayons cosmiques, qui se manifestent comme des valeurs aberrantes dans la distribution. La fraction de pixels signalés comme aberrants à cause de la seule DPA est inférieure à 1 % en mode spectroscopique et jusqu'à environ 3,5 % en mode photométrique dans des conditions d'obscurité, mais ceux-ci sont distinguables des valeurs aberrantes induites par la météo spatiale.
• Météo spatiale : Les données de vol révèlent que la queue de la distribution du QF est significativement influencée par l'environnement de rayonnement spatial (particules solaires énergétiques), qui peut signaler un pourcentage élevé de pixels lors d'événements solaires, un facteur absent des simulations au sol.

Signification
L'article conclut que l'estimateur de signal du NISP fonctionne de manière robuste en vol, répondant aux exigences strictes de qualité de données de la mission Euclid. Les conclusions corroborent les résultats théoriques précédents et démontrent que les simplifications requises pour le traitement embarqué n'introduisent pas de systématiques incontrôlées. Les corrections analytiques dérivées pour le biais et la variance fournissent un cadre robuste au Segment de Sol Scientifique (SGS) pour interpréter les données avec précision. De plus, l'étude valide le paramètre QF comme un outil de diagnostic fiable pour la qualité des données, capable de distinguer les approximations instrumentales des véritables anomalies physiques comme les impacts de rayons cosmiques. L'accord entre les données de vol et les simulations suggère que la modélisation théorique de l'estimateur de signal est solide, permettant la dérivation de corrections de premier ordre aux biais systématiques si nécessaire.