Euclid. Properties and performance of the NISP signal estimator

Technische Samenvatting: Eigenschappen en Prestaties van de NISP-signaalestimator

Probleemstelling
Het NISP-instrument (Near-Infrared Spectrometer and Photometer) van de Euclid-ruimtevaartuig staat voor strikte beperkingen wat betreft de aan boord aanwezige computationele middelen en de telemetriebandbreedte. Om het enorme datavolume te beheren dat wordt gegenereerd door de 16-detector mosaic (ongeveer 67 miljoen pixels), gebruikt NISP een algoritme voor signaalschatting aan boord om nabij-infrarode gegevens in real-time te verwerken. Dit algoritme vermindert het datavolume door flux en een kwaliteitsfactor (QF) direct op de Data Processing Units (DPUs) te schatten, in plaats van ruwe frames te downloaden.

Om echter aan de hardwarebeperkingen te voldoen, vertrouwt de estimator op specifieke vereenvoudigingen: deze werkt in de signaalverschilruimte, gaat uit van een diagonale covariantie-matrix (waarbij off-diagonaal correlaties worden genegeerd), behandelt de fotonruiscomponent als een vrije parameter, en maakt gebruik van detector-gemiddelde waarden voor uitleesruis en conversiegewinst in plaats van pixel-specifieke kaarten. Deze benaderingen introduceren potentiële systematische biases in de fluxschatting en beïnvloeden de statistische betrouwbaarheid van de QF-parameter, die wordt gebruikt om anomalieën zoals kosmische straling te markeren. Hoewel de estimator theoretisch eerder is afgeleid (Kubik et al. 2016b), vereisten de prestaties onder werkelijke vluchtcondities en de precieze kwantificering van de door onboard-benaderingen geïntroduceerde biases verder onderzoek.

Methodologie
Deze studie evalueert de NISP-signaalestimator via een combinatie van theoretische heranalyse, Monte Carlo (MC)-simulaties en empirische analyse van vroege vluchtgegevens.

1. Theoretische en Simulatie-analyse: De auteurs hebben de statistische fundamenten van de likelihood-functie die in de estimator wordt gebruikt, herzien. Ze onderzochten de geldigheid van de Gaussische benadering voor groepsverschillen, de impact van het negeren van off-diagonaal covariantie-termen, en de "folding bias" die optreedt bij lage flux wanneer negatieve groepsverschillen worden gekwadrateerd. MC-simulaties werden uitgevoerd over diverse flux-regimes (donkerstroom, zodiacale achtergrond en flat field) en uitleesruis-niveaus om het gedrag van de signaalestimator en de QF te modelleren onder ideale condities versus condities die de onboard Data Processing Approximation (DPA) nabootsen.
2. Vluchtgegevens-analyse: De prestaties werden gevalideerd met behulp van NISP Level 1 (LE1) gegevens verkregen tijdens de Performance Verification en de vroege survey-fasen (september 2023 – april 2024). Deze dataset bevat donkere exposities en wetenschappelijke observaties (spectroscopische grisms en fotometrische filters).
3. Referentiesignaal-constructie: Om de bias te kwantificeren zonder de werkelijke invallende flux a priori te kennen, gebruikten de auteurs "science-pixels rawlines"—subsets van volledige frame single-readout data die voor een klein fractie van de pixels naar beneden zijn gedownload. Ze pasten een lineaire kleinste-kwadratenmethode (LSF) toe op deze rawlines om een onbevooroordeeld referentiesignaal ($g_{LSF}$) te genereren. De bias van de onboard estimator werd vervolgens berekend als de afwijking van de output van de estimator ten opzichte van dit LSF-referentie-signaal.
4. QF-analyse: De distributie van de QF-parameter werd geanalyseerd om de gevoeligheid voor de DPA en het vermogen om niet-lineariteiten en kosmische straling te detecteren te beoordelen, waarbij de distributies van de vluchtgegevens werden vergeleken met theoretische $\chi^2$-verwachtingen.

Belangrijkste Bijdragen

• Analytische Afleiding van Bias en Variantie: Het artikel leidt een gesloten analytische expressie af voor de constante bias van de signaalestimator bij hoge flux (Eq. 18) en biedt een nieuwe, verbeterde analytische expressie voor de variantie van de estimator (Eq. 19). De laatste corrigeert eerdere benaderingen die off-diagonaal covariantie-elementen negeerden, wat een nauwkeurigere onzekerheidsschatting biedt, vooral wanneer de covariantie-matrix niet vooraf wordt berekend.
• Kwantificering van Data Processing Approximation (DPA) Effecten: De studie isoleert en kwantificeert de systematische bias die wordt geïntroduceerd door het gebruik van detector-gemiddelde uitleesruis en conversiegewinst-waarden in plaats van pixel-specifieke kaarten. Het toont aan dat hoewel deze benaderingen bias introduceren, de omvang voorspelbaar en controleerbaar is.
• Statistische Karakterisering van QF: De auteurs leiden de verwachte waarde en variantie van de QF-parameter af, en bevestigen dat deze een geschaalde $\chi^2$-distributie volgt. Ze stellen de relatie tussen de QF-bias en de signaalestimator-bias vast, waarbij zij aantonen dat de QF-verwachtingswaarde $n_g - 2$ is onder ideale condities.
• Validatie van Vluchtprestaties: Het artikel biedt de eerste uitgebreide validatie van de NISP-signaalestimator met behulp van in-flight gegevens, waarmee wordt bevestigd dat de theoretische modellen en simulaties het gedrag van het instrument accuraat voorspellen.

Resultaten

• Signaalbias: Voor 99% van de NISP-pixelarray is de systematische bias van de signaalestimator lager dan $0.01 \, e^- s^{-1}$ over het relevante fluxbereik ($f \gtrsim 0.01 \, e^- s^{-1}$). Deze bias ligt ruim binnen de ruisbudget van het geschatte signaal.
• DPA-impact: De bias geïnduceerd door het gebruik van detector-gemiddelde uitleesruis ($\sigma_{R, DPU}$) neemt toe met de afwijking van de werkelijke ruis van een pixel ten opzichte van het gemiddelde. Echter, voor het overgrote deel van de pixels blijft dit effect verwaarloosbaar. De analyse bevestigt dat de bias flux-afhankelijk is in specifieke regimes, maar grotendeels constant is bij hoge flux.
• Nauwkeurigheid van de Variantie: De nieuw afgeleide variantie-estimator (Eq. 19) vertoont perfecte overeenstemming met de geobserveerde dispersie voor fluxes boven $0.5 \, e^- s^{-1}$, onafhankelijk van uitleesruis en uitleesmodus.
• QF-prestaties: De QF-parameter identificeert anomalieën effectief. In spectrografische modus volgt de QF-distributie de verwachte $\chi^2$-distributie bij hoge flux. Bij lagere fluxes treden afwijkingen op door de DPA en de dominantie van uitleesruis. De studie bevestigt dat de QF zeer gevoelig is voor kosmische straling, wat zich manifesteert als uitschieters in de distributie. Het deel van de pixels dat als uitschieter wordt gemarkeerd door enkel de DPA, is minder dan 1% in spectrografische modus en tot circa 3,5% in fotometrische modus onder donkere condities, maar deze zijn onderscheidbaar van door ruimteweersomstandigheden veroorzaakte uitschieters.
• Ruimteweersomstandigheden: De vluchtgegevens laten zien dat de staart van de QF-distributie aanzienlijk wordt beïnvloed door de stralingsomgeving in de ruimte (energetische zonnedeeltjes), wat tijdens zonnevlammen een groot percentage pixels kan markeren, een factor die niet aanwezig is in grondgebaseerde simulaties.

Betekenis
Het artikel concludeert dat de NISP-signaalestimator robuust presteert tijdens de vlucht en voldoet aan de strikte eisen van de Euclid-missie voor datakwaliteit. De bevindingen bevestigen eerdere theoretische resultaten en tonen aan dat de vereenvoudigingen die nodig zijn voor onboard-verwerking geen ongecontroleerde systematiek introduceren. De afgeleide analytische correcties voor bias en variantie bieden een robuust kader voor de Science Ground Segment (SGS) om de gegevens accuraat te interpreteren. Bovendien valideert de studie de QF-parameter als een betrouwbaar diagnostisch instrument voor datakwaliteit, in staat om onderscheid te maken tussen instrumentale benaderingen en werkelijke fysieke anomalieën zoals kosmische straling. De overeenstemming tussen de vluchtgegevens en de simulaties suggereert dat de theoretische modellering van de signaalestimator solide is, wat de afleiding van correcties van de eerste orde voor systematische biases mogelijk maakt waar nodig.