Euclid. Properties and performance of the NISP signal estimator

Sintesi Tecnica: Proprietà e Prestazioni dello Stimatore del Segnale NISP

Problematica
Lo strumento NISP (Near-Infrared Spectrometer and Photometer) della sonda Euclid affronta vincoli rigorosi riguardanti le risorse computazionali di bordo e la larghezza di banda per la telemetria. Per gestire l'enorme volume di dati generati dal suo mosaico di 16 rilevatori (circa 67 milioni di pixel), NISP impiega un algoritmo stimatore di segnale onboard per elaborare i dati nel vicino infrarosso in tempo reale. Questo algoritmo riduce il volume dei dati stimando il flusso e un fattore di qualità (QF) direttamente sulle Unità di Elaborazione dei Dati (DPU), invece di trasmettere i frame grezzi.

Tuttovia, per soddisfare i limiti hardware, lo stimatore si affida a specifiche semplificazioni: opera nello spazio della differenza di segnale, assume una matrice di covarianza diagonale (trascurando le correlazioni fuori diagonale), tratta la componente del rumore di fotoni come un parametro libero e utilizza valori mediati per il rilevatore relativi al rumore di lettura e al guadagno di conversione, anziché mappe specifiche per pixel. Queste approssimazioni introducono potenziali bias sistematici nella stima del flusso e influenzano l'affidabilità statistica del parametro QF, utilizzato per segnalare anomalie come gli impatti di raggi cosmici. Sebbene lo stimatore sia stato teoricamente derivato in un lavoro precedente (Kubik et al. 2016b), le sue prestazioni nelle reali condizioni di volo e la precisa quantificazione dei bias introdotti dalle approssimazioni onboard richiedevano ulteriori indagini.

Metodologia
Questo studio valuta lo stimatore di segnale NISP attraverso una combinazione di rianalisi teorica, simulazioni Monte Carlo (MC) e analisi empirica dei primi dati di volo.

1. Analisi Teorica e di Simulazione: Gli autori hanno rivisitato le fondamenta statistiche della funzione di verosimiglianza utilizzata nello stimatore. Hanno investigato la validità dell'approssimazione gaussiana per le differenze di gruppo, l'impatto della trascuratezza dei termini di covarianza fuori diagonale e il "bias di ripiegamento" (folding bias) che si verifica a bassi livelli di flusso quando le differenze di gruppo negative vengono elevate al quadrato. Sono state condotte simulazioni MC attraverso vari regimi di flusso (corrente di buio, background zodiacale e campo piatto) e livelli di rumore di lettura per modellare il comportamento dello stimatore di segnale e del QF in condizioni ideali rispetto a condizioni che mimano l'Approssimazione di Elaborazione dei Dati (DPA) onboard.
2. Analisi dei Dati di Volo: Le prestazioni sono state validate utilizzando i dati NISP Livello 1 (LE1) acquisiti durante le fasi di Verifica delle Prestazioni e i primi periodi di survey (settembre 2023 – aprile 2024). Questo dataset include esposizioni di buio e osservazioni scientifiche (grismi spettroscopici e filtri fotometrici).
3. Costruzione del Segnale di Riferimento: Per quantificare il bias senza conoscere a priori il vero flusso incidente, gli autori hanno utilizzato le "science-pixels rawlines"—sottogruppi di dati a singola lettura a pieno frame trasmessi per una piccola frazione di pixel. Hanno applicato un metodo di minimi quadrati lineari (LSF) a queste rawline per generare un segnale di riferimento non distorto ($g_{LSF}$). Il bias dello stimatore onboard è stato quindi calcolato come la deviazione dell'output dello stimatore dal riferimento LSF.
4. Analisi del QF: La distribuzione del parametro QF è stata analizzata per valutare la sua sensibilità alla DPA e la sua capacità di rilevare non linearità e impatti di raggi cosmici, confrontando le distribuzioni dei dati di volo con le aspettative teoriche $\chi^2$.

Contributi Chiave

• Derivazione Analitica di Bias e Varianza: Il documento deriva un'espressione analitica in forma chiusa per il bias costante dello stimatore di segnale ad alti flussi (Eq. 18) e fornisce una nuova espressione analitica migliorata per la varianza dello stimatore (Eq. 19). Quest'ultima corregge le precedenti approssimazioni che trascuravano gli elementi di covarianza fuori diagonale, offrendo una stima dell'incertezza più accurata, specialmente quando la matrice di covarianza non è pre-calcolata.
• Quantificazione degli Effetti della Data Processing Approximation (DPA): Lo studio isola e quantifica il bias sistematico introdotto dall'uso di valori mediati del rumore di lettura e del guadagno di conversione invece di mappe specifiche per pixel. Dimostra che, sebbene queste approssimazioni introducano un bias, l'entità è prevedibile e controllabile.
• Caratterizzazione Statistica del QF: Gli autori derivano il valore atteso e la varianza del parametro QF, confermando che esso segue una distribuzione $\chi^2$ scalata. Stabiliscono la relazione tra il bias del QF e il bias dello stimatore di segnale, mostrando che il valore atteso del QF è $n_g - 2$ in condizioni ideali.
• Validazione delle Prestazioni di Volo: Il documento fornisce la prima validazione completa dello stimatore di segnale NISP utilizzando dati di volo, confermando che i modelli teorici e le simulazioni predicono accuratamente il comportamento dello strumento.

Risultati

• Bias del Segnale: Per il 99% dell'array di pixel NISP, il bias sistematico dello stimatore di segnale è inferiore a $0.01 \, e^- s^{-1}$ nell'intervallo di flusso rilevante ($f \gtrsim 0.01 \, e^- s^{-1}$). Questo bias è ampiamente entro il budget di rumore del segnale stimato.
• Impatto della DPA: Il bias indotto dall'uso del rumore di lettura medio del rilevatore ($\sigma_{R, DPU}$) aumenta con la deviazione del rumore reale di un pixel rispetto alla media. Tuttavia, per la stragrande maggioranza dei pixel, questo effetto rimane trascurabile. L'analisi conferma che il bias è dipendente dal flusso in regimi specifici, ma è ampiamente costante ad alti flussi.
• Accuratezza della Varianza: Il nuovo stimatore di varianza derivato (Eq. 19) mostra un accordo perfetto con la dispersione osservata per flussi superiori a $0.5 \, e^- s^{-1}$, indipendentemente dal rumore di lettura e dalla modalità di lettura.
• Prestazioni del QF: Il parametro QF identifica efficacemente le anomalie. In modalità spettroscopica, la distribuzione del QF segue la distribuzione $\chi^2$ attesa ad alti flussi. A flussi più bassi, si verificano deviazioni dovute alla DPA e alla dominanza del rumore di lettura. Lo studio conferma che il QF è altamente sensibile agli impatti di raggi cosmici, che si manifestano come outlier nella distribuzione. La frazione di pixel segnalati come outlier a causa della sola DPA è inferiore all'1% in modalità spettroscopica e fino a circa il 3,5% in modalità fotometrica in condizioni di buio, ma questi sono distinguibili dagli outlier causati dal meteo spaziale.
• Meteo Spaziale: I dati di volo rivelano che la coda della distribuzione del QF è significativamente influenzata dall'ambiente di radiazione spaziale (particelle solari energetiche), che può segnalare una grande percentuale di pixel durante eventi solari, un fattore non presente nelle simulazioni basate a terra.

Significatività
Il documento conclude che lo stimatore di segnale NISP opera in modo robusto in volo, soddisfacendo i rigorosi requisiti di qualità dei dati della missione Euclid. Le scoperte corroborano i precedenti risultati teorici e dimostrano che le semplificazioni richieste per l'elaborazione onboard non introducono sistematiche incontrollate. Le correzioni analitiche derivate per bias e varianza forniscono un quadro robusto affinché il Science Ground Segment (SGS) possa interpretare correttamente i dati. Inoltre, lo studio valida il parametro QF come uno strumento diagnostico affidabile per la qualità dei dati, capace di distinguere tra approssimazioni strumentali e genuine anomalie fisiche come gli impatti di raggi cosmici. L'accordo tra i dati di volo e le simulazioni suggerisce che la modellazione teorica dello stimatore di segnale è solida, permettendo la derivazione di correzioni di ordine superiore ai bias sistematici dove necessario.