Scalable Gaussian Processes for Integrated and Overlapping Measurements Via Augmented State Space Models

Riepilogo Tecnico: Processi Gaussiani Scalabili per Misurazioni Integrate e Sovrapposte tramite Modelli a Spazio di Stato Augmentati

Enunciato del Problema
Le misurazioni astronomiche sono frequentemente ottenute integrando segnali su tempi di esposizione finiti (ad esempio, accumulando fotoelettroni in un CCD). Quando la scala temporale della variabilità astrofisica sottostante è comparabile alla durata dell'esposizione, i modelli standard di Processo Gaussiano (GP) istantanei diventano stimatori distorti. Tenere correttamente conto di questa integrazione richiede di modellare la misurazione come una media del processo latente sull'intervallo di esposizione.

Sebbene la regressione GP sia uno strumento standard per modellare fenomeni stocastici (ad esempio, oscillazioni stellari nei dati di velocità radiale), la gestione di misurazioni integrate pone sfide computazionali significative. Per esposizioni non sovrapposte e costanti, kernel specializzati (come quelli in celerite) possono mantenere una quasi-separabilità, permettendo soluzioni $O(N)$. Tuttavia, nel caso generale che coinvolge tempi di esposizione variabili e, crucialmente, esposizioni sovrapposte (comune quando si combinano dati da più strumenti con cadenze diverse), la matrice di covarianza perde la sua struttura quasi-separabile. Ciò impone l'uso di operazioni su matrici dense, risultando in costi di memoria $O(N^2)$ e tempi di esecuzione $O(N^3)$. I metodi esistenti per kernel integrati (ad esempio, Luhn et al. 2026) si basano sulla costruzione dell'intera matrice di covarianza densa, che diventa computazionalmente proibitiva per grandi dataset ($N \sim 10^5$) tipici dei moderni sondaggi multi-strumento.

Metodologia
Gli autori propongono di estendere l'equivalenza tra Processi Gaussiani e Modelli a Spazio di Stato Lineari Gaussiani (SSM) per gestire osservazioni integrate e sovrapposte preservando la scalabilità.

1. Formulazione a Spazio di Stato Augmentato:
   L'innovazione centrale è l'augmentazione del vettore di stato SSM standard. Per un processo latente $x(t)$ governato da un'equazione differenziale stocastica lineare (SDE), gli autori introducono uno stato integrale $z(t)$ tale che $dz/dt = x(t)$.

   • Il vettore di stato augmentato diventa $\tilde{x} = [x, z]^T$.
   • La dinamica del sistema viene aggiornata per includere l'integrazione dello stato latente.
   • Meccanismo di Reset: All'inizio di ogni esposizione $t_s$, lo stato integrale $z$ viene resettato a zero. Alla fine dell'esposizione $t_e$, l'osservazione $y$ è modellata come l'integrale normalizzato dello stato sull'intervallo: $y = z(t_e)/\delta + \epsilon$, dove $\delta$ è la durata dell'esposizione.

2. Gestione delle Sovrapposizioni:
   Per accommodare esposizioni sovrapposte da più strumenti, il framework assegna uno stato integrale distinto $z_i$ a ciascuno strumento $i$. Il vettore di stato augmentato si espande per includere tutti gli integrali specifici per strumento. Le matrici di reset vengono applicate selettivamente: $z_i$ viene resettato solo all'inizio di un'esposizione appartenente allo strumento $i$, permettendo l'accumulo simultaneo di integrali per strumenti sovrapposti. Questa costruzione codifica naturalmente le cross-correlazioni richieste per i dati sovrapposti senza richiedere operazioni su matrici dense.

3. Inferenza Scalabile:
   Gli autori derivano algoritmi Kalman Filter e Rauch–Tung–Striebel (RTS) Smoother modificati per questo sistema augmentato.

   • Complessità Sequenziale: I passaggi di filtraggio e smoothing operano sulla dimensione dello stato augmentato ($d + N_{inst}$), mantenendo una complessità computazionale di $O(N)$ su CPU.
   • Complessità Parallela: Sfruttando l'associatività delle distribuzioni di filtraggio e smoothing, il metodo è ripensato come un problema di all-prefix-sums. Ciò permette un'implementazione parallela su GPU, riducendo il tempo di esecuzione a $O(N/T + \log T)$, dove $T$ è il numero di worker paralleli.

4. Implementazione Software:
   Gli autori introducono smolgp, un pacchetto Python/JAX open-source. Offre compatibilità drop-in con l'attuale libreria tinygp, supportando sia la modellazione GP standard che quella consapevole dell'esposizione. Implementa i solver sequenziali e paralleli descritti sopra.

Risultati Chiave

• Equivalenza Numerica: Gli autori validano l'approccio SSM augmentato contro l'implementazione GP densa completa (Luhn et al. 2026) per scenari sia a singolo strumento che multi-strumento (sovrapposti). I risultati per medie condizionate, varianze e log-verosimiglianze concordano entro la precisione della macchina (differenze $\sim 10^{-14}$ a $10^{-15}$), confermando l'equivalenza teorica.
• Benchmark delle Prestazioni:
  • Memoria: L'approccio SSM è significativamente più efficiente in termini di memoria rispetto al metodo GP denso. Mentre i GP densi richiedono memoria $O(N^2)$ (superando i 100 GB per $N \sim 10^5$), il metodo SSM scala linearmente, rendendo fattibili grandi dataset su hardware standard.
  • Tempo di Esecuzione: Per dati integrati, dove non esiste un'alternativa quasi-separabile (QSM), il metodo SSM fornisce un'accelerazione trasformativa. Su CPU, il solver SSM sequenziale è il più veloce per la previsione e competitivo per il calcolo della verosimiglianza. Su GPU, il solver SSM parallelo raggiunge i tempi di condizionamento più rapidi, rivaleggiando con i metodi QSM per le verosimiglianze.
  • Previsione: Il metodo supporta previsioni efficienti in punti di test arbitrari utilizzando un algoritmo specifico (Algoritmo 1) che è imbarazzantemente parallelo e leggero in memoria rispetto alle moltiplicazioni di matrici dense.

Significato e Affermazioni
Il documento afferma che questo lavoro abilita massicce cross-comparazioni multi-strumento dove la sovrapposizione delle esposizioni è ubiqua, uno scenario precedentemente limitato dai costi computazionali. Mantenendo una complessità $O(N)$ (o $O(\log N)$ su GPU), il metodo sblocca il potenziale per:

• Analizzare dataset con $N > 10^5$ osservazioni (ad esempio, monitoraggio solare giornaliero da più strumenti come KPF, NEID, EXPRES e HARPS-N).
• Impiegare modelli più complessi e dataset ad alta dimensionalità che erano precedentemente intrattabili a causa del collo di bottiglia $O(N^3)$ dei GP integrati.
• Estendere la modellazione GP scalabile a kernel privi di quasi-separabilità (ad esempio, kernel quasiperiodici) quando sono coinvolte misurazioni integrate.

Gli autori sottolineano che il framework non è limitato alle serie temporali ma si applica a qualsiasi dato binned con una coordinata indipendente ordinabile, e supporta naturalmente osservazioni derivate (ad esempio, modelli FF') grazie all'inclusione delle derivate dello stato nella formulazione SSM. Il lavoro posiziona smolgp come uno strumento scalabile e flessibile per la prossima generazione di analisi temporali astronomiche.