Scalable Gaussian Processes for Integrated and Overlapping Measurements Via Augmented State Space Models

Resumen Técnico: Procesos Gaussianos Escalables para Mediciones Integradas y Superpuestas mediante Modelos de Espacio de Estados Aumentados

Enunciado del Problema
Las mediciones astronómicas se obtienen frecuentemente integrando señales durante tiempos de exposición finitos (por ejemplo, acumulando fotoelectrones en un CCD). Cuando la escala temporal de la variabilidad astrofísica subyacente es comparable a la duración de la exposición, los modelos estándar de Procesos Gaussianos (GP) instantáneos se convierten en estimadores sesgados. Contar correctamente con esta integración requiere modelar la medición como un promedio del proceso latente sobre el intervalo de exposición.

Aunque la regresión GP es una herramienta estándar para modelar fenómenos estocásticos (por ejemplo, oscilaciones estelares en datos de velocidad radial), el manejo de mediciones integradas plantea desafíos computacionales significativos. Para exposiciones constantes y no superpuestas, núcleos especializados (como los de celerite) pueden mantener la cuasi-separabilidad, permitiendo soluciones de $O(N)$. Sin embargo, en el caso general que involucra tiempos de exposición variables y, crucialmente, exposiciones superpuestas (comunes al combinar datos de múltiples instrumentos con diferentes cadencias), la matriz de covarianza pierde su estructura cuasi-separable. Esto fuerza el uso de operaciones de matrices densas, resultando en costos de memoria de $O(N^2)$ y de tiempo de ejecución de $O(N^3)$. Los métodos existentes para núcleos integrados (por ejemplo, Luhn et al. 2026) dependen de la construcción de la matriz de covarianza densa completa, lo cual se vuelve computacionalmente prohibitivo para conjuntos de datos grandes ($N \sim 10^5$) típicos de las encuestas modernas multi-instrumento.

Metodología
Los autores proponen extender la equivalencia entre Procesos Gaussianos y Modelos de Espacio de Estados (SSM) Lineales Gaussianos para manejar observaciones integradas y superpuestas mientras se preserva la escalabilidad.

1. Formulación de Espacio de Estados Aumentado:
   La innovación central es la ampliación del vector de estado del SSM estándar. Para un proceso latente $x(t)$ gobernado por una ecuación diferencial estocástica (SDE) lineal, los autores introducen un estado integral $z(t)$ tal que $dz/dt = x(t)$.

   • El vector de estado aumentado se convierte en $\tilde{x} = [x, z]^T$.
   • Las dinámicas del sistema se actualizan para incluir la integración del estado latente.
   • Mecanismo de Reinicio: Al inicio de cada exposición $t_s$, el estado integral $z$ se reinicia a cero. Al final de la exposición $t_e$, la observación $y$ se modela como la integral normalizada del estado sobre el intervalo: $y = z(t_e)/\delta + \epsilon$, donde $\delta$ es la duración de la exposición.

2. Manejo de Superposiciones:
   Para acomodar exposiciones superpuestas de múltiples instrumentos, el marco asigna un estado integral distinto $z_i$ a cada instrumento $i$. El vector de estado aumentado se expande para incluir todas las integrales específicas de cada instrumento. Las matrices de reinicio se aplican selectivamente: $z_i$ se reinicia solo al inicio de una exposición perteneciente al instrumento $i$, permitiendo la acumulación simultánea de integrales para instrumentos superpuestos. Esta construcción codifica naturalmente las correlaciones cruzadas requeridas para datos superpuestos sin requerir operaciones de matrices densas.

3. Inferencia Escalable:
   Los autores derivan algoritmos modificados de Filtro de Kalman y Suavizador Rauch–Tung–Striebel (RTS) para este sistema aumentado.

   • Complejidad Secuencial: Los pasos de filtrado y suavizado operan sobre la dimensión del estado aumentado ($d + N_{inst}$), manteniendo una complejidad computacional de $O(N)$ en una CPU.
   • Complejidad Paralela: Aprovechando la asociatividad de las distribuciones de filtrado y suavizado, el método se reformula como un problema de suma de prefijos (all-prefix-sums). Esto permite una implementación paralela en GPUs, reduciendo el tiempo de reloj a $O(N/T + \log T)$, donde $T$ es el número de trabajadores paralelos.

4. Implementación de Software:
   Los autores presentan smolgp, un paquete de Python/JAX de código abierto. Ofrece compatibilidad directa con la biblioteca existente tinygp, soportando tanto el modelado GP estándar como el modelado GP consciente de la exposición. Implementa los solucionadores secuenciales y paralelos descritos anteriormente.

Resultados Clave

• Equivalencia Numérica: Los autores validan el enfoque de SSM aumentado frente a la implementación completa de GP densa (Luhn et al. 2026) para escenarios de instrumento único y multi-instrumento (superpuestos). Los resultados para medias condicionadas, varianzas y log-verosimilitudes coinciden dentro de la precisión de la máquina (diferencias $\sim 10^{-14}$ a $10^{-15}$), confirmando la equivalencia teórica.
• Benchmarks de Rendimiento:
  • Memoria: El enfoque SSM es significativamente más eficiente en memoria que el método GP densa. Mientras que los GPs densos requieren memoria $O(N^2)$ (excediendo 100 GB para $N \sim 10^5$), el método SSM escala linealmente, haciendo factibles conjuntos de datos grandes en hardware estándar.
  • Tiempo de Ejecución: Para datos integrados, donde no existe una alternativa cuasi-separable (QSM), el método SSM proporciona una aceleración transformadora. En una CPU, el solucionador SSM secuencial es el más rápido para la predicción y competitivo para el cálculo de la verosimilitud. En una GPU, el solucionador SSM paralelo alcanza los tiempos de condicionamiento más rápidos, rivalizando con los métodos QSM para verosimilitudes.
  • Predicción: El método soporta predicción eficiente en puntos de prueba arbitrarios utilizando un algoritmo específico (Algoritmo 1) que es paralelizable de manera trivial y ligero en memoria en comparación con las multiplicaciones de matrices densas.

Significado y Afirmaciones
El artículo afirma que este trabajo permite comparaciones cruzadas masivas multi-instrumento donde la superposición de exposiciones es ubicua, un escenario previamente limitado por el costo computacional. Al mantener una complejidad de $O(N)$ (o $O(\log N)$ en GPUs), el método desbloquea el potencial para:

• Analizar conjuntos de datos con $N > 10^5$ observaciones (por ejemplo, monitoreo solar diario desde múltiples instrumentos como KPF, NEID, EXPRES y HARPS-N).
• Emplear modelos más complejos y conjuntos de datos de mayor dimensión que previamente eran intratables debido al cuello de botella de $O(N^3)$ de los GPs integrados.
• Extender el modelado GP escalable a núcleos que carecen de cuasi-separabilidad (por ejemplo, núcleos cuasiperiódicos) cuando están involucradas mediciones integradas.

Los autores enfatizan que el marco no se limita a series temporales, sino que se aplica a cualquier datos agrupados con una coordenada independiente ordenable, y soporta naturalmente observaciones derivadas (por ejemplo, modelos FF') debido a la inclusión de derivadas de estado en la formulación SSM. El trabajo posiciona a smolgp como una herramienta escalable y flexible para el análisis de dominio temporal astronómico de próxima generación.