Scalable Gaussian Processes for Integrated and Overlapping Measurements Via Augmented State Space Models

Resumo Técnico: Processos Gaussianos Escaláveis para Medições Integradas e Sobrepostas via Modelos de Espaço de Estado Aumentados

Enunciado do Problema
Medidas astronômicas são frequentemente obtidas integrando sinais ao longo de tempos de exposição finitos (por exemplo, acumulando fotoelétrons em um CCD). Quando a escala de tempo da variabilidade astrofísica subjacente é comparável ao comprimento da exposição, modelos padrão de Processo Gaussiano (GP) instantâneos tornam-se estimadores enviesados. Contar corretamente com essa integração exige modelar a medida como uma média do processo latente sobre o intervalo de exposição.

Embora a regressão GP seja uma ferramenta padrão para modelar fenômenos estocásticos (por exemplo, oscilações estelares em dados de velocidade radial), lidar com medidas integradas impõe desafios computacionais significativos. Para exposições não sobrepostas e constantes, kernels especializados (como os do celerite) podem manter a quase-separabilidade, permitindo soluções $O(N)$. No entanto, no caso geral envolvendo tempos de exposição variáveis e, crucialmente, exposições sobrepostas (comuns ao combinar dados de múltiplos instrumentos com cadências diferentes), a matriz de covariância perde sua estrutura quase-separável. Isso força o uso de operações com matrizes densas, resultando em custos de memória $O(N^2)$ e de tempo de execução $O(N^3)$. Métodos existentes para kernels integrados (por exemplo, Luhn et al. 2026) dependem da construção da matriz de covariância densa completa, o que se torna computacionalmente proibitivo para grandes conjuntos de dados ($N \sim 10^5$) típicos de levantamentos modernos multi-instrumento.

Metodologia
Os autores propõem estender a equivalência entre Processos Gaussianos e Modelos de Espaço de Estado Lineares Gaussianos (SSMs) para lidar com observações integradas e sobrepostas, preservando a escalabilidade.

1. Formulação de Espaço de Estado Aumentado:
   A inovação central é o aumento do vetor de estado do SSM padrão. Para um processo latente $x(t)$ governado por uma equação diferencial estocástica linear (SDE), os autores introduzem um estado integral $z(t)$ tal que $dz/dt = x(t)$.

   • O vetor de estado aumentado torna-se $\tilde{x} = [x, z]^T$.
   • As dinâmicas do sistema são atualizadas para incluir a integração do estado latente.
   • Mecanismo de Reinicialização: No início de cada exposição $t_s$, o estado integral $z$ é reiniciado para zero. No final da exposição $t_e$, a observação $y$ é modelada como a integral normalizada do estado sobre o intervalo: $y = z(t_e)/\delta + \epsilon$, onde $\delta$ é a duração da exposição.

2. Tratamento de Sobreposições:
   Para acomodar exposições sobrepostas de múltiplos instrumentos, o framework atribui um estado integral distinto $z_i$ a cada instrumento $i$. O vetor de estado aumentado expande-se para incluir todas as integrais específicas de cada instrumento. As matrizes de reinicialização são aplicadas seletivamente: $z_i$ é reiniciado apenas no início de uma exposição pertencente ao instrumento $i$, permitindo a acumulação simultânea de integrais para instrumentos sobrepostos. Esta construção codifica naturalmente as correlações cruzadas necessárias para dados sobrepostos sem exigir operações com matrizes densas.

3. Inferência Escalável:
   Os autores derivam algoritmos Kalman Filter e Rauch–Tung–Striebel (RTS) Smoother modificados para este sistema aumentado.

   • Complexidade Sequencial: As etapas de filtragem e suavização operam na dimensão do estado aumentado ($d + N_{inst}$), mantendo uma complexidade computacional de $O(N)$ em uma CPU.
   • Complexidade Paralela: Aproveitando a associatividade das distribuições de filtragem e suavização, o método é reformulado como um problema de todos-prefix-sums. Isso permite implementação paralela em GPUs, reduzindo o tempo de relógio para $O(N/T + \log T)$, onde $T$ é o número de trabalhadores paralelos.

4. Implementação de Software:
   Os autores apresentam o smolgp, um pacote Python/JAX de código aberto. Oferece compatibilidade de substituição direta com a biblioteca existente tinygp, suportando tanto modelagem GP padrão quanto modelagem GP consciente de exposição. Implementa os solucionadores sequenciais e paralelos descritos acima.

Principais Resultados

• Equivalência Numérica: Os autores validam a abordagem SSM aumentada contra a implementação GP densa completa (Luhn et al. 2026) para cenários de instrumento único e multi-instrumento (sobrepostos). Os resultados para médias condicionadas, variâncias e log-verossimilhanças concordam dentro da precisão da máquina (diferenças $\sim 10^{-14}$ a $10^{-15}$), confirmando a equivalência teórica.
• Benchmarks de Desempenho:
  • Memória: A abordagem SSM é significativamente mais eficiente em memória do que o método GP denso. Enquanto GPs densos exigem memória $O(N^2)$ (excedendo 100 GB para $N \sim 10^5$), o método SSM escala linearmente, tornando conjuntos de dados grandes viáveis em hardware padrão.
  • Tempo de Execução: Para dados integrados, onde não existe alternativa quase-separável (QSM), o método SSM fornece uma aceleração transformadora. Em uma CPU, o solucionador SSM sequencial é o mais rápido para previsão e competitivo para cálculo de verossimilhança. Em uma GPU, o solucionador SSM paralelo alcança os tempos de condicionamento mais rápidos, rivalizando com métodos QSM para verossimilhanças.
  • Previsão: O método suporta previsão eficiente em pontos de teste arbitrários usando um algoritmo específico (Algoritmo 1) que é embaraçosamente paralelo e leve em memória comparado a multiplicações de matrizes densas.

Significado e Afirmações
O artigo afirma que este trabalho permite comparações cruzadas massivas multi-instrumento onde a sobreposição de exposições é ubíqua, um cenário anteriormente limitado pelo custo computacional. Ao manter complexidade $O(N)$ (ou $O(\log N)$ em GPUs), o método desbloqueia o potencial para:

• Analisar conjuntos de dados com $N > 10^5$ observações (por exemplo, monitoramento solar diário de múltiplos instrumentos como KPF, NEID, EXPRES e HARPS-N).
• Empregar modelos mais complexos e conjuntos de dados de maior dimensão que anteriormente eram intratáveis devido ao gargalo $O(N^3)$ de GPs integrados.
• Estender a modelagem GP escalável a kernels que carecem de quase-separabilidade (por exemplo, kernels quasiperiódicos) quando medidas integradas estão envolvidas.

Os autores enfatizam que o framework não se limita a séries temporais, mas aplica-se a qualquer dados agrupados com uma coordenada independente classificável, e suporta naturalmente observações de derivadas (por exemplo, modelos FF') devido à inclusão de derivadas de estado na formulação SSM. O trabalho posiciona o smolgp como uma ferramenta escalável e flexível para a próxima geração de análise de domínio temporal astronômico.