Bayesian Inference and Learning in Gaussian Process State-Space Models with Particle MCMC

Resumo Técnico: Inferência Bayesiana e Aprendizado em Modelos de Espaço de Estados com Processos Gaussianos via PMCMC

Declaração do Problema

Modelos de espaço de estados (SSMs) são amplamente utilizados para modelar séries temporais e sistemas dinâmicos, tipicamente definidos por uma trajetória de estado latente $x_{0:T}$ e uma função de transição de estado $f$. Um desafio significativo surge quando a dinâmica $f$ é desconhecida e altamente não linear. Abordagens tradicionais frequentemente recorrem a representações paramétricas de $f$ ou utilizam algoritmos de Expectativa-Maximização (EM) que podem levar ao sobreajuste (overfitting), particularmente em espaços de estados de alta dimensão ou quando a distribuição de suavização é incerta.

Embora os Processos Gaussianos (GPs) ofereçam uma priori não paramétrica flexível para $f$, a aplicação de GPs a SSMs é difícil porque os estados latentes $x_{0:T}$ não são observados. Métodos existentes frequentemente aproximam o GP usando um conjunto finito de pontos de alvo, tornando o modelo efetivamente paramétrico, ou dependem de modelos fixos de dinâmicas de transição para suavização. O problema central abordado neste artigo é como realizar inferência e aprendizado totalmente bayesianos em SSMs não lineares e não paramétricos sem sacrificar a expressividade do modelo ou incorrer em custos computacionais proibitivos.

Metodologia

Os autores propõem um framework totalmente bayesiano onde uma priori de Processo Gaussiano é colocada diretamente sobre a função de transição de estado desconhecida $f$. Assume-se que o modelo de observação $g$ é conhecido (possivelmente parametrizado), enquanto as dinâmicas $f$ são tratadas como uma função aleatória.

1. Marginalização da Função de Transição
Em vez de inferir a conjunta posterior sobre os estados, hiperparâmetros e a função $f$ simultaneamente, os autores marginalizam a função de transição $f$. Esta abordagem de "colapso" permite que o método respeite a natureza não paramétrica do modelo. Ao condicionar na trajetória de estado $x_{0:T}$, a priori marginal $p(x_{0:T} | \theta)$ pode ser expressa como um produto de Gaussianas. Embora esta distribuição não seja Gaussiana em si (devido à dependência não linear da média e covariância em relação aos estados), ela retém uma estrutura adequada para inferência sequencial.

2. MCMC de Partículas (Particle MCMC)
Para amostrar da resultante distribuição de suavização conjunta $p(x_{0:T}, \theta | y_{0:T})$, os autores empregam um amostrador de Monte Carlo via Cadeia de Markov de Partículas (PMCMC), especificamente o Gibbs de Partículas com Amostragem de Ancestrais (PGAS).

• Monte Carlo Sequencial (SMC): O algoritmo utiliza SMC para aproximar a distribuição de suavização. No entanto, o SMC padrão sofre de degenerescência de trajetória (path degeneracy), onde a diversidade das partículas é perdida para passos de tempo distantes da observação final.
• PGAS: Para mitigar a degenerescência de trajetória e permitir a inferência sobre os hiperparâmetros $\theta$, o PGAS é utilizado. Ele combina passos de amostragem de Gibbs para a trajetória de estado e hiperparâmetros. Crucialmente, utiliza um Filtro de Partículas Condicional com Amostragem de Ancestrais (CPF-AS) para amostrar a trajetória de estado. No CPF-AS, uma trajetória de partícula é fixada (condicionada) em cada passo, enquanto as outras são amostradas. O passo de "amostragem de ancestrais" permite que a trajetória fixa reamostre seus ancestrais, garantindo que o núcleo de Markov deixe a distribuição de suavização exata invariante e melhorando as taxas de mistura (mixing rates).

3. Construção de GP Esparsos
Para abordar a complexidade computacional, que ingenuamente escala como $O(T^4)$ ou $O(T^3)$, os autores introduzem uma construção de GP esparso usando a priori Totalmente Independente Condicional (FIC). Ao introduzir um conjunto de variáveis indutoras, a complexidade computacional é reduzida para $O(M^2T)$, onde $M \ll T$ é o número de pontos indutores. Os detalhes de implementação envolvem atualizações eficientes de fatorizações de Cholesky para manter esta complexidade durante a recursão direta do filtro de partículas.

4. Aprendizado das Dinâmicas
Uma vez obtidas as amostras da distribuição de suavização $p(x_{0:T}, \theta | y_{0:T})$, a posterior sobre a função de transição $f$ está disponível em forma fechada. A distribuição preditiva para um novo ponto de teste é formulada como uma mistura de Gaussianas, onde cada componente corresponde a uma amostra da distribuição de suavização. Esta mistura captura corretamente a multimodalidade decorrente da ambiguidade nas medições.

Principais Contribuições

• Inferência Totalmente Não Paramétrica: O artigo apresenta um método que retém a total expressividade não paramétrica dos Processos Gaussianos em SSMs, evitando a necessidade de discretizar o espaço da função ou assumir uma forma paramétrica específica para as dinâmicas.
• Estratégia de Marginalização: Ao marginalizar a função de transição $f$, os autores desacoplam o aprendizado das dinâmicas da estimativa de estado, permitindo a inferência exata da distribuição de suavização dado a trajetória de estado.
• PGAS para SSMs: A aplicação de Gibbs de Partículas com Amostragem de Ancestrais a GP-SSMs permite a amostragem eficiente da distribuição de suavização conjunta e da posterior de hiperparâmetros, superando os problemas de degenerescência de trajetória dos filtros de partículas padrão.
• Eficiência Computacional: A integração de métodos de GP esparsos (priori FIC) reduz a carga computacional, tornando a abordagem escalável para séries temporais mais longas.

Resultados Experimentais

Os autores avaliam sua abordagem em dois benchmarks:

1. Benchmark de Sistema Não Linear: Um sistema com densidades de suavização bimodais (devido à ambiguidade de sinal nas observações). O GP-SSM capturou com sucesso a natureza bimodal da trajetória de estado e aprendeu as dinâmicas com precisão, mesmo sendo inicializado com uma função média paramétrica ruim. O Erro Quadrático Médio (RMSE) para as dinâmicas aprendidas foi significativamente menor que os baselines paramétricos e comparável ao modelo de verdade fundamental com parâmetros conhecidos.
2. Sistema de Carrinho e Haste (Cart and Pole): Um benchmark de aprendizado por reforço com um espaço de estado de 4 dimensões. Usando apenas 100 observações ruidosas, o modelo aprendeu uma representação de dinâmica capaz de previsões de um passo à frente. A distribuição preditiva resultante (uma mistura de Gaussianas) refletiu corretamente a maior incerteza em regiões do espaço de estados distantes dos dados de treinamento e menor incerteza próximo aos dados de treinamento.

Significância e Alegações

O artigo alega que sua principal significância reside em fornecer um componente vital para a inferência em GP-SSMs: a capacidade de aprender o próprio modelo GP de maneira totalmente bayesiana. Diferente de trabalhos anteriores que assumiam que as dinâmicas de GP já haviam sido aprendidas ou usavam aproximações paramétricas, esta abordagem permite uma complexidade de modelo adaptativa.

Os autores enfatizam que seu método preserva a expressividade não paramétrica do modelo, permitindo capturar fenômenos dinâmicos complexos que modelos paramétricos poderiam perder. Eles observam que a abordagem é particularmente robusta em cenários com alta incerteza na distribuição de suavização, onde abordagens tradicionais baseadas em MAP ou EM poderiam sofrer de sobreajuste. O uso de PGAS garante que a inferência não seja limitada pelas suposições de modelo fixas das técnicas de suavização convencionais, ofereando um framework flexível para identificação de sistemas em configurações não lineares e não paramétricas.