A convergent scheme for the Bayesian filtering problem based on the Fokker--Planck equation and deep splitting

Resumo Técnico: Esquema Convergente para Filtragem Bayesiana via Equação de Fokker-Planck e Deep Splitting

1. Problema Abordado

O artigo foca no problema de filtragem não linear, especificamente na estimativa da densidade de probabilidade de um estado oculto contínuo no tempo ($S_t$) dado um conjunto de observações ruidosas e discretas no tempo ($y_{0:k}$).

• Desafio Principal: Métodos tradicionais de filtragem bayesiana, como filtros de partículas (Monte Carlo Sequencial), sofrem com a maldição da dimensionalidade. À medida que a dimensão do estado ($d$) aumenta, o número de partículas necessário para manter a precisão cresce exponencialmente, tornando-os computacionalmente inviáveis para sistemas de alta dimensão (ex: $d \ge 4$).
• Limitações de Métodos Existentes: Técnicas baseadas em PDEs (como elementos finitos) são eficientes apenas em dimensões baixas. Métodos recentes de aprendizado profundo (PINNs, BSDEs profundas) mostram promessa, mas enfrentam dificuldades em modelar densidades de probabilidade em dimensões muito altas devido aos valores extremamente pequenos das funções de densidade.
• Objetivo: Desenvolver um esquema numérico que aproxime a densidade de filtragem em alta dimensão, garantindo uma taxa de convergência teórica e permitindo inferência online eficiente após o treinamento.

2. Metodologia Proposta

Os autores propõem um algoritmo híbrido que combina a Equação de Fokker-Planck (para a previsão) com a Fórmula de Bayes (para a atualização), resolvida através de uma técnica de Deep Splitting baseada no teorema de Feynman-Kac.

Estrutura do Algoritmo:
O filtro opera em dois passos cíclicos entre os tempos de observação $t_k$:

1. Previsão (Prediction): Entre duas observações, a evolução da densidade não normalizada é governada pela equação de Fokker-Planck (a equação adjunta do gerador infinitesimal do processo estocástico).
   • Em vez de resolver a PDE diretamente, o método utiliza uma representação de Feynman-Kac.
   • A solução é aproximada por um processo de otimização recursiva que minimiza o erro quadrático esperado entre uma função candidata e uma transformação do passo anterior.
   • A equação é discretizada no tempo usando um esquema de Deep Splitting, onde uma Rede Neural (FCNN) é usada para aproximar a função de valor (densidade) em cada passo de tempo.
2. Atualização (Update): No momento da observação $t_k$, a densidade prevista é atualizada exatamente usando a fórmula de Bayes (multiplicação pela verossimilhança da observação).

Detalhes Técnicos Chave:

• Deep Splitting: O método reformula a expectativa condicional (solução da PDE) como o mínimo de um problema de perda quadrática. Isso permite o uso de Descida de Gradiente Estocástico (SGD) e Redes Neurais para aproximar a solução em todo o espaço de estados, evitando a discretização de grade.
• Processo Auxiliar: Introduz-se um processo auxiliar $X$ com um coeficiente de deriva $b$ (que pode ser diferente da deriva original $\mu$) para facilitar a análise de erro e a estabilidade numérica.
• Normalização: O método trabalha com densidades não normalizadas durante o treinamento (usando ativações baseadas em energia, $e^{-f_\theta}$), realizando a normalização apenas na fase de inferência ou através de amostragem de importância (usando um Filtro de Kalman Estendido - EKF) para estabilidade numérica em alta dimensão.
• Inferência Online: Após o treinamento da rede neural para um conjunto de dados de treinamento, o algoritmo pode processar novas sequências de observações em tempo real sem necessidade de retreinamento.

3. Contribuições Principais

1. Taxa de Convergência Teórica: O principal contributo teórico é a prova de uma taxa de convergência forte de ordem 1 no tempo ($O(\tau)$) para a aproximação da densidade de filtragem.
   • Esta prova assume uma condição de Hörmander parabólica (garantindo a regularidade da densidade) e coeficientes limitados e suaves.
   • A taxa de convergência é independente da distribuição dos dados de observação.
2. Convergência para a Equação de Fokker-Planck: Como corolário, o artigo estabelece a taxa de convergência para a aproximação da própria equação de Fokker-Planck, desconectada do problema de filtragem, o que é um resultado de interesse geral para a análise numérica de PDEs.
3. Algoritmo Online Eficiente: Diferente de métodos anteriores de deep splitting que exigiam retreinamento para cada trajetória de observação (modo offline), esta formulação permite a avaliação instantânea de novas sequências de dados (online).
4. Validação em Alta Dimensão: Demonstração empírica robusta em um exemplo não linear de 10 dimensões, superando a limitação de métodos clássicos.

4. Resultados Experimentais

Os autores validaram o método através de simulações numéricas:

• Exemplos 1D (Convergência):
  • Testados em processos com deriva tanh (satisfazendo as hipóteses teóricas) e um processo bistável (não satisfazendo todas as hipóteses).
  • O processo tanh exibiu uma taxa de convergência próxima de ordem 1 ($O(N^{-1})$), confirmando a teoria.
  • O processo bistável mostrou uma taxa de aproximadamente ordem 1/2, sugerindo que as hipóteses de regularidade são críticas para a ordem superior.
• Exemplo 10D (Alta Dimensão):
  • Um processo não linear de 10 dimensões com deriva baseada em tanh e ruído gaussiano.
  • Comparação: O método proposto (EBDS - Energy-Based Deep Splitting) foi comparado com Filtro de Kalman de Ensemble (EnKF) e Filtro de Partículas (PF).
  • Desempenho: O método alcançou precisão satisfatória e robustez. Enquanto o Filtro de Partículas exigia da ordem de $10^6$ partículas para superar o método proposto em termos de Negative Log-Likelihood (NLL), o método de Deep Splitting obteve bons resultados com custo computacional viável, capturando melhor a forma geral da densidade do que apenas a média.

5. Significado e Impacto

• Superação da Maldição da Dimensionalidade: O trabalho oferece uma solução viável para problemas de filtragem em dimensões moderadas a altas (ex: 10D, 20D+), onde métodos de partículas falham e métodos de grade são impossíveis.
• Fundamentação Teórica Rigorosa: Ao contrário de muitas aplicações de Deep Learning em PDEs que são puramente empíricas, este artigo fornece uma análise de erro rigorosa e garantias de convergência, o que é raro na interseção entre filtragem bayesiana e aprendizado profundo.
• Aplicabilidade Prática: A capacidade de operar em modo online após o treinamento torna o método atraente para aplicações em tempo real, como rastreamento de alvos, engenharia química e previsão meteorológica, onde a dimensão do estado é intrinsecamente alta.

Em resumo, o artigo apresenta um avanço significativo ao combinar a estabilidade teórica das equações diferenciais estocásticas com a flexibilidade computacional das redes neurais, resultando em um filtro bayesiano convergente e escalável para problemas complexos de alta dimensão.