Amortized Filtering and Smoothing with Conditional Normalizing Flows

Resumo Técnico: AFSF

1. Problema e Contexto

O artigo aborda o desafio fundamental da filtragem e suavização bayesiana em sistemas dinâmicos não lineares de alta dimensão.

• Desafios Atuais:
  • Aproximações Gaussianas: Métodos como o Filtro de Kalman (e suas variações estendidas ou de conjunto) falham quando as distribuições a posteriori são altamente não lineares ou não Gaussianas.
  • Monte Carlo Sequencial (SMC/Partículas): Embora capazes de lidar com não linearidades, sofrem de "degenerescência de partículas" em altas dimensões e longos horizontes temporais, exigindo tamanhos de amostra computacionalmente proibitivos.
  • Modelos Generativos Recentes: Modelos de aprendizado profundo podem representar distribuições complexas, mas geralmente tratam filtragem e suavização como tarefas separadas e dependem de otimização custosa por instância, limitando sua aplicabilidade em tempo real e em larga escala.

O objetivo é desenvolver um framework unificado que seja eficiente computacionalmente, capaz de lidar com não linearidades e alta dimensionalidade, e que permita inferência online e suavização de trajetórias.

2. Metodologia: Framework AFSF

Os autores propõem o AFSF (Amortized Filtering and Smoothing with Conditional Normalizing Flows), um framework amortizado baseado em dados que utiliza Fluxos Normalizadores Condicionais (CNFs) e Redes Neurais Recorrentes (RNNs).

Arquitetura Principal:

1. Resumo Recorrente (Encoder):
   • Uma rede LSTM (Long Short-Term Memory) mapeia o histórico de observações $y_{1:t}$ (que cresce com o tempo) para um resumo estatístico de dimensão fixa $s_t$.
   • Isso resolve o problema de variáveis condicionais de dimensão variável, permitindo que o modelo generalize independentemente do comprimento da série temporal.
2. Dois Fluxos Normalizadores Condicionais:
   • Fluxo Forward (Filtragem): Aproxima a distribuição de filtragem $p(u_t | y_{1:t})$ condicionado ao resumo $s_t$. Permite inferência de estado em tempo real.
   • Fluxo Backward (Transição Reversa): Aproxima o núcleo de transição reversa $p(u_{t-1} | u_t, y_{1:t-1})$ condicionado ao mesmo resumo $s_t$.
3. Suavização de Trajetória:
   • A distribuição de suavização para toda a trajetória $p(u_{1:t} | y_{1:t})$ é recuperada combinando a distribuição de filtragem terminal com o fluxo backward através de uma recursão padrão para trás.
4. Treinamento Unificado:
   • Ambos os fluxos são treinados simultaneamente maximizando a verossimilhança, compartilhando os parâmetros da rede de resumo ($\psi$).
   • Isso induz uma regularização implícita, garantindo consistência entre a filtragem e a suavização, o que melhora a precisão da trajetória completa.

Variação de Filtragem por Partículas:
O artigo também propõe uma variante de filtragem por partículas baseada em fluxos. Os fluxos aprendidos são usados para:

• Modelar uma distribuição de proposta adaptada às observações (reduzindo a degenerescência).
• Fornecer diagnósticos baseados no Tamanho Eficaz de Amostra (ESS) quando os fatores do modelo são conhecidos.

3. Contribuições Principais

1. Framework Unificado Amortizado: O primeiro método a aprender conjuntamente a distribuição de filtragem e o núcleo de transição reversa usando fluxos normalizadores condicionais, permitindo tanto filtragem online quanto suavização de trajetória sem otimização por instância.
2. Generalização e Extrapolacão: Ao capturar a estrutura de evolução temporal subjacente, o AFSF consegue extrapolar para horizontes temporais além do conjunto de treinamento, algo difícil para métodos puramente baseados em ajuste de dados.
3. Regularização Implícita: O uso de estatísticas de resumo compartilhadas entre os fluxos forward e backward atua como um regularizador forte, melhorando significativamente a qualidade da suavização de trajetórias em comparação com o treinamento desacoplado.
4. Diagnóstico de Partículas: Desenvolvimento de um método de filtragem por partículas que utiliza os fluxos aprendidos como proposta, permitindo avaliação de eficiência (ESS) e redução de viés inicial.

4. Resultados Experimentais

O método foi testado em quatro cenários de benchmark de alta dimensionalidade e não linearidade:

• Sistema de Advecção-Difusão (1D e PDEs):
  • Em problemas lineares e não lineares, o AFSF demonstrou alta precisão (baixa divergência KL, RMSE e CRPS).
  • Extrapolação: O modelo manteve a precisão além do horizonte de treinamento, demonstrando robustez temporal.
  • A suavização superou consistentemente a filtragem, incorporando informações de todo o histórico.
• Modelo de Volatilidade Estocástica (Finanças):
  • Em um modelo de dois fatores altamente não linear, o AFSF e a variante de partículas superaram o método FBF (State-of-the-art anterior).
  • Aplicação em dados reais do S&P 500: O método conseguiu rastrear a volatilidade latente durante períodos de turbulência (ex: início da pandemia COVID-19 e guerra Rússia-Ucrânia), mantendo um RESS (Tamanho Eficaz de Amassa Relativo) alto.
• Equação de Burgers (PDE Não Linear):
  • O método manteve desempenho superior ou comparável ao FBF sob diferentes níveis de ruído de observação, lidando bem com a complexidade das equações diferenciais parciais.
• Sistemas de Lorenz (Escala Única e Dupla):
  • Escala Única: Superou consistentemente o FBF em diversas dimensões de estado.
  • Escala Dupla: O AFSF demonstrou superioridade clara em sistemas onde a densidade de transição efetiva é intratável (devido à marginalização de dinâmicas rápidas), um cenário onde o FBF falha devido a restrições estruturais.
  • Importância do Resumo Compartilhado: Experimentos mostraram que usar estatísticas de resumo independentes para os fluxos forward e backward leva a erros catastróficos na suavização, validando a necessidade do treinamento unificado.

5. Significado e Conclusão

O trabalho representa um avanço significativo na assimilação de dados e inferência sequencial.

• Eficiência: Elimina a necessidade de otimização custosa por amostra, permitindo inferência rápida em tempo de teste.
• Escalabilidade: Lida com alta dimensionalidade onde métodos de partículas tradicionais falham.
• Flexibilidade: Funciona mesmo quando as densidades de transição e observação não são conhecidas em forma fechada (apenas o simulador é necessário).
• Impacto: Oferece uma solução robusta para problemas complexos em engenharia, meteorologia, física e finanças, onde a precisão da estimativa de estado e a incerteza associada são críticas.

Em suma, o AFSF combina a expressividade dos fluxos normalizadores com a eficiência da inferência amortizada, superando as limitações de métodos clássicos e abordagens de aprendizado de máquina anteriores em cenários de filtragem e suavização de alta dimensão.