Resumo Técnico: Deep ZakaiJ

Declaração do Problema

Dados de séries temporais em domínios como finanças e oceanografia frequentemente exibem descontinuidades abruptas de salto impulsionadas por estados latentes não observados (por exemplo, choques macroeconômicos ou regimes de tempestade). Prever essas trajetórias é desafiador porque o timing e a magnitude dos saltos não podem ser inferidos apenas a partir do histórico observado.

As abordagens existentes enfrentam limitações significativas:

• Modelos Clássicos de Difusão com Saltos: Embora matematicamente fundamentados (por exemplo, modelos de Merton), eles dependem de suposições paramétricas rígidas e lutam para capturar estruturas latentes complexas e não lineares.
• Modelos Neurais de Salto: Abordagens recentes de aprendizado profundo (por exemplo, SDEs de Salto Neural) frequentemente operam em trajetórias totalmente observadas, falhando em inferir os estados ocultos que governam a dinâmica.
• Modelos de Estado Latente: Métodos como ODEs Latentes ou CDEs Neurais tratam estados latentes como representações implícitas aprendidas via inferência variacional amortizada. Eles carecem de um mecanismo de atualização bayesiana principista para lidar com os tempos de parada totalmente inacessíveis característicos de processos de salto.
• Extensões de Filtro de Kalman: Modelos como CRU e NCDSSM incorporam o filtro de Kalman em arquiteturas profundas, mas são restritos a dinâmicas lineares-Gaussianas, que não podem modelar as não linearidades inerentes a sistemas de difusão com saltos.

Há uma necessidade de um framework que realize filtragem não linear sobre regimes latentes em sistemas de difusão com saltos parcialmente observados, mantendo-se diferenciável e treinável.

Metodologia: Deep ZakaiJ

Os autores propõem o Deep ZakaiJ, um modelo de estado latente que incorpora a equação de filtragem não linear de Zakai em uma arquitetura neural codificador-decodificador. O framework é projetado para sistemas parcialmente observados onde um processo observado $X_t$ é impulsionado por um estado latente não observado $\Theta_t$.

1. Fundamentação Teórica

O modelo é construído sobre a equação de Zakai, que descreve a evolução da lei condicional não normalizada (filtro) do estado latente dadas as observações. Ao mudar a medida para uma medida de referência $Q$ onde o processo de observação é sem deriva, os autores derivam uma forma fraca da equação de Zakai (Equação 3) que evolui a densidade não normalizada $q_t(\phi)$.

2. O Codificador Zakai

A inovação central é uma discretização por divisão de Strang da equação de Zakai, decompondo a atualização da crença em três subetapas interpretáveis e diferenciáveis:

• Etapa A (Propagação do Prior): Propaga o prior latente usando um propagador numérico (kernel de transição de Markov) derivado do gerador latente. Uma correção residual aprendida $R^A_\psi$ é adicionada para contabilizar incompatibilidade do modelo e viés numérico.
• Meio-Etapa B (Inovação de Difusão): Atualiza a crença com base no componente contínuo da observação. Realiza um reponderamento bayesiano usando uma aproximação Gaussiana local do incremento contínuo.
• Meio-Etapa C (Inovação de Salto): Atualiza a crença com base no componente de salto. Emprega uma aproximação de "no máximo um salto" válida para pequenos passos de tempo, reponderando o posterior contra uma mistura de hipóteses de "nenhum salto" e "salto ocorreu". Isso permite que o filtro reaja agudamente a grandes deslocamentos.

O codificador atualiza recursivamente o posterior não normalizado $q_k$ sobre uma grade latente fixa, extraindo uma característica de crença de baixa dimensão $\beta_k$ para previsão. Os autores provam que este codificador discreto alcança precisão global de primeira ordem em relação à evolução exata de Zakai.

3. Decodificador Estruturado de Difusão com Saltos

O decodificador é um modelo estruturado que parametriza a distribuição condicional de incrementos futuros dada a observação atual, a crença filtrada $\beta_k$ e um estado latente candidato $\theta$.

• Ele desentrelaça explicitamente dinâmicas contínuas (deriva $\mu$, volatilidade $\sigma$) de choques descontínuos (intensidade de salto $\lambda$, mapa de tamanho de salto $\gamma$).
• Redes neurais condicionam esses coeficientes na observação e na característica de crença.
• Aproximação de Salto Pequeno: Para lidar com saltos de atividade infinita dentro de uma arquitetura discreta, o decodificador absorve micro-saltos (magnitude $<\epsilon$) em coeficientes contínuos efetivos, tratando apenas saltos macroscópicos explicitamente na etapa de filtragem.

4. Treinamento Conjunto

O modelo é treinado de ponta a ponta maximizando um objetivo passo a passo que combina:

1. Verossimilhança de Previsão: O log-verossimilhança de incrementos futuros sob a lei de difusão com saltos aprendida.
2. Regularização de Filtragem: Um termo de divergência KL que incentiva o posterior filtrado a permanecer próximo do prior (prevenindo colapso).

Os gradientes são retropropagados através das operações de divisão de Strang e etapas de normalização.

Contribuições Principais

1. Codificador Zakai: Uma discretização da equação de Zakai via divisão de Strang em três etapas interpretáveis (prior, inovação de difusão, inovação de salto). Fornece uma aproximação diferenciável e de precisão de primeira ordem da evolução exata de filtragem para sistemas de difusão com saltos parcialmente observados.
2. Decodificador Estruturado: Um modelo de difusão com saltos explicitamente condicionado à crença latente filtrada, preservando a separação entre dinâmicas contínuas e descontínuas e aprendendo um compensador previsível.
3. Validação Empírica: Melhorias demonstradas na qualidade de previsão distribucional (calibração e nitidez) em conjuntos de dados sintéticos, financeiros e oceanográficos, mantendo precisão pontual competitiva.

Resultados Experimentais

Os autores avaliaram o Deep ZakaiJ em:

• Dados Sintéticos: Um processo de difusão com saltos parcialmente observado com verdade fundamental conhecida.
• Dados Financeiros: Preços de fechamento de 10 minutos de XAU/USD (Ouro vs. Dólar).
• Dados Oceanográficos: Observações de altura de onda (WVHT) da NOAA/NDBC.

Desempenho:

• Qualidade Distribucional: O Deep ZakaiJ superou consistentemente as linhas de base (incluindo SDEs Latentes, SDEs de Salto Neural e modelos fundamentais como Chronos) em termos de CRPS (Pontuação de Probabilidade Ranqueada Contínua) e Log-Verossimilhança.
• Calibração: O modelo alcançou intervalos preditivos bem calibrados, com cobertura de 90% (Cov90) próxima ao nível nominal (por exemplo, 89,0% em sintéticos, 92,9% em XAU/USD, 85,3% em NDBC). Em contraste, muitas linhas de base mostraram sub ou supercobertura significativa.
• Precisão Pontual: O modelo permaneceu competitivo em MAE e RMSE, frequentemente igualando ou melhorando ligeiramente os preditores pontuais mais avançados.
• Recuperação Latente: Em estudos de caso sintéticos e qualitativos, o filtro inferido rastreou com sucesso mudanças no estado latente e reagiu a mudanças de regime (por exemplo, reversões de tendência nos preços do ouro), demonstrando a extração de estrutura latente interpretável.

Significado e Alegações

O artigo alega que o Deep ZakaiJ preenche a lacuna entre filtragem estocástica principista e aprendizado profundo moderno. Ao incorporar a equação de Zakai diretamente em uma arquitetura neural, o modelo:

• Habilita inferência estruturada para sistemas parcialmente observados com saltos, uma capacidade ausente nos atuais modelos neurais de salto.
• Fornece representações latentes interpretáveis que separam dinâmicas contínuas de choques discretos.
• Entrega quantificação de incerteza superior, produzindo intervalos preditivos calibrados mesmo sob mudanças estruturais onde outros modelos falham.

Os autores posicionam este trabalho como um passo em direção a previsões de séries temporais mais robustas em ambientes caracterizados por regimes latentes e descontinuidades abruptas, como gerenciamento de risco financeiro e sistemas de alerta precoce ambiental. Eles reconhecem limitações, observando que a formulação atual é univariada e depende de uma grade latente fixa, sugerindo trabalho futuro em representações de alta dimensão e adaptativas.