Resumo Técnico: Modelos de Espaço de Estados Impulsionados por Difusão (DDSSM)

Declaração do Problema

Profissionais em modelagem de séries temporais frequentemente enfrentam um compromisso entre a expressividade do modelo e a capacidade de capturar a dinâmica latente do sistema. As abordagens existentes tipicamente sacrificam um objetivo em prol do outro:

• Modelos de Espaço de Estados Profundos (DSSMs) (ex: Filtros de Kalman Profundos) oferecem inferência fundamentada e treinamento de ponta a ponta, mas tipicamente assumem densidades de transição Gaussianas. Essa suposição limita sua expressividade, falhando frequentemente em capturar dinâmicas multimodais, e induz um prior Gaussiano que pode regularizar excessivamente as representações latentes, descartando informações estruturais necessárias.
• Modelos de Difusão são altamente expressivos e capazes de modelar distribuições complexas e multimodais. No entanto, quando aplicados a séries temporais, são frequentemente usados como amostradores generativos condicionados a observações passadas ou dependem de um treinamento em duas etapas (primeiro aprendendo um autoencoder, depois um modelo de difusão). Essa abordagem de duas etapas pode produzir espaços latentes excessivamente regularizados que descartam informações necessárias para a dinâmica generativa subsequente.

Permanece um problema em aberto sobre como treinar conjuntamente um autoencoder e um modelo de difusão em dados sequenciais de maneira fundamentada para combinar os pontos fortes de ambos os frameworks.

Metodologia

Os autores propõem o Modelo de Espaço de Estados Impulsionado por Difusão (DDSSM), que integra modelos de difusão diretamente na densidade de transição de um Modelo de Espaço de Estados (SSM).

Modelo Generativo

O modelo assume que as observações $x_{1:T}$ são geradas a partir de estados latentes $z_{1:T}$ que evoluem via um processo de Markov, potencialmente condicionados a covariáveis $u_{1:T}$. A verossimilhança conjunta é fatorizada como:
$$p(x_{1:T}, z_{1:T} | u_{1:T}) = p_{\eta,\theta}(z_{1:j}, x_{1:j} | u_{1:j}) \prod_{t=j+1}^T p^{(t)}_\psi(z_t | z_{t-j:t-1}, u_{t-j:t}) p^{(t)}_\theta(x_t | z_{t-j+1:t}, u_{t-j+1:t})$$

As inovações principais incluem:

1. Transições de Difusão: Em vez de uma transição paramétrica Gaussiana $p^{(t)}_\psi$, o modelo utiliza um processo de difusão. Para cada passo de tempo $t$, a densidade de transição é modelada pela introdução de estados latentes ruidosos intermediários $z^1_t, \dots, z^K_t$. A transição é definida como:
   $$p^{(t)}_\psi(z^0_t, z^{1:K}_t | z_{t-j:t-1}, u_{t-j:t}) = p(z^K_t) \prod_{k=1}^K p^{(t)}_\psi(z^{k-1}_t | z^k_t, z_{t-j:t-1}, u_{t-j:t})$$
   onde $z^0_t = z_t$ e $z^K_t \sim \mathcal{N}(0, I)$. Isso permite que o modelo aprenda densidades de transição arbitrárias e potencialmente multimodais.
2. Emissões: A densidade de emissão $p^{(t)}_\theta$ permanece uma Gaussiana padrão parametrizada por redes neurais, lidando com a incerteza residual enquanto o modelo de difusão captura estruturas não Gaussianas complexas.
3. Inicialização: A distribuição do estado inicial $p_\eta(z_{1:j}|u_{1:j})$ utiliza um Prior Hierárquico Variacional (VHP) para evitar suposições restritivas sobre os estados latentes iniciais.

Inferência e Treinamento

Como a verdadeira posterior é intratável, os autores empregam um framework de inferência variacional. Eles derivam um Limite Inferior de Evidência (ELBO) que reflete a estrutura de independência condicional da verdadeira posterior.

• Posterior Variacional: A posterior é fatorizada para incluir um termo de transição suavizado (dependente de latentes passados e observações futuras) e um termo de processo de ruído de difusão.
• Treinamento Conjunto: Ao contrário dos métodos de duas etapas, o DDSSM é treinado de ponta a ponta. O objetivo maximiza o ELBO, que inclui:
  • Uma perda de reconstrução (log-verossimilhança negativa das emissões).
  • Um termo de divergência KL para inicialização.
  • Uma perda de cadeia de difusão (derivada do processo reverso do modelo de difusão) que incentiva o encoder a produzir estados latentes previsíveis sob as dinâmicas de transição aprendidas.
• Pré-condicionamento: Para garantir a estabilidade do gradiente através de diferentes níveis de ruído durante o treinamento conjunto, os autores empregam pré-condicionamento (Karras et al., 2022) para reescalar as entradas e saídas da rede de difusão.

Principais Contribuições

1. Framework DDSSM: A introdução de um Modelo de Espaço de Estados onde a densidade de transição é substituída por um modelo de difusão, permitindo o aprendizado de dinâmicas latentes flexíveis e multimodais sem as suposições restritivas Gaussianas.
2. Treinamento de Ponta a Ponta: Uma solução fundamentada para o problema em aberto de treinar conjuntamente um autoencoder e um modelo de difusão em dados sequenciais. Isso evita os problemas de regularização excessiva associados às abordagens de duas etapas comuns em difusão de séries temporais latentes.
3. Derivação Teórica: Uma derivação rigorosa do ELBO para este modelo híbrido, demonstrando como a verdadeira posterior variacional fatoriza para corresponder à estrutura da verdadeira posterior, reduzindo assim o gap de aproximação.

Resultados Experimentais

Os autores avaliaram o DDSSM em um conjunto de dados de série temporal simulado apresentando ruído bimodal (um passeio aleatório latente com transições bimodais).

• Configuração: Eles compararam o DDSSM contra um Filtro de Kalman Profundo (DKF) com um Prior Hierárquico Variacional e um baseline de Última Observação Carregada para Frente (LOCF).
• Métricas: O desempenho foi medido usando a Divergência de Jensen-Shannon (JSD) entre a distribuição preditiva de 1 passo do modelo e a distribuição real.
• Descobertas:
  • O DKF, limitado por transições Gaussianas, posicionou a massa de probabilidade entre os dois modos reais, falhando em capturar a estrutura bimodal.
  • O DDSSM capturou com sucesso ambos os modos da distribuição real.
  • Quantitativamente, o DDSSM alcançou uma JSD significativamente menor que o DKF.
  • Qualitativamente, o DDSSM produziu reconstruções e previsões que eram representativas dos dados, enquanto as previsões do DKF careciam de padrões consistentes e falharam em reconstruir bem os dados observados.

Significância e Alegações

O artigo afirma que, ao tratar o problema da difusão de séries temporais latentes como um Modelo de Espaço de Estados com uma distribuição de transição de difusão, é possível alcançar o treinamento de ponta a ponta que permite reconstruções flexíveis sem penalizar o aprendizado das dinâmicas latentes.

Os autores posicionam o DDSSM como um método que resolve a tensão entre a expressividade dos modelos de difusão e o rigor estrutural dos SSMs. Eles afirmam que a suposição de prior Gaussiano nos DSSMs tradicionais é prejudicial para o aprendizado de representações latentes em cenários multimodais, e que sua abordagem fornece um prior mais expressivo sobre trajetórias latentes. O trabalho estende a literatura de modelos de difusão latente para séries temporais ao ir além dos paradigmas de treinamento de duas etapas.

Os autores observam que trabalhos futuros envolverão a aplicação do DDSSM a conjuntos de dados de larga escala e a incorporação de novas ideias da literatura de SSM profundo para utilizar plenamente o poder da distribuição de transição de difusão.