Probabilistic Circuits for Irregular Multivariate Time Series Forecasting

1. Formulação do Problema

O artigo aborda o desafio da previsão probabilística para Séries Temporais Multivariadas Irregulares (IMTS). Em cenários do mundo real (por exemplo, saúde, ciência do clima), os dados de séries temporais são frequentemente:

• Irregulares: As observações ocorrem em intervalos de tempo não uniformes.
• Esparsos: Muitas variáveis (canais) podem estar ausentes em timestamps específicos.
• Multivariados: Múltiplas variáveis interagem com dependências complexas.

Principais Limitações dos Métodos Existentes:

• Previsão Pontual: Muitos modelos preveem valores únicos, falhando em quantificar a incerteza, o que é crítico para processos estocásticos.
• Inconsistência de Marginalização: Modelos de última geração, como o ProFITi, podem modelar dependências complexas, mas sofrem de inconsistência de marginalização. Isso significa que a probabilidade prevista de um subconjunto de variáveis muda arbitrariamente dependendo se outras variáveis são incluídas na consulta. Isso leva a previsões contraditórias (por exemplo, a probabilidade de chuva muda se você também perguntar sobre a umidade), tornando-os pouco confiáveis para tomada de decisão de alto risco.
• Compromisso entre Expressividade e Consistência: Modelos que garantem consistência, como o MOSES (Misturas de Fluxos Separáveis), frequentemente lutam para capturar dependências conjuntas complexas em espaços de alta dimensionalidade devido à escala exponencial exigida para componentes de mistura. Eles falham em aprender modos distintos (por exemplo, bifurcações) de forma eficaz.

2. Metodologia: CircuITS

Os autores propõem o CircuITS (Circuitos para Séries Temporais Multivariadas Irregulares), uma arquitetura inovadora baseada em Circuitos Probabilísticos (CPs). A inovação central é uma garantia estrutural de consistência de marginalização, mantendo alta expressividade.

A. Arquitetura Central: Rede Recursiva Soma-Produto

O CircuITS modela a distribuição conjunta $p(y | Q, X)$ (onde $y$ são os alvos, $Q$ são os pontos de consulta e $X$ são as observações) usando uma estrutura hierárquica de Nós Soma (misturas) e Nós Produto (independências).

• Nós Folhas: Representam distribuições univariadas ou específicas por canal.
• Nós Soma: Modelam misturas (capturando distribuições multimodais).
• Nós Produto: Modelam fatorização (capturando independência entre variáveis).

Agregação Recursiva:
Em vez de um produto tensorial completo (que escala exponencialmente como $O(K^C)$), o CircuITS utiliza uma abordagem recursiva:

1. Inicialização: Para o primeiro canal, o estado é um vetor de $K$ densidades de folha.
2. Recursão: Para adicionar o canal $c$, o modelo calcula o produto cartesiano do estado conjunto anterior e as densidades de folha do novo canal ($K^2$ termos).
3. Projeção: Uma soma ponderada (Camada Soma) projeta esses $K^2$ termos de volta para $K$ componentes. Isso evita a explosão de estados, permitindo ao modelo aprender correlações entre o estado conjunto anterior e o novo canal.
4. Saída Final: O nó raiz produz a distribuição conjunta final como uma soma ponderada dos $K$ componentes.

B. Arquitetura do Codificador

Para lidar com dados irregulares e gerar os parâmetros do circuito dinamicamente:

• Representação da Observação: As observações (tempo, canal, valor) são incorporadas usando incorporações de tempo senoidais e incorporações de canal aprendíveis.
• Agregação Intra-Canal: Um mecanismo de Atenção Cruzada Mascada agrega as observações para cada canal em uma representação de tamanho fixo, preservando a identidade do canal.
• Interação Inter-Canal: Uma camada de Autoatenção captura dependências entre canais.
• Geração de Parâmetros: O codificador produz:
  • Incorporações de Contexto: Para as distribuições de folha (específicas da consulta).
  • Pesos do Circuito: Os pesos de mistura para os Nós Soma ($W^{(c)}$) e para a raiz ($w_{root}$). Crucialmente, esses pesos dependem apenas do histórico de observações $X$, e não do conjunto de consultas $Q$. Essa restrição estrutural é a chave matemática para garantir a consistência de marginalização.

C. Distribuições de Folha

Para garantir que as próprias folhas sejam consistentes e expressivas:

• Marginais Univariados: Modelados usando Fluxos Sigmoidais Profundos Condicionais (DSF), que aproximam a Função de Distribuição Acumulada (CDF) por meio de camadas monótonas.
• Dependência Conjunta: Uma Cópula Gaussiana combina as marginais univariadas. A matriz de correlação é derivada das incorporações de consulta, garantindo que a estrutura de dependência se adapte ao contexto, permanecendo matematicamente válida.

D. Garantia Teórica

O artigo prova que o CircuITS satisfaz a Consistência de Marginalização (Teorema da Extensão de Kolmogorov).

• Lógica da Prova: Como a estrutura do circuito é fixa com base nos canais de entrada e os pesos do Nó Soma dependem apenas de $X$ (e não de $Q$), integrar uma variável (marginalização) simplesmente remove o termo de folha correspondente (substituindo-o por 1) sem alterar os pesos da mistura restante. Assim, a distribuição marginal derivada da conjunta é idêntica à distribuição prevista diretamente para o subconjunto.

3. Principais Contribuições

1. Arquitetura CircuITS: Uma Rede Soma-Produto inovadora adaptada para IMTS que garante estruturalmente a consistência de marginalização, resolvendo o compromisso entre expressividade e confiabilidade.
2. Codificador Consistente: Um codificador que gera pesos do circuito e parâmetros de folha a partir do histórico de observações, garantindo que as previsões para subconjuntos de variáveis permaneçam consistentes, independentemente do escopo da consulta.
3. Desempenho de Última Geração: Desempenho superior demonstrado tanto na estimativa de densidade conjunta quanto na estimativa de densidade marginal em quatro conjuntos de dados do mundo real.
4. Prova Teórica: Provas formais estabelecendo que a arquitetura proposta satisfaz os requisitos para um processo estocástico válido.

4. Resultados Experimentais

O modelo foi avaliado em quatro conjuntos de dados: USHCN (Clima), PhysioNet-2012, MIMIC-III e MIMIC-IV (Médico).

• Métricas: Log-verossimilhança Negativa Conjunta Normalizada (njNLL) e NLL Marginal (mNLL).
• Baselines: Comparado contra ProFITi (inconsistente, mas expressivo), MOSES (consistente, mas menos expressivo) e NeuralFlows (marginais independentes).
• Desempenho:
  • Densidade Conjunta: O CircuITS alcançou o njNLL mais baixo (melhor) na vasta maioria dos cenários, superando tanto o ProFITi quanto o MOSES.
  • Densidade Marginal: O CircuITS também superou as baselines em mNLL, enquanto o ProFITi frequentemente apresentou altos erros de mNLL devido à sua inconsistência.
  • Tarefa Sintética: Em uma tarefa sintética de "bifurcação" (onde canais independentes se dividem em dois modos distintos), o MOSES falhou em capturar os ramos distintos mesmo com 16 componentes, enquanto o CircuITS resolveu o problema com apenas 2 componentes por canal.
• Eficiência: O CircuITS reduz a complexidade computacional de $O((CN)^3)$ (covariância completa) para $O(CN^3)$ ao desacoplar os canais, embora introduza uma dependência do número de componentes de mistura $K$.

5. Significado

• Confiabilidade em Domínios Críticos: Ao garantir a consistência de marginalização, o CircuITS previne previsões contraditórias. Isso é crucial para aplicações de segurança crítica, como saúde (por exemplo, prever deterioração do paciente) e modelagem climática, onde probabilidades inconsistentes podem levar a decisões errôneas.
• Lidando com Complexidade: Modela com sucesso distribuições conjuntas complexas e multimodais sem as dificuldades de otimização enfrentadas por modelos anteriores baseados em misturas e consistentes.
• Generalizabilidade: A arquitetura é flexível em relação ao número de variáveis e pontos de consulta, tornando-a adequada para diversas aplicações reais de IMTS onde a esparsidade e a irregularidade dos dados são a norma.

Em conclusão, o CircuITS representa um avanço significativo na previsão de séries temporais probabilísticas, unindo o rigor teórico dos circuitos probabilísticos com a flexibilidade prática necessária para dados irregulares e multivariados.