Resumo Técnico: CoPFITi – Cópulas Váldas e Expressivas para Séries Temporais Multivariadas Irregulares

Declaração do Problema

Séries Temporais Multivariadas Irregulares (IMTS) são prevalentes em domínios como saúde, ciência climática e redes de sensores, onde variáveis são observadas de forma assíncrona em carimbos de tempo não uniformes. A previsão nesses cenários requer previsões probabilísticas completas que capturem a distribuição conjunta sobre variáveis e pontos de tempo consultados. Um desafio crítico na previsão de IMTS é a consistência de marginalização: como as consultas podem envolver diferentes subconjuntos de variáveis e carimbos de tempo, um modelo deve garantir que as previsões sobre qualquer subconjunto sejam consistentes com aquelas derivadas de previsões conjuntas maiores.

As abordagens existentes enfrentam um trade-off. Modelos conjuntos frequentemente falham em capturar dependências complexas ou carecem de consistência de marginalização (por exemplo, ProFITi). Por outro lado, modelos que impõem consistência (por exemplo, MOSES, CircuITS) frequentemente lutam com expressividade ou dependem de suposições restritivas. Além disso, abordagens baseadas em cópulas existentes para séries temporais, como TACTiS e TACTiS-2, falham em preservar estritamente as marginais univariadas por design arquitetural, violando uma propriedade fundamental das cópulas. Adicionalmente, misturas padrão de cópulas Gaussianas são insuficientes para modelar estruturas de dependência complexas e multivariadas, pois compartilham um centro comum no espaço latente.

Metodologia

Os autores propõem CoPFITi (Cópulas para Previsão Probabilística de Séries Temporais Irregulares), um framework que desacopla a modelagem de marginais univariadas da estrutura de dependência conjunta usando uma Cóplula de Mistura Gaussiana (GM-C).

1. Modelagem de Marginais: MargFlow

Para garantir a validade da abordagem de cópula, os autores introduzem o MargFlow, um modelo dedicado para marginais univariadas.

• Arquitetura: O MargFlow utiliza um codificador (adaptado do CircuITS) que é separável por consulta, significando que a distribuição em qualquer ponto de consulta depende apenas do histórico de observações e daquele ponto de consulta específico, não de outros pontos de consulta. Essa propriedade é crucial para a consistência de marginalização.
• Expressividade: Em vez de restringir as marginais a distribuições Gaussianas (como nas bases de Neural-ODE), o MargFlow emprega Fluxos Sigmoidais Profundos (DSF). Estas são transformações escalares estritamente monótonas parametrizadas por redes neurais, capazes de modelar distribuições marginais complexas e não Gaussianas.
• Treinamento: O MargFlow é treinado independentemente para maximizar a verossimilhança marginal, garantindo previsões univariadas de alta qualidade antes de ser acoplado ao modelo de dependência.

2. Modelagem de Dependência: Cóplula de Mistura Gaussiana (GM-C)

O CoPFITi constrói a estrutura de dependência em um espaço latente usando um único Modelo de Mistura Gaussiana (GMM) em vez de uma mistura de cópulas Gaussianas separadas.

• Estrutura Latente: O modelo define uma densidade conjunta latente $f_{GMM}(z) = \sum_{j=1}^K \pi_j \mathcal{N}(z; \mu_j, \Sigma_j)$ em $\mathbb{R}^N$.
• Previsão de Parâmetros:
  • Pesos da Mistura ($\pi$): Previstos a partir de um resumo global do histórico de observações $X$ apenas. Eles são independentes do conjunto de consultas $Q$.
  • Médias ($\mu_j$) e Desvios Padrão ($\sigma_{j,n}$): Previstos por consulta usando o embedding da consulta $e_n$. Isso permite que os modos latentes sejam espacialmente separados, permitindo a modelagem de dependências multivariadas.
  • Covariâncias ($\Sigma_j$): Construídas via uma estrutura de matriz Gram de baixo rank ($U_j U_j^\top + I$) derivada de embeddings de consulta, escalonadas por desvios padrão previstos. Isso garante simetria e definição positiva enquanto permite computação eficiente.
• Construção da Cóplula: A cópula é induzida pela densidade GMM $f_{GMM}$ via transformação integral de probabilidade. Diferentemente de uma mistura de cópulas Gaussianas (que mistura após a transformação), o CoPFITi mistura as densidades latentes antes da transformação. Isso permite que a cópula induzida herde a estrutura multivariada do GMM latente, capturando dependências complexas e não elípticas que misturas padrão não conseguem.

3. Consistência de Marginalização

O CoPFITi é consistente de marginalização por construção.

• Os pesos da mistura $\pi$ dependem apenas do histórico $X$, não da consulta $Q$.
• Os parâmetros latentes $\mu_j$ e $\Sigma_j$ dependem de $Q$ apenas através das entradas específicas correspondentes aos pontos consultados.
• A remoção de pontos de consulta corresponde exatamente à regra padrão de marginalização para Gaussianas multivariadas.
• A transformação do espaço latente para o espaço alvo é separável por consulta.
• Os autores fornecem uma prova formal (Apêndice A) demonstrando que essas propriedades garantem que marginalizar a distribuição conjunta produza o mesmo resultado que prever a marginal diretamente.

4. Treinamento e Inferência

• Treinamento em Duas Etapas: Primeiro, o MargFlow é treinado independentemente. Em seguida, seus pesos são congelados e os parâmetros da cópula são treinados para maximizar a verossimilhança conjunta logarítmica.
• Otimização: O objetivo é a verossimilhança conjunta negativa logarítmica normalizada (njNLL). Como a CDF inversa da marginal GMM não possui forma fechada, os autores usam um esquema de Newton-bisseção protegido para inversão direta e derivam gradientes analíticos (via diferenciação implícita) para retropropagação, evitando a necessidade de desenrolar o solucionador.

Contribuições Principais

1. Framework CoPFITi: O primeiro framework baseado em cópulas para IMTS que é consistente de marginalização por construção. Ele utiliza uma Cóplula de Mistura Gaussiana para alcançar alta expressividade enquanto mantém validade estrutural.
2. MargFlow: Um modelo marginal forte e separável por consulta usando Fluxos Sigmoidais Profundos que alcança verossimilhanças marginais state-of-the-art em conjuntos de dados de referência.
3. Validade Teórica e Empírica: O artigo estabelece que desacoplar marginais do modelo conjunto produz melhor desempenho marginal do que o treinamento conjunto. O CoPFITi alcança verossimilhanças conjuntas superiores às bases não baseadas em cópulas e competitivas (ou melhores) que o TACTiS-2, enquanto preserva estritamente distribuições marginais — uma propriedade que o TACTiS-2 falha em garantir.

Resultados Experimentais

Os autores avaliaram o CoPFITi em quatro benchmarks padrão de IMTS: USHCN (clima), PhysioNet-2012, MIMIC-III e MIMIC-IV (clínico).

• Desempenho Marginal: O MargFlow alcançou a menor Verossimilhança Negativa Logarítmica Marginal (mNLL) em todos os quatro conjuntos de dados, superando significativamente bases treinadas conjuntamente e outros modelos univariados (GRU-ODE, NeuralFlows, CRU).
• Desempenho Conjunto: O CoPFITi alcançou a melhor ou quase a melhor Verossimilhança Conjunta Negativa Logarítmica Normalizada (njNLL). Ele superou o TACTiS-2 em PhysioNet, MIMIC-III e MIMIC-IV.
• Expressividade da GM-C: Um estudo de ablação substituindo a GM-C por uma Mistura de Cóplulas Gaussianas (Mix-GC) mostrou uma queda significativa de desempenho, confirmando que a capacidade de modelar estruturas latentes multivariadas é crítica.
• Lacuna de Validade: Usando a distância Wasserstein-1, os autores demonstraram que o CoPFITi preserva marginais univariadas com alta fidelidade (comparável ao ruído de amostragem), enquanto o TACTiS-2 exibiu desvios ordens de magnitude maiores, indicando uma falha em preservar distribuições marginais.
• Verificação de Consistência: Um experimento simples em uma distribuição 3D mostrou que as previsões bivariadas diretas do TACTiS-2 discordavam de suas previsões conjuntas 3D marginalizadas, enquanto as previsões do CoPFITi eram consistentes por construção.

Significado e Alegações

O artigo afirma estabelecer um novo estado da arte na modelagem de densidade conjunta de IMTS ao resolver a tensão entre expressividade e validade.

• Garantia Estrutural: Diferentemente de cópulas atencionais anteriores que dependem de teoria de convergência para aprender preservação marginal, o CoPFITi garante consistência de marginalização através de seu design arquitetural.
• Benefício do Desacoplamento: Os resultados apoiam a hipótese de que separar a modelagem marginal da modelagem de dependência leva a previsões univariadas mais precisas e, consequentemente, melhor estimativa de densidade conjunta.
• Aplicabilidade: Embora focado em previsão, os autores observam que o framework se estende naturalmente a outros problemas de estimativa de densidade conjunta condicional com conjuntos de alvos variáveis, como imputação de valores ausentes em dados tabulares.

O trabalho é apresentado como uma contribuição metodológica avaliada em benchmarks públicos, com foco em fornecer estimativas de incerteza confiáveis e garantir que previsões em diferentes resoluções não se contradigam.