Resumen Técnico: CoPFITi – Cópulas Válidas y Expresivas para Series Temporales Multivariantes Irregulares

Enunciado del Problema

Las Series Temporales Multivariantes Irregulares (IMTS) son prevalentes en dominios como la atención sanitaria, la ciencia climática y las redes de sensores, donde las variables se observan de forma asíncrona en instantes de tiempo no uniformes. La predicción en estos entornos requiere predicciones probabilísticas completas que capturen la distribución conjunta sobre las variables consultadas y los instantes de tiempo. Un desafío crítico en la predicción de IMTS es la consistencia de marginalización: dado que las consultas pueden involucrar diferentes subconjuntos de variables e instantes de tiempo, un modelo debe garantizar que las predicciones sobre cualquier subconjunto sean consistentes con las derivadas de predicciones conjuntas más amplias.

Los enfoques existentes enfrentan una compensación. Los modelos conjuntos a menudo fallan al capturar dependencias complejas o carecen de consistencia de marginalización (por ejemplo, ProFITi). Por el contrario, los modelos que imponen consistencia (por ejemplo, MOSES, CircuITS) a menudo luchan con la expresividad o dependen de supuestos restrictivos. Además, los enfoques basados en cópulas existentes para series temporales, como TACTiS y TACTiS-2, no preservan estrictamente las marginales univariadas por diseño arquitectónico, violando una propiedad fundamental de las cópulas. Además, las mezclas estándar de cópulas gaussianas son insuficientes para modelar estructuras de dependencia complejas y multimodales porque comparten un centro común en el espacio latente.

Metodología

Los autores proponen CoPFITi (Cópulas para la Predicción Probabilística de Series Temporales Irregulares), un marco que desacopla el modelado de marginales univariadas de la estructura de dependencia conjunta utilizando una Cóplula de Mezcla Gaussiana (GM-C).

1. Modelado de Marginales: MargFlow

Para garantizar la validez del enfoque de cópula, los autores introducen MargFlow, un modelo dedicado para marginales univariadas.

• Arquitectura: MargFlow utiliza un codificador (adaptado de CircuITS) que es separable por consulta, lo que significa que la distribución en cualquier punto de consulta depende únicamente del historial de observaciones y de ese punto de consulta específico, no de otros puntos de consulta. Esta propiedad es crucial para la consistencia de marginalización.
• Expresividad: En lugar de restringir las marginales a distribuciones gaussianas (como en las líneas base de Neural-ODE), MargFlow emplea Flujos Sigmoideos Profundos (DSF). Estas son transformaciones escalares estrictamente monótonas parametrizadas por redes neuronales, capaces de modelar distribuciones marginales complejas y no gaussianas.
• Entrenamiento: MargFlow se entrena independientemente para maximizar la verosimilitud marginal, asegurando predicciones univariadas de alta calidad antes de ser acoplado con el modelo de dependencia.

2. Modelado de Dependencia: Cóplula de Mezcla Gaussiana (GM-C)

CoPFITi construye la estructura de dependencia en un espacio latente utilizando un único Modelo de Mezcla Gaussiana (GMM) en lugar de una mezcla de cópulas gaussianas separadas.

• Estructura Latente: El modelo define una densidad conjunta latente $f_{GMM}(z) = \sum_{j=1}^K \pi_j \mathcal{N}(z; \mu_j, \Sigma_j)$ en $\mathbb{R}^N$.
• Predicción de Parámetros:
  • Pesos de Mezcla ($\pi$): Predichos a partir de un resumen global del historial de observaciones $X$ únicamente. Son independientes del conjunto de consultas $Q$.
  • Medias ($\mu_j$) y Desviaciones Estándar ($\sigma_{j,n}$): Predichas por consulta utilizando la incrustación de consulta $e_n$. Esto permite que los modos latentes estén espacialmente separados, habilitando el modelado de dependencias multimodales.
  • Covarianzas ($\Sigma_j$): Construidas mediante una estructura de matriz de Gram de bajo rango ($U_j U_j^\top + I$) derivada de las incrustaciones de consulta, escaladas por las desviaciones estándar predichas. Esto garantiza simetría y definición positiva mientras permite un cálculo eficiente.
• Construcción de Cóplula: La cópula es inducida por la densidad GMM $f_{GMM}$ a través de la transformada integral de probabilidad. A diferencia de una mezcla de cópulas gaussianas (que mezcla después de la transformación), CoPFITi mezcla las densidades latentes antes de la transformación. Esto permite que la cópula inducida herede la estructura multimodal del GMM latente, capturando dependencias complejas y no elípticas que las mezclas estándar no pueden.

3. Consistencia de Marginalización

CoPFITi es consistente en marginalización por construcción.

• Los pesos de mezcla $\pi$ dependen únicamente del historial $X$, no de la consulta $Q$.
• Los parámetros latentes $\mu_j$ y $\Sigma_j$ dependen de $Q$ únicamente a través de las entradas específicas correspondientes a los puntos consultados.
• Eliminar puntos de consulta corresponde exactamente a la regla estándar de marginalización para gaussianas multivariadas.
• La transformación del espacio latente al espacio objetivo es separable por consulta.
• Los autores proporcionan una prueba formal (Apéndice A) que demuestra que estas propiedades garantizan que marginalizar la distribución conjunta produzca el mismo resultado que predecir la marginal directamente.

4. Entrenamiento e Inferencia

• Entrenamiento en Dos Etapas: Primero, MargFlow se entrena independientemente. Luego, sus pesos se congelan y los parámetros de la cópula se entrenan para maximizar la verosimilitud conjunta logarítmica.
• Optimización: El objetivo es la verosimilitud negativa logarítmica conjunta normalizada (njNLL). Dado que la inversa de la CDF de la marginal GMM no tiene forma cerrada, los autores utilizan un esquema de bisección de Newton protegido para la inversión directa y derivan gradientes analíticos (mediante diferenciación implícita) para la retropropagación, evitando la necesidad de desenrollar el solucionador.

Contribuciones Clave

1. Marco CoPFITi: El primer marco basado en cópulas para IMTS que es consistente en marginalización por construcción. Utiliza una Cóplula de Mezcla Gaussiana para lograr alta expresividad mientras mantiene la validez estructural.
2. MargFlow: Un modelo marginal fuerte y separable por consulta que utiliza Flujos Sigmoideos Profundos y logra verosimilitudes marginales de vanguardia en conjuntos de datos de referencia.
3. Validez Teórica y Empírica: El artículo establece que desacoplar las marginales del modelo conjunto produce un mejor rendimiento marginal que el entrenamiento conjunto. CoPFITi logra verosimilitudes conjuntas superiores a las líneas base sin cópulas y competitivas (o mejores) que TACTiS-2, mientras preserva estrictamente las distribuciones marginales, una propiedad que TACTiS-2 no garantiza.

Resultados Experimentales

Los autores evaluaron CoPFITi en cuatro conjuntos de datos de referencia estándar de IMTS: USHCN (clima), PhysioNet-2012, MIMIC-III y MIMIC-IV (clínico).

• Rendimiento Marginal: MargFlow logró la menor Verosimilitud Negativa Logarítmica Marginal (mNLL) en los cuatro conjuntos de datos, superando significativamente a las líneas base entrenadas conjuntamente y a otros modelos univariados (GRU-ODE, NeuralFlows, CRU).
• Rendimiento Conjunto: CoPFITi logró la mejor o casi la mejor Verosimilitud Negativa Logarítmica Conjunta Normalizada (njNLL). Superó a TACTiS-2 en PhysioNet, MIMIC-III y MIMIC-IV.
• Expresividad de GM-C: Un estudio de ablación que reemplazó GM-C con una Mezcla de Cópulas Gaussianas (Mix-GC) mostró una caída significativa en el rendimiento, confirmando que la capacidad de modelar estructuras latentes multimodales es crítica.
• Brecha de Validez: Utilizando la distancia Wasserstein-1, los autores demostraron que CoPFITi preserva las marginales univariadas con alta fidelidad (comparable al ruido de muestreo), mientras que TACTiS-2 exhibió una desviación órdenes de magnitud mayor, indicando una falla en preservar las distribuciones marginales.
• Verificación de Consistencia: Un experimento de juguete sobre una distribución 3D mostró que las predicciones bivariadas directas de TACTiS-2 discrepaban de sus predicciones conjuntas 3D marginalizadas, mientras que las predicciones de CoPFITi eran consistentes por construcción.

Significado y Afirmaciones

El artículo afirma establecer un nuevo estado del arte en el modelado de densidad conjunta de IMTS al resolver la tensión entre expresividad y validez.

• Garantía Estructural: A diferencia de las cópulas atencionales anteriores que dependen de la teoría de convergencia para aprender la preservación marginal, CoPFITi garantiza la consistencia de marginalización a través de su diseño arquitectónico.
• Beneficio del Desacoplamiento: Los resultados apoyan la hipótesis de que separar el modelado marginal del modelado de dependencia conduce a predicciones univariadas más precisas y, en consecuencia, a una mejor estimación de densidad conjunta.
• Aplicabilidad: Aunque se centra en la predicción, los autores señalan que el marco se extiende naturalmente a otros problemas de estimación de densidad conjunta condicional con conjuntos de objetivos variables, como la imputación de valores faltantes en datos tabulares.

El trabajo se presenta como una contribución metodológica evaluada en conjuntos de datos de referencia públicos, con un enfoque en proporcionar estimaciones de incertidumbre fiables y garantizar que las predicciones en diferentes resoluciones no se contradigan entre sí.