Resumen Técnico: Difusión de Laplace Latente para Series Temporales Multivariantes Irregulares

1. Planteamiento del Problema

Las series temporales multivariantes irregulares (IMTS, por sus siglas en inglés), comunes en la atención médica, las ciencias climáticas y las finanzas, presentan un compromiso fundamental para el pronóstico de largo horizonte. Los enfoques existentes generalmente se dividen en tres categorías, cada una con limitaciones significativas:

• Pipelines de tiempo discreto: Estos métodos interpolan o re-gridan los datos hacia una estructura regular. Aunque son eficientes, el re-gridado agresivo distorsiona la información temporal y desdibuja la semántica de la ausencia de datos bajo una irregularidad severa.
• Modelos de tiempo continuo (p. ej., Neural ODEs/CDEs): Estos incorporan las marcas de tiempo de forma natural pero dependen de la integración numérica secuencial. Esto aumenta el costo computacional y conduce a la acumulación de errores (deriva o drift) en horizontes largos, particularmente cuando los intervalos son grandes.
• Modelos de difusión/basados en puntuación (Score-based): Si bien ofrecen una fuerte cuantificación de la incertidumbre, la mayoría de los métodos de difusión de series temporales existentes realizan la eliminación de ruido directamente en el espacio de observación. A menudo carecen de una estructura dinámica explícita o de control de estabilidad, lo que hace que la generación de largo horizonte sea frágil bajo un muestreo irregular.

El desafío central es modelar las IMTS de una manera que respete el tiempo físico y los intervalos de muestreo sin reducir la irregularidad a un artefacto de preprocesamiento, asegurando al mismo tiempo una generación de trayectoria estable de largo horizonte sin la deriva asociada con los resolvedores (solvers) secuenciales.

2. Metodología: Difusión de Laplace Latente (LLapDiff)

LLapDiff es un marco generativo condicional que cierra la brecha entre el modelado discreto y el continuo. Evita la integración numérica secuencial sobre el tiempo físico al modelar el objetivo como una trayectoria latente de baja dimensión y realizar la difusión en el espacio latente.

2.1. Representación de la Trayectoria Latente

El método representa los horizontes irregulares como trayectorias latentes de baja dimensión $z$ en una variedad (manifold). Un Autoencoder Variacional (VAE) preentrenado codifica los objetivos de la verdad de campo (ground-truth) en este espacio latente. El proceso de difusión corrompe y elimina el ruido de estas trayectorias latentes en lugar de las observaciones crudas y dispersas, evitando la eliminación de ruido directa sobre datos enmascarados.

2.2. Sesgo de Estabilidad mediante Dinámica de Port-Hamiltonian Estocástica

Para guiar el proceso de difusión inversa hacia dinámicas estables sin resolvedores numéricos, los autores se inspiran en los sistemas port-Hamiltonianos estocásticos.

• Balance de Energía: El marco impone un sesgo inductivo basado en la pasividad donde se espera que la energía del sistema sea no creciente entre actualizaciones de contexto. Esto aísla la dinámica pronosticable de la volatilidad estocástica.
• Parametrización en el Dominio de Laplace: En lugar de pasos de tiempo, la evolución de la media de la trayectoria latente se parametriza en el dominio de Laplace. El sistema se modela utilizando polos complejos conjugados estables $(\rho_k, \omega_k)$, donde $\rho_k$ representa las tasas de decaimiento y $\omega_k$ las frecuencias de oscilación.
• Síntesis Modal Estable: El eliminador de ruido (denoiser) predice estos parámetros modales (polos y residuos) condicionados por la historia. La trayectoria latente se sintetiza entonces mediante una suma de cerrados de sinusoides amortiguadas:
  $$\hat{z}_0(\tilde{t}_r) = \sum_{k=1}^K e^{-\hat{\rho}_k \tilde{t}_r} \left( \hat{c}_k \cos(\hat{\omega}_k \tilde{t}_r) + \hat{b}_k \sin(\hat{\omega}_k \tilde{t}_r) \right)$$
  Esto permite la generación de todo el horizonte en una sola pasada paralelizable, evitando la necesidad de integración secuencial.

2.3. Promedio de Renovación y Condicionamiento Consciente de los Intervalos

Los autores establecen un vínculo teórico entre los polos de tiempo continuo y los intervalos de muestreo aleatorios mediante un análisis de promedio de renovación (renewal-averaging).

• Polos Efectivos: Los intervalos aleatorios mapean los polos de tiempo continuo a polos efectivos en el dominio de eventos. La varianza de los intervalos modula el amortiguamiento y la oscilación efectiva.
• Resumidor de Historia: Para adaptar las dinámicas aprendidas a patrones irregulares, un "resumidor de historia consciente de los intervalos" agrega observaciones, brechas temporales y máscaras de ausencia. Este resumidor condiciona al predictor modal, permitiendo al modelo aprender parámetros de tiempo continuo que permanecen consistentes incluso bajo patrones de muestreo no renovativos complejos.

2.4. Arquitectura

El modelo consta de:

1. Resumidor de Historia ($S_\phi$): Codifica la historia observada en una secuencia de tokens que contiene señales de puerto, proxies dinámicos y codificaciones temporales/de intervalo.
2. Predictor Modal ($L_\theta$): Predice los parámetros modales de tiempo continuo (polos y residuos) condicionados por el estado latente ruidoso y el resumen de la historia.
3. Sintetizador Modal ($L^+_\theta$): Reconstruye la trayectoria latente libre de ruido utilizando los parámetros predichos mediante la ecuación de dominio de Laplace de forma cerrada.

3. Contribuciones Clave

1. Marco LLapDiff: Un marco de difusión latente para IMTS que modela la evolución como trayectorias latentes de baja dimensión mientras preserva la fidelidad de la marca de tiempo, evitando la deriva de los resolvedores secuenciales.
2. Parametrización Modal en el Dominio de Laplace: Una derivación fundamentada en la dinámica port-Hamiltoniana estocástica que permite la generación de todo el horizonte con control de estabilidad explícito mediante el amortiguamiento de polos restringido ($\rho_k > 0$).
3. Vínculo Teórico con los Intervalos de Muestreo: Un análisis que vincula los polos de tiempo continuo con los intervalos de muestreo aleatorios mediante el promedio de renovación, motivando un mecanismo de condicionamiento de la historia consciente de los intervalos que mejora el modelado de largo horizonte bajo irregularidades variables.

4. Resultados Experimentales

Los autores evaluaron LLapDiff en siete conjuntos de datos del mundo real que abarcan calidad del aire, salud (PhysioNet), meteorología (NOAA) y finanzas (Crypto, US Equity).

• Desempeño de Pronóstico: LLapDiff logró las mejores métricas distributivas (CRPS) y métricas de punto competitivas (MAE/MSE) en la mayoría de los conjuntos de datos. Las ganancias fueron más pronunciadas en el pronóstico de largo horizonte (p. ej., 168 pasos) y en conjuntos de datos altamente irregulares (p. ej., PhysioNet, NOAA UK).
• Imputación: Debido a su naturaleza de generación de trayectoria, el modelo soporta la imputación de valores faltantes consultando el mismo modelo en marcas de tiempo históricas. Superó a las líneas base como CSDI en tareas de imputación probabilística.
• Estabilidad y Robustez:
  • Visualización de Polos: Los polos aprendidos cumplieron consistentemente con $\rho_k > 0$, asegurando el decaimiento exponencial y la estabilidad. El modelo adaptó las tasas de decaimiento basadas en las estadísticas de los intervalos.
  • Pruebas de Estrés: El modelo demostró una degradación gradual bajo la ausencia de datos inducida. Aunque el desempeño cayó con la pérdida extrema de cobertura, se mantuvo robusto en comparación con las líneas base que a menudo presentaban deriva o sobre-suavizado.
  • Cambios de Régimen: El modelo mantuvo la estabilidad bajo cambios espectrales controlados (cambios en frecuencia y decaimiento).
• Eficiencia: A diferencia de las Neural ODEs o los Transformers de tiempo continuo que requieren pasos de resolución secuenciales, el tiempo de inferencia de LLapDiff se mantuvo casi plano a través de diferentes horizontes de pronóstico. Fue significamente más rápido que TimeGrad (39.8x) y ContiFormer (150.6x) en tiempo de ejecución de inferencia.

5. Significado y Reivindicaciones

El artículo afirma que LLapDiff logra cerrar la brecha entre el modelado de series temporales de tiempo discreto y continuo integrando la difusión latente con un sesgo inductivo de tiempo continuo estable.

• Generación Libre de Resolvedores: Al mover el modelado de la dinámica al dominio de Laplace y utilizar una parametrización modal estable, el método logra la generación de todo el horizonte sin pasos de tiempo físico, resolviendo efectivamente el problema de la deriva de los resolvedores secuenciales.
• Pronóstico e Imputación Unificados: La visión de la trayectoria continua permite que el mismo modelo realice tanto el pronóstico como la imputación de valores faltantes simplemente consultando diferentes marcas de tiempo, ofreciendo un enfoque unificado para datos irregulares.
• Adaptación Consciente de los Intervalos: El análisis de promedio de renovación proporciona una base teórica para el condicionamiento en los intervalos de muestreo, permitiendo que el modelo aprenda dinámicas que son robustas a los patrones de observación irregulares.

Los autores reconocen las limitaciones, incluyendo la dependencia de representaciones latentes preentrenadas y una aproximación modal lineal local. Sugieren que trabajos futuros podrían explorar dinámicas no lineales más ricas y un muestreo inverso más rápido. El trabajo se posiciona como un paso hacia un modelado generativo más estable y eficiente para series temporales irregulares del mundo real.