Resumen Técnico: EVENTTSF – Predicción de Series Temporales No Estacionarias Consciente de Eventos

1. Definición del Problema

La predicción de series temporales es crítica para sectores como la energía y el transporte, pero enfrenta desafíos persistentes debido a la no estacionariedad y los desplazamientos de distribución. Aunque avances recientes (por ejemplo, normalización, descomposición de modelos) han abordado la no estacionariedad de una sola modalidad, a menudo pasan por alto el hecho de que los desplazamientos de distribución están frecuentemente entrelazados con eventos externos de otras modalidades, particularmente textos en lenguaje natural (por ejemplo, festivos, promociones, informes meteorológicos).

Los enfoques existentes sufren dos limitaciones principales:

1. Brecha de Modalidad: La mayoría de los métodos dependen de datos de una sola modalidad o utilizan contexto textual de grano grueso, fallando en modelar interacciones de grano fino entre eventos externos discretos y series temporales continuas.
2. Ineficiencia en la Difusión: Los modelos clásicos de predicción basados en difusión suelen muestrear pasos de tiempo de difusión desde una distribución uniforme fija. Esto ignora la variabilidad no estacionaria inducida por eventos, donde diferentes eventos causan desplazamientos distintos en la magnitud y varianza de la señal. En consecuencia, el muestreo uniforme conduce a una dificultad de eliminación de ruido desequilibrada a través de las etapas de difusión, ya que la Relación Señal-Ruido (SNR) varía heterogéneamente dependiendo del contexto del evento.

2. Metodología: EVENTTSF

Los autores proponen EVENTTSF, un marco de difusión autoregresivo diseñado para integrar series temporales históricas y eventos textuales mediante difusión paso a paso. La arquitectura aborda la sincronización de eventos discretos y series continuas, así como el desequilibrio en la dificultad de eliminación de ruido.

2.1 Difusión Autoregresiva Multimodal

• Sincronización de Eventos: El modelo divide la serie temporal continua en segmentos no superpuestos ($x_s$) y alinea cada uno con una incrustación de evento textual correspondiente ($c_s$). Si no ocurre ningún evento, se asigna un evento NULL. Esto crea una representación unificada $D = \{(x_s, c_s)\}$, cerrando la brecha entre procesos puntuales temporales y series continuas.
• Generación Autoregresiva: El modelo trata la predicción como una generación autoregresiva de segmentos de grano fino. En cada paso $s$, se condiciona sobre un estado latente $Z_{s-1}$ (que resume el historial), el segmento ruidoso actual $x^t_s$ y la incrustación de evento alineada $c_s$.
• Ajuste de Flujo: En lugar de la difusión estándar, el modelo utiliza Ajuste de Flujo para aprender un campo de velocidad $v_t$ que transforma una distribución previa simple en la distribución de datos objetivo. El eliminador de ruido $M_\theta$ se entrena para predecir este campo de velocidad, actualizando el estado latente $Z_s$ de manera autoregresiva.

2.2 Muestreo de Pasos de Tiempo Consciente de Eventos

Para mitigar la dificultad desequilibrada de eliminación de ruido causada por el muestreo uniforme de pasos de tiempo, EVENTTSF introduce un paso de tiempo de ajuste de flujo consciente de eventos.

• Problema: El muestreo uniforme ($t \sim U(0,1)$) no tiene en cuenta el hecho de que diferentes eventos inducen diferentes SNR, lo que conduce a dificultades de eliminación de ruido heterogéneas.
• Solución: El modelo reparametriza un paso de tiempo uniforme base $\hat{t}$ en un paso de tiempo adaptativo al evento $t$ utilizando una función de mapeo aprendible $\phi$:
  $$t = \phi(\hat{t}, c) = F^{-1}_{\text{Beta}(\alpha(c), \beta(c))}(\hat{t})$$
• Mecanismo: Dos redes lineales ligeras predicen los parámetros $\alpha(c)$ y $\beta(c)$ de una distribución Beta condicionada a la incrustación del evento $c$. Esto asegura que la dificultad efectiva de eliminación de ruido se asigne de manera más uniforme a través de las etapas de difusión para tipos de eventos específicos, adaptando el programa de muestreo a la semántica del evento.

2.3 Detalles de la Arquitectura

El eliminador de ruido central es un Transformador de Difusión en Forma de U Multimodal (M-U-DiT). Emplea muestreo descendente y ascendente con conexiones de salto para alinear la semántica del evento con patrones temporales de múltiples resoluciones. Integra estados históricos, entradas ruidosas y condiciones de evento mediante mecanismos de atención cruzada.

3. Contribuciones Clave

1. Reformulación del Paradigma: El artículo formula la predicción no estacionaria consciente de eventos como un paradigma multimodal, incorporando explícitamente información de eventos externos para abordar los desplazamientos de distribución que los modelos de una sola modalidad pasan por alto.
2. Innovación Metodológica:
   • Alineación de Grano Fino: Introduce un mecanismo de sincronización para alinear segmentos de eventos discretos con ventanas de series temporales continuas.
   • Paso de Tiempo Consciente de Eventos: Propone una estrategia de reparametrización novedosa que aprende programas de difusión condicionados al evento para equilibrar la dificultad de eliminación de ruido, superando el muestreo uniforme estático.
3. Rendimiento Superior: Experimentos extensivos demuestran que EVENTTSF supera a 12 líneas base (incluyendo modelos no estacionarios y basados en difusión) en 7 conjuntos de datos.

4. Resultados Experimentales

El modelo fue evaluado en 7 conjuntos de datos (1 sintético, 6 del mundo real que cubren tráfico, clima y física atmosférica) frente a 12 líneas base (por ejemplo, CSDI, TimeDiff, TMDM, NsDiff, Autoformer, DLinear).

• Predicción Probabilística: EVENTTSF logró una mejora promedio del 41.3% en la Puntuación de Probabilidad Clasificada Continua (CRPS) y la Pérdida de Cuantiles Ponderada (WQL) en todos los conjuntos de datos.
• Predicción Determinista: El modelo mejoró el Error Absoluto Medio (MAE) en un promedio del 27.5%.
• Estudios de Ablación:
  • Eliminar los eventos textuales degradó significativamente el rendimiento (por ejemplo, WQL aumentó un 10.71% en el conjunto de datos Temperatura–Nueva York).
  • Reemplazar el muestreo uniforme de pasos de tiempo con el mecanismo consciente de eventos redujo consistentemente los errores (por ejemplo, CRPS reducido en un 9.21%).
• Eficiencia: EVENTTSF demostró tiempos de entrenamiento más rápidos (1.13× más rápido que la segunda mejor línea base en datos sintéticos) y un crecimiento sublineal en el tiempo de entrenamiento en relación con los horizontes de predicción, atribuido a su enfoque de generación por segmentos.
• Aumento de Líneas Base: Incluso cuando las líneas base se aumentaron con incrustaciones de eventos (mediante atención cruzada o condicionamiento residual), permanecieron sustancialmente inferiores a EVENTTSF, lo que indica que la inyección simple de eventos es insuficiente sin los mecanismos específicos de difusión autoregresiva y pasos de tiempo.

5. Significado y Afirmaciones

El artículo afirma ser pionero en la integración de conocimiento multimodal externo específicamente para la predicción de series temporales no estacionarias. Su significado radica en:

• Abordar la Brecha de Modalidad: Proporciona un marco unificado para modelar la interacción entre eventos textuales discretos y series temporales continuas, capturando dependencias en cascada y con retraso que los modelos de contexto global pasan por alto.
• Resolver el Desequilibrio en la Difusión: Identifica y resuelve el problema de la heterogeneidad inducida por eventos en la dificultad de eliminación de ruido, proponiendo un programa de muestreo aprendible y condicionado al evento que estabiliza el entrenamiento y mejora la calidad de la generación.
• Aplicabilidad Práctica: El marco está diseñado para escenarios donde los eventos futuros (por ejemplo, promociones planificadas, festivos) son conocidos con anticipación, permitiendo al modelo anticipar desplazamientos de distribución que no pueden inferirse únicamente de las observaciones históricas.

Los autores concluyen que EVENTTSF establece un paradigma flexible para incorporar semánticas de eventos heterogéneas en el modelado temporal, abriendo nuevas direcciones para el análisis de dinámicas no estacionarias cruzadas entre modalidades.