VFEM: Visual Feature Empowered Multivariate Time Series Forecasting with Cross-Modal Fusion

Resumen Técnico: VFEM – Pronóstico de Series Temporales Multivariantes Potenciado por Características Visuales con Fusión Cross-Modal

Planteamiento del Problema
El pronóstico de series temporales multivariantes enfrenta dos limitaciones primordiales en los modelos fundacionales actuales a gran escala. Primero, la prevalente arquitectura de independencia de canales trata cada variable por separado para manejar dimensiones de datos variables. Si bien esto facilita la generalización zero-shot, ignora las dependencias y correlaciones cruciales entre canales que podrían mejorar la precisión del pronóstico. Por el contrario, los modelos dependientes de canales suelen requerir un entrenamiento de parámetros completos en conjuntos de datos masivos, lo que incurre en altos costos computacionales y potencialmente falla al capturar patrones específicos de un dominio al aplanar las series multivariantes.

Segundo, los métodos cross-modales existentes para series temporales dependen predominantemente de modalidades textuales (por ejemplo, el reaprovechamiento de LLMs con prompts de texto). Estos enfoques subutilizan las capacidades de reconocimiento de patrones espaciales de los modelos de visión. Las series temporales multivariantes, cuando se renderizan como imágenes 2D, exhiben patrones visuales como periodicidad, relaciones de adelanto-retraso (lead-lag) y eventos anómalos que son naturalmente adecuados para el reconocimiento por parte de modelos de visión pre-entrenados, un potencial que permanece mayormente inexplorado en la integración cross-modal.

Metodología: Arquitectura VFEM
Los autores proponen VFEM (Visual Feature Empowered Multivariate Time Series Forecasting), un marco cross-modal diseñado para capturar patrones complejos entre variables aprovechando modelos de visión de gran tamaño (LVM) pre-entrenados. La arquitectura consta de tres etapas principales:

1. Procesamiento de la Modalidad Visual:

   • Transformación: La serie temporal multivariante $X \in \mathbb{R}^{L \times M}$ (donde $L$ es la ventana de observación y $M$ es el número de variables) se transpone a $X^\top \in \mathbb{R}^{M \times L}$. Esta matriz es tratada como un mapa de intensidad de un solo canal y se replica a través de tres canales ($c=3$) para formar una entrada de imagen RGB de 3 canales $X_{vs}$. En esta representación, las filas corresponden a las variables y las columnas a los pasos temporales.
   • Extracción de Características: Un codificador de visión pre-entrenado (específicamente SigLIP-2-base-NaFlex) procesa la imagen para extraer un embedding visual global. Crucialmente, el codificador de visión permanece congelado durante el entrenamiento.
   • Expansión y Proyección: Dado que el codificador de visión produce un único embedding global, este se replica a través de todas las $M$ variables para proporcionar un contexto visual compartido. Una red de proyección aprendible (con conexiones residuales) luego cierra la brecha de dominio entre las características visuales y las representaciones de series temporales, mapeándolas a una dimensión oculta unificada.

2. Procesamiento de la Modalidad Temporal:

   • La serie temporal bruta se somete a una Normalización de Instancia Reversible (RevIN) para eliminar los cambios de distribución mientras se preservan los patrones temporales.
   • La serie normalizada es procesada por una rama temporal utilizando atención auto-espaciotemporal. La dimensión temporal se particiona en segmentos, y el tensor se reordena para permitir que los mecanismos de atención capturen dependencias tanto a través de las variables como de los segmentos temporales simultáneamente.

3. Fusión Cross-Modal:

   • Los estados ocultos visuales ($H_{vs}$) y los estados ocultos temporales ($H_{ts}$) se concatenan a lo largo de la dimensión de características.
   • Un codificador de fusión (que utiliza capas de auto-atención) procesa las características combinadas para modelar las interacciones cross-modales y las dependencias entre variables de forma conjunta.
   • Finalmente, una capa de predicción lineal genera el pronóstico, seguido de una normalización de instancia inversa para restaurar la escala original de los datos.

Contribuciones Clave

• Marco Cross-Modal: El artículo introduce un enfoque novedoso que transforma series temporales multivariantes en representaciones visuales, permitiendo que los modelos de visión pre-entrenados perciban las relaciones espaciales y los patrones entre variables que los modelos de independencia de canales omiten.
• Eficiencia de Parámetros: Al congelar el gran codificador de visión, VFEM entrena solo el 7.45% de sus parámetros totales (aproximadamente 30 millones de parámetros entrenables de un total de 375 millones). Esta estrategia aprovecha el conocimiento visual pre-entrenado mientras evita el sobreajuste en datos limitados de series temporales.
• Desempeño: A través de la fusión de las ramas visual y temporal, VFEM logra un desempeño de pronóstico competitivo en múltiples benchmarks, demostrando que el reconocimiento de patrones visuales es una modalidad viable y efectiva para el análisis de series temporales.

Resultados Experimentales
Los autores evaluaron VFEM en siete conjuntos de datos de referencia: ETTh1, ETTh2, ETTm1, ETTm2, Electricity, Weather y Traffic. El modelo fue comparado contra:

• Modelos Fundacionales de Series Temporales Zero-Shot: Chronos (Base/Large), Moiri (Base/Large).
• Modelos Supervisados Específicos de Tarea: GPT4TS, UniTST, TimesNet, PatchTST.

Hallazgos Clave:

• Precisión Superior: VFEM logró el menor Error Cuadrático Medio (MSE) y el Error Absoluto Medio (MAE) en todos los conjuntos de datos y horizontes de predicción ($F \in \{96, 192, 336, 720\}$), superando tanto a los modelos fundacionales zero-shot como a las líneas base supervisadas específicas de la tarea.
• Estabilidad de Secuencia Larga: La modalidad visual mejoró la capacidad del modelo para reconocer patrones a largo plazo, resultando en una degradación de desempeño más lenta a medida que aumenta el horizonte de pronóstico (por ejemplo, un aumento mínimo de MSE de $F=336$ a $F=720$).
• Estudios de Ablación:
  • Eliminar la rama visual o la temporal degradó el desempeño, siendo la rama visual la que tuvo un impacto más significativo en el pronóstico a largo plazo.
  • La capa de proyección fue esencial para alinear las modalidades.
  • Estrategia de Congelación: Mantener el codificador de visión completamente congelado produjo los mejores resultados en comparación con descongelar las últimas 2 o 4 capas o realizar un ajuste fino (fine-tuning) completo, lo que sugiere que preservar las representaciones visuales pre-entrenadas es crítico cuando se trata de modalidades heterogéneas.
  • Calidad de Representación: Las visualizaciones t-SNE y el análisis del Coeficiente de Silueta confirmaron que las capas de proyección entrenadas adaptaron exitosamente las características visuales pre-entrenadas al dominio de las series temporales, produciendo embeddings con una calidad de agrupamiento significativamente mejor que los outputs del codificador congelado bruto o las características estadísticas diseñadas a mano.

Significancia y Reivindicaciones
El artículo afirma que VFEM ofrece una nueva perspectiva sobre el pronóstico de series temporales multivariantes al validar la utilidad de las modalidades visuales. Demuestra que:

1. Las series temporales multivariantes contienen patrones visualmente reconocibles (periodicidad, adelanto-retraso, anomalías) que pueden ser capturados efectivamente por modelos de visión pre-entrenados.
2. La fusión cross-modal de características visuales y temporales puede modelar eficazmente las complejas dependencias entre variables sin la carga computacional de un entrenamiento de parámetros completos en corpus de series temporales a gran escala.
3. Congelar un modelo de visión de gran tamaño y entrenar una pequeña fracción de parámetros es una estrategia altamente eficiente que logra un desempeño de vanguardia (state-of-the-art), proporcionando una alternativa viable a los enfoques existentes de independencia de canales o de ajuste fino completo de canales.