VFEM: Visual Feature Empowered Multivariate Time Series Forecasting with Cross-Modal Fusion

Sintesi Tecnica: VFEM – Visual Feature Empowered Multivariate Time Series Forecasting with Cross-Modal Fusion

Definizione del Problema
La previsione di serie temporali multivariate affronta due limitazioni primarie nei modelli fondazionali su larga scala attuali. In primo luogo, la prevalente architettura channel-independent tratta ogni variabile separatamente per gestire dimensioni di dati variabili. Sebbene ciò faciliti la generalizzazione zero-shot, ignora le cruciali dipendenze e correlazioni cross-channel che potrebbero migliorare l'accuratezza della previsione. Al contrario, i modelli channel-dependent richiedono spesso un addestramento a parametri completi su enormi dataset, incorrendo in elevati costi computazionali e rischiando di non catturare i pattern specifici del dominio quando si appiattiscono le serie multivariate.

In secondo luogo, gli esistenti metodi cross-modali per le serie temporali si affidano prevalentemente alle modalità testuali (ad esempio, riutilizzando i LLM con prompt testuali). Questi approcci sottoutilizzano le capacità di riconoscimento di pattern spaziali dei modelli di visione. Le serie temporali multivariate, quando renderizzate come immagini 2D, esibiscono pattern visivi come periodicità, relazioni lead-lag ed eventi anomali che sono naturalmente adatti al riconoscimento da parte di modelli di visione pre-addestrati, eppure questo potenziale rimane ampiamente inesplorato nell'integrazione cross-modale.

Metodologia: Architettura VFEM
Gli autori propongono VFEM (Visual Feature Empowered Multivariate Time Series Forecasting), un framework cross-modale progettato per catturare complessi pattern cross-variabile sfruttando i Large Vision Models (LVM) pre-addestrati. L'architettura consiste in tre fasi principali:

1. Elaborazione della Modalità Visiva:

   • Trasformazione: La serie temporale multivariata $X \in \mathbb{R}^{L \times M}$ (dove $L$ è la finestra di look-back e $M$ è il numero di variabili) viene trasposta in $X^\top \in \mathbb{R}^{M \times L}$. Questa matrice è trattata come una singola mappa di intensità a un canale e replicata su tre canali ($c=3$) per formare un input di immagine RGB a 3 canali $X_{vs}$. In questa rappresentazione, le righe corrispondono alle variabili e le colonne ai passi temporali.
   • Estrazione delle Caratteristiche: Un encoder di visione pre-addestrato (specificamente SigLIP-2-base-NaFlex) elabora l'immagine per estrarre un embedding visivo globale. Fondamentalmente, l'encoder di visione è congelato (frozen) durante l'addestramento.
   • Espansione e Proiezione: Poiché l'encoder di visione produce un singolo embedding globale, esso viene replicato su tutte le $M$ variabili per fornire un contesto visivo condiviso. Una rete di proiezione apprendibile (con connessioni residue) colma quindi il divario di dominio tra le caratteristiche visive e le rappresentazioni delle serie temporali, mappandole in una dimensione nascosta unificata.

2. Elaborazione della Modalità Temporale:

   • La serie temporale grezza subisce una Reversible Instance Normalization (RevIN) per rimuovere i cambiamenti di distribuzione preservando al contempo i pattern temporali.
   • La serie normalizzata viene elaborata da un ramo temporale utilizzando l'attenzione auto-spaziotemporale (spatiotemporal self-attention). La dimensione temporale viene partizionata in segmenti e il tensore viene riorganizzato per consentire ai meccanismi di attenzione di catturare le dipendenze sia tra le variabili che tra i segmenti temporali simultaneamente.

3. Fusione Cross-Modale:

   • Gli stati nascosti visivi ($H_{vs}$) e gli stati nascosti temporali ($H_{ts}$) vengono concatenati lungo la dimensione delle caratteristiche.
   • Un encoder di fusione (che utilizza strati di self-attention) elabora le caratteristiche combinate per modellare le interazioni cross-modali e le dipendenze cross-variabile congiuntamente.
   • Infine, uno strato di predizione lineare genera la previsione, seguito dalla reverse instance normalization per ripristinare la scala originale dei dati.

Contributi Chiave

• Framework Cross-Modale: Il paper introduce un approccio innovativo che trasforma le serie temporali multivariate in rappresentazioni visive, consentendo ai modelli di visione pre-addestrati di percepire le relazioni spaziali e i pattern cross-variabile che i modelli channel-independent trascurano.
• Efficienza dei Parametri: Congelando il grande encoder di visione, VFEM addestra solo il 7,45% dei suoi parametri totali (circa 30 milioni di parametri addestrabili su 375 milioni totali). Questa strategia sfrutta la conoscenza visiva pre-addestrata evitando l'overfitting su dati di serie temporali limitati.
• Performance: Attraverso la fusione dei rami visivo e temporale, VFEM raggiunge prestazioni di previsione competitive su molteplici benchmark, dimostrando che il riconoscimento di pattern visivi è una modalità valida ed efficace per l'analisi delle serie temporali.

Risultati Sperimentali
Gli autori hanno valutato VFEM su sette dataset benchmark: ETTh1, ETTh2, ETTm1, ETTm2, Electricity, Weather e Traffic. Il modello è stato confrontato con:

• Modelli Fondazionali Zero-Shot per Serie Temporali: Chronos (Base/Large), Moirai (Base/Large).
• Modelli Supervisionati Specifici per il Task: GPT4TS, UniTST, TimesNet, PatchTST.

Risultati Chiave:

• Accuratezza Superiore: VFEM ha ottenuto il MSE (Mean Squared Error) e il MAE (Mean Absolute Error) più bassi in tutti i dataset e per tutti gli orizzonti di predizione ($F \in \{96, 192, 336, 720\}$), superando sia i modelli fondazionali zero-shot che i baseline supervisionati specifici per il task.
• Stabilità a Lungo Termine: La modalità visiva ha migliorato la capacità del modello di riconoscere pattern a lungo termine, risultando in un degrado delle prestazioni più lento all'aumentare dell'orizzonte di previsione (ad esempio, incremento minimo del MSE da $F=336$ a $F=720$).
• Studi di Ablazione:
  • Rimuovendo uno dei due rami, visivo o temporale, le prestazioni sono peggiorate, con il ramo visivo che ha avuto un impatto più significativo sulla previsione a lungo termine.
  • Lo strato di proiezione è stato essenziale per allineare le modalità.
  • Strategia di Congelamento (Freezing): Mantenere l'encoder di visione completamente congelato ha prodotto i risultati migliori rispetto allo sbloccare gli ultimi 2 o 4 strati o al fine-tuning completo, suggerendo che preservare le rappresentazioni visive pre-addestrate sia critico quando si trattano modalità eterogenee.
  • Qualità della Rappresentazione: Le visualizzazioni t-SNE e l'analisi del Silhouette Score hanno confermato che i livelli di proiezione addestrati hanno adattato con successo le caratteristiche visive pre-addestrate al dominio delle serie temporali, producendo embedding con una qualità di clustering significativamente migliore rispetto agli output dell'encoder congelato grezzo o alle caratteristiche statistiche artigianali.

Significatività e Rivendicazioni
Il paper sostiene che VFEM offre una nuova prospettiva sulla previsione di serie temporali multivariate validando l'utilità delle modalità visive. Dimostra che:

1. Le serie temporali multivariate contengono pattern visivamente riconoscibili (periodicità, lead-lag, anomalie) che possono essere catturati efficacemente da modelli di visione pre-addestrati.
2. La fusione cross-modale di caratteristiche visive e temporali può modellare efficacemente complesse dipendenze inter-variabile senza l'onere computazionale di un addestramento a parametri completi su corpora di serie temporali su larga scala.
3. Congelare un grande modello di visione e addestrare una piccola frazione di parametri è una strategia altamente efficiente che raggiunge prestazioni allo stato dell'arte, fornendo un'alternativa valida agli esistenti approcci channel-independent o ai approcci channel-dependent a pieno fine-tuning.