VFEM: Visual Feature Empowered Multivariate Time Series Forecasting with Cross-Modal Fusion

Technische Samenvatting: VFEM – Visual Feature Empowered Multivariate Time Series Forecasting met Cross-Modal Fusie

Probleemstelling
Multivariate tijdreeksvoorspelling staat voor twee primaire beperkingen in huidige grootschalige fundamentele modellen. Ten eerste heeft de gangbare kanaal-onafhankelijke architectuur (channel-independent architecture) de neiging om elke variabele afzonderlijk te behandelen om met variërende datadimensies om te gaan. Hoewel dit de zero-shot generalisatie vergemakkelijkt, negeert het cruciale cross-kanaal afhankelijkheden en correlaties die de voorspellingsnauwkeurigheid zouden kunnen verbeteren. Daarentegen vereisen kanaal-afhankelijke modellen vaak volledige parameter-training op massale datasets, wat hoge computationele kosten met zich meebrengt en potentieel faalt in het vastleggen van domeinspecifieke patronen wanneer multivariate series worden afgeplat (flattening).

Ten tweede leunen bestaande cross-modale methoden voor tijdreeksen voornamelijk op tekstuele modaliteiten (bijv. het hergebruiken van LLM's met tekstprompts). Deze benaderingen benutten de ruimtelijke patroonherkenningscapaciteiten van visiemodellen onvoldoend. Multivariate tijdreeksen, wanneer gerenderd als 2D-afbeeldingen, vertonen visuele patronen zoals periodiciteit, lead-lag relaties en anomalieën die van nature geschikt zijn voor herkenning door getrainde visiemodellen, maar dit potentieel is grotende_ende onbenut gebleven in cross-modale integratie.

Methodologie: VFEM Architectuur
De auteurs stellen VFEM (Visual Feature Empowered Multivariate Time Series Forecasting) voor, een cross-modaal framework ontworpen om complexe cross-variabele patronen te vangen door gebruik te maken van pre-trained Large Vision Models (LVM's). De architectuur bestaat uit drie hoofdfasen:

1. Verwerking van de Visuele Modaliteit:

   • Transformatie: De multivariate tijdreeks $X \in \mathbb{R}^{L \times M}$ (waarbij $L$ het look-back venster is en $M$ het aantal variabelen) wordt getransponeerd naar $X^\top \in \mathbb{R}^{M \times L}$. Deze matrix wordt behandeld als een single-channel intensiteitskaart en gerepliceerd over drie kanalen ($c=3$) om een 3-kanaals RGB-afbeelding $X_{vs}$ te vormen. In deze representatie komen rijen overeen met variabelen en kolommen met tijdstappen.
   • Kenmerkextractie: Een pre-trained vision encoder (specifiek SigLIP-2-base-NaFlex) verwerkt de afbeelding om een globale visuele embedding te extraheren. Cruciaal is dat de vision encoder bevroren (frozen) is tijdens de training.
   • Expansie & Projectie: Omdat de vision encoder een enkele globale embedding uitvoert, wordt deze over alle $M$ variabelen gerepliceerd om een gedeelde visuele context te bieden. Een leerbaar projectienetwerk (met residual connections) overbrugt vervolgens de domeingap tussen visuele kenmerken en tijdreeksrepresentaties, waarbij ze worden gemapt naar een uniforme verborgen dimensie.

2. Verwerking van de Temporele Modaliteit:

   • De ruwe tijdreeks ondergaat Reversible Instance Normalization (RevIN) om distributieverschuivingen te verwijderen terwijl temporele patronen behouden blijven.
   • De genormaliseerde serie wordt verwerkt door een temporele tak met behulp van spatiotemporele zelf-attentie (spatiotemporal self-attention). De temporele dimensie wordt in segmenten verdeeld, en de tensor wordt geherstructureerd om aandachtmechanismen toe te staan om afhankelijkheden over zowel variabelen als tijdsegmenten simultaan te vangen.

3. Cross-Modale Fusie:

   • De visuele verborgen toestanden ($H_{vs}$) en de temporele verborgen toestanden ($H_{ts}$) worden geconcateneerd langs de feature-dimensie.
   • Een fusie-encoder (gebruikmakend van self-attention lagen) verwerkt de gecombineerde kenmerken om cross-modale interacties en cross-variabele afhankelijkheden gezamenlijk te modelleren.
   • Ten slotte genereert een lineaire voorspellingslaag de voorspelling, gevolgd door reverse instance normalization om de oorspronkelijke dataschaal te herstellen.

Belangrijkste Bijdragen

• Cross-Modaal Framework: Het artikel introduceert een nieuwe aanpak waarbij multivariate tijdreeksen worden getransformeerd naar visuele representaties, waardoor pre-trained visiemodellen in staat worden gesteld ruimtelijke relaties en cross-variabele patronen waar te nemen die kanaal-onafhankelijke modellen missen.
• Parameter-efficiëntie: Door de grote vision encoder te bevriezen, traint VFEM slechts 7,45% van de totale parameters (ongeveer 30M trainbare parameters van in totaal 375M). Deze strategie benut pre-trained visuele kennis terwijl overfitting op beperkte tijdreeksdata wordt voorkomen.
• Prestaties: Door de fusie van visuele en temporele takken bereikt VFEM competitieve voorspellingsprestaties over meerdere benchmarks, waarmee wordt aangetoond dat visuele patroonherkenning een levensvatbare en effectieve modaliteit is voor tijdreeksanalyse.

Experimentele Resultaten
De auteurs hebben VFEM geëvalueerd op zeven benchmark datasets: ETTh1, ETTh2, ETTm1, ETTm2, Electricity, Weather en Traffic. Het model werd vergeleken met:

• Zero-Shot Time Series Foundation Models: Chronos (Base/Large), Moirai (Base/Large).
• Taakspecifieke Supervised Modellen: GPT4TS, UniTST, TimesNet, PatchTST.

Belangrijkste Bevindingen:

• Superieure Nauwkeurigheid: VFEM behaalde de laagste Mean Squared Error (MSE) en Mean Absolute Error (MAE) over alle datasets en voorspellingshorizonten ($F \in \{96, 192, 336, 720\}$), waarbij het zowel zero-shot foundation modellen als supervised taakspecifieke baselines overtrof.
• Stabiliteit bij Lange Sequenties: De visuele modaliteit verbeterde het vermogen van het model om langetermijnpatronen te herkennen, wat resulteerde in een tragere prestatie-degradatie naarmate de voorspellingshorizon toenam (bijv. minimale MSE-toename van $F=336$ naar $F=720$).
• Ablatie-studies:
  • Het verwijderen van ofwel de visuele ofwel de temporele tak verslechterde de prestaties, waarbij de visuele tak een grotere impact had op de langetermijnvoorspelling.
  • De projectielaag was essentieel voor het afstemmen van de modaliteiten.
  • Bevriezingsstrategie: Het volledig bevriezen van de vision encoder leverde de beste resultaten op vergeleken met het ontdooien van de laatste 2 of 4 lagen of volledige fine-tuning, wat suggereert dat het behoud van de pre-trained visuele representaties cruciaal is bij het werken met heterogene modaliteiten.
  • Representatiekwaliteit: t-SNE visualisaties en Silhouette Score-analyses bevestigden dat de getrainde projectielagen de pre-trained visuele kenmerken succesvol hebben aangepast aan het tijdreeksdomein, wat resulteerde in embeddings met een aanzienlijk betere clusteringkwaliteit dan de ruwe frozen encoder outputs of handmatige statistische kenmerken.

Betekenis en Claims
Het artikel claimt dat VFEM een nieuw perspectief biedt op multivariate tijdreeksvoorspelling door het nut van visuele modaliteiten te valideren. Het demonstreert dat:

1. Multivariate tijdreeksen visueel herkenbare patronen bevatten (periodiciteit, lead-lag, anomalieën) die effectief kunnen worden gevangen door pre-trained visiemodellen.
2. Cross-modale fusie van visuele en temporele kenmerken effectief complexe inter-variabele afhankelijkheden kan modelleren zonder de computationele last van volledige parameter-training op grootschalige tijdreeks corpora.
3. Het bevriezen van een groot visiemodel en het trainen van een klein deel van de parameters een zeer efficiënte strategie is die state-of-the-art prestaties levert, wat een levensvatbaar alternatief biedt voor bestaande kanaal-onafhankelijke of volledig gefinetunede kanaal-afhankelijke benaderingen.