🤖 machine learning

VFEM: Visual Feature Empowered Multivariate Time Series Forecasting with Cross-Modal Fusion

VFEM ist ein multimodales Prognosemodell, das multivariate Zeitreihen in visuelle Repräsentationen transformiert, um vortrainierte große Vision-Modelle zur Erfassung komplexer kreuzvariabler Abhängigkeiten zu nutzen und durch eine Dual-Branch-Architektur, die visuelle und zeitliche Merkmale fusioniert, eine wettbewerbsfähige Leistung bei hoher Parametereffizienz zu erzielen.

Ursprüngliche Autoren: Yanlong Wang, Hang Yu, Jian Xu, Fei Ma, Hongkang Zhang, Tongtong Feng, Zijian Zhang, Shao-Lun Huang, Danny Dongning Sun, Xiao-Ping Zhang

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yanlong Wang, Hang Yu, Jian Xu, Fei Ma, Hongkang Zhang, Tongtong Feng, Zijian Zhang, Shao-Lun Huang, Danny Dongning Sun, Xiao-Ping Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, die Zukunft des Verkehrs in einer geschäftigen Stadt vorherzusagen. Sie verfügen über Daten von Hunderten verschiedener Sensoren: Ampeln, Bushaltestellen, Autobahnkameras und Wetterstationen.

Der alte Weg: Der „Solo-Musiker“-Ansatz
Die meisten modernen KI-Modelle für diese Aufgabe behandeln jeden Sensor wie einen Solo-Musiker, der in einem separaten Raum spielt. Sie hören auf den Rhythmus der Ampel, dann auf den Rhythmus der Bushaltestelle und versuchen, die Zukunft basierend auf jedem einzelnen zu berechnen. Dabei ignorieren sie die Tatsache, dass die Ampel und die Bushaltestelle tatsächlich miteinander kommunizieren. Wenn die Ampel auf Rot springt, hält der Bus an. Wenn der Bus Verspätung hat, entstehen Staus. Indem sie diese Verbindungen ignorieren, verpasst das Modell das große Ganze.

Die Vision: Zahlen in Bilder verwandeln
Die Autoren dieser Arbeit, VFEM, haben erkannt, dass Zeitreihendaten (sich über die Zeit ändernde Zahlen) tatsächlich wie ein Bild aussehen, wenn man sie richtig anordnet.

Stellen Sie sich eine Tabelle vor, in der die Zeilen verschiedene Sensoren und die Spalten Zeitschritte sind.
Wenn Sie diese Tabelle in eine Heatmap (wie eine Wetterkarte) verwandeln, können Sie Muster sehen.
Sie können einen „Streifen“ erkennen, der bedeutet: „Die Rushhour findet jeden Tag statt.“
Sie können eine „Verzögerung“ sehen, bei der ein Sensor kurz nach einem anderen ausschlägt.
Sie können eine „Störung“ entdecken, die wie ein plötzlicher Ausbruch von weißem Rauschen aussieht (eine Anomalie).

Menschen sind großartig darin, solche visuellen Muster zu erkennen. Aber Computer müssen meist erst mühsam beigebracht werden, sie von Grund auf zu sehen.

Die Lösung: Der „Experte Maler“ und der „Musiker“
VFEM führt ein cleveres zweiteiliges System ein, das wie ein Team aus zwei Experten zusammenarbeitet:

Der visuelle Zweig (Der Experte Maler):
Das Modell nimmt die Zeitdaten, verwandelt sie in ein Bild und speist sie in ein vortrainiertes Large Vision Model (LVM) ein. Betrachten Sie dieses LVM als einen weltberühmten Maler, der jahrelang Millionen von Fotos studiert hat. Dieser Maler ist ein Experte darin, Muster, Texturen und Beziehungen in Bildern zu erkennen.

Der Trick: Die Autoren frieren diesen Maler ein. Sie lassen den Maler nicht neu lernen, wie man malt; sie fragen ihn nur: „Hey, welche Muster siehst du in diesem Verkehrsbild?“ Das spart eine enorme Menge an Rechenleistung.

Der temporale Zweig (Der Musiker):
Dieser Teil ist ein Standard-KI-Modell, das den Rohzahlen zuhört und den Rhythmus sowie die Abfolge der Zeit versteht (wie ein Musiker, der Noten liest).
Die Fusion (Der Dirigent):
Das Modell nimmt die visuellen Erkenntnisse des „Malers“ und die zeitlichen Erkenntnisse des „Musikers“ und mischt sie zusammen. Es ist wie ein Dirigent, der dem Maler und dem Musiker sagt, sie sollen in Harmonie spielen. Der Maler könnte sagen: „Ich sehe ein Muster, das nach einem Wochenende aussieht“, und der Musiker sagt: „Ich sehe, dass der Rhythmus langsamer wird.“ Zusammen treffen sie eine viel bessere Vorhersage, als es jeder allein könnte.

Warum das eine große Sache ist

Es ist effizient: Da sie einen „eingefrorenen“ Experten-Maler (das vortrainierte Visionsmodell) verwendet haben, mussten sie nur etwa 7,5 % der gesamten Modellparameter trainieren. Es ist, als würde man einen berühmten Berater einstellen, der die harte Arbeit umsonst erledigt, und man zahlt nur dafür, einen kleinen Assistenten zu trainieren, der dessen Ratschläge übersetzt.
Es sieht, was andere übersehen: Durch die Umwandlung von Daten in Bilder kann das Modell komplexe Beziehungen zwischen verschiedenen Variablen erkennen (wie zum Beispiel, wie der Stromverbrauch in einem Gebäude den Verbrauch in einem anderen beeinflusst), die andere Modelle, die Variablen separat betrachten, völlig ignorieren.
Es funktioniert: Als es mit realen Daten (Elektrizität, Verkehr, Wetter) getestet wurde, schlug dieses „Visual Feature Empowered“-Modell viele der derzeitigen Top-Modelle, insbesondere wenn es darum geht, weit in die Zukunft vorherzusagen.

Zusammenfassend
VFEM ist eine neue Art, die Zukunft vorherzusagen, indem man erkennt, dass Zeitdaten wie ein Bild aussehen. Anstatt nur Zahlen zu verarbeiten, nutzt es ein vortrainiertes „Auge“, um visuelle Muster in den Daten zu erkennen, und kombiniert dies mit einem „Zeit-Ohr“, um dem Rhythmus zu lauschen. Das Ergebnis ist ein intelligenterer, schnellerer und genauerer Prädiktor, der versteht, wie die verschiedenen Teile eines Systems miteinander verbunden sind.

Technisches Resümee: VFEM – Visual Feature Empowered Multivariate Time Series Forecasting mit Cross-Modal Fusion

Problemstellung
Die multivariate Zeitreihenprognose steht in aktuellen groß angelegten Foundation-Modellen vor zwei primären Einschränkungen. Erstens begegnet die vorherrschende kanal-unabhängige Architektur (channel-independent architecture) dem Problem, indem sie jede Variable separat behandelt, um mit variierenden Datendimensionen umzugehen. Während dies die Zero-Shot-Generalisierung erleichtert, werden entscheidende Cross-Channel-Abhängigkeiten und Korrelationen ignoriert, die die Prognosegenauigkeit erhöhen könnten. Umgekehrt erfordern kanal-abhängige Modelle oft ein Full-Parameter-Training auf massiven Datensätzen, was hohe Rechenkosten verursacht und potenziell daran scheitert, domänenspezifische Muster zu erfassen, wenn multivariate Zeitreihen geglättet (flattened) werden.

Zweitens verlassen sich bestehende Cross-Modal-Methoden für Zeitreihen überwiegend auf textuelle Modalitäten (z. B. die Zweckentfremdung von LLMs mittels Text-Prompts). Diese Ansätze nutzen die räumlichen Mustererkennungsfähigkeiten von Vision-Modellen unter, die nicht ausreichend ausgeschöpft werden. Multivariate Zeitreihen weisen, wenn sie als 2D-Bilder gerendert werden, visuelle Muster wie Periodizität, Lead-Lag-Beziehungen und Anomalien auf, die natürlicherweise für die Erkennung durch vortrainierte Vision-Modelle geeignet sind, doch dieses Potenzial bleibt in der Cross-Modal-Integration weitgehend unerschlossen.

Methodik: VFEM-Architektur
Die Autoren schlagen VFEM (Visual Feature Empowered Multivariate Time Series Forecasting) vor, ein Cross-Modal-Framework, das darauf ausgelegt ist, komplexe Cross-Variable-Muster durch die Nutzung vortrainierter Large Vision Models (LVMs) zu erfassen. Die Architektur besteht aus drei Hauptphasen:

Verarbeitung der visuellen Modalität:
- Transformation: Die multivariate Zeitreihe $X \in \mathbb{R}^{L \times M}$ (wobei $L$ das Look-back-Fenster und $M$ die Anzahl der Variablen ist) wird zu $X^\top \in \mathbb{R}^{M \times L}$ transponiert. Diese Matrix wird als Single-Channel-Intensitätskarte behandelt und über drei Kanäle ( $c=3$ ) repliziert, um ein 3-Kanal-RGB-Bild $X_{vs}$ zu bilden. In dieser Darstellung entsprechen die Zeilen den Variablen und die Spalten den Zeitschritten.
- Merkmalsextraktion: Ein vortrainierter Vision-Encoder (speziell SigLIP-2-base-NaFlex) verarbeitet das Bild, um ein globales visuelles Embedding zu extrahieren. Entscheidend ist, dass der Vision-Encoder während des Trainings eingefroren (frozen) bleibt.
- Expansion & Projektion: Da der Vision-Encoder ein einzelnes globales Embedding ausgibt, wird dieses über alle $M$ Variablen repliziert, um einen geteilten visuellen Kontext bereitzustellen. Ein lernbares Projektionsnetzwerk (mit Residualverbindungen) überbrückt daraufhin die Domänenlücke zwischen visuellen Merkmalen und Zeitreihenrepräsentationen, indem es diese in eine einheitliche verborgene Dimension abbildet.
Verarbeitung der temporalen Modalität:
- Die rohe Zeitreihe durchläuft eine Reversible Instance Normalization (RevIN), um Verteilungsverschiebungen zu entfernen, während die temporalen Muster erhalten bleiben.
- Die normalisierte Serie wird durch einen temporalen Zweig mittels spatiotemporaler Self-Attention verarbeitet. Die temporale Dimension wird in Segmente unterteilt, und der Tensor wird umstrukturiert, um Mechanismen zur Aufmerksamkeitssteuerung zu ermöglichen, die Abhängigkeiten sowohl über Variablen als auch über Zeitsegmente hinweg gleichzeitig erfassen.
Cross-Modal Fusion:
- Die visuellen Hidden States ( $H_{vs}$ ) und die temporalen Hidden States ( $H_{ts}$ ) werden entlang der Feature-Dimension konkateniert.
- Ein Fusion-Encoder (unter Verwendung von Self-Attention-Layern) verarbeitet die kombinierten Merkmale, um Cross-Modal-Interaktionen und Cross-Variable-Abhängigkeiten gemeinsam zu modellieren.
- Schließlich generiert eine lineare Vorhersageschicht die Prognose, gefolgt von einer reversiblen Instanznormalisierung, um die ursprüngliche Datenskala wiederherzustellen.

Zentrale Beiträge

Cross-Modal Framework: Die Arbeit führt einen neuartigen Ansatz ein, der multivariate Zeitreihen in visuelle Repräsentationen transformiert, wodurch vortrainierte Vision-Modelle in die Lage versetzt werden, räumliche Beziehungen und Cross-Variable-Muster wahrzunehmen, die kanal-unabhängige Modelle übersehen.
Parameter-Effizienz: Durch das Einfrieren des großen Vision-Encoders trainiert VFEM nur 7,45 % seiner gesamten Parameter (etwa 30 Mio. trainierbare Parameter von insgesamt 375 Mio.). Diese Strategie nutzt vortrainiertes visuelles Wissen, während sie eine Überanpassung an begrenzte Zeitreihendaten vermeidet.
Leistung: Durch die Fusion von visuellen und temporalen Zweigen erreicht VFEM eine wettbewerbsfähige Prognoseleistung über mehrere Benchmarks hinweg und demonstriert, dass die visuelle Mustererkennung eine viable und effektive Modalität für die Zeitreihenanalyse ist.

Experimentelle Ergebnisse
Die Autoren evaluierten VFEM auf sieben Benchmark-Datensätzen: ETTh1, ETTh2, ETTm1, ETTm2, Electricity, Weather und Traffic. Das Modell wurde verglichen mit:

Zero-Shot Time Series Foundation Models: Chronos (Base/Large), Moirai (Base/Large).
Aufgaben-spezifischen Supervised Models: GPT4TS, UniTST, TimesNet, PatchTST.

Wichtigste Erkenntnisse:

Überlegene Genauigkeit: VFEM erreichte den niedrigsten Mean Squared Error (MSE) und Mean Absolute Error (MAE) über alle Datensätze und Prognosehorizonte ( $F \in \{96, 192, 336, 720\}$ ) hinweg und übertraf damit sowohl Zero-Shot Foundation-Modelle als auch supervised aufgaben-spezifische Baselines.
Stabilität bei langen Sequenzen: Die visuelle Modalität verbesserte die Fähigkeit des Modells, langfristige Muster zu erkennen, was zu einem langsameren Leistungsabfall bei zunehmendem Prognosehorizont führte (z. B. minimaler MSE-Anstieg von $F=336$ bis $F=720$ ).
Ablationsstudien:
- Das Entfernen entweder des visuellen oder des temporalen Zweigs verschlechterte die Leistung, wobei der visuelle Zweig einen signifikanteren Einfluss auf die langfristige Prognose hatte.
- Die Projektionsschicht war essenziell für die Abstimmung der Modalitäten.
- Freezing-Strategie: Das vollständige Einfrieren des Vision-Encoders lieferte die besten Ergebnisse im Vergleich zum Auftauen der letzten 2 oder 4 Layer oder dem Full Fine-Tuning, was darauf hindeutet, dass die Bewahrung der vortrainierten visuellen Repräsentationen entscheidend ist, wenn mit heterogenen Modalitäten gearbeitet wird.
- Qualität der Repräsentation: t-SNE-Visualisierungen und Silhouette-Score-Analysen bestätigten, dass die trainierten Projektionsschichten die vortrainierten visuellen Merkmale erfolgreich an die Zeitreihendomain angepasst haben, wodurch Embeddings mit einer signifikant besseren Clustering-Qualität als die rohen Frozen-Encoder-Outputs oder handgefertigte statistische Merkmale erzeugt wurden.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass VFEM eine neue Perspektive auf die multivariate Zeitreihenprognose bietet, indem sie den Nutzen visueller Modalitäten validiert. Sie zeigt auf, dass:

Multivariate Zeitreihen visuell erkennbare Muster (Periodizität, Lead-Lag, Anomalien) enthalten, die effektiv durch vortrainierte Vision-Modelle erfasst werden können.
Die Cross-Modal-Fusion von visuellen und temporalen Merkmalen komplexe Inter-Variable-Abhängigkeiten effektiv modellieren kann, ohne die Rechenlast eines Full-Parameter-Trainings auf groß angelegten Zeitreihen-Korpora zu verursachen.
Das Einfrieren eines großen Vision-Modells und das Training eines kleinen Bruchteils der Parameter eine hocheffiziente Strategie ist, die eine State-of-the-Art-Leistung erzielt und eine praktikable Alternative zu bestehenden kanal-unabhängigen oder vollumfänglich feinjustierten kanal-abhängigen Ansätzen darstellt.

Mehr davon