MM-ISTS: Cooperating Irregularly Sampled Time Series Forecasting with Multimodal Vision-Text LLMs

Der Artikel stellt MM-ISTS vor, ein multimodales Framework, das durch die Integration von Vision-Text-LLMs, einem neuartigen Zwei-Stage-Kodierungsmechanismus und einer adaptiven Abfrage-basierten Merkmalsextraktion die Vorhersage unregelmäßig abgetasteter Zeitreihen verbessert, indem es zeitliche, visuelle und textuelle Kontexte effektiv verknüpft.

Das Wesentliche

Stell dir vor, du versuchst, das Wetter von morgen vorherzusagen. Aber anstatt dass du alle 60 Minuten eine Temperaturmessung bekommst, passiert Folgendes:

• Der Sensor für die Temperatur funktioniert gut, meldet aber nur alle 3 Stunden.
• Der Sensor für die Luftfeuchtigkeit ist kaputt und meldet nur alle 2 Tage.
• Der Windmesser ist völlig verrückt und sendet Daten zu zufälligen Zeiten.

Das ist ein unregelmäßig abgetasteter Zeitreihen-Datensatz (im Englischen: Irregularly Sampled Time Series oder ISTS). In der echten Welt ist das völlig normal (z. B. bei Patienten in Krankenhäusern, die nur dann gemessen werden, wenn ein Arzt vorbeikommt, oder bei Verkehrssensoren, die ausfallen).

Bisherige Computer-Modelle waren damit überfordert. Sie waren wie ein Koch, der nur kochen kann, wenn alle Zutaten genau zur gleichen Zeit auf dem Tisch liegen. Wenn Zutaten fehlen oder zu unterschiedlichen Zeiten kommen, verliert der Koch den Überblick.

Hier kommt MM-ISTS ins Spiel. Es ist wie ein Super-Koch mit einem riesigen Kochbuch, einem Fotoapparat und einem Assistenten, der alles zusammenbringt.

Hier ist die Erklärung, wie das funktioniert, in einfachen Bildern:

1. Der große Vorteil: Drei Sinne statt nur einem

Früher haben Computer nur auf die nackten Zahlen geschaut (z. B. "Temperatur: 20 Grad"). Das reicht oft nicht, um Muster zu erkennen.
MM-ISTS schaut sich die Daten auf drei verschiedene Arten an, ähnlich wie ein Detektiv:

• Der Blick (Bild): Der Computer wandelt die chaotischen Zahlen in ein Bild um. Stell dir vor, er malt eine Karte, auf der man sieht:
  • Wo waren Werte? (Farbig)
  • Wo fehlten Werte? (Schwarz/Leer)
  • Wie groß war die Lücke zwischen den Messungen? (Dicke Linien für lange Wartezeiten, dünne für kurze).
  • Warum? Ein Bild erkennt Muster (wie Wolkenformationen) viel schneller als eine Liste von Zahlen.
• Das Lesen (Text): Der Computer liest einen Textbericht über die Daten. "Die Temperatur schwankt stark, aber die Luftfeuchtigkeit ist meist stabil." Er nutzt sein riesiges Wissen (ein großes Sprachmodell), um zu verstehen, was diese Daten bedeuten könnten.
• Das Zählen (Zahlen): Natürlich schaut er sich auch die nackten Zahlen an, um die genauen Werte zu berechnen.

2. Der Assistent: Der "Adaptive Query"-Filter

Das große Sprachmodell (das "Gehirn") ist sehr schlau, aber es produziert eine riesige Menge an Informationen (Tausende von Wörtern und Bildteilen). Wenn man das alles direkt mit den Zahlen mischt, wird es zu laut und unübersichtlich – wie ein Gespräch in einem vollen Stadion.

MM-ISTS hat einen intelligenten Filter (den "Adaptive Query-Based Feature Extractor").

• Stell dir vor, du hast 100 Fragen an den Assistenten. Der Filter sagt: "Okay, wir brauchen nur die Antworten auf diese 5 spezifischen Fragen, die für diese Variable wichtig sind."
• Er komprimiert die riesige Menge an Wissen des KI-Modells auf das Wesentliche herunter, genau passend zu den Daten, die wir vorhersagen wollen.

3. Der Türsteher: Das "Modality-Aware Gating"

Jetzt haben wir drei Informationsquellen: Bild, Text und Zahlen. Aber welche soll man glauben?

• Wenn die Zahlen sehr lückenhaft sind (viele fehlende Messungen), ist der Computer unsicher.
• Hier kommt der Türsteher (Gating-Mechanismus) ins Spiel. Er schaut sich an, wie "dicht" die Daten sind.
  • Viele Daten? Der Türsteher sagt: "Verlass dich auf die genauen Zahlen!"
  • Wenige Daten? Der Türsteher sagt: "Die Zahlen sind zu lückenhaft! Hör stattdessen auf das große Sprachmodell und das Bild, die können aus dem Kontext raten, was wahrscheinlich passiert."

Er gewichtet also dynamisch, welcher "Experte" gerade am wichtigsten ist.

4. Das Ergebnis: Bessere Vorhersagen

Am Ende kombiniert MM-ISTS alles:

1. Es sieht die Lücken im Bild.
2. Es liest den Textbericht über den Kontext.
3. Es nutzt den Filter, um das Wissen des großen Modells zu bündeln.
4. Der Türsteher entscheidet, wie viel Gewicht er den einzelnen Quellen gibt.

Das Fazit:
Früher haben Computer versucht, mit einem einzigen Werkzeug (Zahlen) alles zu lösen und sind bei unregelmäßigen Daten gescheitert. MM-ISTS ist wie ein multidisziplinäres Team: Ein Maler (für das Bild), ein Schriftsteller (für den Text) und ein Mathematiker (für die Zahlen), die alle zusammenarbeiten, um auch dann eine genaue Vorhersage zu treffen, wenn die Daten chaotisch und lückenhaft sind.

Die Experimente zeigen, dass dieser Ansatz deutlich besser funktioniert als alle bisherigen Methoden, besonders in Bereichen wie der Medizin (wo Patienten nicht immer regelmäßig gemessen werden) oder der Klimaforschung.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderung der Vorhersage unregelmäßig abgetasteter Zeitreihen (Irregularly Sampled Time Series, ISTS). Solche Daten sind in realen Szenarien (z. B. Gesundheitswesen, Verkehr, Klimaforschung) weit verbreitet, treten aber oft asynchron auf, mit ungleichen Zeitintervallen zwischen den Beobachtungen und variierenden Datenlücken (Missing Values) über verschiedene Variablen hinweg.

Bestehende Methoden leiden unter folgenden Einschränkungen:

• Ein-Modus-Ansatz: Die meisten Modelle nutzen nur historische numerische Beobachtungen und ignorieren reichhaltige semantische Kontextinformationen.
• Verlust feiner Muster: Methoden, die auf Graphen oder Patching basieren, können oft feine zeitliche Muster oder subtile Dynamiken nicht erfassen.
• Modality Gap: Es besteht eine Lücke zwischen den dünn besetzten (sparse) numerischen ISTS-Daten und den dichten Eingaben, die Multimodale Large Language Models (MLLMs) benötigen. Einfache Konvertierungen (z. B. Zeitreihen in Standardbilder umwandeln) verzerren oft die zeitlichen Skalen oder verlieren strukturelle Korrelationen.

2. Methodik: MM-ISTS Framework

MM-ISTS ist ein multimodales Framework, das Vision-Text-LLMs nutzt, um zeitliche, visuelle und textuelle Modalitäten zu vereinen. Es besteht aus vier Hauptkomponenten:

A. Cross-Modal Vision-Text Encoding (Kreuzmodale Kodierung)

Dieser Modul transformiert die spärlichen ISTS-Daten in dichte visuelle und textuelle Repräsentationen, wobei die Unregelmäßigkeit der Daten erhalten bleibt:

• Unregelmäßigkeitsbewusste Bildkonstruktion: Die Zeitreihe wird in ein 3-Kanal-Bild umgewandelt:
  1. Beobachtete Daten: Die Rohwerte der Zeitreihe.
  2. Missingness Mask: Ein Binärmasken-Kanal, der anzeigt, ob ein Wert vorhanden (1) oder fehlend (0) ist.
  3. Temporal Intervals: Ein Kanal, der die Zeitintervalle zwischen den Beobachtungen kodiert.
     Dies ermöglicht dem MLLM, Lücken und zeitliche Abstände visuell zu „sehen".
• Statistik-dominierte Text-Prompts: Es werden strukturierte Text-Prompts generiert, die statistische Zusammenfassungen (Mittelwert, Bereich, Fehlerrate) pro Variable sowie Domänenwissen und Aufgabenbeschreibungen enthalten. Dies aktiviert das Weltwissen des LLMs.

B. ISTS Encoding (Kodierung der Zeitreihe)

Parallel zur visuell-textuellen Verarbeitung wird ein dedizierter numerischer Encoder verwendet, um feine numerische Muster zu erfassen:

• Multi-View Embedding Fusion: Es werden drei Arten von Embeddings kombiniert:
  • Temporal Embedding: Sinusförmige Kodierung für kontinuierliche und unregelmäßige Zeitstempel.
  • Variable Embedding: Einzigartige Repräsentationen für jede Variable.
  • Value Embedding: Kodierung des Werts und des Masken-Indikators.
• Temporal-Variable Encoder: Ein zweistufiger Transformer-Encoder:
  1. Ein Temporal Encoder modelliert Abhängigkeiten innerhalb jeder einzelnen Variablen.
  2. Ein Variable Encoder modelliert Korrelationen zwischen verschiedenen Variablen.

C. Adaptive Query-Based Feature Extractor (Adaptiver Feature-Extraktor)

Da die Ausgabe des MLLMs (hohe Dimension, variable Länge) nicht direkt mit den festen Variablen der Zeitreihe fusioniert werden kann, dient dieser Modul als „Informations-Engpass":

• Er nutzt eine Menge von lernbaren Query-Tokens (einer pro Variable), die über Cross-Attention mit den MLLM-Features (Bilder und Text) interagieren.
• Dieser Prozess komprimiert die hochdimensionalen visuell-textuellen Tokens in eine kompakte, variablenausgerichtete Repräsentation und filtert irrelevante Rauschinformationen heraus.

D. Multimodal Alignment (Multimodale Ausrichtung)

Dieser Modul fusioniert die numerischen Features (aus dem ISTS-Encoder) und die multimodalen Features (aus dem Query-Extraktor):

• Cross-Attention: Ermöglicht den numerischen Features, selektiv relevante kontextuelle Informationen aus dem MLLM abzurufen.
• Modality-Aware Gating (Modus-bewusstes Gating): Ein adaptiver Mechanismus, der basierend auf der Datenqualität (z. B. Fehlerrate, Varianz) bestimmt, wie stark numerische vs. multimodale Informationen gewichtet werden.
  • Bei dichten Daten wird stärker auf den numerischen Encoder vertraut.
  • Bei spärlichen Daten (hohe Fehlerrate) wird das Wissen des MLLMs stärker gewichtet, um Lücken zu füllen.

3. Hauptbeiträge

1. Erstes multimodales Framework: MM-ISTS ist das erste Framework für die ISTS-Vorhersage, das durch Vision-Text-LLMs erweitert wird.
2. Neuartige Kodierungsstrategie: Entwicklung einer automatischen Umwandlung von ISTS in „Unregelmäßigkeits-bewusste" Bilder und statistisch angereicherte Text-Prompts, kombiniert mit einem spezialisierten numerischen Encoder.
3. Adaptiver Query-Extraktor: Einführung eines Mechanismus zur effizienten Kompression von MLLM-Wissen, der Heterogenität überbrückt und den Modality Gap durch ein Gating-System reduziert.
4. Umfassende Evaluation: Demonstration der Überlegenheit gegenüber State-of-the-Art-Methoden auf realen Datensätzen.

4. Ergebnisse

Die Autoren führten Experimente auf vier Benchmark-Datensätzen durch (PhysioNet, MIMIC, Human Activity, USHCN).

• Leistung: MM-ISTS erzielt auf den meisten Metriken (MSE, MAE) die besten Ergebnisse und übertrifft spezialisierte ISTS-Modelle (wie T-PatchGNN, KAFNet) und LLM-basierte Baselines (ISTS-PLM) signifikant.
  • Im Durchschnitt wurde eine Verbesserung von 14,3 % bei MSE und 15,1 % bei MAE gegenüber bestehenden ISTS-Forecasting-Methoden erreicht.
  • Gegenüber dem LLM-Baseline ISTS-PLM wurden auf dem MIMIC-Datensatz 5,2 % niedrigere MSE und 4,6 % niedrigere MAE erreicht.
• Effizienz: Obwohl MLLMs rechenintensiv sind, ist MM-ISTS effizienter als andere LLM-basierte Ansätze, da der Backbone des LLMs eingefroren (frozen) bleibt und nur leichte Downstream-Module trainiert werden. Die Trainingszeit pro Epoche ist etwa halb so lang wie bei ISTS-PLM.
• Ablationsstudie: Das Entfernen einzelner Komponenten (Text, Bild, Query-Extraktor oder Alignment) führt zu deutlichen Leistungseinbußen, was die Notwendigkeit aller Module unterstreicht. Besonders der Query-Extraktor (QBE) ist entscheidend für die Leistung.
• Gating-Mechanismus: Die Analyse zeigt, dass das Gating-System korrekt funktioniert: Bei Variablen mit vielen fehlenden Werten wird das multimodale Wissen stärker gewichtet, während bei dichten Daten die numerischen Features dominieren.

5. Bedeutung und Fazit

Das Paper demonstriert, dass die Kombination aus präzisen numerischen Zeitreihenmodellen und dem allgemeinen Weltwissen von Multimodalen LLMs ein vielversprechender Weg ist, um die Vorhersage unregelmäßig abgetasteter Daten zu revolutionieren.

Die zentrale Erkenntnis ist, dass reine numerische Modelle oft an Datenlücken scheitern, während reine LLM-Ansätze die feinen zeitlichen Dynamiken nicht genug erfassen. MM-ISTS schließt diese Lücke durch eine intelligente, adaptive Fusion, die je nach Datenqualität die richtige Quelle (Numerik vs. Semantik) priorisiert. Dies eröffnet neue Möglichkeiten für Anwendungen in Bereichen, in denen Sensordaten unzuverlässig oder unregelmäßig sind, wie z. B. im medizinischen Monitoring oder in der Klimaforschung.