Technisches Resümee: Chat-TS: Verbesserung des multimodalen Schließens über Zeitreihen- und natürliche Sprachdaten

Problemdefinition

Große Sprachmodelle (LLMs) werden zunehmend in Domänen wie dem Gesundheitswesen, dem Finanzwesen und dem Transportwesen eingesetzt, in denen Zeitreihendaten eine grundlegende Rolle spielen. Aktuelle LLMs fehlt jedoch die Fähigkeit zum Schließen (Reasoning), das Zeitreihendaten und die entsprechenden Textinhalte gleichzeitig integriert. Bestehende Ansätze konvertieren Zeitreihen oft in Textformate oder betten sie in die Modellgewichte ein, was häufig die inhärente Fähigkeit des Modells zum Verständnis natürlicher Sprache (NLU) und zum logischen Schließen beeinträchtigt. Darüber hinaus leidet das Feld unter einem Mangel an multimodalen Trainingsdaten und einem Fehlen groß angelegter Benchmarks zur Evaluierung des Zeitreihen-Schließens.

Methodik

Die Autoren schlagen Chat-TS vor, ein Framework, das darauf ausgelegt ist, LLMs zu befähigen, über Zeitreihen- und Textdaten zu schließen, ohne deren Kernfähigkeiten in der Sprache zu verschlechtern. Die Methodik besteht aus drei primären Komponenten:

1. Vokabularerweiterung durch diskrete Tokenisierung

Anstatt Konnektoren zu verwenden, um Zeitreihenrepräsentationen auf Text-Embeddings abzubilden, erweitert Chat-TS das Vokabular des LLM um Zeitreihen-Token.

• Tokenizer: Ein leichtgewichtiger diskreter Tokenizer wird eingeführt, um kontinuierliche numerische Zeitreihenwerte in diskrete Token umzuwandeln. Er quantisiert normalisierte Zeitreihenbereiche $[-s, s]$ in $K-1$ Bins (mit $K=8192$) und verwendet ein spezielles Token, um das Ende eines Kanals zu markieren.
• Vorteil: Dieser Ansatz ermöglicht eine nahezu perfekte Rekonstruktion von Zeitreihendaten (insbesondere für Sequenzen unter 1.000 Punkten), ohne dass komplexe Encoder-Decoder-Architekturen trainiert werden müssen, die anfällig für Probleme mit Out-of-Distribution-Daten sein könnten.

2. Trainingsstrategie

Das Framework nutzt eine zweiphasige Trainingsstrategie, um die NLU-Fähigkeiten zu bewahren und gleichzeitig Fähigkeiten im Zeitreihen-Schließen zu erwerben:

• Phase 1 (Pre-training): Das Modell wird auf Zeitreihen-Token vortrainiert. Dabei werden zwei Initialisierungsmethoden untersucht: Mean Initialization (Setzen der neuen Embeddings auf den Durchschnitt der bestehenden Text-Tokens) und Time-Series Pre-training (nur das Embedding und die finale lineare Schicht werden eingefroren/unfrozen).
• Phase 2 (Instruction Tuning): Eine duale Datensatz-Strategie wird angewendet. Das Modell wird auf einer Kombination aus folgenden Daten feinjustiert:
  • TS-Instruct: Ein multimodaler Datensatz, der Zeitreihendaten mit Textinstruktionen paart.
  • Open-Orca: Ein großer Korpus reiner natürlicher Sprachinstruktionen.
    Diese Verwebung stellt sicher, dass das Modell seine allgemeinen sprachlichen Denkfähigkeiten beibehält, während es lernt, Instruktionen im Zusammenhang mit Zeitreihen zu befolgen.

3. Datensatz-Kuratierung

Um den Mangel an Daten zu beheben, tragen die Autoren drei neue Datensätze bei:

• TS Instruct Training Dataset: Ein vielfältiger multimodaler Datensatz, der mittels GPT-4o-mini generiert wurde und reale Zeitreihen (aus LOTSA und dem Time-Series Classification Archive) mit synthetischen konversationellen Instruktionen paart, die Reasoning, Klassifizierung, Entscheidungsfindung und mathematische Analyse abdecken.
• TS Instruct QA Gold Benchmark: Ein durch Menschen validierter Satz von 1.056 Multiple-Choice-Fragen, der darauf ausgelegt ist, multimodale Denkfähigkeiten zu evaluieren.
• TS Instruct Quantitative Probing Set: Eine Teilmenge für die quantitative Evaluierung, die Aufgaben in Mathematik und Entscheidungsfindung umfasst.

Kernbeiträge

1. Neue Datensätze: Die Veröffentlichung des TS Instruct Training Datensatzes und der TS Instruct QA Gold Benchmark füllt eine kritische Lücke in der Literatur bezüglich des multimodalen Zeitreihen-Trainings und der Evaluierung.
2. Architektur: Ein neuartiger Ansatz, der Zeitreihen-Token direkt in das Vokabular des LLM integriert, wodurch die Notwendigkeit von intermediären Konnektoren entfällt und die ursprünglichen Textgenerierungs- und Denkfähigkeiten des Modells erhalten bleiben.
3. Leistung: Die vorgeschlagene Methode erreicht eine State-of-the-Art-Leistung in multimodalen Denkaufgaben bei gleichzeitiger Beibehaltung einer starken natürlichen Sprachkompetenz.

Experimentelle Ergebnisse

Die Experimente wurden unter Verwendung des Llama 3.1-8B Modells als Basis durchgeführt.

• Zeitreihen-Reasoning: Auf der TS Instruct QA Gold Benchmark erreichte Chat-TS einen Wert von 67,22 % und übertraf damit das Basismodell Llama 3.1-8B (54,22 %) sowie andere Baselines wie Phi-3-medium-4k (64,64 %). Dies entspricht einer durchschnittlichen Verbesserung von etwa 13 % gegenüber bestehenden State-of-the-Art-Baselines.
• Generalisierung: Beim Test auf dem MCQ2TS-Datensatz (einem synthetischen Datensatz mit kontrafaktischen Denkaufgaben, die sich von den Trainingsdaten unterscheiden) verbesserte sich Chat-TS von 36,5 % (Basismodell) auf 47,6 %, was zeigt, dass die Leistungssteigerungen nicht auf Datensatz-Kontamination zurückzuführen sind.
• Erhalt der NLU: Ablationsstudien auf MMLU-Pro, Big-Bench-Hard und GPQA-Benchmarks zeigten, dass alle Chat-TS-Varianten ihre Leistung innerhalb von ±2 % des Basismodells Llama 3.1-8B beibehielten. Dies bestätigt, dass die Integration von Zeitreihen-Reasoning die natürlichen Sprachfähigkeiten des Modells nicht verschlechtert.
• Ablationsanalyse: Modelle, die ausschließlich auf Zeitreihendaten trainiert wurden (ohne interleavte Texte), hatten Schwierigkeiten beim Befolgen von Instruktionen. Die beste Leistung wurde durch Modelle erzielt, die mit einer Mischung aus Open-Orca Textdaten und TS-Instruct multimodalen Daten trainiert wurden (PreOrcaTS), was die Notwendigkeit der Verwebung der Modalitäten unterstreicht.

Bedeutung und Limitationen

Das Paper behauptet, dass Chat-TS eine starke Baseline für multimodales Schließen etabliert und zeigt, dass LLMs effektiv für die Zeitreihenanalyse ergänzt werden können, ohne ihre grundlegenden Sprachfertigkeiten zu opfern. Die Arbeit bietet ein vereinheitlichtes Framework für den Umgang mit Text und Zeitreihen, unterstützt durch Open-Source-Modelle, Datensätze und Code.

Die Autoren räumen spezifische Limitationen ein:

• Zeitreihen-Generierung: Die Modelle haben derzeit Schwierigkeiten mit der genauen Zeitreihenprognose und -generierung, was die Anwendung in Bereichen wie Wetter- oder Finanzprognosen einschränkt.
• Zero-Shot Klassifizierung: Die Leistung bei der Zero-Shot Zeitreihenklassifizierung ist schwach und führt oft zu Raten oder Wiederholungen.
• Skalierung: Die Experimente waren auf ein 8B-Parameter-Modell zur Zugänglichkeit beschränkt; die Autoren schlagen vor, dass eine Skalierung des Datenvolumens und der Modellgröße wahrscheinlich weitere Verbesserungen bringen würde.

Das Paper schließt mit dem Hinweis, dass zukünftige Arbeiten die Generierungsfähigkeiten und die Robustheit der Klassifizierung adressieren müssen, um das Potenzial von multimodalen LLMs in Zeitreihendomänen voll auszuschöpfen.