Technisches Resümee: UPLOTS – Ein vereinheitlichtes vortrainiertes Sprachmodell für die eingeschränkte Zeitreihengenerierung

1. Problemstellung

Aktuelle Methoden zur Zeitreihengenerierung (Time-Series Generation, TSG) leiden unter einer erheblichen Fragmentierung. Bestehende Ansätze, einschließlich Variational Autoencoders (VAEs), Generative Adversarial Networks (GANs) und Diffusionsmodelle, folgen typischerweise einem „Ein Modell pro Datensatz“-Paradigma. Dies macht das Training, die Feinabstimmung und den Einsatz separater Modelle für jeden spezifischen Datensatz oder jede spezifische Aufgabe erforderlich. Diese Fragmentierung führt zu:

• Schlechter Skalierbarkeit: Lineare oder superlineare Zunahme des Rechen- und menschlichen Aufwands mit der Anzahl der vielfältigen Datensätze.
• Begrenzter Generalisierung: Modelle versäumen es, gemeinsam genutzte zeitliche Strukturen über verschiedene Domänen hinweg zu nutzen.
• Ineffizienter Wissensassimilation: Die Unfähigkeit, umfangreiches Wissen aus verschiedenen Datensätzen zu verinnerlichen, schränkt die Leistung bei Aufgaben der eingeschränkten Generierung ein.

Während jüngste Studien explorative Ansätze mittels Prompt-gesteuertem oder Prototyp-gesteuertem Transfer untersucht haben, verlassen diese sich oft auf domänenspezifische Backbones oder Exemplar-Serien. Es besteht weiterhin eine Lücke für einen einzigen, vereinheitlichten Generator, der in der Lage ist, einschränkungsbewusste Synthese über ungesehene Domänen hinweg ohne Retraining durchzuführen.

2. Methodik: Das UPLOTS-Framework

Die Autoren schlagen UPLOTS (Unified Pretrained Language Model for constrained Time-Series Generation) vor, ein Framework, das taskspezifische Modelle durch ein einziges vortrainiertes Large Language Model (LLM)-Backbone ersetzt, welches durch gelernte Constraint-Prompts gesteuert wird.

2.1 Kernarchitektur

UPLOTS integriert ein vortrainiertes LLM (speziell GPT-2 oder LLaMA 3.2-1B) in eine Zeitreihengenerierungs-Pipeline. Das Framework besteht aus drei primären Komponenten:

1. Time-series Prompt Embedding Module (TPEM):

   • Funktion: Dieses Modul dient als Brücke zwischen natürlichen Sprachbeschränkungen und Zeitreihendaten. Es kodiert datensatzspezifische Einschränkungen (z. B. „Morning Peak Patterns“) als leichtgewichtige natürliche Sprach-Prompts.
   • Mechanismus: Zeitreihen-Inputs werden über ein Convolutional MLP in die Hidden Dimension des Modells projiziert. Gleichzeitig werden die textuellen Prompts tokenisiert und unter Verwendung der gefrorenen Word-Embedding-Schicht des LLMs eingebettet.
   • Fusion: Die Prompt-Embeddings und die Zeitreihen-Embeddings werden entlang der temporalen Dimension konkateniert und in eine trunkierte, vortrainierte Transformer-Architektur eingespeist. Der Output wird via LayerNorm (LN) und lineare Projektionsschichten zurück in den ursprünglichen Feature-Raum abgebildet.
   • Adaptivität: Nur die LayerNorm und die Positional Embeddings sind trainierbar; die Kernparameter des LLM bleiben eingefroren, was die Parametereffizienz sicherstellt.

2. Dynamic Weighted Training Strategy (DWTS):
   Um ein effektives gemeinsames Lernen über heterogene Datensätze hinweg zu ermöglichen, setzt UPLOTS eine zweigleisige Strategie ein:

   • Curriculum-Aware Loss Modulator (CALM): Während der Warm-up-Phase steuert dieser Mechanismus die Gewichtung von „schwierigeren“ Datensätzen (diejenigen mit höherem rezenten Loss) herunter, um Instabilitäten im frühen Training zu verhindern. Er berechnet laufende Mittelwerte der Losses für jeden Datensatz und weist entsprechende statische Curriculum-Gewichte zu.
   • Rolling-Loss-Based Dynamic Sampling (RLDS): Diese Komponente passt die Batch-Sampling-Wahrscheinlichkeiten dynamisch basierend auf dem rezenten Loss jedes Datensatzes an. Batches aus unterperformenden (höheren Loss aufweisenden) Datensätzen werden häufiger gezogen, um sicherzustellen, dass sich das Modell während des Trainings auf schwierige Domänen konzentriert.

3. Generation Backbone:
   Das Framework nutzt ein Diffusion-TS-Modell als zugrunde liegende generative Engine. Der Output des durch TPEM erweiterten LLM dient als Input für den Diffusionsprozess, der über Vorwärts-Noising und Reverse-Denoising-Schritte verläuft. Das Trainingsziel minimiert einen gemeinsamen Zeit-/Frequenz-Loss, um sowohl punktgenaue Genauigkeit als auch spektralen Gehalt zu bewahren.

2.2 Workflow

• Training: Heterogene Zeitreihen-Datensätze werden gemeinsam innerhalb des einzelnen LLM trainiert. Datensatzspezifische Einschränkungen werden als Prompts kodiert, was es dem Modell ermöglicht, domäneninvariante Muster und datensatzspezifische Dynamiken gleichzeitig zu erlernen.
• Inferenz: Ein Retraining ist nicht erforderlich. Um ein spezifisches Zielsegment (z. B. „Evening Peak“ für einen Energie-Datensatz) zu generieren, gibt der Benutzer einfach den entsprechenden natürlichen Sprach-Prompt an. Das Modell konditioniert auf diesen Prompt, um das gewünschte Zeitreihensegment auf Abruf zu synthetisieren.

3. Hauptbeiträge

Das Paper skizziert drei primäre Beiträge:

1. Vereinheitlichtes LLM-Framework: Eine neuartige Architektur, die das traditionelle Eins-zu-eins-Paradigma durch die Ermöglichung eines einzigen, vortrainierten Modells durchbricht, das über alle Datensätze trainieren und auf Testsets mit diversen Zielsetzungen inferieren kann.
2. Prompt-gesteuerte On-Demand-Generierung: Das Framework nutzt Prompt-Learning, um eine taskspezifische Generierung ohne Retraining zu ermöglichen. Beispielsweise kann das Modell unter Verwendung textueller Prompts Morning-Peak-Segmente für einen Energie-Datensatz generieren und dabei diverse Prompts nutzen, um unterschiedliche Targets zu erzeugen.
3. Empirische Überlegenheit und Generalisierbarkeit: Das Framework demonstriert signifikante Vorteile gegenüber SOTA-Baselines und einfachen Modellvarianten über vier reale Datensätze und 14 Prompt-Konfigurationen hinweg, die vier Constraint-Familien (temporale Peaks, Kalender, Lastniveau und Volatilität) abdecken.

4. Experimentelle Ergebnisse

Die Autoren evaluierten UPLOTS auf vier realen Benchmarks: ETTh (Electricity Transformer Temperature), Energy, PEMS04 und PEMS08.

4.1 Evaluationsmetriken

Die Leistung wurde gemessen durch:

• Context-FID (C-FID): Bewertet die Verteilungsfidelität und temporale Feature-Abhängigkeiten.
• Discriminative Score: Bewertet die Fähigkeit eines Klassifikators, echte von generierten Daten zu unterscheiden.
• Predictive Score: Misst den Downstream-Nutzen via des Train-on-Synthetic, Test-on-Real (TSTR) Paradigmas.

4.2 Hauptergebnisse

• Leistung vs. Baselines: UPLOTS-Varianten (unter Verwendung von GPT-2 und LLaMA 3.2) übertrafen signifikant Single-Dataset-Modelle (TimeGAN, TimeVAE, DiffWave, DiffTime) sowie Multi-Dataset-Baselines (TimeDP).
  • Auf den Datensätzen ETTh und Energy verbesserte UPLOTS den Context-FID im Durchschnitt um das 12,3-Fache und den Discriminative Score um das 9,3-Fache im Vergleich zu einer promptfreien „Empty“-Baseline.
  • Das vollständige UPLOTS-Modell erzielte die besten Ergebnisse über fast alle Metriken und Datensätze hinweg, wobei das LLaMA 3.2-Backbone die höchste Leistung lieferte.
• Constraint-Konformität: Das Modell konnte über die im Initialtraining verwendeten „Morning/Evening Peak“-Einstellungen hinaus erfolgreich generalisieren. Es behielt eine hohe Fidelität über 14 verschiedene Prompt-Konfigurationen bei, einschließlich Kalender-Constraints (Wochentag/Wochenende), Lastniveaus (hoch/niedrig) und Volatilitätsmustern.
• Ablationsstudien:
  • Das Entfernen des TPEM-Moduls verursachte einen drastischen Leistungsabfall (z. B. stieg der C-FID von 0,0243 auf 0,1682 bei ETTh_MP), was die Notwendigkeit des Prompt-Embedding-Mechanismus bestätigt.
  • Das Entfernen von CALM und RLDS führte zu moderaten, aber konsistenten Leistungsabnahmen, was deren Rolle beim Ausbalancieren des Multi-Dataset-Trainings validiert.
• Downstream-Nutzen: In Data-Augmentation-Experimenten für Forecasting-Aufgaben (unter Verwendung von PhaseFormer und SparseTSF) verbesserte die durch UPLOTS generierte Datenmenge konsistent die Prognosegenauigkeit, insbesondere in Low-Data-Regimen (1 % bis 10 % reale Datenanteile).

4.3 Hyperparameter-Sensitivität

• Hidden Dimension: Die Leistung erreichte ihren Höhepunkt bei einer Hidden Dimension von 64; kleinere Dimensionen (16) führten zu Underfitting, während größere Dimensionen keinen weiteren Nutzen boten.
• Prompt-Länge: Das Modell war weitgehend unempfindlich gegenüber der Prompt-Länge (reichend von einzelnen Zeichen bis zu ganzen Sätzen), wobei die semantische Reichhaltigkeit als entscheidender als die Länge befunden wurde.

5. Bedeutung und Ansprüche

Das Paper positioniert UPLOTS als skalierbare, adaptive Lösung für reale Zeitreihenanwendungen. Seine Bedeutung liegt in:

• Paradigmawechsel: Übergang von fragmentierten, datensatzspezifischen Modellen zu einem vereinheitlichten, vortrainierten Backbone.
• Effizienz: Erzielung von Cross-Domain-Generalisierung und präziser Constraint-Kontrolle ohne den Rechenaufwand für das Training separater Modelle oder die hohe Latenz reiner Diffusions-Pipelines.
• Flexibilität: Ermöglichung der „On-Demand“-Generierung maßgeschneiderter Zeitreihensegmente via natürlicher Sprach-Prompts, was das System hochgradig anpassungsfähig an wechselnde Anforderungen macht.

Die Autoren kommen zu dem Schluss, dass UPLOTS erfolgreich diverse temporale Strukturen verinnerlicht und ein robustes Framework für die eingeschränkte Zeitreihengenerierung bietet, wobei zukünftige Arbeiten die Untersuchung breiterer temporaler Domänen und Zero-Shot-Verteilungsverschiebungen planen.