🤖 machine learning

EventTSF: Event-Aware Non-Stationary Time Series Forecasting

EventTSF ist ein autoregressives Diffusionsframework, das die Vorhersage nicht-stationärer Zeitreihen verbessert, indem es textuelle Ereignisdaten durch ereignisbewusste Flow-Matching-Zeitschritte integriert, wodurch die Herausforderungen der multimodalen Interaktion und der unausgewogenen Denoising-Schwierigkeit adressiert werden, um bestehende Baselines signifikant zu übertreffen.

Ursprüngliche Autoren: Yunfeng Ge, Ming Jin, Yiji Zhao, Hongyan Li, Bo Du, Chang Xu, Shirui Pan

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yunfeng Ge, Ming Jin, Yiji Zhao, Hongyan Li, Bo Du, Chang Xu, Shirui Pan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das Wetter für die nächste Woche vorherzusagen. Ein traditioneller Wettervorhersager betrachtet nur die Temperatur, den Wind und den Regen der letzten Tage. Er könnte sagen: „Es sieht so aus, als würde es regnen, weil es gestern geregnet hat." Doch er übersieht das große Ganze: Morgen findet in der Innenstadt ein massives Musikfestival statt, was zu Staus, Menschenmengen und einem plötzlichen Anstieg der lokalen Luftfeuchtigkeit führt, die allein aus den Vergangenheitsdaten nicht vorhergesagt werden konnte.

Dies ist das Problem, das die Arbeit EVENTTSF zu lösen versucht.

Das Kernproblem: Der „blinde" Vorhersager

Die meisten Modelle zur Zeitreihenvorhersage (eingesetzt in Bereichen wie Energie, Verkehr, Aktienmärkten usw.) sind wie dieser blinde Wettervorhersager. Sie betrachten die Zahlen, ignorieren aber die Geschichte dahinter.

Das Problem: Reale Daten sind „nicht-stationär", was bedeutet, dass sich die Regeln ständig ändern. Ein plötzliches Ereignis (wie ein Feiertag, eine Nachrichtensendung oder ein Stromausfall) kann das Verhalten der Daten vollständig verändern.
Die Lücke: Bestehende Modelle ignorieren diese textbasierten Ereignisse entweder oder versuchen, sie ungeschickt einzubinden, was zu Vorhersagen führt, die zwar glatt und sicher wirken, aber oft falsch sind, wenn die Dinge chaotisch werden.

Die Lösung: EVENTTSF (Der „geschichtsbewusste" Vorhersager)

Die Autoren haben ein neues System namens EVENTTSF entwickelt. Stellen Sie es sich als einen superschlauen Detektiv vor, der nicht nur den Tatort (die Zahlen) betrachtet, sondern auch den Polizeibericht (die Textereignisse) liest, um zu verstehen, was passiert ist.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Synchronisation der Geschichte mit den Zahlen

Stellen Sie sich vor, Sie haben ein langes Video einer belebten Straße (die Zeitreihe) und ein Skript, das beschreibt, was im Video passiert (die Textereignisse).

Der alte Weg: Das Modell schaut sich das Video an und liest das Skript separat, versucht dann aber, die Zukunft zu erraten. Sie „sprechen" nie wirklich miteinander.
Der EVENTTSF-Weg: Es schneidet das Video in kurze Clips und verriegelt jeden Clip mit dem spezifischen Satz im Skript, der ihn beschreibt. Wenn das Skript sagt „Parade beginnt", ist dieser Satz mit dem genauen Moment verbunden, in dem die Menschenmenge im Video anwächst. Dies ermöglicht es dem Modell zu lernen, wie genau eine bestimmte Art von Ereignis die Zahlen verändert.

2. Die „Entrauschungs"-Herausforderung (Das schmutzige Fenster)

Das Modell verwendet eine Technik namens Diffusion, die wie das Reinigen eines Fensters aussieht, das mit dickem Nebel bedeckt ist, um das Bild darunter zu sehen.

Das Problem: In der Vergangenheit reinigten Modelle das Fenster nach einem festen Zeitplan. Sie gingen davon aus, dass jeder Teil des Bildes gleich schwer zu reinigen ist.
Die Realität: Einige Teile des Bildes (wie ein ruhiger Tag) sind leicht zu reinigen. Andere Teile (wie ein chaotischer Ereignistag) sind mit dickem, klebrigem Schlamm bedeckt und sehr schwer zu reinigen.
Die Innovation: EVENTTSF führt einen „ereignisbewussten Zeitschritt" ein.
- Stellen Sie sich einen intelligenten Reinigungsroboter vor. Wenn er einen ruhigen Tag sieht, reinigt er schnell. Wenn er ein chaotisches Ereignis sieht (wie eine Krawall oder einen Verkauf), verlangsamt er sich und verbringt zusätzliche Zeit damit, genau diese Stelle zu schrubben.
- Das Modell betrachtet zuerst das Textereignis, erkennt: „Ah, das ist ein chaotischer Tag", und passt seinen Reinigungsplan entsprechend an. Dies verhindert, dass das Modell verwirrt wird oder bei den schwierigen Teilen aufgibt.

Was haben sie herausgefunden?

Die Autoren testeten diesen neuen Detektiv an 7 verschiedenen Datensätzen, die von synthetischen (erfundenen) Daten bis hin zu realen Daten aus Verkehr, Wetter und atmosphärischer Physik reichten.

Die Ergebnisse: EVENTTSF schlug die Konkurrenz. Es übertraf 12 andere Top-Modelle.
- Es verbesserte die probabilistische Vorhersage (das Erraten des Bereichs möglicher Ergebnisse) um 41,3 %.
- Es verbesserte die deterministische Vorhersage (das Erraten des wahrscheinlichsten einzelnen Ergebnisses) um 27,5 %.
Der „Was-wäre-wenn"-Test: Sie versuchten, Textereignisse zu den alten Modellen hinzuzufügen, um zu sehen, ob das hilft. Es half ein wenig, aber bei weitem nicht so sehr wie EVENTTSF. Dies beweist, dass es nicht ausreicht, nur den Text zu haben; man benötigt ein Modell, das speziell darauf ausgelegt ist, die Beziehung zwischen der Geschichte und den Zahlen zu verstehen.

Ein Hinweis auf „schlechte" Geschichten

Interessanterweise stellte die Arbeit fest, dass das Modell bei einem bestimmten Datensatz nicht gut funktionierte: Verkehrsnachrichten.

Warum? Die Nachrichtenartikel waren zu lang und voller Füllmaterial (Hintergrundgeräusche), das sich nicht tatsächlich auf den Verkehr bezog. Es war, als würde man einen 50-seitigen Roman lesen, um herauszufinden, ob es in 10 Minuten regnen wird. Das Modell wurde verwirrt, weil die „Geschichte" nicht zur „Aktion" passte.
Lehre: Die Textereignisse müssen klar, relevant und prägnant sein, damit das Modell seine Magie entfalten kann.

Zusammenfassung

EVENTTSF ist eine neue Art, die Zukunft vorherzusagen, die Textereignisse (wie Feiertage, Nachrichten oder Aktionen) als wesentliche Hinweise behandelt und nicht nur als Hintergrundgeräusche. Indem es die Geschichte mit den Zahlen synchronisiert und seine Lerngeschwindigkeit anpasst, je nachdem, wie chaotisch das Ereignis ist, trifft es viel genauere Vorhersagen als Modelle, die nur die Zahlen betrachten.

Technische Zusammenfassung: EVENTTSF – Ereignisbewusste Vorhersage nicht-stationärer Zeitreihen

1. Problemdefinition

Die Vorhersage von Zeitreihen ist für Sektoren wie Energie und Verkehr von entscheidender Bedeutung, steht jedoch aufgrund von Nicht-Stationarität und Verteilungsverschiebungen vor anhaltenden Herausforderungen. Während jüngste Fortschritte (z. B. Normalisierung, Modellzerlegung) die Nicht-Stationarität einzelner Modalitäten adressiert haben, übersehen sie häufig, dass Verteilungsverschiebungen oft mit externen Ereignissen anderer Modalitäten verflochten sind, insbesondere mit natürlichen Sprachtexten (z. B. Feiertage, Aktionen, Wetterberichte).

Bestehende Ansätze leiden unter zwei primären Einschränkungen:

Modalitätslücke: Die meisten Methoden verlassen sich auf Daten einer einzigen Modalität oder verwenden grobgranulare textuelle Kontexte und versagen dabei, feingranulare Interaktionen zwischen diskreten externen Ereignissen und kontinuierlichen Zeitreihen zu modellieren.
Ineffizienz der Diffusion: Klassische diffusionsbasierte Vorhersagemodelle stichprobenartig Diffusionsschritte typischerweise aus einer festen Gleichverteilung. Dies ignoriert die ereignisinduzierte nicht-stationäre Variabilität, bei der verschiedene Ereignisse unterschiedliche Verschiebungen in der Signalstärke und Varianz verursachen. Folglich führt eine gleichmäßige Stichprobenziehung zu einem unausgewogenen Entrauschungsgrad über die Diffusionsstufen hinweg, da das Signal-zu-Rausch-Verhältnis (SNR) je nach Ereigniskontext heterogen variiert.

2. Methodik: EVENTTSF

Die Autoren schlagen EVENTTSF vor, ein autoregressives Diffusionsframework, das historische Zeitreihen und textuelle Ereignisse über eine schrittweise Diffusion integriert. Die Architektur adressiert die Synchronisation diskreter Ereignisse und kontinuierlicher Reihen sowie das Ungleichgewicht im Entrauschungsgrad.

2.1 Multimodale autoregressive Diffusion

Ereignissynchronisation: Das Modell unterteilt kontinuierliche Zeitreihen in sich nicht überlappende Segmente ( $x_s$ ) und ordnet jedes mit einem entsprechenden textuellen Ereignis-Embedding ( $c_s$ ) aus. Tritt kein Ereignis auf, wird ein NULL-Ereignis zugewiesen. Dies erzeugt eine einheitliche Darstellung $D = \{(x_s, c_s)\}$ , die die Lücke zwischen zeitlichen Punktprozessen und kontinuierlichen Reihen überbrückt.
Autoregressive Generierung: Das Modell behandelt die Vorhersage als autoregressive Generierung feingranularer Segmente. In jedem Schritt $s$ konditioniert es auf einen latenten Zustand $Z_{s-1}$ (der die Historie zusammenfasst), das aktuelle verrauschte Segment $x^t_s$ und das ausgerichtete Ereignis-Embedding $c_s$ .
Flow Matching: Anstelle einer Standarddiffusion nutzt das Modell Flow Matching, um ein Geschwindigkeitsfeld $v_t$ zu lernen, das eine einfache Prior-Verteilung in die Ziel-Datenverteilung transformiert. Der Entrauscher $M_\theta$ wird trainiert, dieses Geschwindigkeitsfeld vorherzusagen und den latenten Zustand $Z_s$ autoregressiv zu aktualisieren.

2.2 Ereignisbewusste Zeitschritt-Stichprobenziehung

Um das durch gleichmäßige Zeitschritt-Stichprobenziehung verursachte unausgewogene Entrauschungsproblem zu mildern, führt EVENTTSF einen ereignisbewussten Flow-Matching-Zeitschritt ein.

Problem: Gleichmäßige Stichprobenziehung ( $t \sim U(0,1)$ ) berücksichtigt nicht, dass verschiedene Ereignisse unterschiedliche SNRs induzieren, was zu heterogenen Entrauschungsschwierigkeiten führt.
Lösung: Das Modell reparametrisiert einen Basis-Zeitschritt $\hat{t}$ aus einer Gleichverteilung in einen ereignisadaptiven Zeitschritt $t$ unter Verwendung einer lernbaren Abbildungsfunktion $\phi$ :
$t = \phi(\hat{t}, c) = F^{-1}_{\text{Beta}(\alpha(c), \beta(c))}(\hat{t})$
Mechanismus: Zwei leichte lineare Netzwerke sagen die Parameter $\alpha(c)$ und $\beta(c)$ einer Beta-Verteilung voraus, die auf dem Ereignis-Embedding $c$ konditioniert ist. Dies stellt sicher, dass der effektive Entrauschungsgrad über die Diffusionsstufen hinweg für spezifische Ereignistypen gleichmäßiger verteilt wird, indem der Stichprobenplan an die Ereignissemantik angepasst wird.

2.3 Architekturdetails

Der Kern-Entrauscher ist ein Multimodaler U-förmiger Diffusions-Transformer (M-U-DiT). Er verwendet Downsampling und Upsampling mit Skip-Connections, um Ereignissemantik mit multi-resolutionalen zeitlichen Mustern auszurichten. Er integriert historische Zustände, verrauschte Eingaben und Ereigniskonditionen über Cross-Attention-Mechanismen.

3. Hauptbeiträge

Paradigmenreformulierung: Die Arbeit formuliert ereignisbewusste nicht-stationäre Vorhersage als multimodales Paradigma, das externe Ereignisinformationen explizit einbezieht, um Verteilungsverschiebungen zu adressieren, die von einmodalen Modellen übersehen werden.
Methodische Innovation:
- Feingranulare Ausrichtung: Einführung eines Synchronisationsmechanismus, um diskrete Ereignissegmente mit kontinuierlichen Zeitfenstern auszurichten.
- Ereignisbewusster Zeitschritt: Vorschlag einer neuartigen Reparametrisierungsstrategie, die ereigniskonditionierte Diffusionspläne lernt, um den Entrauschungsgrad auszugleichen und über statische gleichmäßige Stichprobenziehung hinauszugehen.
Überlegene Leistung: Umfangreiche Experimente zeigen, dass EVENTTSF 12 Baseline-Modelle (einschließlich nicht-stationärer und diffusionsbasierter Modelle) über 7 Datensätze hinweg schlägt.

4. Experimentelle Ergebnisse

Das Modell wurde an 7 Datensätzen (1 synthetisch, 6 realweltlich, abdeckend Verkehr, Wetter und atmosphärische Physik) gegen 12 Baselines (z. B. CSDI, TimeDiff, TMDM, NsDiff, Autoformer, DLinear) evaluiert.

Probabilistische Vorhersage: EVENTTSF erzielte eine durchschnittliche Verbesserung von 41,3 % beim Continuous Ranked Probability Score (CRPS) und Weighted Quantile Loss (WQL) über alle Datensätze hinweg.
Deterministische Vorhersage: Das Modell verbesserte den Mean Absolute Error (MAE) durchschnittlich um 27,5 %.
Ablationsstudien:
- Das Entfernen textueller Ereignisse verschlechterte die Leistung signifikant (z. B. stieg WQL um 10,71 % beim Datensatz Temperatur–New York).
- Der Ersatz der gleichmäßigen Zeitschritt-Stichprobenziehung durch den ereignisbewussten Mechanismus reduzierte die Fehler konsistent (z. B. CRPS um 9,21 % reduziert).
Effizienz: EVENTTSF zeigte schnellere Trainingszeiten (1,13× schneller als die zweitbeste Baseline auf synthetischen Daten) und ein sublineares Wachstum der Trainingszeit in Bezug auf die Vorhersagehorizonte, was auf den segmentweisen Generierungsansatz zurückzuführen ist.
Baseline-Erweiterung: Selbst wenn Baselines mit Ereignis-Embeddings erweitert wurden (via Cross-Attention oder residueller Konditionierung), blieben sie erheblich unterlegen gegenüber EVENTTSF, was darauf hindeutet, dass eine einfache Einfügung von Ereignissen ohne die spezifischen autoregressiven Diffusions- und Zeitschrittmechanismen unzureichend ist.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, die Integration externen multimodalen Wissens speziell für die nicht-stationäre Zeitreihenvorhersage zu pioneerieren. Ihre Bedeutung liegt in:

Adressierung der Modalitätslücke: Sie bietet ein einheitliches Framework zur Modellierung der Interaktion zwischen diskreten textuellen Ereignissen und kontinuierlichen Zeitreihen, das kaskadierende und verzögerte Abhängigkeiten erfasst, die globale Kontextmodelle übersehen.
Lösung des Diffusions-Ungleichgewichts: Sie identifiziert und löst das Problem der ereignisinduzierten Heterogenität im Entrauschungsgrad und schlägt einen lernbaren, ereigniskonditionierten Stichprobenplan vor, der das Training stabilisiert und die Generierungsqualität verbessert.
Praktische Anwendbarkeit: Das Framework ist für Szenarien konzipiert, in denen zukünftige Ereignisse (z. B. geplante Aktionen, Feiertage) im Voraus bekannt sind, was dem Modell ermöglicht, Verteilungsverschiebungen vorherzusehen, die allein aus historischen Beobachtungen nicht abgeleitet werden können.

Die Autoren schließen, dass EVENTTSF ein flexibles Paradigma zur Einbeziehung heterogener Ereignissemantik in die zeitliche Modellierung etabliert und neue Richtungen für die Analyse kreuzmodaler nicht-stationärer Dynamiken eröffnet.