GCGNet: Graph-Consistent Generative Network for Time Series Forecasting with Exogenous Variables

Die Arbeit stellt GCGNet vor, ein graphenbasiertes generatives Netzwerk, das durch die Kombination von Variationsgenerierung, Graph-Strukturausrichtung und Graphenverfeinerung robuste und präzise Zeitreihenvorhersagen unter Einbeziehung exogener Variablen ermöglicht und dabei gleichzeitig zeitliche und kanalübergreifende Korrelationen gemeinsam modelliert.

Das Wesentliche

Das große Problem: Vorhersagen mit vielen Stimmen

Stellen Sie sich vor, Sie sind ein Wetterprofi. Um zu sagen, ob es morgen regnet, schauen Sie nicht nur auf den Himmel (das ist die eigentliche Zeitreihe, was wir vorhersagen wollen). Sie schauen auch auf andere Dinge: den Wind, die Luftfeuchtigkeit, die Temperatur (das sind die exogenen Variablen).

Das Problem bei den meisten aktuellen Computer-Modellen ist, dass sie diese Informationen oft nacheinander verarbeiten:

1. Erst schauen sie auf die Geschichte der Temperatur.
2. Dann schauen sie auf die Geschichte des Windes.
3. Und dann versuchen sie, beides zusammenzufügen.

Das ist wie ein Orchester, bei dem die Geigen erst spielen, dann die Trompeten, und am Ende versucht der Dirigent, sie irgendwie zusammenzubringen. Das Ergebnis klingt oft nicht harmonisch, weil die Instrumente sich gegenseitig stören. Zudem ist die Welt voller „Rauschen" – Sensoren fallen aus, Daten sind ungenau. Ein schlechtes Modell verwechselt dann das Rauschen mit der Wahrheit.

Die Lösung: GCGNet – Der „Graph-Konsistente Generator"

Die Forscher von der East China Normal University haben GCGNet entwickelt. Man kann sich das wie einen genialen Chef-Koch vorstellen, der ein neues Rezept für Vorhersagen gefunden hat.

1. Der grobe Entwurf (Der Variational Generator)

Zuerst macht der Chef-Koch einen grob geschätzten Entwurf des Gerichts. Er nimmt alle Zutaten (Vergangenheit und bekannte Zukunftsdaten wie Wind oder Temperatur) und mixt sie zu einer ersten Version.

• Die Analogie: Es ist wie eine Skizze eines Gemäldes. Noch nicht perfekt, aber die Grundform ist da.

2. Der Graph-Struktur-Ausrichter (Der Graph Structure Aligner)

Jetzt kommt der Clou. Statt nur zu sagen „Ist das Essen schmeckt es?", prüft der Chef-Koch die Beziehungen zwischen den Zutaten.

• Er nutzt ein Graph-Modell (ein Netzwerk aus Punkten und Linien). Stellen Sie sich vor, jeder Punkt ist eine Variable (z. B. Temperatur, Stromverbrauch). Die Linien zeigen, wie stark sie miteinander verbunden sind.
• Das Modell prüft: „Stimmt die Verbindung zwischen Temperatur und Stromverbrauch in meiner Skizze mit der Wahrheit überein?"
• Der Trick: Es ignoriert das „Rauschen" (Fehler in den Daten). Es sucht nach dem echten Muster im Hintergrund, so wie ein erfahrener Musiker das echte Lied hinter dem Hintergrundlärm erkennt.
• Wenn die Skizze die falschen Verbindungen hat, wird sie korrigiert. Das Modell lernt also nicht nur was passiert, sondern wie die Dinge zusammenhängen.

3. Der Graph-Verfeiner (Der Graph Refiner)

Manchmal kann das Korrigieren dazu führen, dass das Modell verwirrt wird und nur noch Unsinn produziert (man nennt das „Degeneration").

• Der Graph Refiner ist wie ein strenger Qualitätskontrolleur. Er nimmt die korrigierten Verbindungen und nutzt sie, um die Skizze in ein perfektes, detailliertes Bild zu verwandeln.
• Er sorgt dafür, dass die Informationen zwischen den verschiedenen „Stimmen" (den Variablen) und über die Zeit hinweg fließen, ohne dass etwas verloren geht.

Warum ist das so besonders?

1. Gleichzeitiges Lernen: Anders als andere Modelle, die Schritt für Schritt arbeiten, lernt GCGNet alles gleichzeitig. Es versteht sofort, dass der Wind und die Temperatur zusammen den Stromverbrauch beeinflussen. Es ist wie ein Orchester, das perfekt im Takt spielt, weil alle Musiker gleichzeitig hören, was die anderen tun.
2. Robustheit gegen Chaos: In der echten Welt sind Daten oft kaputt (Sensorfehler, fehlende Werte). Weil GCGNet auf den strukturellen Zusammenhängen (dem Graphen) basiert und nicht auf jedem einzelnen Datenpunkt, ist es wie ein erfahrener Seemann, der auch bei starkem Sturm und Wellengang weiß, wo der Hafen ist. Es lässt sich nicht von kleinen Fehlern verwirren.
3. Zukunftssicher: Es kann auch dann gut vorhersagen, wenn wir die zukünftigen Daten (z. B. die exakte Windvorhersage für morgen) noch nicht genau kennen. Es nutzt seine eigene „Grob-Schätzung", um die Lücke zu füllen, und verbessert diese dann durch die Struktur-Prüfung.

Das Ergebnis

In Tests mit 12 echten Datensätzen (von Stromnetzen in Europa bis zu Wasserständen in China) hat sich GCGNet als der klare Sieger erwiesen. Es macht weniger Fehler als alle bisherigen Spitzenmodelle.

Kurz gesagt: GCGNet ist wie ein genialer Dirigent, der nicht nur die Noten liest, sondern das gesamte Orchester (alle Variablen) gleichzeitig versteht, das Rauschen im Saal ignoriert und dafür sorgt, dass am Ende ein perfektes, harmonisches Lied (die Vorhersage) entsteht.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert die Herausforderung der Zeitreihenvorhersage unter Einbeziehung exogener Variablen (z. B. Wetterdaten, die den Energieverbrauch beeinflussen). Zwei Hauptprobleme werden identifiziert:

• Getrennte Modellierung von Korrelationen: Bestehende Methoden verwenden oft eine Zwei-Schritt-Strategie, bei der zeitliche Abhängigkeiten (Temporal Correlations) und Abhängigkeiten zwischen den Variablen (Channel Correlations) nacheinander modelliert werden. Dies führt zu Interferenzen zwischen den Schritten und verhindert die Erfassung gemeinsamer, komplexer Korrelationen über Zeit und Kanäle hinweg.
• Robustheit gegenüber Rauschen: Reale Zeitreihendaten enthalten häufig Rauschen durch Sensorfehler oder Übertragungsprobleme. Herkömmliche Modelle neigen dazu, sich an dieses Rauschen anzupassen (Overfitting), anstatt die zugrunde liegenden wahren Korrelationen zu lernen. Zudem ist es in der Praxis oft schwierig, zukünftige exogene Variablen genau zu kennen, was die Vorhersage weiter erschwert.

2. Methodik: GCGNet

Die Autoren schlagen GCGNet (Graph-Consistent Generative Network) vor, ein Framework, das generative Modelle mit Graph-basierten Strukturen kombiniert, um robuste und genaue Vorhersagen zu treffen. Die Architektur besteht aus drei Hauptmodulen:

A. Variational Generator (Variationaler Generator)

• Ziel: Erzeugung einer groben Vorhersage (Coarse Prediction) für die zukünftige endogene Zeitreihe.
• Mechanismus: Ein Variational Autoencoder (VAE) verarbeitet historische endogene und exogene Daten.
• Flexibilität: Wenn zukünftige exogene Variablen verfügbar sind, werden diese direkt genutzt. Sind sie nicht verfügbar, generiert der VAE eine Schätzung ($\tilde{Y}_{exo}$), die als Ersatz dient. Dies ermöglicht den Betrieb in Szenarien ohne zukünftige exogene Eingaben.
• Output: Eine grobe Sequenz $\tilde{S}$, die als Eingabe für das nächste Modul dient.

B. Graph Structure Aligner (Graph-Struktur-Ausrichter)

• Ziel: Sicherstellung, dass die generierten Vorhersagen konsistent mit den wahren Korrelationen (sowohl zeitlich als auch zwischen den Kanälen) sind.
• Mechanismus:
  • Die Zeitreihen werden in Patches unterteilt und in Embeddings umgewandelt.
  • Ein Graph VAE (Variational Autoencoder für Graphen) wird verwendet, um Adjazenzmatrizen zu generieren, die die Beziehungen zwischen den Patches repräsentieren.
  • Der Graph VAE erzeugt eine probabilistische Darstellung der Graphstruktur, was ihn robuster gegenüber Rauschen macht als deterministische Graph-Lerner.
  • Ein Alignment-Loss ($L_{align}$) minimiert die Differenz zwischen der Graphstruktur der generierten Sequenz und der Graphstruktur der Ground-Truth-Sequenz. Dies zwingt den Generator, die zugrunde liegenden Strukturen zu lernen, anstatt nur Punkt-für-Punkt-Fehler zu minimieren.

C. Graph Refiner (Graph-Verfeinerer)

• Ziel: Verhinderung des „Degenerations"-Problems (wo der Graph VAE identische Ausgaben unabhängig vom Input liefert) und Verbesserung der Genauigkeit.
• Mechanismus:
  • Die von Graph Structure Aligner generierte Adjazenzmatrix wird verwendet, um die grobe Vorhersage zu verfeinern.
  • Ein Sparsify-Schritt filtert unwichtige Kanten heraus (Top-k-Strategie), um Rauschen zu reduzieren.
  • Ein mehrschichtiges Graph Convolutional Network (GCN) propagiert Informationen über die verbleibenden Kanten, um lokale und globale Abhängigkeiten zu erfassen.
  • Das Ergebnis ist die finale Vorhersage $\hat{Y}_{endo}$.

Verlustfunktion: Das Gesamttraining kombiniert vier Komponenten: Vorhersagefehler ($L_f$), Struktur-Alignment-Fehler ($L_{align}$), Regularisierung des VAE-Latenzraums ($L_{KL}^V$) und Regularisierung des Graph-VAE-Latenzraums ($L_{KL}^G$).

3. Schlüsselbeiträge

1. Einheitliches Framework: GCGNet ist ein generelles Framework, das historische und zukünftige exogene Variablen robust verarbeitet, indem es zeitliche und kanalübergreifende Korrelationen gemeinsam (jointly) modelliert, anstatt sie zu trennen.
2. Graph-Consistent Generative Ansatz: Die Einführung des Graph Structure Aligners, der die Konsistenz der Graphstrukturen zwischen generierten und echten Daten erzwingt, ermöglicht eine robuste Erfassung von Korrelationen trotz Rauschen.
3. Degenerations-Vermeidung: Der Graph Refiner stellt sicher, dass die gelernten Graphstrukturen informativ bleiben und nicht degenerieren, was die Vorhersagequalität signifikant steigert.
4. Umfassende Evaluation: Die Methode wurde auf 12 realen Datensätzen getestet und übertrifft State-of-the-Art-Modelle (wie TimeXer, TFT, DUET, PatchTST) sowohl bei Vorhandensein als auch bei Fehlen zukünftiger exogener Variablen.

4. Ergebnisse

• Leistung: GCGNet erreicht auf allen 12 Datensätzen (u. a. Strompreise, Windkraft, Wasserstand) die besten Ergebnisse in Bezug auf MAE (Mean Absolute Error) und MSE (Mean Squared Error). Es erzielt 18 erste Plätze bei MSE und 20 bei MAE.
• Robustheit gegenüber Rauschen: Experimente mit künstlich eingefügten fehlenden Werten (Maskierungsraten von 10%, 30%, 50%) zeigen, dass GCGNet deutlich robuster ist als Baseline-Modelle. Der generative Ansatz hilft, nützliche Strukturen aus unvollständigen Daten wiederherzustellen.
• Fehlende zukünftige exogene Variablen: Auch wenn zukünftige exogene Daten nicht verfügbar sind, bleibt GCGNet leistungsfähig, da es diese durch den Generator schätzt und dennoch die Korrelationen nutzt.
• Ablationsstudien: Die Entfernung des Graph Structure Aligners oder des Graph Refiners führt zu einem signifikanten Leistungsabfall, was die Notwendigkeit beider Module für die Strukturkonsistenz und die Vermeidung von Degeneration beweist.

5. Bedeutung und Fazit

GCGNet stellt einen Paradigmenwechsel in der Zeitreihenvorhersage mit exogenen Variablen dar. Anstatt zeitliche und kanalübergreifende Muster separat zu betrachten, nutzt das Modell Graphen, um diese gemeinsam zu modellieren. Die Kombination aus generativen Modellen (zur Erfassung von Unsicherheit und Rauschunterdrückung) und Graph-Strukturen (zur expliziten Modellierung von Abhängigkeiten) führt zu einem neuen State-of-the-Art.

Die Arbeit ist besonders relevant für Anwendungen in der Energiewirtschaft, im Verkehrsmanagement und im Umweltschutz, wo Daten oft verrauscht sind und zukünftige Einflussfaktoren (wie Wetter) teilweise bekannt, aber nicht perfekt sind. Der Code und die Datensätze sind öffentlich verfügbar, was die Reproduzierbarkeit und weitere Forschung fördert.