MoHETS: Long-term Time Series Forecasting with Mixture-of-Heterogeneous-Experts

Die Arbeit stellt MoHETS vor, einen Encoder-only-Transformer mit Mixture-of-Heterogeneous-Experts, der durch die Kombination von tiefenkonvolutionellen und Fourier-basierten Experten sowie die Integration exogener Variablen das State-of-the-Art bei der langfristigen multivariaten Zeitreihenvorhersage verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie versuchen, das Wetter für die nächsten drei Monate vorherzusagen. Das ist eine schwierige Aufgabe, weil das Wetter viele verschiedene Muster hat: Es gibt langfristige Trends (der Winter wird kälter), regelmäßige Zyklen (jeden Tag ist es morgens kühler als abends) und plötzliche, chaotische Störungen (ein plötzlicher Gewittersturm).

Frühere KI-Modelle waren wie ein Einzelkünstler, der versucht, all diese verschiedenen Aufgaben mit nur einem einzigen Werkzeug zu erledigen. Wenn er versucht, den langfristigen Trend zu verstehen, vergisst er die täglichen Schwankungen. Wenn er sich auf die täglichen Schwankungen konzentriert, verpasst er den großen Überblick. Das Ergebnis war oft ungenau.

Die Forscher in diesem Papier haben eine neue Lösung namens MoHETS entwickelt. Hier ist eine einfache Erklärung, wie sie funktioniert, mit ein paar kreativen Vergleichen:

1. Das Team aus Spezialisten (MoHE)

Stellen Sie sich MoHETS nicht als einen einzelnen Mitarbeiter vor, sondern als ein hochspezialisiertes Team, das in einem Büro sitzt.

• Das alte Problem: Früher hatte jedes Teammitglied das gleiche Werkzeug (einen einfachen Rechner) und musste alles selbst machen. Das war ineffizient.
• Die MoHETS-Lösung: Das Team besteht aus verschiedenen Experten mit unterschiedlichen Werkzeugen:
  • Der "Langsam-Denker" (Shared Convolution Expert): Dieser Experte ist wie ein erfahrener Architekt. Er schaut sich die gesamte Linie an und sorgt dafür, dass der langfristige Trend (z. B. "es wird im Winter kälter") stabil und zusammenhängend bleibt. Er kümmert sich um die "große Linie".
  • Die "Musiker" (Routed Fourier Experts): Diese Experten sind wie Geiger oder Trommler. Sie sind darauf spezialisiert, rhythmische Muster und schnelle Schwankungen zu erkennen (wie die täglichen Temperaturschwankungen oder wöchentliche Zyklen). Sie hören auf die "Frequenzen" der Daten.

Wie es funktioniert: Wenn eine neue Information hereinkommt (ein "Patch" der Zeitreihe), entscheidet ein cleverer Manager (der "Router"), welcher Experte sie bearbeiten soll.

• Ist es ein langfristiger Trend? -> Der Architekt macht weiter.
• Ist es ein schneller, rhythmischer Rhythmus? -> Die Musiker übernehmen.
• So wird jedes Problem von dem Spezialisten gelöst, der dafür am besten geeignet ist.

2. Der Blick von außen (Exogene Covariaten)

Manchmal reicht der Blick auf die eigenen Daten nicht aus. Wenn Sie das Wetter vorhersagen wollen, hilft es, zu wissen, ob heute ein Feiertag ist oder ob ein Sturm im Nachbarland steht.

MoHETS hat ein Fenster in die Außenwelt eingebaut. Es kann externe Informationen (wie Kalenderdaten oder Wetterdaten anderer Orte) aufnehmen und diese direkt mit den eigenen Daten verknüpfen.

• Vergleich: Stellen Sie sich vor, Sie planen eine Party. Ein normales Modell schaut nur auf die letzten Partys. MoHETS schaut auch auf den Kalender ("Heute ist Weihnachten!") und weiß sofort, dass sich das Verhalten der Gäste ändern wird. Das macht die Vorhersage viel robuster.

3. Der effiziente Übersetzer (Convolutional Patch Decoder)

Am Ende muss das Team die Ergebnisse in eine klare Vorhersage umwandeln. Frühere Modelle nutzten dafür oft riesige, schwere Maschinen, die viel Energie fraßen und manchmal "überdachten" (Overfitting).

MoHETS nutzt einen schlanken, schlauen Übersetzer.

• Vergleich: Statt eine riesige Bibliothek zu durchsuchen, um ein Wort zu finden, nutzt MoHETS einen schnellen, präzisen Scanner. Er behält die Struktur der Daten bei und wandelt sie effizient in die Zukunft um, ohne unnötigen Ballast. Das macht das Modell schneller und stabiler.

Warum ist das wichtig?

In der echten Welt müssen wir oft Dinge für lange Zeiträume vorhersagen:

• Wie viel Strom wird in einer Stadt in einem Jahr verbraucht?
• Wie entwickelt sich der Aktienmarkt?
• Wie wirkt sich der Klimawandel auf die Ernte aus?

MoHETS ist wie ein Super-Orakel, das lernt, zwischen dem "Rauschen" (kleine, zufällige Schwankungen) und den echten Mustern zu unterscheiden. Durch die Aufteilung der Arbeit auf verschiedene Spezialisten (die Mischung aus heterogenen Experten) ist es genauer als alle bisherigen Modelle.

Das Ergebnis: In Tests hat MoHETS die bisherigen Besten um durchschnittlich 12% übertroffen. Es ist schneller, braucht weniger Rechenleistung und macht weniger Fehler – besonders bei langen Vorhersagen, wo andere Modelle oft ins Straucheln kommen.

Zusammenfassend: MoHETS ist wie ein gut organisiertes Orchester, bei dem jeder Musiker sein eigenes Instrument spielt, anstatt alle auf einer einzigen Trommel zu trommeln. Das Ergebnis ist eine harmonische und präzise Vorhersage der Zukunft.

Technische Zusammenfassung

1. Problemstellung

Die langfristige Vorhersage multivariater Zeitreihen ist eine komplexe Aufgabe, da reale Daten oft intricate Multi-Skalen-Strukturen aufweisen. Dazu gehören globale Trends, lokale Periodizitäten und nicht-stationäre Regime.

• Herausforderungen: Herkömmliche statistische Methoden (z. B. ARIMA) scheitern oft an nicht-linearen Mustern und hochdimensionalen Interaktionen.
• Limitationen bestehender Deep-Learning-Ansätze: Obwohl Transformer-Architekturen erfolgreich sind, behandeln sie Zeitreihen oft wie NLP-Tokens mit homogenen MLPs (Multi-Layer Perceptrons). Dies ignoriert die unterschiedliche Natur von Zeitreihendaten (z. B. hohe Frequenz vs. langfristige Trends). Zudem sind viele aktuelle Sparse-Mixture-of-Experts (MoE) Modelle für Zeitreihen immer noch auf homogene MLP-Experten beschränkt, was zu ineffizienter Parameternutzung und suboptimalen Anpassungen führt.
• Ziel: Entwicklung eines Modells, das die inhärente Dekomposition von Zeitreihen (Trend vs. Periodizität) architektonisch abbildet, robust gegenüber nicht-stationären Dynamiken ist und skalierbar bleibt.

2. Methodik: MOHETS-Architektur

MOHETS ist ein reiner Encoder-Transformer, der eine neuartige Mixture-of-Heterogeneous-Experts (MoHE) Strategie integriert. Die Architektur besteht aus folgenden Kernkomponenten:

A. Input Embedding und Patching

• Patch-basierte Verarbeitung: Die Eingangszeitreihe wird in nicht-überlappende Patches unterteilt, um die quadratische Komplexität der Attention zu reduzieren und lokale Semantik zu erhalten.
• Channel Independence: Jeder Variat (Kanal) wird unabhängig verarbeitet, um Overfitting auf zufällige Korrelationen zwischen Variablen zu vermeiden.
• Normalisierung: Instance Normalization wird angewendet, um Verschiebungen in der Verteilung (Distribution Shift) bei nicht-stationären Daten zu mildern.

B. Mixture-of-Heterogeneous-Experts (MoHE)

Dies ist das Herzstück des Modells. Anstelle homogener MLPs werden Experten mit unterschiedlichen Architekturen kombiniert, um verschiedene zeitliche Muster zu erfassen:

1. Shared Expert (Geteilter Experte): Ein Depthwise-Convolution-FFN (DwConvFFN). Dieser ist immer aktiv und modelliert sequenzweite Kontinuität und globale Trends im Zeitbereich.
2. Routed Experts (Gelenkte Experten): Eine Menge von Fourier-basierten FFNs (FA-FFN). Diese werden dynamisch über einen Router zugewiesen. Sie operieren im Frequenzbereich und sind spezialisiert auf die Erfassung lokaler Periodizitäten und hochfrequenter Muster innerhalb der Patches.

• Routing-Mechanismus: Ein Gating-Mechanismus leitet jeden Patch zu einer kleinen Teilmenge der Experten (Top-K) weiter, während der Shared Expert parallel aktiv bleibt. Dies ermöglicht eine spezialisierte Verarbeitung unterschiedlicher Signalcharakteristika bei gleichzeitiger Skalierbarkeit.

C. Multimodale Cross-Attention

• MOHETS integriert exogene Kovariaten (z. B. Kalenderdaten, Wetter) über einen Cross-Attention-Mechanismus.
• Exogene Daten werden gepatcht und als Key/Value-Projektionen verwendet, während die endogene Zeitreihe als Query dient. Dies erlaubt dem Modell, externe Kontexte (wie Feiertagseffekte) dynamisch in die Vorhersage einzubeziehen, was die Robustheit gegenüber nicht-stationären Verschiebungen erhöht.

D. Output Patch Decoder

• Statt schwerer linearer Projektionsköpfe (die oft zu Overfitting führen), verwendet MOHETS einen leichten konvolutionalen Patch-Decoder.
• Dieser Decoder behält die lokale zeitliche Struktur bei und skaliert die Parameterzahl effizient, unabhängig von der Anzahl der Variablen oder der Vorhersagehorizonte.

E. Training und Verlustfunktionen

• Huber Loss: Statt reinem MSE wird Huber Loss verwendet, um die Sensitivität gegenüber Ausreißern in den Zeitreihen zu reduzieren und das Training zu stabilisieren.
• Load Balancing Loss: Ein Hilfsverlust wird hinzugefügt, um ein „Routing Collapse" zu verhindern (d. h., dass nur ein Experte genutzt wird) und eine gleichmäßige Auslastung aller Experten sicherzustellen.

3. Wichtige Beiträge

1. MoHE-Strategie: Einführung einer heterogenen Expertenmischung, die konvolutionale Operationen (für Trends) und Fourier-Transformationen (für Periodizitäten) kombiniert, anstatt homogene MLPs zu verwenden.
2. Architektonische Anpassung: Ersetzung des Standard-FFN in Transformern durch MoHE-Layer, die die inhärente Dekomposition von Zeitreihen (Trend vs. Saisonalität) strukturell abbilden.
3. Effiziente Kovariaten-Integration: Ein multimodaler Cross-Attention-Ansatz, der externe Informationen explizit modelliert, ohne die Struktur der endogenen Daten zu stören.
4. Leichtgewichtiger Decoder: Ein konvolutionaler Output-Head, der die Stabilität des Trainings verbessert und die Generalisierung auf beliebige Vorhersagehorizonte ohne Neutrainieren ermöglicht.

4. Ergebnisse

MOHETS wurde auf 7 multivariaten Benchmark-Datensätzen (z. B. ETTh1/2, Weather, ECL, Traffic) und über 15 verschiedene Vorhersagehorizonte (96 bis 720 Zeitpunkte) evaluiert.

• State-of-the-Art (SOTA): MOHETS übertrifft konsistent alle aktuellen Baselines, einschließlich starker Transformer-Modelle wie TimeXer, iTransformer, PatchTST und Time-Mixer.
• Verbesserung: Im Durchschnitt konnte der MSE (Mean Squared Error) um 12,3 % im Vergleich zu den besten Baselines (z. B. TimeXer) reduziert werden.
• Ablationsstudien:
  • Die Kombination aus DwConv und FA-FFN (MoHE) war signifikant besser als reine MLP- oder reine Fourier-Experten.
  • Der Encoder-only-Ansatz war robuster als Decoder-only-Architekturen für lange Horizonte.
  • Der konvolutionale Decoder zeigte stabilere Trainingskurven und bessere Generalisierung als lineare Heads.
• Effizienz: Trotz der komplexen Architektur ist MOHETS parametereffizient und kann auf einzelnen GPUs trainiert werden, während es mit großen Foundation-Modellen konkurriert.

5. Bedeutung und Fazit

MOHETS adressiert eine fundamentale Lücke in der Zeitreihenvorhersage: Die Annahme, dass alle zeitlichen Muster durch denselben Operator (MLP) verarbeitet werden können. Durch die Einführung heterogener Experten zwingt das Modell die Architektur, sich an die physikalische Struktur der Daten anzupassen (Trends durch Konvolution, Periodizitäten durch Fourier-Analyse).

• Praktische Relevanz: Das Modell ist besonders effektiv für Anwendungen, die langfristige Vorhersagen in dynamischen Umgebungen erfordern, wie Energiemanagement, Finanzplanung und Klimaanalyse.
• Zukunftsaussichten: Die Arbeit legt den Grundstein für spezialisierte Transformer-Architekturen, die über das reine „Scaling" von NLP-Modellen hinausgehen und die spezifischen Eigenschaften von Zeitreihen (Stochastik, Nicht-Stationarität, Multi-Skalen-Strukturen) architektonisch verankern.

Zusammenfassend demonstriert MOHETS, dass eine gezielte architektonische Diversifizierung (Heterogenität) effektiver ist als bloße Vergrößerung homogener Modelle für komplexe Zeitreihenaufgaben.