🤖 AI

PMDformer: Patch-Mean Decoupling Information Transformer for Long-term Forecasting

PMDformer ist ein neuartiges Modell zur langfristigen Zeitreihenprognose, das die Patch-Mean-Entkopplung einführt, um Trend- und Forminformationen zu trennen, kombiniert mit Trend-Restaurations- und Proximal-Variable-Attention-Mechanismen, um effektiv Formähnlichkeiten und kreuzvariable Abhängigkeiten zu erfassen, während es bestehende State-of-the-Art-Methoden übertrifft.

Ursprüngliche Autoren: Ao Hu, Liangjian Wen, Jiang Duan, Yong Dai, He Yan, Dongkai Wang, Jun Wang, Yukun Zhang, Ruoxi Jiang, Zenglin Xu

Veröffentlicht 2026-06-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ao Hu, Liangjian Wen, Jiang Duan, Yong Dai, He Yan, Dongkai Wang, Jun Wang, Yukun Zhang, Ruoxi Jiang, Zenglin Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, das zukünftige Wetter, Börsentrends oder den Verkehrsfluss basierend auf einer langen Historie von Daten vorherzusagen. Dies wird als Langfristige Zeitreihenprognose bezeichnet. Die Herausforderung besteht darin, dass diese Daten unordentlich sind; sie haben riesige Spitzen, tiefe Einbrüche und Änderungen in der Skalierung, die es schwierig machen, die tatsächliche „Form“ oder das Muster dessen zu erkennen, was gerade geschieht.

Das Paper stellt ein neues KI-Modell namens PMDformer vor. Betrachten Sie es als einen superintelligenten Detektiv, der einen speziellen Trick gelernt hat, um das „Rauschen“ der Größe zu ignorieren und sich stattdert ganz auf die „Form“ der Geschichte zu konzentrieren.

So funktioniert es, unterteilt in einfache Analogien:

1. Das Problem: Die „Volumen“-Verzerrung

Stellen Sie sich vor, Sie betrachten drei verschiedene Berge auf einer Karte.

Berg A ist ein kleiner Hügel (0 bis 10 Meter hoch).
Berg B ist ein mittlerer Hügel (0 bis 100 Meter hoch).
Berg C ist ein riesiger Gipfel (0 bis 1.000 Meter hoch).

Wenn Sie eine Standard-KI fragen, welche zwei Berge gleich aussehen, könnte sie verwirrt werden. Sie sieht, dass Berg C riesig und Berg A winzig ist, und denkt daher, sie seien völlig unterschiedlich. Aber wenn man die Steigung (die Form) betrachtet, könnten Berg A und Berg B tatsächlich die exakt gleiche Steilheit haben, nur in unterschiedlichen Maßstäben.

Alte KI-Modelle lassen sich von der Größe (der Skalierung) der Daten ablenken. Sie denken, dass eine große Spitze wichtiger ist als eine kleine, selbst wenn die kleine Spitze exakt dasselbe Muster hat. Dies führt zu schlechten Vorhersagen.

2. Die Lösung: „Patching“ und „Entkopplung“

Das Modell der Autoren, PMDformer, nutzt drei Haupttricks, um dieses Problem zu lösen:

Trick #1: Die „Mittelwert-Subtraktions“-Brille (Patch-Mean Decoupling)

Anstatt sich die Rohzahlen anzusehen, zerlegt das Modell die lange Historie der Daten in kleine Stücke, die Patches genannt werden (wie das Schneiden eines langen Films in kurze Szenen).

Für jede Szene macht es etwas Cleveres: Es subtrahiert die durchschnittliche Höhe.

Stellen Sie sich vor, Sie haben einen Graphen, der von 100 bis 110 geht. Das Modell sagt: „Okay, ignorieren wir, dass er bei 100 liegt. Lassen Sie uns nur schauen, wie er sich relativ zu 100 bewegt.“
Nun sieht ein Graph, der von 100 bis 110 geht, exakt so aus wie ein Graph, der von 1.000 bis 1.010 geht.
Das Ergebnis: Das Modell kann endlich sehen, dass zwei verschiedene Datenströme exakt dieselbe Form (Auf- und Abwärtsbewegung) haben, selbst wenn der eine riesig und der andere winzig ist. Es trennt den „Trend“ (die durchschnittliche Höhe) von der „Form“ (den Wellenbewegungen).

Trick #2: Die „Nahe Nachbarschaft“-Regel (Proximal Variable Attention)

In der realen Welt ändern sich die Beziehungen zwischen den Dingen. Zum Beispiel können sich zwei Unternehmen während einer Krise am Aktienmarkt ähnlich bewegen, aber in ruhigen Zeiten auseinanderdriften.

Alte Modelle betrachten die gesamte Historie (vielleicht 5 Jahre an Daten), um zu erraten, wie Variablen zusammenhängen. Das ist so, als würde man versuchen, die heutige Stimmung seines besten Freundes vorherzusagen, indem man betrachtet, wie er sich vor 5 Jahren verhalten hat. Das ist zu viel Rauschen!

PMDformer sagt: „Lass uns nur den jüngsten Datenblock betrachten.“

Es konzentriert sich nur auf die allerletzte Szene des Films, um zu sehen, wie die Variablen jetzt gerade interagieren.
Dies verhindert, dass das Modell durch alte, veraltete Beziehungen verwirrt wird, die nicht mehr anwendbar sind.

Trick #3: Der „Trend-Restaurator“ (Trend Restoration Attention)

Erinnern Sie sich an Trick #1, bei dem wir die durchschnittliche Höhe subtrahiert haben, um die Form zu sehen? Nun, wenn wir die durchschnittliche Höhe völlig vergessen würden, wäre unsere Vorhersage flach und nutzlos. Wir müssen wissen, wo die Daten liegen, nicht nur, wie sie sich bewegen.

Nachdem das Modell also die Formen und Beziehungen ermittelt hat, gibt es einen speziellen Schritt namens Trend Restoration.

Es nimmt die „durchschnittliche Höhe“ (den Trend), die es zuvor beiseitegelegt hat, und fügt sie sanft wieder in die endgültige Vorhersage ein.
Das Ergebnis: Das Modell erhält das Beste aus beiden Welten: Es sagt das Muster genau voraus (weil es das Größenrauschen ignoriert hat) und die Skalierung genau (weil es den Trend wieder hinzugefügt hat).

3. Die Ergebnisse: Warum es gewinnt

Das Paper hat dieses Modell gegen die besten existierenden KI-Modelle mit realen Daten wie Stromverbrauch, Verkehrsfluss und Wetter getestet.

Die Analogie: Stellen Sie sich ein Rennen vor, bei dem alle versuchen, die Zukunft vorherzusagen. Die anderen Läufer stolpern über ihre eigenen Schnürsenkel (die Unterschiede in der Skalierung) und schauen auf alte Landkarten (veraltete Historie).
Der Gewinner: PMDformer läuft reibungslos, weil er die wahre Form des Pfades sieht und nur die Karte für die nächste Meile betrachtet.
Das Ergebnis: Das Paper behauptet, dass PMDformer genauer und stabiler ist als alle anderen getesteten Top-Modelle. Es macht weniger Fehler bei der Vorhersage der Zukunft.

Zusammenfassung

PMDformer ist ein neues Prognosewerkzeug, das:

Das Volumen ignoriert, um die wahre Form der Daten zu sehen.
Sich auf die jüngste Vergangenheit konzentriert, um veraltete Muster zu vermeiden.
Das große Ganze wieder hinzufügt, damit die endgültige Vorhersage realistisch ist.

Durch dies löst es das Problem des „Skalen-Bias“ (Scale Bias) und gibt uns eine klarere, genauere Kristallkugel für die Zukunft.

Technisches Resümee: PMDformer

Problemstellung

Die langfristige Zeitreihenprognose (Long-term Time Series Forecasting, LTSF) ist entscheidend für Bereiche wie Energiemanagement, Finanzen und Verkehrsvorhersage. Während Transformer-basierte Modelle zur Erfassung langfristiger Abhängigkeiten auf Patch-basierten Strategien setzen, stehen sie vor einer grundlegenden Herausforderung: Die genaue Modellierung von Formähnlichkeiten über Patches und Variablen hinweg wird oft durch Skalenunterschiede verschleiert.

Zeitreihendaten sind von Natur aus nicht-stationär, was dazu führt, dass die Skalen der Patches stark schwanken. Wie in der Arbeit dargelegt, können diese Skalationsvariationen die Attention-Mechanismen dominieren und dazu führen, dass Modelle Patches mit größeren Magnituden gegenüber jenen bevorzugen, die zwar eine geringere Magnitude, aber eine tatsächlich identischere Form aufweisen. Beispielsweise kann ein Patch mit einem hohen Mittelwert fälschlicherweise als ähnlicher zu einem Query-Patch eingestuft werden als ein Patch mit einem niedrigeren Mittelwert, der jedoch eine identische Formtrajektorie besitzt. Darüber hinaus modellieren bestehende variablenabhängige (Variable-Dependent, VD) Methoden Interaktionen über das gesamte historische Fenster, was Rauschen durch veraltete Korrelationen einführt und das Risiko von Overfitting erhöht, während Standard-Normalisierungstechniken (wie Z-Score), die die Standardabweichung entfernen, die intrinsische Form der Daten unbeabsichtigt verzerren.

Methodik

Die Autoren schlagen PMDformer vor, ein Modell, das darauf ausgelegt ist, Trend- und Forminformationen zu entkoppeln, um eine präzise, formfokussierte Attention zu ermöglichen. Die Architektur besteht aus vier synergetischen Modulen:

1. Patch-Mean Decoupling (PMD)

Anstatt einer vollständigen Normalisierung unterteilt PMD die Eingangssequenz in überlappungsfreie Patches und subtrahiert den Mittelwert ( $\mu$ ) jedes Patches.

Mechanismus: Für einen Patch $P$ wird die residuelle Form $r$ als $r = P - \mu$ berechnet.
Effekt: Dies zentriert jeden Patch auf den Mittelwert Null und trennt so explizit den langfristigen Trend (kodiert in den Mittelwerten) von der residuellen Forminformation. Entscheidend ist, dass PMD im Gegensatz zur Z-Score-Normalisierung die ursprünglichen Amplitudenschwankungen und die intrinsische Formstruktur bewahrt. Dies ermöglicht es dem Attention-Mechanismus, sich auf echte Formähnlichkeiten zu konzentrieren, anstatt durch die Skala verzerrt zu werden.

2. Proximal Variable Attention (PVA)

Um der nicht-stationären Natur von Kreuz-Variablen-Beziehungen zu begegnen, beschränkt PVA die Modellierung von Variableninteraktionen auf das jüngste Zeitsegment.

Mechanismus: PVA wendet Multi-Head Self-Attention (MHSA) ausschließlich auf die Token des letzten (proximalsten) Patches über alle Variablen hinweg an.
Effekt: Durch die Konzentration auf die jüngsten Interaktionen erfasst das Modell die prädiktivsten Formähnlichkeiten für zukünftige Dynamiken, vermeidet Rauschen durch historische Drifts und reduziert die Rechenkomplexität von $O(C^2N)$ auf $O(C^2)$ .

3. Trend Restoration Attention (TRA)

Um sicherzustellen, dass globale Dynamiken während der formfokussierten Verarbeitung nicht verloren gehen, integriert TRA die Trendinformationen wieder.

Mechanismus: Ein parameterschonender Transformer-Encoder verarbeitet die Shape-Embeddings. Die Query- ( $Q$ ) und Key-Projektionen ( $K$ ) operieren ausschließlich auf den residuellen Formen, um die inter-patch Formähnlichkeit zu modellieren. Der Value-Pfad ( $V$ ) bezieht jedoch die entkoppelten Patch-Mittelwerte ( $\mu$ ) über eine additive Verbindung explizit ein: $V = P W_V + \mu$ .
Effekt: Diese architektonische Trennung ermöglicht es dem Modell, feinkörnige lokale Formabhängigkeiten (via $Q/K$ ) und globale Trenddynamiken (via $V$ ) gemeinsam zu kodieren, was stabile Prognosen gewährleistet, die die langfristigen Trends respektieren.

4. Projection Layer

Die finale Schicht führt die pro-Patch Trendmittelwerte vor der Generierung der mehrstufigen Prognosen wieder in die verfeinerten Shape-Embeddings ein, um sicherzustellen, dass der Output gut mit der ursprünglichen Skala und den langfristigen Dynamiken kalibriert ist.

Wichtigste Beiträge

Patch-Mean Decoupling (PMD): Ein neuartiger Mechanismus, der Trend und residuelle Form innerhalb des Attention-Moduls durch Mittelwertsubtraktion trennt. Dies ermöglicht die effektive Erfassung von Formähnlichkeiten zwischen temporalen Patches und Variablen, ohne die Amplituden zu verzerren.
Proximal Variable Attention (Pva): Ein Modul, das die Kreuz-Variablen-Attention auf den jüngsten Patch fokussiert, wodurch die relevantesten Formähnlichkeiten erfasst und Overfitting auf veraltete Korrelationen gemindert wird.
Trend Restoration Attention (TRA): Eine Methode, um die entkoppelten Trendinformationen in den Value-Pfad des Attention-Mechanismus zurückzuführen, was die gemeinsame Kodierung von lokalen Formen und globalen Trends ermöglicht.
Empirische Leistung: Umfangreiche Experimente zeigen, dass PMDformer im Vergleich zu bestehenden State-of-the-Art-Methoden über mehrere LTSF-Benchmarks hinweg eine überlegene Stabilität und Genauigkeit erreicht.

Experimentelle Ergebnisse

Die Autoren evaluierten PMDformer auf acht realen Datensätzen (ECL, Traffic, Weather, Solar, ETTh1, ETTh2, ETTm1, ETTm2) gegen neun Baselines, darunter TQNet, TimeBase, SOFTS, SparseTSF, ModernTCN, iTransformer, TimeMixer und PatchTST.

Gesamtleistung: PMDformer erreichte den niedrigsten Mean Squared Error (MSE) und den Mean Absolute Error (MAE) auf 7 von 8 Datensätzen.
Vergleichende Gewinne:
- Im Vergleich zu TimeBase (einem führenden Patch-basierten Modell) zeigte PMDformer eine durchschnittliche Reduktion des MSE um 5,68 % und des MAE um 6,61 %.
- Im Vergleich zu TQNet erreichte es eine durchschnittliche Reduktion des MSE um 8,62 % und des MAE um 9,96 %.
- Im Vergleich zu iTransformer lieferte es eine durchschnittliche Reduktion des MSE um 11,44 % und des MAE um 12,38 %.
Ablationsstudien:
- Das Entfernen von PMD oder das Ersetzen durch Standard-Normalisierung (z. B. SAN oder Z-Score) führte zu einer Verschlechterung der Leistung, was die Notwendigkeit bestätigt, die Form bei der Entkopplung von Trends zu bewahren.
- Das Ersetzen von PVA durch Attention über alle historischen Token oder das vollständige Entfernen führte zu signifikanten Leistungseinbußen, was die Bedeutung der Fokussierung auf proximale Variableninteraktionen validiert.
- Das Ersetzen von TRA durch Standard-Self-Attention oder das Entfernen von TRA verursachte erhebliche Fehler, was die kritische Rolle der Trend-Restaurierung hervorhebt.

Bedeutung

Das Paper behauptet, dass PMDformer ein Kernproblem aktueller LTSF-Architekturen adressiert: die Unfähigkeit, zwischen echter Formähnlichkeit und Skalen-Bias in nicht-stationären Daten zu unterscheiden. Durch die explizite Entkopplung von Trends und Formen sowie die Fokussierung der Variableninteraktionen auf die relevantesten Zeitfenster bietet das Modell einen robusteren Rahmen für die langfristige Prognose. Die Ergebnisse legen nahe, dass formzentrierte Transformer-Designs, die strukturelle Ähnlichkeit gegenüber der Rohmagnitude priorisieren, einen signifikanten Vorteil in der Stabilität und Genauigkeit für komplexe Zeitreihenaufgaben bieten. Die Autoren positionieren diese Arbeit als einen Schritt hin zu zuverlässigeren Prognosen in kritischen Infrastrukturbereichen wie Energie und Finanzen.