🤖 AI

PMDformer: Patch-Mean Decoupling Information Transformer for Long-term Forecasting

PMDformer is een nieuw model voor langetermijn tijdreeksvoorspelling dat patch-gemiddelde ontkoppeling introduceert om trend- en vorminformatie te scheiden, gecombineerd met Trend Restoration en Proximal Variable aandachtmechanismen, om effectief vormgelijkenissen en cross-variabele afhankelijkheden te vangen terwijl het bestaande state-of-the-art methoden overtreft.

Oorspronkelijke auteurs: Ao Hu, Liangjian Wen, Jiang Duan, Yong Dai, He Yan, Dongkai Wang, Jun Wang, Yukun Zhang, Ruoxi Jiang, Zenglin Xu

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ao Hu, Liangjian Wen, Jiang Duan, Yong Dai, He Yan, Dongkai Wang, Jun Wang, Yukun Zhang, Ruoxi Jiang, Zenglin Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de toekomstige weersomstandigheden, beursontwikkelingen of verkeersstromen probeert te voorspellen op basis van een lange geschiedenis aan gegevens. Dit wordt Long-Term Time Series Forecasting genoemd. De uitdaging is dat deze gegevens rommelig zijn; ze hebben enorme pieken, diepe dalen en veranderingen in schaal die het moeilijk maken om de werkelijke "vorm" of het patroon van wat er gebeurt te zien.

Het artikel introduceert een nieuw AI-model genaamd PMDformer. Denk aan dit model als een super slimme detective die een speciale truc heeft geleerd om de "ruis" van grootte te negeren en zich volledig te concentreren op de "vorm" van het verhaal.

Hier is hoe het werkt, onderverdeeld in eenvoudige analogieën:

1. Het Probleen: De "Volume"-vervorming

Stel je voor dat je drie verschillende bergen op een kaart bekijkt.

Berg A is een kleine heuvel (0 tot 10 meter hoog).
Berg B is een middelgrote heuvel (0 tot 100 meter hoog).
Berg C is een gigantische piek (0 tot 1.000 meter hoog).

Als je een standaard AI vraagt om te vinden welke twee bergen er hetzelfde uitzien, kan deze in de war raken. De AI ziet dat Berg C enorm is en Berg A heel klein, en denkt daarom dat ze totaal verschillend zijn. Maar als je naar de helling (de vorm) kijkt, hebben Berg A en Berg B misschien precies dezelfde steilheid, alleen op een andere schaal.

Oude AI-modellen laten zich afleiden door de grootte (de schaal) van de gegevens. Ze denken dat een grote piek belangrijker is dan een kleine piek, zelfs als de kleine piek exact hetzelfde patroon heeft. Dit leidt tot slechte voorspellingen.

2. De Oplossing: "Patching" en "Decoupling"

Het model van de auteurs, PMDformer, gebruikt drie hoofdtrucs om dit op te lossen:

Truc #1: De "Gemiddelde-aftrek"-bril (Patch-Mean Decoupling)

In plaats van naar de ruwe getallen te kijken, verdeelt het model de lange geschiedenis van gegevens in kleine stukjes die patches worden genoemd (zoals het opknippen van een lange film in korte scènes).

Voor elke scène doet het iets slims: het trekt de gemiddelde hoogte af.

Stel je hebt een grafiek die van 100 naar 110 gaat. Het model zegt: "Oké, laten we negeren dat het bij 100 ligt. Laten we alleen kijken naar hoe het beweegt ten opzichte van 100."
Nu ziet een grafiek die van 100 naar 110 gaat er exact hetzelfde uit als een grafiek die van 1.000 naar 1.010 gaat.
Het Resultaat: Het model kan eindelijk zien dat twee verschillende gegevensstromen exact dezelfde vorm hebben (op en neer beweging), zelfs als de ene enorm is en de andere heel klein. Het scheidt de "trend" (de gemiddelde hoogte) van de "vorm" (de wiebelingen).

Truc #2: De "Recente Buur"-regel (Proximal Variable Attention)

In de echte wereld veranderen relaties tussen zaken. Bijvoorbeeld, in de aandelenmarkt kunnen twee bedrijven samen bewegen tijdens een crisis, maar uit elkaar drijven tijdens rustige tijden.

Oude modellen kijken naar de volledige geschiedenis (misschien wel 5 jaar aan gegevens) om te raden hoe variabelen met elkaar samenhangen. Dit is als proberen de stemming van je beste vriend vandaag te voorspellen door te kijken naar hoe hij zich 5 jaar geleden gedroeg. Dat is te veel ruis!

PMDformer zegt: "Laten we alleen naar het meest recente deel van de gegevens kijken."

Het focust alleen op de allerlaatste scène van de film om te zien hoe de variabelen op dit moment met elkaar interageren.
Dit voorkomt dat het model in de war raakt door oude, verouderde relaties die niet meer van toepassing zijn.

Truc #3: De "Trend Hersteller" (Trend Restoration Attention)

Herinner je Truc #1, waarbij we de gemiddelde hoogte aftrokken om de vorm te zien? Nou, als we die gemiddelde hoogte volledig zouden vergeten, zal onze voorspelling vlak en nutteloos zijn. We moeten weten waar de gegevens zich bevinden, niet alleen hoe ze bewegen.

Dus, nadat het model de vormen en relaties heeft bepaald, heeft het een speciale stap genaamd Trend Restoration.

Het neemt de "gemiddelde hoogte" (de trend) die het eerder opzij had gezet, en voegt deze voorzichtig weer toe aan de uiteindelijke voorspelling.
Het Resultaat: Het model krijgt het beste van beide werelden: het voorspelt het patroon nauwkeurig (omdat het de ruis van de grootte negeerde) en de schaal nauwkeurig (omdat het de trend weer heeft toegevoegd).

3. De Resultaten: Waarom het wint

Het artikel heeft dit model getest tegen de beste bestaande AI-modellen op echte gegevens zoals elektriciteitsverbruik, verkeersstromen en het weer.

De Analogie: Stel je een race voor waarbij iedereen probeert de toekomst te voorspellen. De andere renners struikelen over hun eigen veters (de verschillen in schaal) en kijken naar oude kaarten (verouderde geschiedenis).
De Winnaar: PMDformer loopt soepel omdat het de ware vorm van het pad ziet en alleen de kaart voor de volgende mijl bekijkt.
De Uitkomst: Het artikel beweert dat PMDformer nauwkeuriger en stabieler is dan alle andere geteste topmodellen. Het maakt minder fouten bij het voorspellen van de toekomst.

Samenvatting

PMDformer is een nieuwe voorspellingsmethode die:

De volume negeert om de ware vorm van de gegevens te zien.
Zich focust op het recente verleden om verouderde patronen te vermijden.
Het grote plaatje weer toevoegt zodat de uiteindelijke voorspelling realistisch is.

Door dit te doen, lost het het probleem van "schaalbias" op en geeft het ons een duidelijkere, nauwkeurigere kristallen bol voor de toekomst.

Technisch Overzicht: PMDformer

Probleemstelling

Lange-termijn tijdreeksvoorspelling (LTSF) is cruciaal voor domeinen zoals energiebeheer, financiën en verkeersvoorspelling. Hoewel Transformer-gebaseerde modellen patch-gebaseerde strategieën hebben geadopteerd om langetermijn-afhankelijkheden te vangen, worden ze geconfronteerd met een fundamentele uitdaging: het nauwkeurig modelleren van vormgelijkenissen over patches en variabelen wordt vaak vertroebeld door schaalverschillen.

Tijdreeksgegevens zijn inherent niet-stationair, wat ervoor zorgt dat de schaal van patches sterk fluctueert. Zoals in het artikel wordt aangetoond, kunnen deze schaalvariatiesies de aandachtmechanismen domineren, waardoor modellen prioriteit geven aan patches met grotere magnitudes boven patches met een werkelijk gelijkaardige vorm. Bijvoorbeeld, een patch met een hoge gemiddelde waarde kan onterecht als gelijker worden beschouwd aan een query-patch dan een patch met een lagere gemiddelde waarde maar een identiek vormverloop. Bov�gens introduceren bestaande variabele-afhankelijke (VD) methoden vaak interacties over het gehele historische venster, wat ruis introduceert door verouderde correlaties en het risico op overfitting vergroot, terwijl standaard normalisatietechnieken (zoals Z-score) die de standaarddeviatie verwijderen, onbedoeld de intrinsieke vorm van de gegevens verstoren.

Methodologie

De auteurs stellen PMDformer voor, een model dat is ontworpen om trend- en vorminformatie te ontkoppelen om vorm-gerichte aandacht te faciliteren. De architectuur bestaat uit vier synergetische modules:

1. Patch-Mean Decoupling (PMD)

In plaats van volledige normalisatie, verdeelt PMD de invoerreeks in niet-overlappende patches en trekt het gemiddelde ( $\mu$ ) van elke patch af.

Mechanisme: Voor een patch $P$ wordt de residuele vorm $r$ berekend als $r = P - \mu$ .
Effect: Dit centreert elke patch rond een gemiddelde van nul, waardoor de lange-termijn trend (gecodeerd in de gemiddelden) expliciet wordt gescheiden van de residuele vorminformatie. Cruciaal is dat, in tegen tegenstelling tot Z-score normalisatie, PMD de oorspronkelijke amplitudevariaties en de intrinsieke vormstructuur behoudt. Dit stelt het aandachtmechanisme in staat om zich te concentreren op ware vormgelijkenissen in plaats van beïloed te worden door schaal.

2. Proximal Variable Attention (PVA)

Om de niet-stationaire aard van cross-variabele relaties aan te pakken, beperkt PVA de modellering van variabele-interacties tot het meest recente tijdssegment.

Mechanisme: PVA past Multi-Head Self-Attention (MHSA) exclusief toe op de tokens van de laatste (meest nabije) patch over alle variabelen heen.
Effect: Door zich te concentreren op de meest recente interacties, vangt het model de meest voorspellende vormgelijkenissen voor toekomstige dynamiek op, vermijdt het ruis van historische driften en vermindert het de computationele complexiteit van $O(C^2N)$ naar $O(C^2)$ .

3. Trend Restoration Attention (TRA)

Om te waarborgen dat globale dynamiek niet verloren gaat tijdens de vorm-gerichte verwerking, integreert TRA de trendinformatie opnieuw.

Mechanisme: Een Transformer-encoder met gedeelde parameters verwerkt de vorm-embeddings. De Query ( $Q$ ) en Key ( $K$ ) projecties opereren uitsluitend op de residuele vormen om inter-patch vormgelijkenis te modelleren. Echter, de Value ( $V$ ) pathway incorporeert expliciet de ontkoppelde patch-gemiddelden ( $\mu$ ) via een additieve verbinding: $V = P W_V + \mu$ .
Effect: Deze architecturale scheiding stelt het model in staat om fijnmazige lokale vorm-afhankelijkheden (via $Q/K$ ) en globale trend-dynamiek (via $V$ ) gezamenlijk te coderen, wat zorgt voor stabiele voorspellingen die de langetermijn-trends respecteren.

4. Projectielaag

De laatste laag herintegreert de per-patch trend-gemiddelden in de verfijnde vorm-embeddings voordat er multi-step voorspellingen worden gegenereerd, waardoor de output goed gekalibreerd is met de oorspronkelijke schaal en langetermijn-dynamiek.

Belangrijkste Bijdragen

Patch-Mean Decoupling (PMD): Een nieuw mechanisme dat trend en residuele vorm binnen de aandachtmodule scheidt via gemiddelde-aftrekking. Dit maakt het effectief vangen van vormgelijkenis tussen temporele patches en variabelen mogelijk zonder amplitudes te verstoren.
Proximal Variable Attention (PVA): Een module die cross-variabele aandacht richt op de meest recente patch, waardoor de meest relevante vormgelijkenissen worden gevangen en overfitting op verouderde correlaties wordt gemitigeerd.
Trend Restoration Attention (TRA): Een methode om de ontkoppelde trendinformatie te herstellen in de value pathway van het aandachtmechanisme, waardoor gezamenlijke codering van lokale vormen en globale trends mogelijk is.
Empirische Prestaties: Uitgebreide experimenten tonen aan dat PMDformer een superieure stabiliteit en nauwkeurigheid bereikt vergeleken met bestaande state-of-the-art methoden over meerdere LTSF-benchmarks.

Experimentele Resultaten

De auteurs evalueerden PMDformer op acht real-world datasets (ECL, Traffic, Weather, Solar, ETTh1, ETTh2, ETTm1, ETTm2) tegen negen baselines, waaronder TQNet, TimeBase, SOFTS, SparseTSF, ModernTCN, iTransformer, TimeMixer en PatchTST.

Algemene Prestaties: PMDformer behaalde de laagste Mean Squared Error (MSE) en Mean Absolute Error (MAE) op 7 van de 8 datasets.
Vergelijkbare Winsten:
- Vergeleken met TimeBase (een leidend patch-gebaseerd model), liet PMDformer een gemiddelde MSE-reductie zien van 5,68% en een MAE-reductie van 6,61%.
- Vergeleken met TQNet, behaalde het een gemiddelde MSE-reductie van 8,62% en een MAE-reductie van 9,96%.
- Vergeleken met iTransformer, leverde het een gemiddelde MSE-reductie van 11,44% en een MAE-reductie van 12,38%.
Ablatie-studies:
- Het verwijderen van PMD of het vervangen ervan door standaard normalisatie (bijv. SAN of Z-score) resulteerde in prestatievermindering, wat de noodzaak bevestigt om vorm te behouden terwijl trends worden ontkoppeld.
- Het vervangen van PVA door aandacht over alle historische tokens of het volledig verwijderen ervan leidde tot significante prestatiedalingen, wat het belang van het focussen op proximale variabele-interacties valideert.
- Het vervangen van TRA door standaard zelf-aandacht of het verwijderen ervan veroorzaakte substantiële fouten, wat de cruciale rol van trend-restauratie benadrukt.

Betekenis

Het artikel beweert dat PMDformer een kernbeperking in huidige LTSF-architecturen aanpakt: het onvermogen om ware vormgelijkenis te onderscheiden van schaalbias in niet-stationaire data. Door trends expliciet van vormen te ontkoppelen en variabele-interacties te richten op de meest relevante temporele vensters, biedt het model een robuuster framework voor lange-termijn voorspellingen. De resultaten suggereren dat vorm-centrische Transformer-ontwerpen, die structurele gelijkenis prioriteren boven ruwe magnitude, een significant voordeel bieden in stabiliteit en nauwkeurigheid voor complexe tijdreeks-taken. De auteurs positioneren dit werk als een stap naar betrouwbaardere voorspellingen in kritieke infrastructuurdomeinen zoals energie en financiën.