🤖 machine learning

NPMixer: Hierarchical Neighboring Patch Mixing for Time Series Forecasting

NPMixer is een hiërarchisch model voor tijdreeksvoorspelling dat een leerbare stationaire golftransformatie voor adaptieve decompositie van trend en detail combineert met een nabijgelegen patch-mixingmechanisme om zowel lokale temporele dynamiek als globale kanaalcorrelaties effectief te vangen, waardoor state-of-the-art prestaties worden behaald op meerdere benchmarks.

Oorspronkelijke auteurs: Jung Min Choi, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jung Min Choi, Vijaya Krishna Yalavarthi, Lars Schmidt-Thieme

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert het weer voor de komende week te voorspellen. Je hebt een enorm notitieboek vol duizenden datapunten: temperatuur, luchtvochtigheid, windsnelheid en luchtdruk, elk minuut opgetekend gedurende de afgelopen maanden.

De uitdaging is dat deze data rommelig is. Het bevat kleine, chaotische schommelingen (zoals een plotselinge windvlaag) en grote, traag bewegende trends (zoals de geleidelijke opwarming van de lente). Traditionele methoden raken vaak in de war door het ruis, terwijl complexe AI-modellen soms vastlopen bij het proberen om elke enkele minuut aan data te lezen, waardoor tijd wordt verspild aan overbodige informatie.

Het artikel introduceert een nieuw AI-model genaamd NPMixer (Neighboring Patching Mixer) dat dit oplost door te fungeren als een slimme, meerlagige redacteur voor je data-notitieboek. Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. De "Leerbare Wavelet"-filter: Je radio afstemmen

Allereerst moet NPMixer het "signaal" scheiden van het "ruis". Stel je voor dat je naar een radiozender luistert, maar het signaal is gemengd met statische storing en verschillende frequenties.

Wat het doet: In plaats van een vaste radioknop te gebruiken (zoals standaard wiskundige hulpmiddelen), heeft NPMixer een Leerbare Stationaire Wavelet-transformatie. Denk hierbij aan een radioafstemer die leert welke frequenties precies belangrijk zijn voor jouw specifieke data.
De Magie: Het splitst de data in twee delen:
- De Trend (Het Langzame Lied): De gladde, langetermijnpatronen (zoals de algemene temperatuurstijging over een maand).
- De Details (De Snelle Beats): De snelle, gekartelde schommelingen (zoals plotselinge pieken in elektriciteitsgebruik).
Waarom het belangrijk is: Door deze te scheiden, raakt het model niet in de war wanneer het probeert de toekomst te voorspellen. Het kan zich richten op het "lied" zonder afgeleid te worden door de "storing".

2. De "Niet-overlappende Patches": Lezen in stukken

De meeste AI-modellen kijken naar data met een schuifvenster dat zwaar overlapt (zoals het lezen van een boek waarbij je de eerste 10 woorden leest, dan de tweede 10 woorden, dan de derde 10, en zo verder). Dit is traag en repetitief.

De Aanpak van NPMixer: Het snijdt de data in nette, niet-overlappende stukken (patches), zoals het snijden van een lang brood in duidelijke plakken.
Het Voordeel: Het voorkomt dat het model energie verspillen door dezelfde woorden twee keer te lezen. Het behandelt elke plak als een uniek token, waardoor het proces veel sneller en schoner wordt.

3. De "Hiërarchische Mixer": Het team van redacteuren

Dit is de kerninnovatie. Zodra de data in stukken is gesneden, gebruikt NPMixer een "Hiërarchische Mixer" om te begrijpen hoe deze stukken met elkaar samenhangen.

De Analogie: Stel je een nieuwsredactie voor met een hiërarchie van redacteuren.
- Niveau 1 (De Stagiairs): Zij kijken naar twee naast elkaar liggende plakken brood (patches) en proberen te begrijpen hoe ze lokaal met elkaar verbonden zijn.
- Niveau 2 (De Redacteuren): Zij nemen het werk van de stagiairs en koppelen die paren aan elkaar. Nu kijken ze naar een groter geheel en begrijpen ze hoe een groep van vier plakken samenhangt.
- Niveau 3 (De Hoofdredacteur): Zij kijken naar nog grotere groepen en verbinden de lokale details met het globale verhaal.
De "Groep-Mix-Dissolve"-strategie: Op elk niveau koppelt het model buren aan elkaar, mengt het hun informatie om patronen te vinden, en "lost" ze vervolgens weer op in een grotere groep om te mengen met de volgende buur. Hierdoor kan het model zowel de kleine details als het grote geheel zien zonder zich in het midden te verliezen.

4. De "Channel-Mixing": De punten verbinden

Bij multivariate voorspelling voorspel je niet slechts één ding (zoals temperatuur); je voorspelt veel dingen tegelijk (temperatuur, wind, luchtvochtigheid). Deze variabelen beïnvloeden elkaar vaak.

De Oplossing: NPMixer gebruikt een speciale "Channel-Mixing Encoder" specifiek voor de "snelle beat" (hoge frequentie) details. Het werkt als een teamvergadering waarbij de variabele "Wind" praat met de variabele "Temperatuur" om te begrijpen hoe ze elkaar beïnvloeden.
Cruciaal Detail: Dit doet het niet voor het "Langzame Lied" (de trend). Het laat de langetermijntrend met rust zodat deze niet in de war raakt door het ruis van de andere variabelen. Dit houdt het grote plaatje stabiel.

De Resultaten: Waarom het Wint

De auteurs hebben NPMixer getest op zeven real-world datasets (zoals elektriciteitsgebruik, verkeer en weer).

Het Scorebord: In 20 van de 28 verschillende testsituaties maakte NPMixer minder fouten (lagere foutpercentages) dan de huidige beste modellen.
De Conclusie: Door een slimme filter (Wavelet), efficiënt snijden (Niet-overlappende patches) en een slimme hiërarchie van mengen (Neighboring Mixer) te combineren, kan het model de toekomst nauwkeuriger voorspellen dan zijn concurrenten, vooral voor langetermijnvoorspellingen.

Kortom: NPMixer is als een super-efficiënte redacteur die weet hoe het ruis moet uitschakelen, het verhaal in perfecte stukken moet snijden, en vervolgens een team van redacteuren laat samenwerken van de kleine details tot het grote plaatje, zodat de uiteindelijke voorspelling zowel nauwkeurig als stabiel is.

Technische Samenvatting: NPMixer

Probleemstelling

Multivariate tijdsreeksvoorspelling (TSF) staat voor aanzienlijke uitdagingen door de dubbele complexiteit van lokale temporele dynamiek en globale afhankelijkheden tussen meerdere variabelen. Hoewel recente deep learning-approaches zijn uitgegroeid van traditionele statistische methoden (bijv. ARIMA) naar het gebruik van Transformers en MLP's, kampen bestaande oplossingen vaak met inefficiëntie en redundantie in kenmerken. Specifiek vertrouwen veel op patch-gebaseerde methoden (bijv. PatchTST) op overlappende vensters om lokale semantiek te vangen, wat de rekenkosten verhoogt en het risico met zich meebrengt dat redundante informatie wordt geïntroduceerd die leidt tot overfitting. Bovendien, terwijl frequentiedomein-benaderingen (bijv. FEDformer, WaveForM) helpen periodieke patronen te isoleren, lijden standaard Discrete Wavelet Transformaties (DWT) aan downsampling, wat translatie-invariantie doorbreekt en kan leiden tot verlies van kenmerken.

Methodologie: NPMixer

De auteurs stellen NPMixer (Neighboring Patching Mixer) voor, een hiërarchische architectuur ontworpen om multi-schaal temporele dynamiek en kruiskanaalcorrelaties te vangen zonder de redundantie van dichte schuifvensters. Het raamwerk bestaat uit drie kerncomponenten:

1. Leerbare Stationaire Wavelet Transformatie (LSWT)

In plaats van vaste basisfuncties (zoals Haar of Daubechies) of standaard DWT, maakt NPMixer gebruik van een Leerbare Stationaire Wavelet Transformatie.

Mechanisme: Het model optimaliseert filtercoëfficiënten ( $h_0, h_1$ ) tijdens het trainen via backpropagation, waardoor de decompositie zich dynamisch kan aanpassen aan de specifieke spectrale kenmerken van de data.
Stationariteit: In tegenstelling tot DWT, laat de Stationaire Wavelet Transformatie (SWT) downsampling achterwege. Dit behoudt de oorspronkelijke reekslengte en handhaaft translatie-invariantie, zodat verschuivingen in het signaal de kenmerkrepresentatie niet veranderen.
Decompositie: De invoer wordt gedecomposeerd in een globale benaderingscoëfficiënt ( $A_M$ , die de trend vertegenwoordigt) en multi-schaal detailcoëfficiënten ( $\{D_m\}$ , die hoogfrequente fluctuaties vertegenwoordigen).

2. Kanaal-mixende Encoder

Deze component wordt uitsluitend toegepast op de detailcoëfficiënten (hoogfrequente componenten).

Architectuur: Door een omgekeerde architectuur te adopteren die lijkt op iTransformer, behandelt het model de volledige terugkijkreeks van elke variabele als een distinct token.
Functie: Een Multi-Head Self-Attention (MSA) mechanisme modelleert paarwise correlaties tussen variabelen en leert een dynamisch graf van multivariate interacties. Dit stelt het model in staat hoogfrequente kenmerken te verfijnen op basis van de staat van gecorreleerde variabelen.
Uitsluiting: De benaderingsvertakking (trend) omzeilt deze encoder om de gladde, univariate trajectorie van de globale trend te behouden zonder ruis in te brengen door kruiskanaal-mixing.

3. Neighboring Mixer Block

Dit is de kerninnovatie voor het vangen van temporele afhankelijkheden, waarbij een niet-overlappende patching-strategie wordt gebruikt.

Niet-overlappende Patching: De reeks wordt verdeeld in niet-overlappende patches van lengte $P$ .
Hiërarchische Koppeling: Het model hanteert een iteratieve "Group-Mix-Dissolve"-strategie. Op elk hiërarchieniveau worden aangrenzende temporele blokken gekoppeld en verwerkt via een diepe Multi-Patch MLP om relationele kenmerken te leren.
Asymmetrische Update: Om aan te sluiten bij de temporele structuur van voorspelling, gebruikt het model een leerbare poort ( $\alpha_k$ ) om een directionele bias af te dwingen. Het initiële blok update op basis van toekomstgerichte signalen (interactie met het volgende blok), terwijl daaropvolgende blokken prioriteit geven aan historische continuïteit (integratie vanuit de voorgaande context).
Progressie: Door recursieve koppeling breidt het receptieve veld zich efficiënt uit, waarbij men overgaat van het leren van lokale granulaire kenmerken naar het vangen van globale reeks-brede patronen zonder de rekenkosten van overlappende strides.

4. Reconstructie en Projectie

De verwerkte kenmerken worden gereconstrueerd via een Leerbare Inverse SWT (LISWT) en doorgegeven aan een Laatste Projectielaag (een globale bottleneck-transformatie) om de voorspelling te genereren. De uitvoer ondergaat RevIN-de-normalisatie om de oorspronkelijke schaal te herstellen.

Belangrijkste Bijdragen

Recursieve Patch Aggregatie: Het artikel toont aan dat het hiërarchisch aggregeren van niet-overlappende patches effectief de overgang van lokale details naar globale afhankelijkheden vangt, wat de representatie van multi-schaal dynamiek verrijkt.
Frequentiedomein Multi-Schaal Leren: De auteurs tonen aan dat het uitvoeren van multi-schaal leren binnen het frequentiedomein (via LSWT) cruciaal is voor het vangen van precieze temporele dynamiek over verschillende resoluties.
State-of-the-Art Architectuur: NPMixer wordt voorgesteld als een eenvoudige maar effectieve architectuur die state-of-the-art resultaten bereikt op diverse multivariate tijdsreeksdatasets voor langetermijnvoorspellingstaken.

Experimentele Resultaten

Het model werd geëvalueerd op zeven benchmarkdatasets (ETTh1, ETTh2, ETTm1, ETTm2, Weather, Electricity, Traffic) tegenover zes state-of-the-art baselines (SimpleTM, TimeXer, CrossGNN, iTransformer, PatchTST, TimeMixer).

Prestaties: NPMixer presteerde consistent beter dan de baselines, met de beste Mean Squared Error (MSE) in 20 van de 28 geëvalueerde experimentele opstellingen (71,4%) en de beste Mean Absolute Error (MAE) in 18 opstellingen.
Specifieke Winsten: Opmerkelijke verbeteringen werden waargenomen op de ETTm1- en ETTm2-datasets, waarbij NPMixer de gemiddelde MSE met 4,98% verbeterde ten opzichte van de op één na beste variant (SimpleTM).
Ablatiestudies:
- Het verwijderen van de Neighboring Mixer (vervangen door een single-patch mixer) veroorzaakte een aanzienlijke prestatiedaling (bijv. een toename van de MSE met 18,01% op de Traffic-dataset), wat de noodzaak van hiërarchische koppeling benadrukt.
- Het verwijderen van de Kanaal-mixende Encoder leidde tot een toename van de MSE met 17,19% op de hoogdimensionale Traffic-dataset, wat het belang bevestigt van expliciete modellering van kruiskanaalcorrelaties in het frequentiedomein.
- Het Leerbare aspect van de wavelettransformatie leverde consistente winst op, met name op de ETTm1- en Weather-datasets.
Analyse van Terugkijkvenster: NPMixer toonde robuustheid bij langere terugkijkvensters, met de beste resultaten in 5 van de 7 datasets wanneer venstergroottes werden geoptimaliseerd, wat suggereert dat het model effectief gebruikmaakt van rijkere historische informatie.

Betekenis en Claims

Het artikel claimt dat NPMixer een nieuwe state-of-the-art vestigt voor multivariate tijdsreeksvoorspelling door leerbare spectrale decompositie te synergeren met hiërarchische temporele mixing.

Efficiëntie versus Redundantie: Door het gebruik van niet-overlappende patches en hiërarchische koppeling, vangt het model multi-schaal representaties zonder de rekenredundantie die inherent is aan overlappende schuifvensters.
Stabiliteit en Precisie: De integratie van LSWT stelt het model in staat specifieke periodieke patronen en ruispatronen onafhankelijk te isoleren en te verwerken, terwijl de Kanaal-mixende Encoder ervoor zorgt dat kruisvariabele correlaties worden vastgelegd zonder de globale trend te destabiliseren.
Toekomstperspectief: De auteurs erkennen beperkingen met betrekking tot strikte invoerlengtebeperkingen (door exponentiële blokgrootte) en gevoeligheid voor de initiële patchgrootte. Zij stellen toekomstig werk voor op het gebied van flexibele, lengte-adaptieve patching en dynamische filteradaptatie om niet-stationaire conceptdrift te hanteren.

Het werk wordt gepositioneerd als een stap voorwaarts in het modelleren van complexe temporele dynamiek, met potentieel positieve maatschappelijke impact op energiegridoptimalisatie, weersvoorspelling en logistieke planning door verbeterde voorspellingnauwkeurigheid.