MoHETS: Long-term Time Series Forecasting with Mixture-of-Heterogeneous-Experts

Het artikel introduceert MoHETS, een encoder-only Transformer-model dat gebruikmaakt van een mengsel van heterogene experts en exogene covariaten om de prestaties van lange-termijn multivariate tijdreeksvoorspelling aanzienlijk te verbeteren door complexe tijdsdynamieken en niet-stationaire patronen effectiever te modelleren dan bestaande methoden.

De kern

Stel je voor dat je een weerman bent, maar dan voor heel veel verschillende dingen tegelijk: het energieverbruik van een stad, de verkeersdrukte op snelwegen, en de temperatuur in de lucht. Je moet niet alleen zeggen wat er morgen gebeurt, maar ook wat er over een maand of zelfs een jaar te verwachten is. Dat is lastig, want het weer en het verkeer veranderen constant, hebben hun eigen ritmes (zoals de ochtendspits of zomervakanties) en worden beïnvloed door dingen die je niet direct ziet (zoals een feestdag of een storm).

Deze paper introduceert MOHETS, een slimme computer die deze moeilijke voorspellingen veel beter maakt dan de oude methoden. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De "Eén-voor-Alles" fout

Vroeger gebruikten computers één soort brein (een standaard algoritme) om alles te analyseren. Het is alsof je probeert een symfonie te spelen met alleen maar een hamer. Je kunt er wel een ritme op slaan, maar je mist de delicate melodieën en de diepe bas.

• De hamer: Kan goed met grote, langzame trends omgaan (zoals "het wordt steeds warmer in de zomer").
• De viool: Is nodig voor snelle, kleine schommelingen (zoals "er is nu een plotselinge piek in stroomverbruik").
  Oude modellen probeerden alles met één "hamer" te doen, waardoor ze veel fouten maakten.

2. De oplossing: Een team van specialisten (MoHE)

MOHETS lost dit op door een team van specialisten in te huren, in plaats van één alleskunner. Dit noemen ze een "Mixture of Heterogeneous Experts" (een mengsel van verschillende experts).

Stel je een grote fabriek voor waar een product (de voorspelling) wordt gemaakt. In plaats dat elke werknemer exact hetzelfde doet, heeft MOHETS drie soorten werknemers:

• De "Stroomlijn-expert" (Convolutie): Deze kijkt naar het grote plaatje. Hij ziet de lange lijnen en de continue stroom. Hij zorgt dat de voorspelling logisch blijft: als het vandaag warm is, is het morgen waarschijnlijk ook nog warm, niet koud. Hij houdt de "stroom" in de gaten.
• De "Ritme-expert" (Fourier): Deze is gespecialiseerd in patronen en ritmes. Hij ziet de herhalingen: "Elke maandag is er drukte," of "Elke avond om 18:00 uur piekt het verkeer." Hij is goed in het vinden van die snelle, cyclische patronen.
• De "Manager" (Router): Dit is de slimme schakelaar. Hij kijkt naar elk stukje data en zegt: "Hey, dit stukje is een lange trend, ga naar de Stroomlijn-expert!" of "Dit stukje is een snel ritme, ga naar de Ritme-expert!"

Door deze specialisten te laten samenwerken, begrijpt MOHETS zowel de lange termijn als de korte termijn perfect.

3. De externe hulp: De "Weerberichtjes"

Soms is het niet genoeg om alleen naar het verleden te kijken. Soms moet je weten dat er morgen een feestdag is, of dat er een orkaan aankomt.
MOHETS heeft een speciale ingang voor externe informatie (zoals de kalender of weersvoorspellingen). Het is alsof de computer een notitieblok heeft waarop staat: "Morgen is het 1 mei, dus de winkels zijn gesloten." Hierdoor kan het model veel beter voorspellen hoe het verkeer of de energie zal lopen, zelfs als het verleden anders was.

4. De slimme uitwerking: Geen zware machines

Oude modellen waren vaak zwaar en traag, alsof je een vrachtwagen gebruikt om een postzegel te bezorgen. MOHETS gebruikt een lichtgewicht decoder. In plaats van een zware, dure machine te bouwen die alles uitrekent, gebruikt het een slimme, snelle manier om de resultaten op papier te zetten. Dit maakt het model sneller, goedkoper en zorgt dat het niet "vergeetachtig" wordt bij het maken van voorspellingen.

Het resultaat: Een voorspeller die niet faalt

In tests heeft MOHETS laten zien dat het veel nauwkeuriger is dan de beste modellen die we nu hebben. Het maakt gemiddeld 12% minder fouten.

• Het werkt goed voor stroomnetten, verkeer, weer en gezondheid.
• Het kan voorspellingen maken voor de komende uren, dagen of zelfs maanden, zonder dat het zijn focus verliest.

Kort samengevat:
MOHETS is als een super-voorspeller die niet één brein heeft, maar een heel team van experts. Er is iemand die goed is in lange lijnen, iemand die goed is in ritmes, en een manager die ze precies op het juiste moment inzet. Plus, hij leest de krant (externe info) mee om zeker te weten dat hij rekening houdt met feestdagen en stormen. Het resultaat is een voorspelling die veel betrouwbaarder is dan wat we tot nu toe konden doen.

Technische samenvatting

1. Het Probleem

Real-world multivariate tijdsreeksen vertonen complexe, multi-schaal structuren, waaronder globale trends, lokale periodiciteiten en niet-stationaire regimes. Het voorspellen van deze reeksen op lange termijn is uitdagend vanwege:

• Heterogene dynamiek: Traditionele modellen (zoals standaard Transformers) gebruiken vaak homogene MLP-experts (Feed-Forward Networks) voor alle tokens. Dit is suboptimaal omdat het vereist dat één architectuur zowel hoge-frequentie lokale variaties als lage-frequentie globale trends kan modelleren.
• Schalingsproblemen: Bestaande Mixture-of-Experts (MoE) benaderingen, overgenomen uit taalmodellen (LLMs), gebruiken vaak identieke MLP-experts. Dit negeert de signaalverwerkingsaard van tijdsreeksen, waarbij gespecialiseerde operatoren (zoals convoluties voor continuïteit en Fourier-transformaties voor periodiciteit) wiskundig superieur zijn aan generieke MLP's.
• Niet-stationariteit: Exogene invloeden (zoals weer of kalenders) worden vaak slecht geïntegreerd, wat leidt tot onnauwkeurigheden bij veranderende distributies.
• Instabiliteit en efficiëntie: Zware lineaire projectiehoofden voor de output leiden tot parameter-explosie en training-instabiliteit, vooral bij lange forecast-horizons.

2. Methodologie: MOHETS

MOHETS is een Encoder-only Transformer-architectuur die speciaal is ontworpen voor lange-termijn voorspelling door gebruik te maken van een Mixture-of-Heterogeneous-Experts (MoHE) strategie. De kerncomponenten zijn:

• Invoer-Embedding en Patching:

  • De invoer wordt opgesplitst in niet-overlappende "patches" (subreeksen) om de kwadratische complexiteit van de attention-mechanismen te verminderen en lokale ruis te aggregeren.
  • Instance Normalisatie wordt toegepast om distributieshifts in niet-stationaire data te mitigeren.
  • Rotary Position Embeddings (RoPE) vervangen additieve posities, wat beter extrapoleert naar onzichtbare toekomstige horizons.

• Multimodale Cross-Attention:

  • Een module die exogene covariaten (bijv. kalendervakjes, weergegevens) integreert via cross-attention.
  • Covariaten worden gepatcht en als 'keys' en 'values' gebruikt, terwijl de endogene tijdsreeks als 'query' dient. Dit stelt het model in staat om semantische context (zoals "feestdagen") dynamisch af te wegen op basis van de huidige staat.

• Mixture-of-Heterogeneous-Experts (MoHE) Laag:
  Dit is de kerninnovatie. In plaats van homogene MLP's, combineert deze laag twee soorten experts die gespecialiseerd zijn in verschillende tijdsdomeinen:

  1. Gedeelde Expert (Shared Expert): Een Depthwise Convolution (DwConvFFN). Deze is altijd actief en werkt op sequentieniveau om globale trends en tijdscontinuïteit te modelleren.
  2. Gerouteerde Experts (Routed Experts): Een set van Fourier-based Networks (FA-FFN). Deze worden dynamisch geselecteerd door een router (Top-k) voor specifieke patches. Ze werken in het frequentiedomein om lokale periodiciteiten en snelle variaties te isoleren, waar standaard MLP's vaak falen door spectrale bias.
  • Werkingsprincipe: De router leert om tijdsdelen met transient ruis of korte periodiciteit naar de Fourier-experts te sturen, terwijl persistente trends naar de convolutie-expert gaan.

• Output Patch Decoder:

  • In plaats van zware lineaire projectiehoofden, gebruikt MOHETS een lichtgewicht convolutie-decoder.
  • Dit behoudt de lokale temporele structuur van de patches, vermindert het aantal parameters aanzienlijk en stabiliseert de training.
  • Het model ondersteunt flexibele output-resoluties zonder opnieuw getraind te hoeven worden.

• Trainingsdoel:

  • Gebruik van Huber Loss in plaats van MSE om robuust te zijn tegen uitschieters (outliers).
  • Een auxiliary load balancing loss om te voorkomen dat de router collapseert naar één enkele expert (routing collapse), wat zorgt voor een evenwichtige verdeling van de trainingstaken.

3. Belangrijkste Bijdragen

1. MoHE Architectuur: Introductie van een Mixture-of-Heterogeneous-Experts die architecturaal verschillende operatoren (Convolutie en Fourier) combineert binnen een Transformer, specifiek afgestemd op de intrinsieke decompositie van tijdsreeksdata (trend vs. periodiciteit).
2. Multimodale Integratie: Een effectieve cross-attention module die exogene covariaten naadloos integreert, waardoor het model robuuster wordt tegen niet-stationaire dynamiek.
3. Efficiënte Decoder: Vervanging van parameter-zware lineaire heads door een convolutie-decoder, wat leidt tot betere parameter-efficiëntie en trainingstabiliteit.
4. State-of-the-Art Prestaties: Het bewijzen dat een encoder-only model met deze specifieke heterogene specialisatie superieur is aan bestaande decoder-only en homogene MoE-modellen.

4. Resultaten

MOHETS werd geëvalueerd op 7 multivariate benchmarks (zoals ETTh1/2, ETTm1/2, Weather, ECL, Traffic) over 4 forecast-horizons (96, 192, 336, 720 tijdstappen).

• Overwinning: MOHETS behaalde consistent de beste resultaten (State-of-the-Art) op alle datasets, verslaand sterke baselines zoals TimeXer, SOFTS, iTransformer en TimeMixer.
• Verbetering: Er werd een gemiddelde reductie van 12% in MSE (Mean Squared Error) bereikt ten opzichte van de sterkste recente baselines.
• Ablatie Studies:
  • De combinatie van DwConv en FA-FFN (MoHE) presteerde significant beter dan homogene MoE (alleen MLP) of alleen Fourier-experts.
  • De encoder-only architectuur bleek flexibeler en accurater dan decoder-only varianten voor lange horizons.
  • Het gebruik van covariaten via cross-attention verbeterde de prestaties, vooral op datasets met sterke seizoensinvloeden.
  • De convolutie-decoder leidde tot een stabielere training en minder parameters dan lineaire heads.

5. Betekenis en Impact

Dit paper markeert een verschuiving in het modelleren van tijdsreeksen door te erkennen dat "tijd geen taal is". Het toont aan dat het kopiëren van LLM-architecturen (homogene MLP-experts) niet optimaal is voor tijdsreeksen.

• Architecturale Innovatie: MOHETS introduceert een principe van "structurele arbeidsverdeling" waarbij verschillende neurale netwerken worden ingezet voor verschillende signaalkarakteristieken (trend vs. frequentie).
• Efficiëntie: Door sparsiteit en gespecialiseerde experts te combineren, biedt het een schaalbare oplossing die minder rekencapaciteit vereist dan enorme foundation models, maar wel vergelijkbare of betere prestaties levert.
• Toepasbaarheid: De methode is zeer relevant voor domeinen waar lange-termijn voorspelling cruciaal is, zoals energiebeheer, klimaatmodellering en supply chain management, waar data vaak niet-stationair en multi-schaal is.

Kortom, MOHETS biedt een robuust en schaalbaar raamwerk voor lange-termijn multivariate voorspelling door de inherente heterogeniteit van tijdsreeksdata te respecteren in de modelarchitectuur zelf.