FSMLP: Modelling Channel Dependencies With Simplex Theory Based Multi-Layer Perceptions In Frequency Domain

Dit paper introduceert FSMLP, een nieuw framework voor tijdsreeksvoorspelling dat overfitting bij het modelleren van kanaalafhankelijkheden aanpakt door middel van een Simplex-MLP-laag, gebaseerd op Rademacher-complexiteitstheorie, wat leidt tot verbeterde nauwkeurigheid en schaalbaarheid op zeven benchmarkdatasets.

De kern

Stel je voor dat je een weerman bent die probeert te voorspellen hoe het weer de komende week zal zijn. Je hebt niet één thermometer, maar honderden: voor temperatuur, wind, luchtvochtigheid, luchtdruk, en nog veel meer. In de wereld van data noemen we dit tijdreeksvoorspelling.

Het probleem is dat computers (specifiek een type neurale netwerken genaamd MLP's) vaak te enthousiast worden. Ze proberen zo'n perfect patroon te vinden in al die honderden sensoren, dat ze eigenlijk "uit het hoofd leren" wat er in het verleden is gebeurd, inclusief alle rare uitschieters en ruis. Dit noemen we overfitting. Het is alsof een student die voor een examen leert, niet de theorie begrijpt, maar alleen de antwoorden van de vorige examens uit het hoofd leert. Als de vragen dan net iets anders zijn, faalt de student.

De auteurs van dit paper, FSMLP, hebben een slimme oplossing bedacht om dit probleem op te lossen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Gierige" Computer

Stel je voor dat je een groep vrienden (de verschillende sensoren) vraagt om samen een maaltijd te plannen. Een normale computer (een standaard MLP) zou zeggen: "Oké, we gaan 99% van het geld uitgeven aan één heel duur gerecht en 1% aan de rest!"
Dit gebeurt omdat er soms rare, extreme waarden in de data zitten (bijvoorbeeld een temperatuursensor die per ongeluk 1000 graden aangeeft). De computer denkt: "Oh, dit is belangrijk!" en past zijn hele strategie daarop aan. Het resultaat? Een voorspelling die perfect is voor het verleden, maar totaal fout is voor de toekomst.

2. De Oplossing: De "Eerlijke Verdeling" (Simplex-MLP)

De auteurs introduceren een nieuwe regel, gebaseerd op wiskunde die ze Simplex-theorie noemen. Laten we het vergelijken met het verdelen van een taart.

In de nieuwe Simplex-MLP is er een strikte regel: *"Je mag de taart verdelen, maar je moet zorgen dat:

1. Iedereen een stuk krijgt (geen negatieve stukken).
2. De som van alle stukken precies één hele taart is."*

Dit klinkt simpel, maar het is revolutionair. Door de computer te dwingen om de "taart" (de invloed van de verschillende sensoren) eerlijk te verdelen, kan hij niet meer alles op één sensor zetten. Hij wordt gedwongen om simpelere, robuustere patronen te leren in plaats van te reageren op extreme uitschieters. Het is alsof je de computer vertelt: "Wees niet gierig, wees eerlijk." Hierdoor wordt hij veel minder snel "ziek" van de ruis in de data.

3. De Twee Delen van het Geniale Plan

Het FSMLP-systeem werkt in twee stappen, alsof het een tweestapsdans is:

• Stap 1: De Groepsdiscussie (Simplex Channel-Wise MLP)
  Eerst kijken de sensoren naar elkaar. Ze praten met elkaar over hoe ze met elkaar samenwerken. Maar ze doen dit volgens de "Eerlijke Verdeling"-regel (de Simplex). Ze leren hoe de wind de temperatuur beïnvloedt, zonder dat één sensor de hele discussie overneemt.
• Stap 2: De Muziek van de Tijd (Frequency Temporal MLP)
  Vervolgens kijken ze niet meer naar de ruwe data, maar naar de muziek erachter. In plaats van naar elke individuele noot te kijken, kijken ze naar de melodie en het ritme. Ze zetten de data om in frequenties (zoals een geluidsgolf).
  • Waarom? Omdat patronen in de tijd (zoals "het is elke ochtend koud") in de frequentie-ruimte veel duidelijker en rustiger zijn dan in de ruwe data. Het is makkelijker om een ritme te horen dan om naar een wirwar van noten te kijken.

4. Waarom werkt dit zo goed?

De auteurs hebben bewezen met wiskunde dat deze "Eerlijke Verdeling" (Simplex) de kans dat de computer fouten maakt, drastisch verkleint.

• Minder Overfitting: De computer leert de echte regels van het spel, niet de toevalligheden.
• Sneller: Omdat het systeem simpeler is, moet het minder rekenkracht gebruiken. Het is als een raceauto die minder brandstof verbruikt maar sneller gaat.
• Beter op grote schaal: Of je nu 10 sensoren hebt of 800 (zoals bij verkeersdata), dit systeem werkt even goed.

Samenvattend

Stel je voor dat je een team van voorspellers hebt.

• De oude manier: Ze proberen elk detail uit het hoofd te leren, raken in paniek bij een rare uitschieter en maken grote fouten.
• De FSMLP-methode: Ze hebben een strenge, eerlijke leider (de Simplex-regel) die zegt: "Verdeel de aandacht gelijkmatig." Ze luisteren ook naar de onderliggende ritmes van de data (de frequentie) in plaats van naar de ruis.

Het resultaat? Voorspellingen die betrouwbaarder zijn, sneller worden berekend en minder snel "dwaas" worden door rare data. Of het nu gaat om het voorspellen van energieverbruik, webverkeer of het weer, deze methode zorgt dat de computer weer slim en nuchter blijft.

Technische samenvatting

Titel: FSMLP: Modelleren van Kanaal-afhankelijkheden met Simplex-theorie gebaseerde Multi-Layer Perceptrons in het Frequentiedomein

1. Het Probleem

Tijdreeksvoorspelling (Time Series Forecasting - TSF) is essentieel in diverse domeinen zoals energieverbruik, webdata-analyse en weersvoorspelling. Hoewel Multi-Layer Perceptrons (MLP's) lichtgewicht en effectief zijn voor het vastleggen van temporale afhankelijkheden, kampen ze met een significant probleem bij het modelleren van inter-kanaal afhankelijkheden (relaties tussen verschillende variabelen in multivariate tijdreeksen):

• Overfitting: Kanaal-mixing MLP's (waarbij alle kanalen samen worden verwerkt) zijn zeer gevoelig voor overfitting, vooral in aanwezigheid van extreme waarden (outliers) in de data.
• Rademacher Complexiteit: De auteurs analyseren dit fenomeen met behulp van Rademacher-complexiteitstheorie. Ze stellen vast dat extreme waarden in tijdreeksdata leiden tot een grote norm van de gewichtsvector ($B$) in standaard MLP's. Dit verhoogt de Rademacher-complexiteit, wat betekent dat het model meer neiging heeft om ruis en extreme waarden te memoriseren in plaats van algemene patronen te leren.
• Bestaande methoden: Bestaande modellen zoals TSMixer, TimesNet en Autoformer vertonen vaak een snelle daling in trainingsfout maar een hoge validatiefout, wat duidt op overfitting.

2. Methodologie

De auteurs stellen FSMLP (Frequency Simplex MLP) voor, een nieuw framework dat twee kerninnovaties combineert:

A. Simplex-MLP Laag
Om het overfitting-probleem op te lossen, introduceren ze een nieuwe laag waarbij de gewichten van de MLP worden beperkt tot een standaard n-simplex.

• Definitie: Een standaard n-simplex is de verzameling punten in $\mathbb{R}^{n+1}$ waarbij de som van de coördinaten gelijk is aan 1 en elke coördinaat niet-negatief is ($w_i \geq 0, \sum w_i = 1$).
• Implementatie: De gewichten $W$ worden getransformeerd via een functie $f_{sim}(W)$ die zorgt dat ze binnen deze simplex vallen. Dit wordt bereikt door eerst een transformatie toe te passen (bijv. logaritmisch, absolute waarde of kwadratisch) en vervolgens te normaliseren zodat de som per kolom 1 is.
• Effect: Deze geometrische beperking zorgt ervoor dat het model geen disproportioneel grote gewichten kan toekennen aan specifieke functies of extreme waarden. Dit verlaagt de Rademacher-complexiteit aanzienlijk ten opzichte van standaard MLP's, wat leidt tot betere generalisatie.

B. Architectuur van FSMLP
Het framework bestaat uit twee hoofdmodules die in het frequentiedomein werken:

1. Simplex Channel-Wise MLP (SCWM): Deze module gebruikt de Simplex-MLP om inter-kanaal afhankelijkheden te extraheren. Door in het frequentiedomein te werken, modelleert het de relaties tussen verschillende perioden over de kanalen heen, wat minder ruis introduceert dan directe modellering in het tijdsdomein.
2. Frequency Temporal MLP (FTM): Een eenvoudige maar efficiënte MLP die temporale informatie binnen elk kanaal extrahert.

• Verloop: De invoer wordt eerst omgezet naar het frequentiedomein (via DCT of FFT). Vervolgens worden SCWM en FTM blokken gecascadeerd. De output wordt via een inverse transformatie teruggebracht naar het tijdsdomein voor de uiteindelijke voorspelling.
• Verliesfunctie: Er wordt een hybride verliesfunctie gebruikt: Mean Squared Error (MSE) voor het tijdsdomein en Mean Absolute Error (MAE) voor het frequentiedomein, omdat MAE stabieler is bij variabele grootte van frequentiecomponenten.

3. Belangrijkste Bijdragen

• Theoretische Analyse: Het identificeren van extreme waarden als de hoofdoorzaak van overfitting in kanaal-mixing MLP's, onderbouwd door Rademacher-complexiteitstheorie.
• Novel Operator: De introductie van de Simplex-MLP, een nieuwe laag die gewichten beperkt tot een simplex, wat de Rademacher-complexiteit verlaagt en overfitting onderdrukt.
• Nieuw Framework: De ontwikkeling van FSMLP, een framework dat Simplex-MLP combineert met frequentiedomein-transformaties voor zowel inter-kanaal als temporale afhankelijkheden.
• Generaliseerbaarheid: Het bewijs dat Simplex-MLP niet alleen werkt als standalone model, maar ook bestaande methoden (zoals TSMixer en Autoformer) kan verbeteren wanneer deze erin worden geïntegreerd.

4. Resultaten

De auteurs hebben FSMLP getest op zeven populaire benchmark-datasets (o.a. ETTh1/2, ETTm1/2, Traffic, Weather, ECL) met voorspellingstijden van 96 tot 720 tijdstappen.

• Voorspellingsnauwkeurigheid: FSMLP presteert significant beter dan state-of-the-art modellen (zoals PatchTST, iTransformer, TSMixer, Autoformer, FreTS) op alle datasets. Op complexe datasets zoals 'Traffic' en 'ECL' zijn de verbeteringen in MSE en MAE aanzienlijk.
• Overfitting: Figuur 1 in het paper toont aan dat FSMLP een lage validatiefout behoudt terwijl trainingsfouten dalen, in tegenstelling tot concurrenten die overfitting vertonen.
• Efficiëntie:
  • Inferentie: FSMLP is een van de snelste modellen voor inferentie, vaak sneller dan Transformer-gebaseerde modellen.
  • Training: Het vereist minder geheugen en trainingstijd dan zware modellen zoals iTransformer en TimesNet.
  • Complexiteit: FSMLP heeft een lineaire complexiteit van $O(NL)$ (waarbij $N$ het aantal kanalen en $L$ de lengte is), wat schaalbaar is voor grote datasets, in tegenstelling tot $O(N^2L)$ bij modellen met attention-mechanismen.
• Ablatie-studies: Verwijdering van de Simplex-beperking of frequentie-transformatie leidt tot een significante daling in prestaties, wat de noodzaak van beide componenten bevestigt.
• Schaalbaarheid: Het model presteert stabiel bij het gebruik van gedeeltelijke trainingsdata en bij zeer lange voorspellingstijden (tot 2160 stappen).

5. Betekenis en Impact

Deze paper biedt een fundamentele oplossing voor het overfitting-probleem in MLP's voor tijdreeksvoorspelling. Door de gewichten te beperken tot een simplex, creëren de auteurs een model dat robuust is tegen ruis en extreme waarden, zonder de complexiteit van zware attention-mechanismen.

• Praktische toepasbaarheid: Vanwege de lage rekentijd en het geringe geheugengebruik is FSMLP ideaal voor real-time toepassingen en omgevingen met beperkte resources.
• Algemene geldigheid: De methode is niet beperkt tot één type data; het verbetert de prestaties van diverse bestaande architecturen en werkt goed op zowel eenvoudige als complexe multivariate datasets.
• Toekomstperspectief: Het werk opent de deur voor het gebruik van geometrische beperkingen (zoals simplex-constraints) in andere diepe leerarchitecturen om generalisatie te verbeteren.

Kortom, FSMLP combineert wiskundige theorie (simplex) met signaalanalyse (frequentiedomein) om een efficiënt, schaalbaar en nauwkeurig model te creëren dat de huidige staat van de kunst voor tijdreeksvoorspelling verbetert.