KFS: KAN based adaptive Frequency Selection learning architecture for long term time series forecasting

Dit artikel introduceert KFS, een effectief architectuur voor langetermijnvoorspelling van tijdreeksen die, geïnspireerd door Kolmogorov-Arnold Networks en Parsevals theorema, ruisreductie en complexe patroonmodellering aanpakt via een FreK-module voor adaptieve frequentieselectie en een KAN-gebaseerde representatie.

De kern

Stel je voor dat je probeert het weer te voorspellen, of hoe druk het zal zijn op de snelweg morgen. Je kijkt naar een berg data: temperaturen, windstoten, auto's die passeren. Maar deze data is niet schoon en helder; het is als een radio die door veel ruis (krakende stemmen, statische geluiden) wordt verstoord. Bovendien zit er in die data een heel complex patroon: er zijn snelle schommelingen (zoals een plotselinge windstoot) en trage, grote trends (zoals de overgang van zomer naar winter).

De meeste bestaande computerprogramma's voor voorspellingen zijn als een luie luisteraar: ze proberen het hele geluid op te vangen, inclusief de ruis, en raken daardoor in de war. Ze zien het patroon niet goed omdat het ruis te hard is.

KFS (KAN based adaptive Frequency Selection) is een nieuwe, slimme manier om naar die data te kijken. De auteurs van dit paper hebben een architectuur bedacht die werkt als een super-gevoelige radio met een slimme geluidsreductie.

Hier is hoe het werkt, stap voor stap, in simpele taal:

1. De "Ruisfilter" (FreK Module)

Stel je voor dat je een oude plaat hebt die krast. Je wilt alleen de muziek horen, niet de krassen.

• Het probleem: In tijdreeksen zit ruis op verschillende "frequentie-niveaus". Sommige ruis is heel luid, andere is zacht maar verstoort toch.
• De oplossing van KFS: De eerste stap is een module genaamd FreK. Deze module kijkt niet naar de data in de tijd (bijvoorbeeld: "hoe was het weer om 10:00 uur?"), maar verandert de data in een muziekpartituur (frequentiedomein).
• De truc: In die partituur ziet de computer welke "noten" (frequenties) het hardst klinken (de meeste energie hebben). De ruis is vaak zacht en verspreid. KFS kiest alleen de top-K (de sterkste) noten en gooit de rest weg.
• Het resultaat: De data wordt "ontstoord". Het is alsof je de krassen van de plaat verwijdert en alleen de heldere muziek overhoudt.

2. De "Slimme Leraar" (KAN)

Nu heb je schone data, maar die data is nog steeds ingewikkeld. Je hebt een slimme manier nodig om de patronen te leren.

• Het oude probleem: Traditionele AI-modellen (zoals MLP's) gebruiken vaste regels om patronen te herkennen. Het is alsof je een kind leert rekenen met alleen vaste sommen; het kan lastige, nieuwe patronen niet goed aan.
• De oplossing van KFS: Hier komt KAN (Kolmogorov-Arnold Network) om de hoek kijken. In plaats van vaste regels, heeft KAN leerbare regels.
• De analogie: Stel je voor dat een traditioneel model een stempel is die je op papier drukt. Een KAN is meer als een kunstenaar met een penseel die zijn stijl aanpast aan precies wat hij ziet. Hij kan zich aanpassen aan de specifieke vorm van de data, of die nu krom of recht is. Dit maakt het veel beter in het begrijpen van complexe patronen in de tijd.

3. De "Tijdsynchronisatie" (Mixing Block)

Je hebt nu schone data en een slimme leraar, maar er is nog een probleem: de data komt in verschillende "groottes" of schalen.

• Het probleem: Soms wil je het patroon van een uur zien, soms van een hele dag. Als je deze verschillende schalen door elkaar gooit, raakt de computer de draad kwijt.
• De oplossing: KFS gebruikt een Mixing Block. Dit is als een orkestleider.
  • De orkestleider zorgt dat de snelle violen (korte termijn data) en de trage contrabassen (lange termijn data) perfect op elkaar inspelen.
  • Hij zorgt ook dat ze weten wanneer ze moeten spelen (tijd-stempels). Zonder dit zou de contrabas denken dat hij nu moet spelen, terwijl het eigenlijk morgen is.
  • Door alles perfect te synchroniseren, ontstaat er één helder beeld van wat er gaat gebeuren.

Waarom is dit zo goed?

De auteurs hebben dit systeem getest op echte data, zoals energieverbruik, weer en verkeersstromen.

• Resultaat: KFS is sneller en nauwkeuriger dan de huidige beste methoden (zoals TimeMixer of PatchTST).
• Efficiëntie: Het is alsof je een Ferrari bouwt die minder benzine verbruikt dan een oude bus. Het doet meer werk met minder rekenkracht.

Samenvattend

KFS is als een slimme geluidstechnicus die:

1. De ruis uit de opname filtert door alleen de sterkste signalen te houden.
2. Gebruikt maakt van een kunstzinnige leraar (KAN) die zich aanpast aan de muziek.
3. Een orkestleider is die zorgt dat alle instrumenten (verschillende tijdschalen) perfect samen spelen.

Het resultaat is een voorspelling die niet alleen kijkt naar het verleden, maar de echte patronen begrijpt, zonder zich te laten verstoren door de chaos van de dagelijkse ruis.

Technische samenvatting

Probleemstelling

Tijdreeksvoorspelling (Time Series Forecasting - TSF) in de echte wereld wordt geconfronteerd met twee fundamentele uitdagingen:

1. Ruisinterferentie over schalen: Realistische tijdreeksen bevatten ruis die op verschillende schalen (frequenties) aanwezig is. Bestaande methoden die tijdreeksen decomponeren in trend- en seizoenscomponenten (zoals TimeMixer of FEDformer), splitsen de data vaak direct in subreeksen. Hierdoor behouden deze subreeksen aanzienlijke ruis, wat leidt tot suboptimale representaties.
2. Heterogene informatieverdeling: Niet alle frequentiecomponenten dragen evenveel bij aan de voorspelling. Frequenties met een lage amplitude hebben vaak een slechter signaal-ruisverhouding (SNR), wat de modelprestaties negatief beïnvloedt.
3. Representatiecapaciteit: Traditionele MLP's (Multi-Layer Perceptrons) in diepe leermodellen hebben beperkte flexibiliteit om complexe, niet-lineaire patronen in tijdsdata te modelleren vergeleken met nieuwere architecturen.

Het paper stelt dat er een behoefte is aan een framework dat ruis effectief filtert door selectie op basis van energie, terwijl het tegelijkertijd een krachtig mechanisme biedt voor het leren van temporele patronen.

Methodologie: KFS Architectuur

De auteurs stellen KFS (KAN based adaptive Frequency Selection) voor, een architectuur die Kolmogorov-Arnold Networks (KAN) combineert met adaptieve frequentieselectie. De architectuur bestaat uit de volgende kerncomponenten:

1. Multi-Schaal Decompositie:
   De invoertijdreeks wordt via gemiddelde pooling (downsampling) opgesplitst in meerdere schalen (van fijnkorrelig tot grofkorrelig). Dit stelt het model in staat om patronen op verschillende tijdschalen te analyseren.

2. FreK Module (Frequency K-top Selection):
   Dit is het centrale denoising-component, gebaseerd op het Parseval-theorema (energiebehoud tussen tijd- en frequentiedomein).

   • Frequentieband Selectie (FBS): De tijdreeks wordt getransformeerd naar het frequentiedomein (via FFT). Vervolgens worden de frequentiebanden gesorteerd op basis van hun energieverdeling.
   • Top-K Selectie: Alleen de top-K frequentiebanden met de hoogste energie worden geselecteerd. Dit filtert ruis uit (die vaak verspreid is over lage-energie frequenties) en reconstrueert de tijdreeks met een hoge signaal-ruisverhouding.
   • Adaptieve Embedding (AE): De gereconstrueerde data wordt verrijkt met een leerbare parameter per variabele om dataset-specifieke kenmerken te leren.
   • KAN Representatie: In plaats van een standaard MLP, wordt een Group-Rational KAN gebruikt om de intrinsieke temporele patronen van de gedenoiste data te leren. KAN's gebruiken leerbare activatiefuncties (rationale functies) in plaats van vaste functies, wat zorgt voor betere fitting en interpretatie.

3. Mixing Block (Fusie):

   • Tijdstempel Embedding: Om de fysieke periodiciteit (dag, maand, jaar) te vangen, worden tijdstempels lineair geëmbed. Deze embedden worden gesynchroniseerd met de schaal van de data (via downsampling van de tijdstempel).
   • Feature Mixing: De temporele representaties uit de FreK-modules (op verschillende schalen) worden gefuseerd met de tijdstempel-embeddings. Hiervoor wordt een KAN-laag gebruikt in plaats van een MLP, wat de niet-lineaire interacties tussen schalen en tijd beter modelleert.
   • Output: De gefuseerde features worden gemiddeld en via een lineaire laag geprojecteerd naar de voorspellingshorizon.

4. Verliesfunctie:
   Het model gebruikt een hybride verliesfunctie bestaande uit:

   • MSE (Mean Squared Error): Voor de nauwkeurigheid in het tijddomein.
   • Frequentiedomein Alignement ($L_F$): Een term die de alignatie van de top-K dominante frequenties tussen de voorspelling en de werkelijkheid forceert. Dit helpt bij het vastleggen van macro-trends.

Belangrijkste Bijdragen

• Energie-gedreven Frequentie Selectie: Een nieuwe methode (FreK) die ruis effectief reduceert door alleen de frequentiebanden met de hoogste energie te selecteren, gebaseerd op het Parseval-theorema.
• Integratie van KAN in TSF: Het is een van de eerste werken dat Kolmogorov-Arnold Networks succesvol toepast voor tijdreeksvoorspelling, bewijzend dat KAN's superieure representatiekracht hebben ten opzichte van traditionele MLP's voor temporele data.
• Multi-Schaal Synchronisatie: Een innovatieve "Mixing Block" die temporele representaties op verschillende schalen synchroniseert met bijbehorende tijdstempel-embeddings, wat de modellering van complexe temporele afhankelijkheden verbetert.
• State-of-the-Art Prestaties: Het bereiken van SOTA-resultaten op meerdere real-world datasets met een relatief eenvoudige en efficiënte architectuur.

Resultaten

De auteurs hebben KFS getest op zes real-world datasets (waaronder ETT-series, Electricity en Weather) en vergeleken met toonaangevende modellen zoals PatchTST, TimeMixer, iTransformer en TimesNet.

• Voorspellingsnauwkeurigheid: KFS behaalde de beste resultaten (laagste MSE en MAE) op de meeste datasets, met name op de ETT-datasets en Weather. Op de Electricity-dataset presteerde het zeer goed, hoewel TimeXer daar lichtjes beter scoorde vanwege zijn sterke cross-attention mechanisme voor inter-kanaal relaties.
• Ablatie Studies:
  • Het vervangen van KAN door een standaard MLP resulteerde in een duidelijke prestatiedaling, wat de superioriteit van KAN voor deze taak bevestigt.
  • Het verwijderen van tijdstempel-embeddings leidde tot slechtere prestaties, vooral op datasets met sterke periodieke patronen (zoals ETTh2).
  • De energie-threshold ($\delta$) voor frequentieselectie bleek optimaal bij 0.9, wat aantoont dat het filteren op energie effectief is.
  • Vergelijking met andere filters (Gaussisch, gemiddeld) toonde aan dat de Top-K selectie strategie superieur is in het verminderen van ruis.
• Efficiëntie: KFS is uiterst efficiënt. Het verbruikt minder geheugen (116 MB) en heeft een lagere trainingstijd per stap (21 ms) dan veel Transformer- en CNN-gebaseerde modellen, ondanks de toevoeging van FFT-bewerkingen.

Betekenis

Dit paper is significant omdat het een brug slaat tussen twee krachtige concepten: frequentiedomein analyse voor ruisreductie en Kolmogorov-Arnold Networks voor geavanceerde functionele fitting.

1. Het biedt een oplossing voor het "suboptimale" probleem van bestaande multi-schaal methoden die ruis niet effectief filteren.
2. Het valideert KAN als een krachtig alternatief voor MLP's in de tijdreeksvoorspelling, wat een nieuwe richting opent voor toekomstig onderzoek.
3. De architectuur is zowel nauwkeurig als computerefficiënt, wat het zeer geschikt maakt voor praktische toepassingen in sectoren zoals financiën, verkeerscontrole en weervoorspelling.

KFS demonstreert dat het zorgvuldig filteren van data op basis van fysieke principes (energie/frequentie), gecombineerd met flexibele neurale netwerken, leidt tot robuustere en nauwkeurigere voorspellingen op de lange termijn.