Time series forecasting with Hahn Kolmogorov-Arnold networks

Deze paper introduceert HaKAN, een lichtgewicht en interpreteerbaar model voor multivariate tijdsreeksvoorspelling dat Kolmogorov-Arnold-netwerken met Hahn-polynomen combineert om de beperkingen van Transformers en MLPs te overwinnen en state-of-the-art prestaties te behalen.

De kern

Stel je voor dat je een weerman bent die probeert het weer van de komende week te voorspellen, of een energieleverancier die moet weten hoeveel stroom er morgen nodig is. Dit noemen we tijdreeksvoorspelling. Het is lastig omdat de data (zoals temperatuur of stroomverbruik) niet alleen van gisteren afhangt, maar van patronen die zich over dagen, weken of zelfs jaren herhalen.

De auteurs van dit paper, Md Zahidul Hasan en zijn team, hebben een nieuwe manier bedacht om dit beter te doen dan de huidige beste methoden. Ze noemen hun uitvinding HaKAN.

Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Zware" en de "Stijve" Methoden

Op dit moment gebruiken wetenschappers twee soorten modellen om deze voorspellingen te doen:

• De "Super-Intelligente" (Transformers): Denk aan een detective die elke seconde van de afgelopen maand in detail bekijkt en probeert verbanden te leggen. Dit werkt goed, maar het is extreem zwaar werk. Het kost veel tijd en rekenkracht, net als het proberen te onthouden van elke conversatie die je ooit hebt gehad.
• De "Stijve" (MLP's): Dit zijn modellen die werken met vaste regels. Ze zijn snel en licht, maar ze zijn een beetje dom. Ze kunnen moeilijk complexe, kromme lijnen begrijpen. Het is alsof je probeert een slingerende rivier te beschrijven met alleen rechte lijnen; het lukt niet goed.

2. De Oplossing: HaKAN (De Slimme, Lichte Architect)

HaKAN is een nieuw soort model dat het beste van beide werelden combineert. Het is gebaseerd op iets dat Kolmogorov-Arnold Netwerken (KANs) heet.

De Vergelijking: De Bouwmeester met Magische Spiegels
Stel je een gebouw (je data) voor dat je wilt renoveren.

• Hoe andere modellen werken: Ze gebruiken standaard bakstenen (MLP's) of ze proberen het hele gebouw in één keer te fotograferen en te analyseren (Transformers), wat heel duur is.
• Hoe HaKAN werkt: HaKAN gebruikt Hahn-polynomen. In plaats van vaste bakstenen, gebruikt HaKAN magische, aanpasbare spiegels.
  • Als de data een kromme lijn maakt, buigt de spiegel mee.
  • Als de data scherp omhoog gaat, verandert de spiegel van vorm.
  • Deze "spiegels" leren zichzelf hoe ze het beste moeten buigen om de data perfect te volgen. Dit maakt het model veel flexibeler en slimmer dan de stijve bakstenen, maar veel lichter dan de zware fototoestellen.

3. De Twee Trucs van HaKAN

HaKAN gebruikt twee slimme trucs om zijn werk te doen:

A. De "Patching" (Het Plakken van Foto's)
In plaats van naar elke seconde van de data te kijken, knipt HaKAN de tijd op in stukjes, zoals een fotoalbum.

• Intra-Patch (Binnen de foto): Kijkt naar de details in één stukje. Bijvoorbeeld: "Hoe snel steeg de temperatuur in dit ene uur?" Dit is goed voor kleine, snelle veranderingen.
• Inter-Patch (Tussen de foto's): Kijkt naar de relatie tussen de stukjes. Bijvoorbeeld: "Als het dinsdag warm was, was het dan ook donderdag warm?" Dit vangt de grote, lange trends op.

B. De "Kanaal-Onafhankelijkheid" (Elk Speler voor Zichzelf)
Stel je een orkest voor. Vaak proberen modellen te luisteren naar alle instrumenten tegelijk, wat verwarrend kan zijn. HaKAN laat elk instrument (elk meetpunt, zoals temperatuur, wind en regen) eerst solo spelen.

• Het model kijkt eerst alleen naar de temperatuur, leert haar eigen patroon, en doet daarna hetzelfde voor de wind.
• Pas aan het einde worden de resultaten samengevoegd. Dit voorkomt dat het model door de "ruis" van andere variabelen in de war raakt.

4. Waarom is dit zo goed?

De auteurs hebben HaKAN getest op echte data (zoals elektriciteitsverbruik, verkeersdrukte en ziektecijfers).

• Resultaat: HaKAN was overal beter dan de huidige kampioenen.
• Snelheid: Omdat het geen zware "detective-werk" doet (zoals de Transformers), is het veel sneller en goedkoper om te draaien.
• Begrijpelijkheid: Omdat het gebruikmaakt van wiskundige formules (polynomen) die je kunt uitleggen, kun je beter zien waarom het model een bepaalde voorspelling doet. Het is niet alleen een "zwarte doos".

Samenvatting in één zin

HaKAN is als een slimme, lichte architect die in plaats van zware camera's of stijve bakstenen, magische, aanpasbare spiegels gebruikt om zowel de kleine details als de grote lijnen van de tijd te vangen, waardoor hij de toekomst veel nauwkeuriger kan voorspellen dan wie dan ook.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Time Series Forecasting with Hahn Kolmogorov-Arnold Networks" (HaKAN) in het Nederlands.

1. Probleemstelling

Het voorspellen van meervariabele tijdreeksen (multivariate time series forecasting) is cruciaal in domeinen zoals energie, retail en gezondheidszorg. Bestaande methoden kampen echter met specifieke beperkingen:

• Transformer-modellen: Hoewel ze goed zijn in het vangen van lange-afstand afhankelijkheden, hebben ze een kwadratische complexiteit ($O(L^2)$) ten opzichte van de sequentielengte. Bovendien is hun "permutation-equivariant" aandachtmechanisme in strijd met de causale aard van tijdreeksdata.
• MLP-modellen (Multilayer Perceptrons): Deze zijn computatie-efficiënter maar vertonen "spectrale bias". Dit betekent dat ze moeite hebben met het modelleren van hoogfrequente componenten en niet-lineaire dynamiek, omdat ze voornamelijk afhankelijk zijn van lineaire transformaties.

Het doel is een model te ontwikkelen dat zowel lokaal als globaal temporeel patroon effectief kan modelleren, computatie-efficiënt is en interpreteerbaar blijft.

2. Methodologie: Het HaKAN Framework

De auteurs stellen HaKAN (Hahn Kolmogorov-Arnold Network) voor, een model dat Kolmogorov-Arnold Networks (KANs) combineert met een hiërarchische "patch"-architectuur.

Kerncomponenten:

• Channel Independence: Elk variabele (kanaal) van de multivariate tijdreeks wordt onafhankelijk verwerkt. Dit behoudt de unieke temporele dynamiek van elke variabele en verhoogt de robuustheid.
• Patching: De invoerreeks wordt opgedeeld in "patches" (subreeksen). Dit verbetert de efficiëntie en helpt bij het vangen van lokale semantische informatie.
• Hahn-KAN Blokken: Dit is het hart van het model. In plaats van vaste activeringsfuncties (zoals in MLPs) of B-splines (zoals in standaard KANs), gebruikt HaKAN Hahn-polynomen als leerbare activeringsfuncties.
  • Elk blok bestaat uit twee lagen:
    1. Intra-patch KAN: Vangt lokale patronen binnen een patch (bijv. plotselinge veranderingen).
    2. Inter-patch KAN: Vangt globale temporele patronen over de hele look-back window (cross-patch relaties).
  • Deze lagen zijn verbonden via residu-verbindingen voor stabiliteit.
• Bottleneck Structuur: Na het verwerken door de Hahn-KAN blokken, wordt de output via een bottleneck (twee volledig verbonden lagen: down-projection en up-projection) gemapt naar de voorspellingshorizon. Dit helpt overfitting te voorkomen en verlaagt de rekentijd.
• RevIN (Reversible Instance Normalization): Wordt gebruikt om veranderingen in de data-verdeling over de tijd te normaliseren en te denormaliseren.

Waarom Hahn-polynomen?
In tegenstelling tot standaard KANs die B-splines gebruiken (wat afhankelijk is van een grid-grootte $G$ en complexiteit met zich meebrengt), bieden Hahn-polynomen:

• Geen noodzaak voor grid-discretisatie.
• Een vereenvoudigde tijdscomplexiteit van $O(d_{in}d_{out}d)$, vergelijkbaar met MLPs.
• Significant minder parameters.
• Een gesloten vorm recursierelatie voor snelle evaluatie.

3. Belangrijkste Bijdragen

1. Nieuw Framework: Introductie van HaKAN, een effectief kader voor meervariabele lange-termijn voorspelling dat de expressieve kracht van KANs benut.
2. Novel Architectuur: Ontwerp van een specifiek Hahn-KAN blok dat inter- en intra-patch lagen integreert om zowel globale als lokale temporele patronen tegelijkertijd te vangen.
3. State-of-the-Art Prestaties: Uitgebreide experimenten tonen aan dat HaKAN consistent beter presteert dan recente geavanceerde methoden (zoals PatchTST, iTransformer, TimeKAN) op diverse benchmarks.
4. Efficiëntie en Interpretatie: Het model biedt een lichtgewicht alternatief voor Transformers en MLPs, met behoud van interpretatie door de leerbare activeringsfuncties.

4. Resultaten en Analyse

Het model is getest op standaard datasets: ETT (ETTh1, ETTh2, ETTm1, ETTm2), Weather, Traffic, Electricity en Illness.

• Prestaties: HaKAN behaalde de beste resultaten (laagste MSE en MAE) in 18 van de 32 gevallen voor MSE en 19 van de 32 voor MAE.
  • Op de Illness-dataset werd een relatieve vermindering van de gemiddelde MSE van 8,98% bereikt ten opzichte van de baselines.
  • Op de ETTh2-dataset werd een vermindering van 5,28% in MSE bereikt.
• Vergelijking: HaKAN overtreft zowel Transformer-modellen (door lagere complexiteit en betere causale modellering) als MLP-modellen (door het vermijden van spectrale bias).
• Ablatie Studies:
  • Polynoom Basis: Hahn-polynomen presteerden significant beter dan Lucas, Chebyshev en B-Splines.
  • Aantal Blokken: Een configuratie met 5 blokken ($R=5$) bood de beste balans tussen prestatie en parameter-efficiëntie.
  • Intra vs. Inter-patch: Het verwijderen van de intra-patch laag leidde tot de grootste prestatiedaling, wat aantoont dat het vangen van lokale patronen cruciaal is, hoewel de inter-patch laag (globale context) ook essentieel is.
  • Patch Lengte: Een patch-lengte van $P=16$ bleek optimaal.

5. Betekenis en Toekomst

HaKAN is een significante stap voorwaarts in tijdreeksvoorspelling omdat het de spectrale bias van MLPs oplost en de rekencomplexiteit van Transformers vermijdt. Door gebruik te maken van Hahn-polynomen binnen een KAN-architectuur, biedt het een model dat zowel nauwkeurig, efficiënt en interpreteerbaar is.

Beperkingen:
Het model gaat uit van "channel independence", wat de prestaties kan beperken op datasets met sterke onderlinge correlaties tussen variabelen (zoals de Traffic-dataset).

Toekomstig Werk:
De auteurs plannen om HaKAN te integreren met frequentiedomein-technieken om de modellering van periodieke patronen verder te verbeteren.

Conclusie:
HaKAN bewijst dat Kolmogorov-Arnold Networks, specifiek geoptimaliseerd met Hahn-polynomen, een krachtig en lichtgewicht alternatief zijn voor de huidige dominante architecturen in de tijdreeksvoorspelling.