KFS: KAN based adaptive Frequency Selection learning architecture for long term time series forecasting

Das Paper stellt KFS vor, eine auf Kolmogorov-Arnold-Netzwerken (KAN) basierende Architektur zur adaptiven Frequenzauswahl, die durch spektrale Dominanzfilterung und zeitliche Ausrichtung Rauschen überwindet und damit den State-of-the-Art in der langfristigen Zeitreihenvorhersage erreicht.

Das Wesentliche

Stell dir vor, du versuchst, das Wetter für die nächsten zwei Wochen vorherzusagen. Aber das ist nicht einfach nur „Heute ist es warm". Es ist ein riesiges, chaotisches Orchester, in dem hunderte Instrumente gleichzeitig spielen. Einige spielen eine klare, schöne Melodie (das sind die echten Trends, wie Jahreszeiten), andere spielen ein lautes, nerviges Rauschen (das sind Störungen, Messfehler oder zufälliges Chaos).

Die meisten bisherigen KI-Modelle versuchen, dieses ganze Orchester auf einmal zu hören und zu verstehen. Das Problem: Das Rauschen ertränkt die Melodie, und die KI wird verwirrt.

Hier kommt KFS (KAN-basierte adaptive Frequenz-Auswahl) ins Spiel, eine neue Methode von Forschern der Zhejiang-Universität. Man kann sich KFS wie einen genialen Musikproduzenten vorstellen, der drei clevere Tricks anwendet, um das Orchester zu reinigen und die wahre Vorhersage zu treffen.

Hier ist die Erklärung, wie KFS funktioniert, ganz einfach:

1. Der „Saubere-Schnitt"-Trick (Frequenz-Auswahl)

Stell dir vor, du hast eine Aufnahme eines Orchesters, bei der das Rauschen überall zu hören ist.

• Das Problem: Wenn man einfach alles aufnimmt, ist die Vorhersage schlecht.
• Die Lösung von KFS: KFS schaut sich das Orchester nicht im Zeitverlauf an, sondern wandelt es in ein Farbspektrum um (wie ein Regenbogen aus Frequenzen).
• Der Trick: Es nutzt eine Regel namens „Parseval-Theorem" (klingt kompliziert, ist aber einfach: Die Gesamtenergie ist überall gleich). KFS sucht sich nur die hellsten, lautesten Farben im Spektrum aus. Das sind die Frequenzen, die die meiste „Energie" haben – also die echten Signale. Die dunklen, leisen Farben (das Rauschen) werden einfach weggeschnitten.
• Das Ergebnis: Aus dem chaotischen Orchester wird eine klare, reine Melodie übrig, die viel leichter zu verstehen ist.

2. Der „Meister-Imitator" (KAN statt MLP)

Normalerweise nutzen KIs einfache Bausteine (MLPs), um Muster zu lernen. Das ist wie ein Anfänger, der versucht, ein Klavierstück nachzuspielen, aber nur mit starren Fingern.

• Die Lösung von KFS: KFS nutzt eine neue Technologie namens KAN (Kolmogorov-Arnold-Netzwerk). Stell dir KAN wie einen virtuosen Geiger vor, der seine Fingerbewegungen (die Aktivierungsfunktionen) perfekt an die Musik anpassen kann.
• Der Vorteil: KAN kann komplexe, krumme und verwobene Muster viel besser nachahmen als die starren alten Modelle. Es lernt die „Seele" der Daten, nicht nur die groben Umrisse.

3. Der „Zeit-Taktgeber" (Zeitstempel-Mixing)

Manchmal ist es nicht nur wichtig, was passiert, sondern wann es passiert. Ein Stromverbrauch ist morgens anders als abends.

• Das Problem: Viele Modelle vergessen den genauen Zeitpunkt, wenn sie Daten in verschiedenen Größenordnungen (Skalen) betrachten.
• Die Lösung von KFS: KFS nimmt die „Zeitstempel" (z. B. „Montagmorgen") und passt sie genau an die verschiedenen Ebenen der Daten an. Es ist, als würde ein Dirigent sicherstellen, dass alle Musiker im Orchester genau im gleichen Takt spielen, egal ob sie leise oder laut sind.
• Der Mix: Am Ende werden die gereinigte Melodie (aus Schritt 1), die virtuose Interpretation (aus Schritt 2) und der perfekte Takt (aus Schritt 3) zu einem einzigen, perfekten Vorhersage-Song gemischt.

Warum ist das so toll?

Die Forscher haben KFS an echten Daten getestet (Wetter, Stromverbrauch, Verkehr).

• Ergebnis: KFS ist schneller und genauer als die bisherigen Spitzenreiter.
• Der Clou: Es ist nicht komplizierter als die alten Methoden, sondern cleverer. Es schaut nicht auf das ganze Chaos, sondern filtert intelligent das Wichtige heraus und nutzt einen besseren „Lernmechanismus" (KAN), um es zu verstehen.

Zusammengefasst:
KFS ist wie ein moderner Musikproduzent, der ein chaotisches Orchester (die Rohdaten) reinigt, indem er nur die besten Instrumente (Frequenzen) herausfiltert, sie von einem Virtuosen (KAN) spielen lässt und sicherstellt, dass alle im richtigen Takt (Zeitstempel) bleiben. Das Ergebnis ist eine Vorhersage, die so klar ist, dass man den Himmel vorhersehen kann, bevor er regnet.

Technische Zusammenfassung

1. Problemstellung

Die Langzeitvorhersage von Zeitreihen (Long-term Time Series Forecasting, TSF) steht vor zwei Hauptproblemen:

• Rauschen und Störungen: Reale Zeitreihendaten enthalten oft Rauschen, das über verschiedene Skalen hinweg verteilt ist. Dieses Rauschen beeinträchtigt das Lernen von Mustern und führt zu suboptimalen Vorhersagen, insbesondere bei Frequenzkomponenten mit niedriger Amplitude (geringes Signal-zu-Rausch-Verhältnis).
• Ineffiziente Multi-Scale-Repräsentation: Bestehende Multi-Scale-Architekturen (z. B. Zeitreihenzerlegung in Trend und Saisonalität) extrahieren zwar Subsequenzen, behalten aber oft das Rauschen bei. Zudem führen heterogene Frequenzmuster zu komplexen Darstellungsproblemen, die herkömmliche MLPs (Multi-Layer Perceptrons) oder Transformer nur begrenzt lösen können.

Das Ziel ist es, eine Architektur zu entwickeln, die Rauschen effektiv filtert, dominante Frequenzkomponenten isoliert und komplexe zeitliche Muster präzise modelliert.

2. Methodik: Die KFS-Architektur

Die Autoren schlagen KFS (KAN based adaptive Frequency Selection) vor, ein Framework, das auf dem Kolmogorov-Arnold Network (KAN) basiert und eine adaptive Frequenzauswahl integriert. Die Architektur besteht aus folgenden Kernkomponenten:

A. Multi-Scale-Zerlegung

Die Eingangszeitreihe wird durch Moving Averages (Durchschnittsbildung) in mehrere Skalen zerlegt. Dies erzeugt eine Hierarchie von Subsequenzen unterschiedlicher Granularität, um Informationen auf verschiedenen Zeitebenen zu erfassen.

B. FreK-Modul (Frequency K-top Selection)

Dies ist das Herzstück zur Rauschunterdrückung:

• Frequenzband-Auswahl (FBS): Basierend auf dem Parseval-Theorem (Energieerhaltung zwischen Zeit- und Frequenzbereich) wird die Zeitreihe in den Frequenzbereich transformiert (FFT).
• Energie-basierte Selektion: Frequenzbänder werden nach ihrer spektralen Energie sortiert. Nur die Top-K-Bänder (die den größten Energieanteil ausmachen) werden ausgewählt. Dies filtert automatisch Rauschen heraus, da Rauschen typischerweise über das gesamte Frequenzspektrum verteilt ist, während das Signal in dominanten Frequenzen konzentriert ist.
• Rekonstruktion: Die ausgewählten Frequenzen werden zurück in den Zeitbereich transformiert, um eine entrauschte Zeitreihe zu erhalten.
• Adaptive Embedding & KAN: Die entrauschte Daten werden durch adaptive Embeddings (mit lernbaren Parametern pro Variable) geführt und dann durch Group-Rational KANs verarbeitet. Im Gegensatz zu MLPs nutzen KANs lernbare Aktivierungsfunktionen (hier rationale Funktionen), was eine effizientere und interpretierbarere Modellierung nichtlinearer Muster ermöglicht.

C. Mixing Block (Feature Mixing)

• Zeitstempel-Alignment: Da Zeitreihen oft periodische Muster (täglich, monatlich, jährlich) aufweisen, werden Zeitstempel-Embeddings eingeführt. Diese werden skalenabhängig heruntergetastet, um mit den jeweiligen Multi-Scale-Repräsentationen synchronisiert zu werden.
• Fusion: Das Mixing Block fusioniert die zeitlichen Merkmale (aus dem FreK-Modul) mit den Zeitstempel-Embeddings. Anstelle eines herkömmlichen Feedforward-Netzes (MLP) wird hier erneut ein KAN verwendet, um die komplexen Wechselwirkungen zwischen den Skalen und den Zeitstempeln zu lernen.
• Aggregation: Die Merkmale aller Skalen werden gemittelt und durch eine lineare Schicht auf den gewünschten Vorhersagehorizont projiziert.

D. Verlustfunktion

Die Verlustfunktion kombiniert den üblichen MSE (Mean Squared Error) mit einem frequenzbasierten Alignment-Term ($L_F$). Dieser Term erzwingt die Übereinstimmung der dominanten Frequenzen zwischen Vorhersage und Realität, was die Modellierung von makroskopischen Trendverschiebungen verbessert.

3. Schlüsselbeiträge

1. Energie-basierte Frequenzauswahl: Entwicklung einer Methode (FreK), die Komponenten mit hohem Signal-zu-Rausch-Verhältnis extrahiert, indem sie die Top-K-Frequenzbänder basierend auf der Energieverteilung selektiert.
2. Integration von KAN: Erstmals wird ein KAN-basiertes Framework für die Zeitreihenvorhersage eingeführt, das die Flexibilität lernbarer Aktivierungsfunktionen nutzt, um zeitliche Muster effizienter darzustellen als traditionelle MLPs.
3. Multi-Scale-Mixing mit Zeitstempeln: Ein neuartiger „Mixing Block", der zeitliche Repräsentationen verschiedener Skalen mit synchronisierten Zeitstempel-Embeddings fusioniert, um sowohl lokale Muster als auch globale Periodizitäten zu erfassen.
4. State-of-the-Art Leistung: Das Modell erreicht auf mehreren realen Datensätzen die besten Ergebnisse bei gleichzeitig hoher Recheneffizienz.

4. Ergebnisse

Die Autoren führten umfangreiche Experimente auf sechs realen Datensätzen durch (u. a. ETT-Serie, Electricity, Weather).

• Vorhersagegenauigkeit: KFS erzielt in den meisten Fällen (außer beim Electricity-Datensatz, wo TimeXer aufgrund seiner Cross-Attention-Mechanismen leicht besser ist) die besten Ergebnisse (niedrigste MSE und MAE) im Vergleich zu SOTA-Modellen wie PatchTST, iTransformer, TimeMixer und TimesNet.
• Effizienz: Trotz der FFT-Operationen ist KFS sehr effizient. Es verbraucht weniger Speicher (116 MB vs. >1 GB bei TimesNet) und benötigt weniger Rechenzeit pro Schritt als Transformer-basierte Modelle.
• Ablationsstudien:
  • Der Ersatz von KAN durch MLP verschlechtert die Ergebnisse signifikant, was die Überlegenheit der rationalen Basisfunktionen von KAN beweist.
  • Das Entfernen der Zeitstempel-Embeddings führt zu einem Leistungsabfall, besonders bei stark periodischen Daten (ETTh2).
  • Die Top-K-Auswahl übertrifft herkömmliche Filtermethoden (wie Mittelwert- oder Gauß-Filter).

5. Bedeutung und Fazit

Das Paper demonstriert, dass die Kombination aus Frequenzbereichsfilterung (zur Rauschreduktion) und KAN-Architekturen (zur Mustermodellierung) einen vielversprechenden Weg für die Langzeitvorhersage darstellt. KFS adressiert das Problem des „Rausch-Entanglements" in komplexen Zeitreihen effektiv und bietet eine einfache, aber leistungsstarke Alternative zu den derzeit dominierenden, oft rechenintensiven Transformer-Architekturen. Die Arbeit unterstreicht das Potenzial von KANs, MLPs in der Zeitreihenanalyse zu ersetzen, und liefert einen neuen Ansatz zur Integration von physikalischen Zeitstempeln in Multi-Scale-Modelle.