KFS: KAN based adaptive Frequency Selection learning architecture for long term time series forecasting

Cet article propose KFS, une architecture de prévision de séries temporelles à long terme inspirée des réseaux KAN et du théorème de Parseval, qui utilise une sélection adaptative de fréquences pour atténuer le bruit inter-échelles et améliorer la représentation des motifs complexes, démontrant ainsi des performances de pointe sur divers jeux de données réels.

L'essentiel

🌧️ KFS : Le Filtre Magique pour Prévoir l'Avenir

Imaginez que vous essayez de prédire la météo de demain, le trafic routier ou la consommation d'électricité d'une ville. C'est comme essayer d'entendre une mélodie douce dans un concert de rock très bruyant. Le problème, c'est que les données réelles (les séries temporelles) sont pleines de "bruit" : des erreurs de mesure, des imprévus, des interférences qui brouillent le message.

Les anciennes méthodes essayaient de deviner la mélodie en écoutant tout le concert d'un coup, ce qui rendait les prédictions souvent fausses.

L'article présente une nouvelle méthode appelée KFS (basée sur les réseaux KAN). Voici comment elle fonctionne, étape par étape, avec des analogies du quotidien.

1. Le Problème : Le Brouillard de Données

Imaginez que vous regardez une photo très floue prise par temps de pluie. Vous voyez des formes, mais vous ne savez pas si c'est un arbre, une voiture ou un piéton.

• La réalité : Les données temporelles sont comme cette photo. Elles contiennent de l'information utile (la tendance, le cycle) mais aussi beaucoup de "bruit" (les gouttes de pluie sur l'objectif).
• L'erreur des autres : La plupart des modèles actuels essaient d'apprendre à partir de l'image floue telle quelle, ce qui les trompe.

2. La Solution KFS : Le Tri Intelligent des Fréquences

KFS ne regarde pas l'image floue directement. Il utilise une astuce de "magie mathématique" (le théorème de Parseval) pour transformer l'image en une partition de musique.

• L'analogie du Concert : Imaginez que votre série de données est un orchestre. Il y a des violons (les tendances lentes), des tambours (les cycles rapides) et des chuchotements (le bruit).
• Le Module "FreK" (Le Chef d'Orchestre) : Au lieu d'écouter tout le monde, KFS a un chef d'orchestre très sélectif. Il dit : "Arrêtez le bruit ! Écoutez seulement les instruments qui jouent fort et qui sont importants."
  • Il regarde l'énergie de chaque son. S'il y a un son très fort (beaucoup d'énergie), c'est probablement une vraie tendance. S'il y a un son faible et chaotique, c'est du bruit.
  • Il sélectionne automatiquement les K meilleures fréquences (les meilleurs instruments) et rejette le reste. C'est comme nettoyer une photo en supprimant le grain de bruit pour ne garder que les contours nets.

3. L'Apprentissage : Le Dessinateur Flexible (Les Réseaux KAN)

Une fois le bruit éliminé, il faut apprendre à dessiner le futur.

• Les anciens modèles (MLP) : Imaginez un dessinateur qui ne sait dessiner que des lignes droites et des angles droits. Il a du mal à dessiner une courbe fluide ou une vague complexe.
• Le nouveau modèle (KAN) : KFS utilise un nouveau type de dessinateur, le KAN. Imaginez un artiste qui a des pinceaux flexibles et élastiques. Il peut s'adapter parfaitement à n'importe quelle forme, qu'elle soit courbe, ondulée ou bizarre.
  • Grâce à cette flexibilité, KFS comprend beaucoup mieux les motifs complexes cachés dans les données nettoyées.

4. L'Alignement : Le Calendrier Intelligent

Le temps n'est pas linéaire. Il y a des cycles (jour/nuit, semaine/week-end, saison).

• KFS ne se contente pas de regarder les chiffres. Il ajoute une "étiquette de temps" (comme un tampon sur un document) à chaque niveau de détail.
• L'analogie : C'est comme si vous regardiez une vidéo au ralenti, puis à vitesse normale, puis en accéléré. KFS s'assure que le "calendrier" correspond parfaitement à chaque vitesse de lecture, pour ne pas confondre un cycle journalier avec un cycle annuel.

5. Le Résultat : Une Prédiction de Précision

À la fin, KFS mélange toutes ces informations (les sons nettoyés, les formes apprises par le dessinateur flexible, et les étiquettes de temps) pour prédire l'avenir.

Pourquoi est-ce génial ?

• C'est simple mais puissant : Contrairement aux modèles géants qui sont lourds et lents, KFS est léger (comme une voiture de sport plutôt qu'un camion).
• C'est efficace : Il consomme moins de mémoire et de batterie que ses concurrents.
• C'est précis : Sur de nombreux tests réels (météo, électricité, trafic), KFS bat les meilleurs modèles actuels.

🏆 En Résumé

KFS, c'est comme avoir un filtre anti-bruit ultra-intelligent couplé à un dessinateur flexible.

1. Il nettoie les données en éliminant le bruit (comme un filtre à café).
2. Il apprend les formes complexes avec une grande précision (comme un artiste agile).
3. Il prédit l'avenir en se basant sur les tendances réelles, pas sur les accidents.

C'est une nouvelle façon de regarder le futur : non pas en essayant de tout voir, mais en sachant exactement quoi écouter.

Résumé technique

1. Problématique et Contexte

La prévision de séries temporelles (TSF) à long terme est cruciale dans des domaines comme la finance, la gestion du trafic et la météorologie. Cependant, les séries temporelles réelles présentent deux défis majeurs :

• Interférence de bruit multi-échelle : Les données réelles contiennent du bruit qui interfère avec l'apprentissage du modèle. Ce bruit affecte différemment les composantes fréquentielles, réduisant le rapport signal-sur-bruit (RSB) aux fréquences de faible amplitude.
• Distribution hétérogène de l'information : Les méthodes de décomposition multi-échelle existantes (comme TimeMixer, FEDformer) extraient des sous-séquences mais conservent souvent le bruit, conduisant à des représentations multi-échelles sous-optimales. De plus, les architectures traditionnelles (MLP, CNN, Transformers) peinent à modéliser efficacement les motifs complexes et non linéaires sans une grande complexité computationnelle.

L'objectif est de concevoir un cadre capable de dénouer le bruit spectral tout en capturant des motifs temporels complexes à travers différentes échelles de temps.

2. Méthodologie : L'Architecture KFS

Les auteurs proposent KFS, une architecture innovante qui intègre les Réseaux de Kolmogorov-Arnold (KAN) et une sélection adaptative de fréquence. L'architecture repose sur trois piliers principaux :

A. Module FreK (Frequency K-top Selection)

Ce module vise à éliminer le bruit avant l'apprentissage des motifs.

• Principe : Inspiré du théorème de Parseval, le module transforme les données dans le domaine fréquentiel via une Transformée de Fourier Discrète (DFT).
• Sélection de bandes fréquentielles : Au lieu de traiter toutes les fréquences, le module sélectionne les K bandes fréquentielles dominantes basées sur leur distribution d'énergie. Seules les fréquences contenant la majorité de l'énergie (et donc du signal utile) sont conservées.
• Reconstruction : Les bandes sélectionnées sont transformées inversement pour reconstruire une série temporelle débruitée ($\tilde{x}(t)$).
• Adaptive Embedding (AE) : Une embedding adaptative est appliquée pour apprendre des caractéristiques uniques à chaque jeu de données avant l'entrée dans le réseau.

B. Intégration des KAN (Group-Rational KAN)

Contrairement aux MLP traditionnels qui utilisent des fonctions d'activation fixes, KFS utilise des KAN (Kolmogorov-Arnold Networks).

• Avantage : Les KAN remplacent les fonctions d'activation par des fonctions univariées apprenables.
• Fonctionrationnelle : L'article utilise spécifiquement des Group-Rational KAN, qui emploient des fonctions rationnelles (rapport de polynômes) comme fonctions de base. Cela permet une modélisation plus précise des relations non linéaires complexes avec moins de paramètres et une meilleure interprétabilité.
• Rôle : Le KAN apprend les représentations temporelles intrinsèques des données débruitées à chaque échelle.

C. Bloc de Mélange (Mixing Block) et Alignement Temporel

• Alignement des Timestamps : Le modèle intègre des embeddings de timestamps qui sont progressivement sous-échantillonnés (down-sampling) pour s'aligner avec les différentes résolutions des séquences multi-échelles. Cela permet de synchroniser les représentations temporelles avec les marqueurs physiques (jour, mois, année).
• Fusion des caractéristiques : Un bloc de mélange fusionne les représentations temporelles spécifiques à chaque échelle avec les embeddings de timestamps alignés.
• Agrégation : Les caractéristiques de toutes les échelles sont agrégées par moyenne et projetées via une couche linéaire simple pour obtenir la prévision finale.

D. Fonction de Perte Hybride

Pour optimiser l'apprentissage, les auteurs combinent :

1. La perte MSE (Erreur Quadratique Moyenne) classique pour la précision temporelle.
2. Une perte fréquentielle $L_F$ qui force l'alignement uniquement sur les fréquences dominantes (Top-K) de la prédiction par rapport à la réalité. Cela permet de capturer les tendances macroscopiques sans sur-optimiser le bruit.

3. Contributions Clés

1. Sélection de fréquence basée sur l'énergie : Une méthode novatrice (module FreK) qui isole les composantes à fort rapport signal-sur-bruit, réduisant ainsi l'impact du bruit sur le modèle.
2. Intégration des KAN dans la TSF : Introduction des KAN (spécifiquement Group-Rational) pour la représentation des motifs temporels, surpassant les MLP traditionnels en termes de capacité d'ajustement et d'efficacité.
3. Alignement multi-échelle des timestamps : Un mécanisme de mélange qui synchronise les représentations temporelles avec les marqueurs de temps à différentes résolutions, améliorant la compréhension des périodicités.
4. Architecture simple et efficace : KFS atteint des performances de pointe (SOTA) avec une architecture moins complexe que les modèles basés sur les Transformers lourds.

4. Résultats Expérimentaux

Les auteurs ont évalué KFS sur six jeux de données réels (ETT-Series, Electricity, Weather) avec des fenêtres de prévision allant de 96 à 720 pas de temps.

• Performance (SOTA) : KFS obtient les meilleurs résultats (MSE et MAE les plus bas) sur la majorité des jeux de données (Weather, ETTh1, ETTh2, ETTm1, ETTm2), surpassant des modèles de référence comme TimeMixer, PatchTST, iTransformer et TimesNet.
• Exception : Sur le jeu de données Electricity (ECL), le modèle TimeXer reste légèrement supérieur, probablement grâce à son mécanisme d'attention croisée qui gère mieux les dépendances inter-canaux dans des données très haute dimension.
• Efficacité :
  • Mémoire : KFS utilise significativement moins de mémoire (116 MB) que TimesNet (1227 MB) ou PatchTST (807 MB).
  • Vitesse : Le temps d'entraînement par étape est compétitif (21 ms), inférieur à celui des modèles basés sur les Transformers.
  • FLOPs : Bien que l'utilisation de la FFT ajoute une complexité, le nombre total d'opérations (FLOPs) reste raisonnable (1.66 GB) comparé aux modèles CNN/Transformer.

5. Signification et Conclusion

L'article KFS démontre que la combinaison de techniques de traitement spectral (filtrage par sélection de fréquence) et de nouvelles architectures de réseaux de neurones (KAN) est une voie prometteuse pour la prévision de séries temporelles.

• Innovation Conceptuelle : Il déplace le paradigme de la simple décomposition temporelle vers une sélection fréquentielle adaptative, traitant le bruit comme un problème de distribution d'énergie plutôt que de simple lissage.
• Potentiel des KAN : L'article valide l'hypothèse que les KAN, grâce à leurs fonctions d'activation apprenables, sont particulièrement adaptés pour capturer les dynamiques non linéaires complexes des séries temporelles, offrant une alternative efficace aux MLP et Transformers.
• Impact Pratique : En étant à la fois précis et économe en ressources, KFS offre une solution viable pour des applications en temps réel et sur des dispositifs aux ressources limitées, tout en maintenant une performance de pointe sur des tâches de prévision à long terme.

En résumé, KFS résout le compromis traditionnel entre la capacité de modélisation complexe et l'efficacité computationnelle en intégrant intelligemment le domaine fréquentiel et les réseaux KAN.