Time series forecasting with Hahn Kolmogorov-Arnold networks

Ce papier propose HaKAN, un modèle de prévision de séries temporelles multivariées basé sur les réseaux KAN et des fonctions d'activation polynomiales de Hahn, qui surpasse les méthodes de l'état de l'art en offrant une alternative légère, interprétable et efficace pour capturer les motifs temporels locaux et globaux.

L'essentiel

🌧️ Prévoir l'avenir : Comment HaKAN devine le futur

Imaginez que vous essayez de prédire la météo pour les 30 prochains jours. C'est un défi énorme ! Vous devez regarder les nuages d'hier, les vents d'avant-hier et les tendances de la semaine dernière pour deviner ce qui va se passer.

Dans le monde de l'intelligence artificielle, c'est ce qu'on appelle la prévision de séries temporelles. Mais les ordinateurs ont souvent du mal à faire cela sans se tromper ou sans passer des heures à calculer.

C'est là qu'intervient HaKAN, un nouveau modèle créé par des chercheurs de l'Université Concordia. Voici comment il fonctionne, sans jargon compliqué.

1. Le problème des anciens modèles

Pour faire ces prévisions, on utilisait deux types d'outils principaux :

• Les Transformers (comme les modèles de langage) : Ils sont très forts pour voir les liens lointains (comme relier un orage d'aujourd'hui à une sécheresse de l'année dernière), mais ils sont lourds et lents. C'est comme essayer de lire tout un livre pour trouver un seul mot : ça consomme beaucoup d'énergie. De plus, ils ont parfois du mal à respecter l'ordre du temps (ils pourraient confondre ce qui s'est passé hier avec ce qui s'est passé demain).
• Les réseaux de neurones classiques (MLP) : Ils sont rapides et légers, un peu comme une calculatrice. Mais ils sont un peu "bêtes" : ils ont du mal à comprendre les changements brusques ou les motifs complexes et rapides (comme un coup de vent soudain). Ils lissent trop les données.

2. La solution magique : HaKAN

Les chercheurs ont créé HaKAN pour avoir le meilleur des deux mondes : la vitesse des calculatrices et la compréhension profonde des Transformers.

L'analogie du "Chef Cuisinier" (Le réseau KAN)
Imaginez un chef cuisinier (le modèle) qui doit préparer un plat.

• Les anciens modèles utilisaient des recettes fixes. Si le goût changeait, le chef ne pouvait pas s'adapter.
• HaKAN utilise des réseaux KAN. C'est comme un chef qui peut inventer ses propres épices à la volée. Au lieu d'utiliser une épice fixe, il apprend quelle épice (ou fonction mathématique) fonctionne le mieux pour chaque ingrédient. Cela lui permet de goûter et d'ajuster le plat parfaitement, même si les ingrédients sont bizarres.

L'ingrédient secret : Les Polynômes de Hahn
Pour que ce chef soit encore plus rapide et efficace, HaKAN utilise une recette spéciale appelée Polynômes de Hahn.

• Imaginez que vous devez dessiner une courbe complexe. Les autres méthodes utilisent des milliers de petits points (une grille) pour tracer la ligne. C'est lent.
• HaKAN utilise une formule mathématique élégante (les polynômes) qui trace la ligne d'un seul coup de pinceau, sans avoir besoin de milliers de points. C'est comme passer d'un dessin au pointillisme (lent et laborieux) à une aquarelle fluide (rapide et précis).

3. Comment HaKAN "lit" le temps ? (L'architecture)

Pour ne pas se perdre dans la masse de données, HaKAN utilise une stratégie intelligente en trois étapes :

1. Le découpage en "Patches" (Tranches de pain) :
   Au lieu de regarder l'année entière d'un coup, HaKAN coupe l'histoire en petits morceaux (des tranches). Imaginez que vous lisez un roman en lisant d'abord des paragraphes entiers, puis des phrases, puis des mots.

   • Cela aide le modèle à voir les détails locaux (une phrase) et les grandes tendances (l'histoire complète).

2. La tour à deux étages (Bloc Hahn-KAN) :
   Chaque tranche passe par deux étages de "cuisine" :

   • L'étage local (Intra-patch) : Il regarde à l'intérieur de la tranche pour voir les petits détails (ex: une variation de température dans l'heure).
   • L'étage global (Inter-patch) : Il regarde les relations entre les différentes tranches pour voir les grandes tendances (ex: une vague de chaleur qui dure une semaine).
   • C'est comme avoir un assistant qui regarde les détails de votre journée, et un autre qui regarde la tendance de votre mois. Ensemble, ils font un excellent travail.

3. La canalisation individuelle :
   Si vous avez 10 capteurs différents (température, humidité, vent), HaKAN ne les mélange pas tous dans un grand bol. Il traite chaque capteur individuellement avant de les réunir. C'est comme si chaque instrument d'un orchestre s'entraînait seul avant de jouer ensemble, ce qui évite les fausses notes.

4. Les résultats : Pourquoi c'est génial ?

Les chercheurs ont testé HaKAN sur de vraies données : la météo, la consommation d'électricité, le trafic routier, etc.

• Plus précis : HaKAN a battu les meilleurs modèles actuels (comme PatchTST ou iTransformer) sur presque tous les tests. Il fait moins d'erreurs de prédiction.
• Plus rapide et léger : Grâce à ses "polynômes de Hahn", il utilise beaucoup moins de mémoire et de puissance de calcul que ses concurrents. C'est comme avoir une voiture de course qui consomme l'essence d'une citadine.
• Interprétable : Contrairement aux "boîtes noires" où l'on ne sait pas pourquoi l'IA a pris une décision, HaKAN utilise des fonctions mathématiques claires. On peut comprendre comment il a appris à prédire.

En résumé

HaKAN est un nouveau super-prévisionniste. Il ne se contente pas de regarder les données passées ; il apprend à "dessiner" les courbes du temps avec une élégance mathématique (les polynômes de Hahn) et une organisation intelligente (découpage en tranches).

Il est plus précis que les géants actuels, plus rapide à exécuter, et plus facile à comprendre. C'est une avancée majeure pour prédire l'avenir, que ce soit pour éviter les pannes de courant, prévoir la météo ou gérer le trafic routier.

Résumé technique

Titre : Prévision de séries temporelles avec les Réseaux de Kolmogorov-Arnold de Hahn (HaKAN)

1. Problématique

La prévision de séries temporelles multivariées à long terme est un défi majeur dans des domaines critiques tels que l'énergie, la santé et les transports. Les approches récentes reposent principalement sur deux architectures, chacune présentant des limites spécifiques :

• Les modèles basés sur les Transformers : Bien qu'ils capturent efficacement les dépendances à long terme via des mécanismes d'attention, ils souffrent d'une complexité computationnelle quadratique par rapport à la longueur de la séquence. De plus, leur attention est équivariante par permutation, ce qui contredit la nature causale et ordonnée des données temporelles.
• Les modèles basés sur les MLP (Perceptrons Multicouches) : Ils sont plus légers et utilisent souvent l'indépendance des canaux et le "patching" (découpage en segments). Cependant, ils présentent un biais spectral, limitant leur capacité à modéliser les composantes haute fréquence et les dynamiques non linéaires complexes, les obligeant souvent à utiliser de longues fenêtres d'entrée pour atteindre des performances correctes.

L'objectif est de concevoir un modèle qui combine l'efficacité computationnelle des MLP, la capacité d'approximation flexible des réseaux KAN (Kolmogorov-Arnold Networks), tout en évitant les défauts des Transformers et des MLP classiques.

2. Méthodologie : L'architecture HaKAN

Les auteurs proposent HaKAN, un cadre novateur qui intègre des réseaux KAN paramétrés par des polynômes de Hahn au sein d'une architecture hiérarchique basée sur des patches.

Composants clés de l'architecture :

1. Indépendance des canaux (Channel Independence) : Chaque variable de la série multivariée est traitée séparément pour préserver ses dynamiques temporelles uniques, évitant ainsi le mélange de bruit entre les canaux.
2. Prétraitement (RevIN et Patching) :
   • Utilisation de la normalisation d'instance réversible (RevIN) pour gérer les dérifts de distribution des données.
   • Découpage des séries normalisées en patches (segments temporels) pour capturer les motifs locaux et améliorer l'efficacité.
3. Blocs Hahn-KAN : Cœur du modèle, chaque bloc contient deux couches KAN imbriquées avec des connexions résiduelles :
   • Couche Inter-Patch : Modélise les relations globales entre les différents patches pour capturer les dépendances à long terme sur toute la fenêtre d'observation.
   • Couche Intra-Patch : Affine les caractéristiques en se concentrant sur les motifs locaux et les changements brusques à l'intérieur d'un même patch.
   • Fonctions d'activation : Contrairement aux KAN standards utilisant des B-splines (qui nécessitent une discrétisation de grille), HaKAN utilise des polynômes de Hahn. Ces polynômes offrent une approximation fonctionnelle flexible, interprétable et sans dépendance à une grille, réduisant considérablement la complexité.
4. Structure en Goulot d'Étranglement (Bottleneck) : La sortie des blocs est aplatie puis passée à travers deux couches entièrement connectées (une projection vers le bas, puis vers le haut) pour mapper les caractéristiques à l'horizon de prédiction $T$.

Avantages des Polynômes de Hahn :

• Efficacité computationnelle : Complexité temporelle de $O(d_{in}d_{out}d)$ (où $d$ est le degré du polynôme), comparable aux MLP, contre une complexité plus élevée pour les KAN standards dépendant de la taille de la grille.
• Réduction du biais spectral : Capacité à capturer à la fois les composantes basse et haute fréquence.
• Interprétabilité : Les fonctions d'activation sont apprises et paramétrées explicitement.

3. Contributions Clés

1. Introduction de HaKAN : Un nouveau cadre pour la prévision multivariée à long terme exploitant la puissance expressive des KAN paramétrés par des polynômes de Hahn.
2. Architecture Innovante : Conception d'un bloc Hahn-KAN intégrant des couches inter-patch et intra-patch pour capturer simultanément les motifs temporels globaux et locaux.
3. Performance Supérieure : Démonstration expérimentale que HaKAN surpasse systématiquement les méthodes de l'état de l'art (Transformers, MLP, et autres KAN récents) sur plusieurs benchmarks.
4. Efficacité et Légèreté : Proposition d'un modèle léger qui élimine la complexité quadratique des Transformers et le biais spectral des MLP, tout en restant interprétable.

4. Résultats Expérimentaux

Les auteurs ont évalué HaKAN sur plusieurs jeux de données de référence (ETT, Weather, Electricity, Traffic, Illness) avec des horizons de prédiction variés.

• Comparaison avec l'état de l'art : HaKAN a obtenu les meilleurs résultats (MSE et MAE) dans la majorité des cas par rapport à des modèles comme PatchTST, iTransformer, DLinear, TimeKAN et TsKAN.
  • Sur le jeu de données Illness, HaKAN a réduit l'erreur MSE moyenne relative de 8,98 % et l'erreur MAE de 3,96 % par rapport aux meilleurs baselines.
  • Sur les données ETT (tendances lisses), il a montré des réductions d'erreur significatives (ex: 5,28 % de réduction MSE sur ETTh2).
• Études d'ablation :
  • Base polynomiale : Les polynômes de Hahn surpassent les bases alternatives (Lucas, Chebyshev, B-Splines).
  • Nombre de blocs : Une configuration de 5 blocs offre le meilleur compromis performance/paramètres.
  • Rôle des couches : La suppression de la couche intra-patch entraîne la plus forte dégradation de performance, soulignant son importance pour les motifs locaux, tandis que la couche inter-patch est cruciale pour le contexte global.
  • HaKAN vs MLP : HaKAN surpasse systématiquement sa variante basée sur des MLP, prouvant l'efficacité des fonctions d'activation apprises.

5. Signification et Impact

Ce travail est significatif car il propose une alternative viable aux architectures dominantes (Transformers et MLP) pour la prévision de séries temporelles.

• Innovation théorique : L'utilisation des polynômes de Hahn dans les KAN résout le problème de la complexité liée à la discrétisation des grilles, rendant les KAN plus pratiques pour les applications industrielles.
• Efficacité pratique : HaKAN offre une complexité temporelle quasi-linéaire par rapport à la longueur de la séquence (grâce au patching et à la structure KAN), le rendant plus rapide et moins coûteux en mémoire que les Transformers pour les longues séquences.
• Interprétabilité : La nature des fonctions d'activation apprises offre une transparence accrue sur la façon dont le modèle modélise les dynamiques temporelles, un avantage crucial pour les domaines sensibles comme la santé ou la finance.

En conclusion, HaKAN établit un nouvel état de l'art en combinant l'expressivité mathématique des théorèmes de représentation de Kolmogorov-Arnold avec une ingénierie architecturale efficace, offrant un modèle robuste, léger et interprétable pour la prévision temporelle.