Adaptive RBF-KAN: A Comparative Evaluation of Dynamic Shape Parameters in Kolmogorov-Arnold Networks

Résumé Technique : RBF-KAN Adaptatif

Énoncé du Problème
Les réseaux Kolmogorov-Arnold (KAN) offrent une alternative aux Perceptrons Multicouches (MLP) en plaçant des fonctions univariées apprises sur les arêtes du réseau plutôt qu'en utilisant des fonctions d'activation fixes aux nœuds. Alors que l'implémentation originale des KAN utilise des bases B-splines, cette approche engendre des coûts computationnels significatifs lors de l'entraînement. FastKAN y remédie en remplaçant les splines par des fonctions de base radiales (RBF) gaussiennes, améliorant considérablement l'efficacité. Cependant, le FastKAN standard repose sur un paramètre de forme de noyau fixe ($h$). Le choix de ce paramètre est critique : des valeurs faibles peuvent provoquer un surapprentissage, tandis que des valeurs élevées entraînent un lissage excessif. Un paramètre fixe limite l'adaptabilité du modèle à travers divers types de fonctions (par exemple, surfaces lisses, discontinuités, motifs oscillatoires et singularités). De plus, la formulation standard du FastKAN est restreinte aux noyaux gaussiens, limitant potentiellement la flexibilité représentationnelle pour les fonctions non lisses ou hautement localisées.

Méthodologie
Les auteurs proposent un RBF-KAN Adaptatif (également appelé FastKAN adaptatif) qui introduit deux améliorations principales au cadre existant :

1. Initialisation basée sur la LOOCV : Au lieu d'utiliser un paramètre de forme fixe ou initialisé aléatoirement, les auteurs estiment l'échelle initiale du noyau ($h_{opt}$) en utilisant la validation croisée leave-one-out (LOOCV). Cela est effectué sur un modèle d'interpolation RBF unidimensionnel auxiliaire construit à partir des données d'entrée. Pour assurer la stabilité numérique, un petit terme de régularisation ($\lambda = 10^{-9}$) est ajouté à la matrice d'interpolation. La valeur optimale de $h$ est trouvée via une recherche en deux étapes (grossière et fine) qui minimise l'erreur maximale de LOOCV.
2. Apprentissage adaptatif du paramètre de forme : Pour permettre au réseau d'affiner l'échelle du noyau pendant l'entraînement, le paramètre de forme est reparamétré dans l'espace logarithmique ($\theta = \ln(h)$). Cela garantit que $h = e^\theta$ reste strictement positif, empêchant l'instabilité numérique (division par zéro ou croissance exponentielle) lors de l'optimisation basée sur le gradient. Le paramètre $\theta$ est mis à jour conjointement avec les coefficients de spline par rétropropagation.
3. Famille de noyaux étendue : Le cadre est étendu au-delà du noyau gaussien pour inclure une famille plus large de fonctions de base radiales. Plus précisément, les auteurs introduisent des noyaux Matérn (M2, M4, M6) et Wendland (W2, W4, W6) dans l'architecture KAN pour la première fois. Ces noyaux offrent divers degrés de régularité et de support compact, permettant au réseau de mieux s'adapter aux fonctions présentant des caractéristiques structurelles différentes.

Contributions Clés

• Première intégration de la LOOCV et des KAN profonds : À la connaissance des auteurs, il s'agit de la première étude intégrant l'estimation de l'échelle du noyau basée sur la LOOCV avec l'entraînement d'architectures KAN profondes.
• Intégration de noyaux novateurs : L'article introduit les noyaux Matérn et Wendland dans le cadre KAN, dépassant l'approche exclusivement gaussienne du FastKAN standard.
• Stratégie d'initialisation pilotée par les données : La méthode proposée fournit une initialisation fondée sur des principes et pilotée par les données pour l'échelle du noyau, réduisant la dépendance aux recherches coûteuses d'hyperparamètres tout en permettant un affinage ultérieur pendant l'entraînement.
• Évaluation comparative complète : L'étude évalue la méthode proposée par rapport aux MLP, aux KAN standards, EfficientKAN, Chebyshev KAN, KAF et FastKAN standard sur quatre fonctions de référence distinctes représentant des comportements lisses, discontinus, oscillatoires et singuliers.

Résultats
Les expériences numériques sur le domaine du carré unité $[0, 1]^2$ révèlent ce qui suit :

• Le choix du noyau est déterminant : Aucun noyau unique n'est optimal pour tous les types de fonctions.
  • Fonctions lisses (Franke) : Le noyau gaussien (GA) performe le mieux, cohérent avec son infinie différentiabilité.
  • Discontinuités : Le noyau Matérn C2 (M2) surpasse significativement le GA, capturant les sauts nets avec une erreur plus faible et moins de flou.
  • Motifs oscillatoires : Le noyau gaussien échoue à capturer les oscillations haute fréquence, tandis que le noyau Wendland C2 (W2) reconstruit le motif avec précision.
  • Singularités : Le noyau Wendland C6 (W6) réduit l'erreur d'environ 52 % par rapport à la référence GA pour les pics localisés.
• L'adaptativité améliore les performances : Le RBF-KAN adaptatif surpasse constamment le FastKAN standard avec un paramètre de forme fixe. Par exemple, sur la fonction oscillatoire, l'erreur est passée de $4,54 \times 10^{-1}$ (GA fixe) à $6,24 \times 10^{-2}$ (W2 adaptatif).
• Compromis Efficacité vs Précision : Bien que le KAN standard (basé sur les splines) offre une haute précision, il est computationnellement coûteux (temps d'entraînement ~60s contre ~3-5s pour les variantes RBF). Le RBF-KAN adaptatif maintient l'efficacité computationnelle du FastKAN tout en atteignant une précision compétitive ou supérieure dans tous les cas de test. Les MLP se sont révélés computationnellement efficaces mais ont eu des difficultés avec la précision sur des motifs complexes, lissant souvent excessivement les caractéristiques haute fréquence.

Signification et Revendications
L'article affirme que combiner l'initialisation basée sur la LOOCV avec l'apprentissage adaptatif du noyau fournit une stratégie pratique et flexible pour améliorer les modèles KAN basés sur les RBF. Les auteurs soulignent que leur travail représente la première tentative de relier l'estimation de l'échelle basée sur la LOOCV à l'entraînement des KAN profonds. Ils postulent que la méthode proposée répond aux limitations des choix de noyaux fixes et des paramètres de forme fixes, permettant au réseau de mieux adapter sa représentation de base aux caractéristiques structurelles spécifiques de la fonction cible (lissage, discontinuité, oscillation ou singularité). L'étude conclut que, bien que différents noyaux montrent des avantages pour différentes classes de fonctions, le cadre adaptatif offre une solution robuste qui équilibre l'efficacité computationnelle du FastKAN avec la précision requise pour des défis d'approximation divers. Des travaux futurs sont suggérés pour investiguer les applications dans des problèmes de dimensions supérieures, des ensembles de données réels bruités et des tâches de calcul scientifique telles que la résolution d'équations aux dérivées partielles.