KAN-SR: A Kolmogorov-Arnold Network Guided Symbolic Regression Framework

Résumé Technique : KAN-SR

Énoncé du Problème
La régression symbolique (SR) vise à découvrir des expressions mathématiques sous forme fermée qui modélisent avec précision un ensemble de données donné, en inférant à la fois la forme fonctionnelle et ses paramètres. Contrairement à la régression traditionnelle avec des structures fixes ou aux modèles d'apprentissage automatique de type « boîte noire », la SR recherche des relations interprétables et concises, essentielles à la découverte scientifique. Cependant, les méthodes classiques comme la programmation génétique (GP) souffrent souvent d'une inefficacité d'échantillonnage, de coûts computationnels élevés et de problèmes de scalabilité. Les approches neuro-symboliques récentes peinent à assurer un entraînement de bout en bout des représentations discrètes, et l'absence de benchmarks universels entrave une comparaison cohérente. De plus, l'application de la SR aux systèmes d'ingénierie dynamiques est complexe en raison de la sensibilité de l'estimation des dérivées au bruit dans les séries temporelles.

Méthodologie : Le Cadre KAN-SR
Les auteurs proposent KAN-SR, un cadre construit sur les réseaux de Kolmogorov-Arnold (KAN) [22, 23] combiné à une stratégie de type « diviser pour régner » et à une simplification symbolique.

1. Architecture du Réseau :

   • KANs : Contrairement aux réseaux de neurones standards avec des fonctions d'activation fixes, les KAN utilisent des fonctions univariées apprenables. Les auteurs implémentent Fast-KAN en utilisant des fonctions de base radiales (spécifiquement une fonction d'activation de commutation réflexive, RSWAF) au lieu de B-splines pour améliorer la vitesse et l'efficacité de l'entraînement.
   • Composition Hybride : Pour surmonter la limitation des KAN purement additives dans la représentation des interactions multiplicatives, le cadre autorise explicitement des combinaisons additives et multiplicatives d'activations apprenables au sein d'unités à couche unique.
   • Régularisation : Pour imposer la parcimonie et l'interprétabilité, le modèle utilise un schéma de régularisation pénalisant l'utilisation inutile des entrées via des pertes de magnitude ($L_1$) et d'entropie sur les matrices d'activation, ainsi qu'une pénalité $L_1$ sur les poids linéaires de base.

2. Flux de Travail et Pipeline :
   Le cadre opère via un pipeline flexible à plusieurs étapes (voir Figure 1 dans l'article) :

   • Prétraitement : Normalisation des variables d'entrée.
   • Recherche par Force Brute : Une recherche exhaustive initiale pour des expressions multiplicatives multivariées simples.
   • Simplification et Décomposition : Inspiré par AI Feynman [15], le système détecte de manière récursive la séparabilité (additive ou multiplicative) et les symétries (translation, mise à l'échelle, etc.) pour décomposer des problèmes complexes en sous-problèmes de dimension inférieure.
   • Ajustement KAN à Couche Unique : Les sous-problèmes décomposés sont ajustés à l'aide d'architectures KAN minimales (unité simple ou multiple).
   • Extraction Symbolique : Les activations univariées entraînées sont approximées par des fonctions issues d'une bibliothèque prédéfinie et extensible (polynômes, trigonométrie, exponentielles, logarithmes, Michaelis-Menten, etc.). Le meilleur ajustement est sélectionné selon l'erreur quadratique moyenne (MSE) ou un score équilibrant la MSE et la complexité.
   • Transformation de Sortie : Si l'ajustement échoue, la variable cible est transformée (ex: logarithme) pour simplifier la forme fonctionnelle avant de retenter la recherche.
   • Boucle Deep KAN : En dernier recours, des architectures KAN plus profondes sont explorées si les modèles plus simples échouent, bien que les expériences principales se concentrent sur l'efficacité du pipeline de simplification sans cette étape.

3. Extension aux Systèmes Dynamiques (Neural CDEs) :
   Pour les systèmes dynamiques, le cadre intègre des équations différentielles contrôlées par réseaux de neurones (Neural CDEs) [36, 28]. Un Neural CDE est entraîné sur des séries temporelles bruitées pour estimer des dérivées lisses. Ces estimations de dérivées robustes servent de cible pour l'étape de régression symbolique, permettant la découverte des équations différentielles directrices (lois de vitesse cinétique) malgré des observations bruitées.

Contributions Clés

• Proposition de Cadre : Introduction de KAN-SR, unifiant l'apprentissage profond compositionnel (KANs) avec l'extraction symbolique et la simplification.
• Pipeline Symbolique : Développement d'un pipeline d'extraction et de simplification symbolique inspiré d'AI Feynman, utilisant une bibliothèque complète de fonctions univariées.
• Évaluation par Benchmark : Évaluation complète sur le jeu de données SRSD-Feynman [16], démontrant des améliorations des taux de récupération symbolique.
• Modélisation Dynamique : Extension de la méthode aux systèmes dynamiques via une étude de cas de bioprocédé, exploitant les Neural CDEs pour une estimation de dérivées robuste au bruit.

Résultats Expérimentaux

• Benchmark SRSD-Feynman : KAN-SR a atteint les taux de solution les plus élevés pour tous les niveaux de difficulté (Facile, Moyen, Difficile) par rapport aux bases de référence de l'état de l'art (gplearn, AFP, AIF, DSR, PySR, etc.).
  • Facile : 93,3 % de taux de solution (contre 60,0 % pour le second meilleur).
  • Moyen : 60,0 % (contre 30,0 % pour PySR).
  • Difficile : 12,0 % (contre 4,0 % pour PySR).
  • Robustesse : Le cadre a maintenu des performances élevées (86,7 % sur Facile) même lorsque des variables fictives (non pertinentes) étaient introduites, surpassant de manière significative les autres méthodes. Il a également démontré une robustesse au bruit gaussien, résolvant plus de 50 % des problèmes Faciles avec des niveaux de bruit de 0,1.
• Étude de Cas de Bioprocédé : Dans un modèle de fermentation en mode batch simulé, l'approche en deux étapes (Neural CDE pour les dérivées + KAN-SR pour les équations) a réussi à récupérer des équations de vitesse cinétique structurellement similaires à la vérité terrain. Bien que le terme d'auto-inhibition dépendant de la biomasse n'ait pas été entièrement récupéré, le modèle symbolique résultant a reproduit la dynamique du système avec une grande fidélité dans les graphiques de parité.

Signification et Revendications
L'article affirme que KAN-SR offre une avancée significative dans la régression symbolique en combinant efficacement l'expressivité de l'apprentissage profond avec l'interprétabilité des formes symboliques. L'approche « diviser pour régner », utilisant la détection de la séparabilité et de la symétrie, permet au cadre de résoudre des problèmes complexes qui déjouent souvent les autres méthodes, particulièrement en présence de variables non pertinentes et de bruit.

Les auteurs positionnent KAN-SR comme un outil capable de récupérer les équations de vérité terrain dans les domaines scientifiques, soulignant spécifiquement son potentiel pour la modélisation de systèmes d'ingénierie dynamiques comme les bioprocédés. Ils notent que si la méthode excelle lorsque la vérité terrain est récupérable à partir des variables d'entraînement, elle fait face à des limites si la solution optimale se situe en dehors de l'espace de recherche contraint défini par l'architecture KAN à couche unique et la bibliothèque spécifique de fonctions univariées. Le cadre est présenté comme une étape vers une modélisation dynamique plus robuste et interprétable, bien que les auteurs reconnaissent qu'une validation plus large sur des systèmes de séries temporelles réels est nécessaire pour évaluer pleinement la généralisabilité.