Résumé Technique : Réseaux de Kolmogorov–Arnold Géométriques (GeoKAN)

Énoncé du Problème

Les modèles d'apprentissage profond standard, y compris les Perceptrons Multicouches (MLP) et les Réseaux de Kolmogorov–Arnold (KAN) récents, opèrent généralement dans un système de coordonnées euclidien fixe. Bien que les KAN améliorent la flexibilité d'approximation en remplaçant les poids scalaires fixes par des fonctions univariées apprenables, ils évaluent toujours ces fonctions directement sur les coordonnées d'entrée originales. Cette limitation devient critique dans l'apprentissage scientifique et la résolution d'équations différentielles, où les fonctions cibles présentent souvent un comportement hautement non uniforme : lisse dans certaines régions mais variant rapidement près des chocs, des interfaces fines, des pics aigus ou des couches limites. Dans de tels scénarios, les représentations à coordonnées fixes allouent de manière inefficace la capacité du modèle, sur-résolvant souvent les régions lisses tout en sous-résolvant les zones de variation rapide.

Méthodologie

Les auteurs introduisent les Réseaux de Kolmogorov–Arnold Géométriques (GeoKAN), une famille de modèles qui adaptent la géométrie de l'espace d'entrée parallèlement à la fonction d'approximation. Le mécanisme central consiste à apprendre une métrique riemannienne diagonale $g(u)$ qui déforme les coordonnées d'entrée avant l'expansion en base et le mélange des caractéristiques.

Mécanisme Central

Au lieu d'évaluer les fonctions de base sur les entrées brutes $x$, le GeoKAN calcule d'abord des coordonnées déformées :
$$\xi_i = x_i \sqrt{g_i(x)}$$
où $g_i(x) > 0$ est une composante métrique apprise. Cette déformation étire les régions de variation rapide (augmentant la résolution effective) et comprime les régions plus lisses. Le modèle construit ensuite des caractéristiques dans ces coordonnées adaptées à la géométrie.

Variantes

L'article propose trois variantes principales de GeoKAN, différant par la manière dont la métrique est paramétrée et dont les caractéristiques post-déformation sont construites :

1. GeoKAN-MétriqueNN : Utilise une métrique couplée apprise à partir de la représentation entrante complète via un réseau de neurones (MetricNet). Il combine cela avec un dictionnaire d'ondelettes localisé (ondelettes en forme de chapeau mexicain) et un terme de résumé de volume ($\log \det g$).
2. GeoKAN-γ : Emploie une métrique structurée et séparable où chaque coordonnée apprend son propre facteur d'échelle indépendamment. Au lieu d'un dictionnaire post-déformation, il construit des caractéristiques géométriques explicites dérivées de la métrique, incluant la coordonnée déformée, la dérivée logarithmique locale de la métrique et l'amplitude de la métrique.
3. LM-KAN (KAN à Métrique Apprise) : Conçu spécifiquement pour les contextes informés par la physique. Il utilise une métrique apprise couplée (comme GeoKAN-MétriqueNN) mais permet de choisir la base post-déformation en fonction de la structure du problème : Ondelette (LM-KAN-Ondelette), Fonction de Base Radiale (LM-KAN-FBR) ou Fourier (LM-KAN-Fourier).

Apprentissage Informé par la Physique

Dans le cadre informé par la physique, les auteurs utilisent la variante LM-KAN comme modèle de substitution au sein du cadre standard des Réseaux de Neurones Informés par la Physique (PINN). L'objectif d'entraînement reste une fonction de perte basée sur le résidu incorporant l'équation différentielle gouvernante, les conditions initiales et les conditions aux limites. La nouveauté réside uniquement dans l'architecture : le substitut apprend une métrique dépendante de la tâche et évalue sa représentation en base localisée dans des coordonnées adaptées à la métrique, plutôt que de modifier la formulation variationnelle de la perte.

Contributions Clés

1. Biais Inductif Géométrique : L'article introduit un cadre où le modèle apprend non seulement l'approximation de la fonction mais aussi la géométrie sous-jacente de l'espace de représentation, fournissant un mécanisme pour réallouer la résolution de représentation de manière dépendante de la tâche.
2. Trois Architectures Distinctes : Le développement de GeoKAN-MétriqueNN, GeoKAN-γ et LM-KAN offre un spectre de modèles allant des approches à métrique couplée flexibles aux modèles de caractéristiques métriques structurés et légers.
3. Adaptation de la Base : L'intégration de familles de bases spécifiques (Ondelette, FBR, Fourier) au sein de la déformation géométrique permet au modèle d'adapter son biais inductif à des types de problèmes spécifiques (par exemple, Fourier pour les problèmes de Helmholtz oscillatoires).
4. Évaluation Complète : Le travail évalue ces modèles dans deux régimes distincts :
   • Approximation de Fonction Supervisée : Utilisation de benchmarks de capacité appariée pour isoler les avantages d'approximation intrinsèques.
   • Apprentissage Informé par la Physique : Résolution de diverses équations différentielles (Allen–Cahn, Burgers, système de Lorenz, Helmholtz) pour tester les performances dans des contextes de calcul scientifique.

Résultats

Approximation de Fonction Supervisée

Dans les benchmarks de capacité appariée (environ $2 \times 10^4$ paramètres), les variantes GeoKAN ont démontré des performances supérieures aux MLP et aux Efficient-KAN sur des cibles présentant des structures non uniformes :

• Cibles haute fréquence et localisées : GeoKAN-MétriqueNN et LM-KAN-Ondelette ont obtenu les erreurs quadratiques moyennes (MSE) les plus faibles sur des sinusoïdes haute fréquence, des discontinuités en escalier, des aiguilles étroites et des sinusoïdes modulées en enveloppe multi-échelles.
• Signaux de fréquence modulée (chirp) : LM-KAN-FBR a surpassé les autres variantes sur les cibles de type chirp, suggérant que les bases FBR sont mieux adaptées aux fréquences locales variant de manière lisse.
• Interprétation : Les résultats confirment que la métrique apprise redistribue efficacement la résolution, étirant les régions difficiles et comprimant les régions lisses, conduisant à des ajustements plus serrés sans augmenter le nombre de paramètres.

Apprentissage Informé par la Physique

Les performances de LM-KAN ont été comparées à des baselines PIKAN standard (Efficient-KAN et Wav-KAN) sur plusieurs équations différentielles :

• Équation d'Allen–Cahn (Cas 1) : Les deux modèles ont atteint une haute précision. PIKAN a atteint une perte finale légèrement inférieure, mais LM-KAN a entraîné significativement plus vite (315s contre 539s) avec moins de paramètres.
• Équation d'Allen–Cahn (Cas 2 - Rigide) : Dans le régime plus difficile avec des interfaces plus nettes, LM-KAN a fourni une meilleure reconstruction de la solution et des résidus d'EDP inférieurs, bien qu'à un coût computationnel plus élevé (4760s contre 1281s).
• Équation de Burgers : LM-KAN a atteint une perte finale presque identique à PIKAN mais en beaucoup moins de temps (206s contre 295s), malgré un nombre de paramètres plus élevé, indiquant une efficacité computationnelle améliorée dans la résolution de gradients raides.
• Système de Lorenz : LM-KAN a atteint une perte finale inférieure à PIKAN, démontrant que l'adaptation géométrique bénéficie aux EDO non linéaires couplées, bien qu'avec des temps d'entraînement plus longs.
• Équation de Helmholtz : Dans ce régime hautement oscillatoire, LM-KAN (utilisant des bases de Fourier) a significativement surpassé la baseline Efficient-KAN. Il a atteint une perte finale inférieure (réduction d'environ 45 %) et a entraîné plus de deux fois plus vite (76s contre 166s), malgré un nombre de paramètres presque identique. L'adaptation géométrique s'est révélée particulièrement efficace pour préserver la précision de phase et la structure d'onde à mesure que les longueurs d'onde diminuaient.

Importance et Revendications

L'article revendique que GeoKAN fournit un mécanisme de représentation plus flexible et souvent plus efficace pour l'apprentissage scientifique, en particulier pour les problèmes caractérisés par des transitions abruptes, des structures localisées ou une complexité oscillatoire.

• Architecture vs Variationnelle : Les auteurs soulignent que l'amélioration est architecturale. Le cadre d'entraînement (fonction de perte basée sur le résidu) reste standard ; le gain provient de la capacité du substitut à apprendre un système de coordonnées adapté à la géométrie.
• Résolution Dépendante de la Tâche : L'importance principale réside dans la capacité à « placer la capacité là où elle est le plus nécessaire ». En apprenant une métrique qui étire les régions difficiles, GeoKAN évite l'inefficacité des représentations à grille fixe qui doivent résoudre globalement les caractéristiques locales.
• Revendications Modérées : Les auteurs reconnaissent que GeoKAN n'est pas uniformément supérieur dans chaque métrique. Dans certains cas (par exemple, Allen–Cahn Cas 1), le PIKAN standard atteint une perte finale inférieure ou un entraînement plus rapide. L'avantage de GeoKAN est le plus prononcé dans les régimes avec une forte non-uniformité, une rigidité ou des oscillations haute fréquence.
• Directions Futures : L'article suggère que des travaux futurs pourraient explorer des métriques anisotropes (non diagonales) pour les EDP de dimensions supérieures et une adaptativité accrue dans la sélection de la base.

En résumé, GeoKAN étend le paradigme KAN en apprenant la géométrie du domaine d'entrée, offrant une approche robuste pour gérer la non-uniformité inhérente à de nombreux problèmes scientifiques et d'équations différentielles.