📊 statistics

Geometry-Constrained Kolmogorov-Arnold Networks: Learning Edge Geometry via Banach Duality

Ce document introduit les réseaux de Kolmogorov-Arnold à contraintes géométriques (Banach-KANs), qui remplacent les activations d'arêtes fixes par des fonctions apprenables dérivées de cartes de dualité de Banach contrôlées par un exposant scalaire $p$ , atteignant une performance supérieure ou compétitive en régression symbolique et démontrant une robustesse accrue au bruit et aux petits échantillons par rapport aux KAN traditionnels à base fixe.

Auteurs originaux : K S Sesh Kumar

Publié 2026-08-27

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : K S Sesh Kumar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de la découverte scientifique, de nombreuses lois naturelles décrivent comment une quantité change en réponse à une autre. Le mouvement d'un pendule dépend de son angle ; la vitesse d'une voiture dépend de la densité du trafic ; la luminosité d'une étoile dépend de sa température. Pendant des décennies, les scientifiques ont utilisé des modèles mathématiques pour capturer ces relations, mais une nouvelle approche est apparue, qui traite le modèle lui-même comme une entité flexible et apprenante. Cette approche, connue sous le nom de réseau Kolmogorov–Arnold, fonctionne en décomposant un problème complexe en de nombreux petits morceaux simples. Au lieu de forcer l'ensemble du système à apprendre une règle unique et rigide, elle construit un réseau où chaque connexion entre deux points est gouvernée par sa propre fonction unique et apprenable. Le défi central de ces réseaux a toujours été de décider quelle forme ces fonctions devraient prendre. Traditionnellement, les chercheurs devaient choisir une forme spécifique à l'avance — comme une courbe lisse ou une onde répétitive — et s'y tenir pour l'ensemble du problème. Cela revient un peu à essayer de réparer une machine cassée avec un seul type de clé ; cela fonctionne bien pour certains boulons, mais échoue lamentablement sur d'autres.

Un chercheur de l'Imperial College London a proposé une autre façon d'aborder ce problème. Il a réalisé que le véritable problème n'est pas la forme de la fonction elle-même, mais la « géométrie » sous-jacente ou l'espace dans lequel cette fonction vit. En mathématiques, la géométrie détermine comment les distances sont mesées et à quel point une courbe peut être abrupte ou lisse. Le chercheur a développé un nouveau type de réseau où la géométrie n'est pas fixée avant le début de l'apprentissage. Au lieu de cela, le réseau apprend la meilleure géométrie pour chaque connexion individuelle directement à partir des données. Il y est parvenu en introduisant un nombre unique et ajustable pour chaque connexion dans le réseau. Ce nombre agit comme un cadran qui déplace le comportement de la connexion, passant d'un comportement abrupt et de type seuil à un comportement lisse et linéaire, ou même plat et saturé. En laissant les données décider de la position de ce cadran, le réseau peut adapter sa propre structure interne pour correspondre aux particularités spécifiques du problème qu'il résout.

Le chercheur a testé cette idée sur cinquante problèmes mathématiques différents, allant d'équations de physique standard à des défis synthétiques conçus pour tester la résistance du système. Il a comparé ses nouveaux réseaux adaptatifs à la géométrie contre les anciens modèles qui reposent sur des formes fixes, tels que les splines (qui sont comme des règles flexibles utilisées pour tracer des courbes lisses) ou les polynômes. Les résultats ont montré que les modèles à forme fixe avaient du mal lorsque les données contenaient des sauts soudains ou des angles vifs, produisant souvent des résultats instables et imprécis car leurs formes rigides ne pouvaient pas se plier suffisamment pour s'adapter aux données. En revanche, les nouveaux réseaux, capables d'ajuster leur propre géométrie, ont égalé ou dépassé les performances de chaque base de référence à forme fixe. Sur un ensemble de dix-huit équations difficiles, la nouvelle méthode a obtenu le meilleur classement moyen, et sur l'ensemble des cinquante, elle a performé aussi bien que les méthodes traditionnelles les plus puissantes.

La découverte la plus significative concerne peut-être la manière dont ces nouveaux réseaux gèrent le bruit. Dans le monde réel, les mesures sont rarement parfaites ; elles contiennent souvent des erreurs aléatoires ou du « statique ». Lorsque le chercheur a ajouté des quantités croissantes de bruit à ses données, les modèles traditionnels se sont rapidement effondrés. Leurs taux d'erreur ont augmenté d'un facteur de vingt et un ou plus à mesure que le bruit augmentait. Les réseaux adaptatifs à la géométrie étaient beaucoup plus robustes. Même lorsque le niveau de bruit augmentait, leurs taux d'erreur augmentaient d'un facteur beaucoup plus faible, dépassant souvent de moins de quatre fois l'erreur originale. Cela suggère qu'en apprenant la bonne géométrie, le réseau peut ignorer le statique aléatoire et se concentrer sur le signal réel, une capacité que les modèles à forme fixe n'ont pas.

L'étude a également révélé que le réseau n'apprend pas seulement une géométrie unique et uniforme pour tout. Au lieu de cela, différentes connexions au sein d'un même réseau ont appris des réglages différents pour leur cadran de géométrie. Certaines connexions ont appris à être très abruptes pour gérer des changements soudains, tandis que d'autres ont appris à être lisses pour des tendances graduelles. Cette spécialisation s'est produite de manière cohérente à travers différents types d'équations et de dimensions d'entrée. Par exemple, lorsque le problème impliquait plus de variables, le réseau avait tendance à apprendre des géométries plus abruptes plus souvent. Ce comportement fournit une sorte d'interprétabilité : en observant les réglages choisis par le réseau, les chercheurs peuvent voir un signal qui reflète la structure sous-jacente du problème. Le réseau nous dit essentiellement : « Cette partie du problème nécessite un bord tranchant, tandis que cette autre partie nécessite une courbe douce. »

Le cherchenaire a également exploré ce qui se passe lorsqu'il y a très peu de données disponibles. Dans ces scénarios à faible échantillonnage, les nouveaux réseaux ont de nouveau surpassé les modèles à forme fixe, qui nécessitent généralement de grandes quantités de données pour apprendre efficacement. La capacité d'adapter la géométrie a permis aux nouveaux réseaux d'approximer les bonnes réponses avec beaucoup moins d'exemples. Cependant, l'étude a également noté des limites à cette approche. Bien que la nouvelle méthode excelle dans les problèmes de faible à moyenne dimension, elle n'est pas un remplacement pour les réseaux de neurones profonds et massifs utilisés dans des tâches comme la reconnaissance d'images. En fait, lors de tests sur des ensembles de données d'images, la nouvelle méthode n'a égalé les performances des réseaux standards que si elle recevait vingt à trente fois plus de paramètres, suggérant que sa force réside dans l'efficacité et l'adaptabilité pour des types spécifiques de problèmes de régression plutôt que dans l'échelle brute.

En fin de compte, ce travail déplace l'attention du choix de l'outil approprié vers la construction d'un outil capable de changer sa propre forme. Le chercheur a démontré que la clé pour résoudre des problèmes de régression complexes n'est pas la base mathématique spécifique utilisée pour représenter les données, mais l'espace géométrique dans lequel cette représentation vit. En faisant de cet espace un paramètre apprenable, il a créé un système qui est plus robuste au bruit, plus efficace avec de petits ensembles de données et plus capable de capturer la véritable nature des relations qu'il tente de modéliser. Les conclusions suggèrent que, dans le futur, les modèles les plus efficaces ne seront peut-être pas ceux qui possèdent les architectures fixes les plus complexes, mais ceux qui peuvent apprendre la géométrie même du problème qu'ils résolvent.

Résumé Technique : Réseaux de Kolmogorov–Arnold à Contrainte Géométrique

Énoncé du Problème

Les réseaux de Kolmogorov–Arnold (KAN) remplacent les fonctions d'activation fixes des architectures profondes par des fonctions univariées sur les arêtes qui sont apprenables. Bien que les variantes existantes de KAN (utilisant par exemple des B-splines, des polynômes de Chebyshev ou des caractéristiques de Fourier) offrent de la flexibilité, elles reposent sur des expansions de bases fixes. Cela impose une géométrie de l'espace fonctionnel (par exemple, la lissité, la périodicité ou la localité) a priori, avant l'observation des données.

L'article soutient que cette géométrie fixe est une limitation fondamentale. Comme démontré dans l'introduction, différentes bases fixes échouent de manières distinctes lorsqu'elles tentent d'ajuster des cibles aux structures incompatibles (par exemple, des bases lisses peinant face à des discontinuités comme les fonctions de Heaviside). Le problème central n'est pas la capacité de représentation, mais le décalage géométrique : la géométrie imposée par la base ne s'aligne pas avec la géométrie intrinsèque de la fonction cible.

Méthodologie : KAN à Contrainte Géométrique

L'auteur propose des KAN à contrainte géométrique, où l'activation de l'arête n'est pas sélectionnée parmi un ensemble discret de bases, mais est dérivée de la carte de dualité d'une géométrie d'espace de Banach apprenable.

1. Fondement Théorique

L'approche exploite la correspondance entre une norme, un potentiel convexe et son gradient (l'activation) :
$\text{norme} \implies \text{géométrie} \implies \text{potentiel convexe } \Psi \implies \text{activation } \phi = \nabla \Psi$
Au lieu de fixer la base, l'auteur paramètre la géométrie en utilisant la famille $\ell_p$ . L'exposant $p$ contrôle le comportement qualitatif de l'arête :

$p \to 1$ : Produit un comportement tranchant, de type seuil (rappelant la géométrie $\ell_1$ ).
$p = 2$ : Recouvre le régime linéaire/euclidien.
$p > 2$ : Produit des réponses plus plates près de l'origine et une croissance en loi de puissance dans les queues de distribution.

2. Variantes d'Architecture

L'article définit une famille contrôlée de trois architectures pour isoler les effets de l'expressivité et de l'adaptation géométrique :

Tanh-KAN : Utilise l'activation $\tanh$ standard (dérivée de la dualité d'Orlicz, $\Psi(z) = \log \cosh z$ ). Elle offre une expressivité bornée mais aucune adaptation géométrique.
$\ell_p$ -KAN : Utilise la carte de dualité $J_p(z) = \text{sign}(z)(|z| + \epsilon)^{p-1}$ . Elle permet une adaptation géométrique via un exposant $p$ appris, mais manque de saturation bornée.
Banach-KAN : Le modèle principal, qui combine les deux branches :
$\phi(x) = a_1 \tanh(w_1 x + b_1) + a_2 J_p(w_2 x + b_2) + d$
Cette architecture unifie la saturation bornée (provenant de $\tanh$ ) et la géométrie adaptative en loi de puissance (provenant de $J_p$ ), permettant aux arêtes de couvrir divers régimes de réponse.

3. Détails d'Implémentation

Exposant Apprenable : L'exposant est paramétré par $p = 1 + \exp(\theta)$ , permettant une optimisation non contrainte de $\theta$ .
Stabilité Numérique : La carte de dualité exacte $J_p$ possède une dérivée singulière en $z=0$ pour $p < 2$ . L'auteur implémente une carte lissée partout- $C^1$ : $J_p^\epsilon(z) = z(z^2 + \epsilon^2)^{(p-2)/2}$ , ce qui préserve l'interprétation géométrique dans les queues tout en assurant la différentiabilité à l'origine.
Condition de Profondeur Entraînable : L'analyse théorique (Proposition 1) suggère que pour un empilement feedforward avec des pré-activations gaussiennes, une échelle de poids critique n'existe que si $p > 3/2$ . En dessous de ce seuil, la propagation du signal peut devenir instable sans connexions résiduelles.

Principales Contributions

Paramétrage à Contrainte Géométrique : Introduction d'activations d'arêtes KAN dérivées de cartes de dualité de Banach où la géométrie (contrôlée par $p$ ) est apprise directement à partir des données, plutôt que d'être fixée par un choix de base.
Interprétation Unifiée : Recadrage des fonctions d'activation des arêtes KAN non pas comme des expansions de bases, mais comme des mises en correspondance contrôlées par la géométrie.
Robustesse Empirique : Démonstration que l'apprentissage de la géométrie améliore la robustesse face au bruit de mesure et à l'approximation dans les régimes à faibles échantillons par rapport aux KAN à base fixe et à la régularisation par spline explicite.
Signal Interprétable : Démonstration que les exposants appris fournissent un ordonnancement géométrique cohérent et dépendant de la cible (par exemple, des cibles plus tranchantes produisent un $p$ plus faible) qui est stable à travers les niveaux de bruit et les dimensions d'entrée.
Ablation de la Flexibilité : Isolation de l'effet "géométrie" de la flexibilité paramétrique générique en comparant avec des contrôles à budget égal (par exemple, des activations adaptatives de pente, des fonctions rationnelles et des modèles de mélange).

Résultats Expérimentaux

Les modèles ont été évalués sur 50 cibles de régression symbolique (40 issues du benchmark AI Feynman, 10 tests de stress synthétiques) et 12 jeux de données tabulaires PMLB.

Performance sur Données Propres

NRMSE Médian : Le Banach-KAN a atteint un NRMSE médian de 0,030 sur l'ensemble complet des 50 équations, égalant statistiquement le Chebyshev-KAN (0,030) et surpassant le Spline-KAN (0,037).
Classement : Le Banach-KAN a obtenu le meilleur rang moyen sur le sous-ensemble "Core 18" (2,00) et a fait jeu égal pour le meilleur sur l'ensemble complet (2,32 vs 2,34 pour Spline).
Régime de Faibles Échantillons : Le Banach-KAN a remporté le plus d'équations dans le régime de petits échantillons ( $n=50$ et $n=100$ ), surpassant les modèles à base fixe qui nécessitent plus de données pour converger.

Robustesse au Bruit

L'article souligne des gains significatifs sous bruit de mesure ( $\sigma$ augmentant de 0 à 1) :

Ratio de Dégradation : À mesure que le bruit augmentait, les modèles à base fixe se dégradaient considérablement (Spline G=3 a dégradé de 21,6 $\times$ , Cheby-KAN de 14,9 $\times$ ).
Stabilité de la Contrainte Géométrique : Les variantes à contrainte géométrique se sont beaucoup moins dégradées. Le $\ell_p$ -KAN a dégradé de seulement 3,7 $\times$ , et le Banach-KAN de 8,8 $\times$ . Notamment, même une spline avec validation croisée a dégradé d'environ $\approx$ 11 $\times$ , rendant la géométrie apprise plus robuste que la régularisation ajustée.
Décalage du Régime de Bruit : À haut niveau de bruit ( $\sigma=1,0$ ), la variante $\ell_p$ a surpassé le Banach-KAN, suggérant un compromis où la géométrie pure en loi de puissance est plus robuste au bruit extrême que l'architecture combinée.

Extrapolation et Données Tabulaires

Extrapolation : Sur des tests hors plage (entraînement sur les 60 % intérieurs de l'espace d'entrée), le Banach-KAN et le $\ell_p$ -KAN ont atteint les NRMSE les plus bas (0,35 et 0,42), surpassant nettement les bases locales comme les Splines (0,73) et les RBF (0,86).
Données Tabulaires : Sur 12 jeux de données PMLB, la famille à contrainte géométrique a gagné 10/12 jeux de données. Le Tanh-KAN était le modèle individuel le plus fort (5 victoires), tandis que le Banach-KAN en a gagné 1. Le Spline G=3 n'a gagné aucun jeu de données.

Signification et Revendications

L'article positionne sa contribution comme un principe de conception plutôt que comme un record de performance de l'état de l'art. L'auteur affirme explicitement :

Portée Modeste : La méthode est conçue pour la régression de basse à moyenne dimension. Elle ne cherche pas à rivaliser avec les architectures profondes (comme les ResNets) sur leur terrain natif (ex: classification d'images) où les MLP ne sont égalés qu'avec 20 à 30 fois plus de paramètres.
Le "Bon Outil" pour le Régime : La thèse est qu'à budgets par arête comparables, sous bruit de mesure et dans les régimes de faibles échantillons, la géométrie induite (apprise via $p$ ) régit le succès de l'apprentissage plus que la capacité brute.
Interprétabilité : L'exposant $p$ appris sert de "lecture géométrique" de la structure de la fonction cible, fournissant un signal interprétable sur la régularité requise (tranchante vs lisse) sans réglage manuel.
Limitations : L'auteur reconnaît que la forme par arête possède un plafond de capacité à mesure que la taille des données augmente, et que l'évaluation est actuellement limitée à la régression symbolique et aux données tabulaires, des travaux futurs étant nécessaires pour les modalités de haute dimension (séquences, images).

En résumé, l'article soutient que la géométrie est le choix de modélisation primaire dans les KAN. En rendant la géométrie adaptable via un exposant $p$ appris, le modèle peut aligner son biais inductif avec les données, ce qui se traduit par une robustesse et une approximation supérieures dans les régimes où les bases fixes échouent.