📊 statistics

On the Rate of Convergence of Kolmogorov-Arnold Network Regression Estimators

Cet article établit que les réseaux de Kolmogorov-Arnold (KAN) avec des composantes de type B-splines atteignent des taux de régression minimax-optimaux indépendants de la dimension ambiante, tout en fournissant des règles de sélection de nœuds adaptatives et en clarifiant la non-identifiabilité de leurs composantes univariées.

Auteurs originaux : Wei Liu, Eleni Chatzi, Zhilu Lai

Publié 2026-07-31

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wei Liu, Eleni Chatzi, Zhilu Lai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un ordinateur à prédire la météo. Le monde est désordonné, avec la température, l'humidité, la vitesse du vent et la pression qui interagissent de manière complexe. Dans le monde de l'apprentissage automatique, on appelle cela la « régression non paramétrique ». C'est l'art de trouver un motif caché dans une mer de données sans forcer les données dans une boîte simple et préfabriquée comme une ligne droite. Pendant des décennies, les scientifiques ont utilisé deux outils principaux pour cela. Le premier est le « réseau de neurones », un cerveau numérique composé de couches capables d'apprendre presque tout, mais qui est souvent une « boîte noire » — nous savons qu'il fonctionne, mais nous ne pouvons pas facilement voir comment il fonctionne ou pourquoi il obtient la bonne réponse. Le second est le « spline », un outil mathématique qui ajuste des courbes lisses à travers des points, comme une règle flexible. Les splines sont transparentes et faciles à comprendre, mais elles peinent lorsque les données deviennent trop complexes ou possèdent trop de dimensions (comme lorsqu'on ajoute plus de variables météorologiques).

Récemment, un nouveau type de réseau de neurones appelé Réseau de Kolmogorov-Arnold, ou KAN, est apparu. Considérez un KAN comme un hybride ingénieux : il possède la structure en couches d'un réseau de neurones, mais au lieu d'utiliser des connexions mystérieuses et emmêlées, il construit ses prédictions en empilant des courbes unidimensionnelles simples (des splines) les unes sur les autres. C'est comme construire un gratte-ciel avec des panneaux de verre transparent plutôt qu'avec du béton opaque. La grande question pour les scientifiques était : « Est-ce que ce nouveau gratte-ciel de verre fonctionne aussi bien que les anciens murs de béton, et pouvons-nous le prouver mathématiquement ? » Cet article explore cette question, non pas seulement en menant des expériences, mais en construisant une preuve mathématique rigoureuse pour montrer exactement à quelle vitesse et avec quelle précision ces réseaux apprennent.

Le Gratte-ciel de Verre contre le Mur de Béton

Les auteurs de cet article ont cherché à prouver que les KAN ne sont pas seulement une idée cool, mais une manière mathématiquement optimale d'apprendre à partir des données. Ils se sont concentrés sur un type spécifique de KAN dont les blocs de construction sont des « B-splines » (ces règles flexibles mentionnées précédemment). Leur découverte principale est une « limite de vitesse » pour l'apprentissage. Ils ont prouvé que si les données qu'ils essaient de prédire possèdent un certain niveau de lement (appelons cela la « lissité » $r$ ), le KAN apprend à une vitesse d'environ $O((\log n/n)^{2r/(2r+1)})$ .

Pour mettre cela en termes quotidiens, imaginez que vous essayiez de deviner la forme d'un objet caché en le touchant avec vos doigts. Si l'objet est très lisse (comme une bille polie), vous avez besoin de moins de touches pour comprendre sa forme. S'il est bosselé et dentelé, vous en aurez besoin de beaucoup plus. L'article montre que le KK devient meilleur pour deviner la forme à un rythme qui dépend uniquement de la lissité de l'objet, et non du nombre de dimensions de l'objet. C'est un événement majeur. Habituellement, lorsque vous ajoutez plus de dimensions (plus de variables à suivre), l'apprentissage devient exponentiellement plus difficile — un problème connu sous le nom de « fléau de la dimensionnalité ». C'est comme essayer de trouver une aiguille dans une botte de foin qui continue de grandir chaque fois que vous ajoutez une nouvelle pièce à la grange. Les auteurs ont découvert que, parce que le KAN est construit à partir de pièces unidimensionnelles simples, il contourne complètement ce fléau. Il apprend aussi vite que les données ont 5 ou 20 dimensions, à condition que les données suivent réellement la structure spécifique du KAN.

L'Hic Logarithmique et le Facteur « Log »

Cependant, l'histoire n'est pas parfaitement fluide. Les auteurs ont découvert que la vitesse d'apprentissage du KAN est légèrement plus lente que le mieux théorique absolu par un facteur minuscule impliquant un logarithme (spécifiquement, un facteur de $(\log n)^{2r/(2r+1)}$ ). Ils ont retracé ce « hic » non pas à l'architecture du KAN elle-même, mais au fait que le réseau est non linéaire.

Pensez-y de cette façon : si vous essayez de trouver un livre spécifique dans une bibliothèque où les livres sont disposés en une ligne parfaite et droite (un système linéaire), vous pouvez le trouver instantanément. Mais si les livres sont disposés dans un labyrinthe complexe et sinueux (un système non linéaire), vous devez faire un peu plus de recherches, ce qui ajoute ce petit délai « logarithmique ». Les auteurs ont montré que si l'on simplifie le KAN pour qu'il agisse comme une ligne droite, ce délai supplémentaire disparaît. Cela suggère que le KAN n'est pas intrinsèquement « difficile » à apprendre ; c'est juste que la mathématique de la navigation dans ses torsions non linéaires ajoute une petite surcharge.

Le Mystère des Composants Cachés

L'une des parties les plus fascinantes de l'article est ce qui se passe lorsque vous essayez de regarder à l'intérieur du KAN pour voir les pièces individuelles qu'il a utilisées pour construire la réponse. Les auteurs ont prouvé que vous ne pouvez pas identifier de manière unique ces pièces individuelles simplement en regardant la réponse finale. C'est comme essayer de deviner les ingrédients exacts d'un gâteau juste en goûtant le produit fini. Si vous avez un gâteau qui a un goût de « vanille », vous ne pouvez pas être sûr si le pâtissier a utilisé 1 tasse d'extrait de vanille et 2 tasses de farine, ou 2 tasses de vanille et 1 tasse de farine, car la recette permet un « groupe d'échelle » — une façon d'échanger les quantités entre les ingrédients sans changer le goût final.

Ils ont montré que le simple fait de « centrer » les données (s'assurer que la moyenne est nulle) ne suffit pas à résoudre ce mystère. Le réseau peut toujours redistribuer les poids d'une manière qui modifie les composants internes mais laisse la prédiction finale exactement la même. Cela signifie que bien que le KAN soit excellent pour prédire le résultat, vous ne pouvez pas toujours faire confiance aux parties internes pour vous dire la « vraie » cause sous-jacente, à moins d'ajouter des règles supplémentaires pour les verrouiller.

Les Noeuds et l'Adaptabilité

Pour faire fonctionner ces réseaux, vous devez décider combien de « nœuds » (les points où la règle flexible se courbe) utiliser. Trop peu, et la règle est trop rigide pour suivre la courbe ; trop nombreux, et elle commence à osciller sauvagement et à mémoriser le bruit au lieu du motif. Les auteurs ont dérivé une règle parfaite pour cela : le nombre de nœuds devrait croître approximativement comme $n^{1/(2r+1)}$ , où $n$ est la quantité de données dont vous disposez.

Encore plus cool, ils ont montré que vous n'avez pas besoin de connaître la « lissité » ( $r$ ) des données à l'avance pour réussir cela. Ils ont créé une méthode où le réseau peut choisir automatiquement le bon nombre de nœuds en testant différentes options, un peu comme un randonneur essayant différents sentiers pour trouver celui qui le mènera au sommet le plus rapidement. Dans leurs simulations, cette méthode « adaptative » fonctionnait aussi bien que s'ils avaient connu la réponse dès le départ.

Tester la Théorie en Laboratoire

Enfin, les auteurs ne se sont pas arrêtés à la mathématique ; ils l'ont mise à l'épreuve. Ils ont créé des données fictives avec des niveaux de lissité connus et ont observé le KAN apprendre. Les résultats étaient pile-poil.

La Vitesse : Le KAN apprenait à la vitesse prédite, devenant plus précis à mesure qu'ils ajoutaient des données.
Les Dimensions : Lorsqu'ils augmentaient le nombre de variables de 5 à 20, le KAN conservait sa vitesse, tandis que d'autres méthodes standards (comme les k-plus proches voisins) ralentissaient drastiquement, confirmant que le KAN échappe véritablement au « fléau de la dimensionnalité ».
Les Noeuds : Le nombre optimal de nœuds qu'ils ont trouvé dans les expériences correspondait parfaitement à leur prédiction mathématique.

L'article conclut que les KAN sont un outil puissant et mathématiquement solide. Ils offrent le meilleur des deux mondes : la puissance d'apprentissage des réseaux de neurones profonds et la transparence des splines. Bien qu'il reste des questions ouvertes sur la façon d'identifier parfaitement les parties internes du réseau, la preuve qu'ils apprennent au taux optimal (à l'exception de ce minuscule facteur logarithmique) est une étape majeure. Cela nous dit que lorsque les données ont une structure spécifique, les KAN ne sont pas seulement une astuce intelligente, mais la façon la plus efficace de les apprendre.

Résumé Technique : Sur le taux de convergence des estimateurs de régression des réseaux Kolmogorov–Arnold

Énoncé du Problème
L'article traite des taux de convergence statistique des réseaux Kolmogorov–Arnold (KAN) dans la régression non paramétrique. Bien que les KAN aient gagné un intérêt empirique en tant qu'alternative structurée aux réseaux de neurones profonds — approximant des fonctions multivariées via des compositions de transformations univariées — les garanties statistiques formelles concernant leurs taux d'estimation font défaut. Les auteurs étudient la performance de l'estimateur des moindres carrés sur un crible (sieve) KAN où les composantes univariées sont des B-splines. Plus précisément, ils se demandent : quel taux un minimiseur de risque empirique atteint-il sur une classe de fonctions KAN dont les composantes univariées possèdent une régularité de Sobolev, et ce taux est-il minimax optimal ?

Méthodologie
Les auteurs analysent l'estimateur des moindres carrés $\hat{f}_n$ défini sur un espace de crible $\mathcal{F}_n$ construit à partir d'architectures KAN. La fonction cible $f_0$ est modélisée comme une somme finie de $Q$ unités :
$f(x) = \sum_{q=1}^Q g_q(T_q(x))$
où $T_q(x)$ représente soit une agrégation additive ( $\sum \psi_{qj}(x_j)$ ), soit une agrégation multiplicative ( $\prod \psi_{qj}(x_j)$ ). Les fonctions internes $\psi_{qj}$ et les fonctions externes $g_q$ sont toutes deux approximées par des B-splines d'ordre $m$ avec $k_n$ nœuds.

Les étapes méthodologiques clés incluent :

Hypothèses : La distribution de conception possède une densité bornée, les erreurs sont i.i.d. et sub-gaussiennes, et la fonction de régression appartient à une classe $\mathcal{F}^{KAN}_r$ où les composantes univariées possèdent une régularité de Sobolev $r$ . Crucialement, les fonctions externes $g_q$ sont contraintes dans l'échelle de Sobolev $L_\infty$ ( $W^{r,\infty}$ ) plutôt que $L_2$ , et le crible impose des bornes explicites de norme suprême sur les coefficients pour assurer la stabilité.
Outils Théoriques : L'analyse combine trois ingrédients classiques :
- Une borne d'approximation pour les compositions KAN (Lemme C.1), utilisant un argument de télescopage pour les nœuds multiplicatifs.
- Une borne d'entropie métrique pour le crible non linéaire (Lemme C.2), tenant compte de la non-linéarité de la composition.
- Une inégalité d'oracle pour les moindres carrés sur des classes uniformément bornées (Lemme C.3).
Analyse de l'Identifiabilité : Les auteurs examinent si les composantes apprises convergent vers les composantes réelles, prouvant que le simple centrage est insuffisant pour l'identifiabilité en raison de l'invariance d'échelle et des ambiguïtés de mélange.

Contributions Clés et Résultats

Taux de Convergence : L'estimateur des moindres carrés sur le crible de splines KAN atteint un taux de convergence uniforme de :
$O\left(\left(\frac{\log n}{n}\right)^{\frac{2r}{2r+1}}\right)$
Ce taux est valable uniformément sur une boule de fonctions KAN avec des composantes univariées de régularité de Sobolev $r$ .
Exposant Indépendant de la Dimension : L'exposant $\frac{2r}{2r+1}$ est indépendant de la dimension ambiante $d$ . Les auteurs précisent que cela ne viole pas la borne inférieure minimax $n^{-2r/(2r+d)}$ pour les classes de Sobolev générales sur $[0,1]^d$ . Au lieu de cela, le taux indépendant de la dimension provient de l'hypothèse structurelle selon laquelle la cible admet une représentation KAN avec un nombre fixe d'unités $Q$ .
Optimalité Minimax : Une borne inférieure correspondante d'ordre $n^{-2r/(2r+1)}$ est établie, montrant que l'estimateur est minimax optimal à un facteur logarithmique près. Les auteurs attribuent ce facteur logarithmique à la non-linéarité du crible (nécessitant un chaînage sur un recouvrement) plutôt qu'à l'architecture KAN elle-même. Ils montrent que pour les sous-modèles linéaires (par exemple, fonctions externes fixes), le facteur logarithmique disparaît.
Identifiabilité : L'article prouve que les contraintes de centrage n'identifient pas une représentation KAN ; un groupe d'échelle à un paramètre subsiste, et d'autres ambiguïtés existent pour $d=1$ ou $Q \ge 2$ . Par conséquent, la cohérence de la fonction ajustée $\hat{f}_n$ n'implique pas la cohérence des composantes univariées individuelles $\hat{\psi}_{qj}$ sans conditions supplémentaires de normalisation et de non-dégénérescence.
Adaptativité : Une règle de sélection de nœuds $k_n \asymp (n/\log n)^{1/(2r+1)}$ est dérivée. Les auteurs montrent qu'une sélection pénalisée sur une grille de nœuds dyadiques atteint le taux optimal de manière adaptative, sans connaissance préalable de la régularité $r$ (jusqu'à l'ordre de la spline).

Vérification Expérimentale
Les prédictions théoriques sont vérifiées sur des cibles synthétiques dont la régularité $r$ est exactement connue.

Erreur d'Approximation : L'erreur d'approximation par spline univariée décroît comme $k^{-r}$ , correspondant aux bornes théoriques.
Taux de Convergence : Le risque $L_2$ empirique décroît à des taux cohérents avec $n^{-2r/(2r+1)}$ (à un facteur logarithmique près) pour les cibles additives, univariées et multiplicatives.
Indépendance de la Dimension : Dans les balayages de dimension ( $d=5$ à $d=20$ ), l'estimateur KAN maintient une pente de convergence abrupte, tandis que les bases sans structure (k-NN, Ridge de noyau) se dégradent vers le taux de la malédiction de la dimension $n^{-2r/(2r+d)}$ .
Sélection de Nœuds : Le risque présente une forme en U par rapport au nombre de nœuds, et la validation croisée localise avec succès le nombre optimal de nœuds sans connaître $r$ .

Signification et Revendications
L'article affirme fournir la première analyse rigoureuse de la convergence des KAN, établissant qu'ils atteignent des taux minimax optimaux pour la régression non paramétrique structurée. La principale signification réside dans la démonstration que l'architecture KAN, en exploitant une somme de composantes Sobolev univariées, échappe à la malédiction de la dimension inhérente à l'estimation non paramétrique générale, à condition que la fonction cible possède la structure KAN spécifique.

Les auteurs font preuve de modestie concernant le facteur logarithmique, notant qu'il est un artefact de l'entropie du crible non linéaire plutôt qu'une limitation intrinsèque des KAN, et identifiant la suppression de ce facteur comme un défi technique ouvert nécessitant une analyse d'entropie locale. De plus, ils soulignent que si la fonction de régression est estimée de manière cohérente, la récupération des composantes univariées sous-jacentes nécessite des conditions d'identifiabilité spécifiques qui ne sont pas garanties par un centrage standard. Ce travail comble le fossé entre le succès empirique des KAN et la théorie non paramétrique classique, les plaçant aux côtés des méthodes basées sur les splines en termes d'optimalité tout en conservant la structure de composition par couches des réseaux de neurones.