🔢 mathematics

Partition-of-Unity Gaussian Kolmogorov-Arnold Networks

Ce travail introduit le PU-GKAN, une variante des réseaux de Kolmogorov-Arnold utilisant des fonctions gaussiennes normalisées par partition de l'unité, ce qui améliore la stabilité de l'entraînement et la précision de l'apprentissage tout en offrant une interprétation théorique basée sur les noyaux (kernels).

Auteurs originaux : Amir Nooeizadegan

Publié 2026-04-28

📖 3 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amir Nooeizadegan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : Les "Lampadaires" de l'Intelligence Artificielle

Imaginez que vous essayez d'éclairer une immense place de village avec des lampadaires (ce sont nos fonctions mathématiques). Dans les nouveaux réseaux de neurones appelés KAN (Kolmogorov-Arnold Networks), au lieu d'avoir de grosses ampoules fixes, on utilise des petits projecteurs réglables appelés Gaussiennes.

Le problème, c'est que ces projecteurs sont capricieux :

S'ils sont trop précis (faisceau trop étroit) : Vous avez des petits points très brillants, mais entre chaque projecteur, il fait un noir total. On ne voit plus la forme de la place.
S'ils sont trop larges (faisceau trop diffus) : La lumière est partout, mais elle est si faible et si floue qu'on ne distingue plus rien. C'est le brouillard.

C'est ce qu'on appelle la sensibilité au paramètre d'échelle ( $\epsilon$ ). Trouver le réglage parfait est un casse-tête mathématique.

La Solution : Le "PU-GKAN" (L'Effet de Partage de Lumière)

L'auteur, Amir Noorizadegan, propose une astuce géniale qu'il appelle la "Partition de l'Unité" (Partition-of-Unity).

L'analogie de la couverture de lumière :
Imaginez que chaque projecteur ne se contente pas de projeter sa propre lumière, mais qu'il regarde ses voisins. Si un projecteur voit qu'il y a trop de lumière à un endroit précis, il baisse un peu son intensité. Si un autre est éteint, il augmente la sienne.

Le but est simple : la somme de toute la lumière projetée sur la place doit toujours être égale à 1.

Peu importe où vous marchez sur la place, vous ne serez jamais dans le noir total, et vous ne serez jamais ébloui par un surplus de lumière. On a créé une "couverture de lumière" parfaitement uniforme et fluide.

Pourquoi est-ce une révolution pour ces réseaux ?

Grâce à cette méthode (le PU-GKAN), le réseau devient beaucoup plus robuste :

Moins de "tête en l'air" : Le réseau n'a plus besoin de chercher désespérément le réglage parfait des projecteurs. Même si on se trompe un peu sur la largeur du faisceau, la "couverture de lumière" compense l'erreur.
Plus de stabilité : C'est comme passer d'un conducteur qui doit constamment corriger son volant parce que la route est accidentée, à un conducteur sur une autoroute parfaitement lisse.
Polyvalence : L'auteur a prouvé que cela fonctionne non seulement avec des projecteurs de type "Gaussien", mais aussi avec d'autres formes de lumière (comme les fonctions de Matérn), ce qui montre que sa recette est universelle.
Capacité scientifique : Le système est devenu excellent pour résoudre des équations physiques complexes (comme les ondes ou la chaleur), là où les anciens modèles s'essoufflaient ou faisaient des erreurs de calcul.

En résumé

Si les réseaux de neurones classiques sont des peintres qui essaient de remplir une toile avec des coups de pinceau parfois trop gros ou trop fins, le PU-GKAN est un peintre qui utilise un aérographe parfaitement calibré pour que la couleur soit toujours lisse, constante et précise, peu importe la complexité du dessin.

C'est une méthode simple, élégante et mathématiquement solide pour rendre l'intelligence artificielle plus stable et plus précise dans les sciences.

Résumé Technique : PU-GKAN

1. Problématique (Le Problème)

Les réseaux de Kolmogorov-Arnold (KAN) sont une alternative structurelle aux perceptrons multicouches (MLP) classiques, remplaçant les activations fixes des nœuds par des fonctions univariées apprenables sur les arêtes. Bien que les bases de fonctions de type B-spline soient couramment utilisées, l'utilisation de fonctions de base radiales (RBF), comme les Gaussiennes, est très prometteuse en raison de leur lissage et de leur forme analytique simple.

Cependant, les KAN basés sur des Gaussiennes (GKAN) souffrent d'une sensibilité critique au paramètre d'échelle $\epsilon$ (le "shape parameter").

Si $\epsilon$ est trop petit, les bases sont trop localisées, ce qui nuit à l'approximation.
Si $\epsilon$ est trop grand, les fonctions deviennent presque plates, entraînant un problème de mauvais conditionnement (ill-conditioning) et une perte de rang numérique.

2. Méthodologie (La Solution proposée)

L'auteur introduit le PU-GKAN (Partition-of-Unity Gaussian KAN), une variante utilisant une normalisation de type Shepard.

Le mécanisme de normalisation :
Au lieu d'utiliser les fonctions gaussiennes brutes $\phi_g(t)$ , l'auteur divise chaque base par la somme locale de toutes les bases centrées sur un ensemble fixe de centres $C = \{c_1, \dots, c_G\}$ . La nouvelle base normalisée est définie par :
$e\phi_g(t) = \frac{\exp\left(-\frac{(t-c_g)^2}{\epsilon^2}\right)}{\sum_{h=1}^{G} \exp\left(-\frac{(t-c_h)^2}{\epsilon^2}\right)}$

Caractéristiques clés de la méthode :

Partition de l'unité : Par construction, la somme des fonctions de base est égale à 1 ( $\sum e\phi_g(t) = 1$ ), ce qui garantit une reproduction exacte des constantes au niveau de l'arête.
Préservation de l'architecture : Contrairement aux méthodes de décomposition de domaine, cette normalisation s'applique directement aux fonctions de base à l'intérieur de chaque arête. La structure du réseau et le nombre de paramètres entraînables restent identiques au GKAN standard.
Interprétation par noyau (Kernel) : L'auteur démontre mathématiquement que le PU-GKAN peut être formulé comme une expansion à caractéristiques finies avec une structure de noyau additif, permettant une analyse rigoureuse du conditionnement.

3. Contributions Clés

Nouvelle architecture (PU-GKAN) : Introduction d'une normalisation de type Shepard pour les KAN basés sur des RBF.
Cadre théorique : Formulation du modèle sous l'angle des noyaux à caractéristiques finies, rendant explicites les matrices de caractéristiques et les propriétés de rang.
Règle de sélection d'échelle pratique : L'auteur propose un intervalle de référence pour $\epsilon$ basé sur le conditionnement de la matrice de la première couche, avec une borne supérieure pratique $\epsilon = 2/(G-1)$ .
Polyvalence : Démonstration que la méthode s'étend aux bases de Matérn, et pas seulement aux Gaussiennes.

4. Résultats Expérimentaux

Les tests ont été menés sur diverses tâches (approximation de fonctions, équations aux dérivées partielles - EDP) et montrent que le PU-GKAN surpasse le GKAN standard :

Robustesse à l'échelle $\epsilon$ : Le PU-GKAN réduit la sensibilité au choix de $\epsilon$ . Il présente une zone de faible erreur plus large, ce qui facilite l'entraînement.
Précision accrue : Pour la plupart des fonctions lisses (F1 à F6), le PU-GKAN réduit l'erreur quadratique moyenne (RMSE) de manière significative (souvent entre 30% et 75% d'amélioration).
Stabilité de l'entraînement : Les distributions des entrées internes des couches sont plus régulières et compactes, évitant les excursions extrêmes observées dans le GKAN classique.
Applications scientifiques (Physics-Informed) : Le modèle excelle dans la résolution d'EDP complexes, notamment l'équation de Helmholtz et l'équation d'onde, prouvant son efficacité pour le Scientific Machine Learning.
Limites : Pour les fonctions présentant des discontinuités (F7), l'avantage est moins marqué, ce qui est cohérent avec la nature lisse des bases radiales.

5. Signification et Conclusion

Le travail de Noorizadegan démontre que la normalisation par partition de l'unité est un mécanisme de stabilisation simple et efficace pour les réseaux KAN basés sur des fonctions radiales. En transformant les bases en une partition de l'unité, on régularise la distribution des caractéristiques internes et on améliore la stabilité numérique sans augmenter la complexité computationnelle. Cette approche offre une base solide pour l'utilisation des RBF dans des architectures de deep learning structurées et pour la résolution de problèmes physiques complexes.