FS-KAN: Permutation Equivariant Kolmogorov-Arnold Networks via Function Sharing

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous essayez d'apprendre à un enfant à reconnaître des objets, mais au lieu de lui montrer des photos fixes, vous lui donnez des tas de Lego qu'il peut assembler de mille manières différentes. Si vous lui apprenez à reconnaître un château de Lego, peu importe l'ordre dans lequel il pose les briques, il doit comprendre que c'est toujours le même château. C'est le défi des symétries en intelligence artificielle : comment apprendre des règles qui restent vraies, même si on mélange les données ?

Voici une explication simple du papier de recherche FS-KAN, présenté à la conférence ICLR 2026, en utilisant des images du quotidien.

1. Le Problème : Le Chaos des Données Symétriques

Dans le monde réel, beaucoup de données sont "symétriques".

Un nuage de points (3D) : Si vous tournez une chaise, c'est toujours la même chaise.
Un groupe d'amis : Si vous changez l'ordre des noms sur une liste, c'est toujours le même groupe.
Une image : Si vous déplacez un chat de gauche à droite, c'est toujours le même chat.

Les réseaux de neurones classiques sont comme des élèves très rigides : ils apprennent par cœur la position exacte de chaque chose. Si vous déplacez le chat, ils paniquent. Pour les rendre intelligents, on utilise des techniques spéciales (appelées "partage de paramètres") qui leur disent : "Peu importe l'ordre, traite ces éléments de la même façon".

2. La Solution Actuelle : Les "Jumeaux Identiques" (Paramètres Partagés)

Jusqu'à présent, pour gérer cette symétrie, on utilisait des réseaux de neurones où les "poids" (les boutons de réglage internes) étaient partagés.

L'analogie : Imaginez une équipe de cuisiniers. Au lieu que chaque cuisinier ait sa propre recette secrète, ils utilisent tous exactement la même recette pour chaque plat. Si le cuisinier A prépare une omelette, il utilise les mêmes ingrédients que le cuisinier B. Cela garantit que le goût est toujours le même, peu importe qui cuisine.
Le problème : Ces recettes (les poids) sont fixes et rigides. Elles sont comme des formules mathématiques simples (des lignes droites). Elles manquent de souplesse pour comprendre des formes complexes.

3. La Révolution : Les "Recettes Vivantes" (Les KAN)

Récemment, une nouvelle architecture appelée KAN (Réseaux de Kolmogorov-Arnold) est apparue.

L'analogie : Au lieu d'avoir des poids fixes, imaginez que chaque cuisinier a une recette vivante. Au lieu de dire "ajoute 2 œufs", la recette dit "ajoute une quantité d'œufs qui change selon l'humidité de la cuisine". C'est une fonction mathématique apprenable, flexible et très expressive.
L'avantage : Ces réseaux sont plus intelligents, plus interprétables (on peut voir ce qu'ils apprennent) et ont besoin de moins de données pour bien fonctionner.

4. Le Défi : Comment rendre les "Recettes Vivantes" symétriques ?

Le papier FS-KAN pose la question suivante : Comment faire en sorte que ces "recettes vivantes" respectent aussi la symétrie ?
Si on applique simplement la règle des "recettes vivantes" sans contrainte, le réseau oublie la symétrie. Si on applique la règle de symétrie rigide, on perd la flexibilité des recettes vivantes.

5. La Solution FS-KAN : Le "Partage de Fonctions"

Les auteurs proposent une méthode brillante appelée FS-KAN (Function Sharing KAN).

L'analogie du Miroir : Imaginez que vous avez un grand miroir magique. Si vous changez l'ordre des ingrédients sur la table (symétrie), le miroir vous montre que la recette doit rester la même.
Le concept : Au lieu de partager des poids fixes, FS-KAN partage des fonctions entières.
- Si le réseau apprend une fonction pour transformer un "ingrédient A", cette même fonction est automatiquement appliquée à l'"ingrédient B" si B est une version décalée de A.
- C'est comme si tous les cuisiniers de l'équipe avaient la même recette vivante (la même fonction mathématique flexible) et l'appliquaient à leurs propres ingrédients.

6. Pourquoi c'est génial ? (Les Résultats)

Le papier montre trois choses incroyables :

La même puissance, mais plus intelligente : Théoriquement, FS-KAN peut faire tout ce que les anciens réseaux rigides pouvaient faire, mais avec plus de finesse. C'est comme remplacer un marteau par un couteau suisse : même fonction de base, mais beaucoup plus polyvalent.
Économiseur de données (Le super-pouvoir) : C'est là que ça brille. Dans des situations où vous avez très peu de données (peu d'exemples d'apprentissage), FS-KAN surpasse largement les anciens modèles.
- Analogie : Imaginez apprendre à conduire. Les vieux modèles ont besoin de 10 000 heures de pratique pour comprendre les virages. FS-KAN, grâce à sa flexibilité et sa compréhension des symétries, apprend en 100 heures. C'est un gain énorme d'efficacité.
Transparence : Avec les KAN, on peut "voir" ce que le réseau apprend. FS-KAN garde cette capacité. On peut littéralement regarder les fonctions apprises et dire : "Ah, il a appris que la forme d'un chat est importante, peu importe sa position".

7. En Résumé

FS-KAN est une nouvelle façon de construire des intelligences artificielles qui sont à la fois :

Symétriques : Elles comprennent que l'ordre des données n'importe pas (comme un groupe d'amis).
Flexibles : Elles utilisent des "recettes vivantes" pour comprendre des formes complexes.
Économes : Elles apprennent très vite avec peu de données.

C'est comme passer d'un manuel d'instructions rigide et ennuyeux à un chef cuisinier génial qui peut s'adapter à n'importe quelle cuisine, tout en respectant scrupuleusement les règles de l'hygiène (la symétrie), et qui apprend à cuisiner un banquet entier après avoir goûté seulement quelques bouchées.

Each language version is independently generated for its own context, not a direct translation.

Voici un résumé technique détaillé de l'article « FS-KAN: Permutation Equivariant Kolmogorov-Arnold Networks via Function Sharing », publié à la conférence ICLR 2026.

1. Problématique et Contexte

L'apprentissage automatique moderne s'efforce de concevoir des architectures de réseaux de neurones qui respectent les symétries inhérentes aux données (equivariance et invariance). Pour les symétries de permutation (fréquentes dans les ensembles, les graphes, les images et les interactions utilisateur-élément), la méthode standard consiste à utiliser des schémas de partage de paramètres (parameter-sharing) au sein de couches linéaires équivariantes.

Cependant, les réseaux de neurones traditionnels basés sur des MLP (Perceptrons Multicouches) avec des poids scalaires fixes ont récemment été challengés par les Réseaux de Kolmogorov-Arnold (KAN). Les KAN remplacent les poids scalaires par des fonctions univariées apprises, offrant une meilleure interprétabilité, une expressivité accrue et une efficacité paramétrique supérieure.

Le problème central abordé par cet article est l'absence d'un cadre théorique unifié et principiel pour appliquer les KAN aux données présentant des symétries de permutation arbitraires. Bien que des tentatives aient été faites pour des types de données spécifiques (graphes, ensembles), il manquait une généralisation pour tous les groupes de permutation, permettant de combiner la puissance expressive des KAN avec les garanties théoriques de l'équivariance.

2. Méthodologie : FS-KAN

Les auteurs proposent FS-KAN (Function Sharing KAN), un cadre général pour construire des couches KA (Kolmogorov-Arnold) invariantes et équivariantes pour n'importe quel groupe de symétrie de permutation $G \le S_n$ .

A. Principe de Partage de Fonctions (Function Sharing)

Contrairement aux réseaux équivariants classiques qui imposent des contraintes de symétrie sur les poids (matrices), FS-KAN impose des contraintes sur les fonctions univariées apprises.

Définition : Une couche KA est dite équivariante par partage de fonctions (FS-KA) si les fonctions $\phi_{q,p}$ reliant l'entrée $p$ à la sortie $q$ sont liées par l'action du groupe :
$\phi_{q,p} = \phi_{\sigma(q), \sigma(p)} \quad \forall \sigma \in G$
Théorème d'équivalence : Les auteurs démontrent que toute couche KA équivariante peut être représentée par une couche FS-KA. Cela permet de restreindre la recherche et l'implémentation uniquement aux structures de partage de fonctions sans perte de généralité.

B. Extension aux Canaux et Tenseurs d'Ordre Supérieur

Le cadre est généralisé pour gérer :

Multiples canaux de caractéristiques : Le partage de fonctions s'applique aux sous-couches KA entre les canaux d'entrée et de sortie.
Symétries de Produit Direct : Pour des données matricielles (ex: matrices de notation) où les groupes agissent sur les lignes et les colonnes ( $G \times H$ ), le partage est appliqué hiérarchiquement (partage externe des sous-couches et partage interne des fonctions).
Tenseurs d'ordre supérieur : La méthode s'applique naturellement aux graphes et hypergraphes en traitant les indices des tenseurs comme des permutations.

C. Version Efficace (Efficient FS-KA)

Les couches KA standards peuvent être coûteuses en mémoire car elles appliquent des fonctions indépendamment à chaque paire d'entrée/sortie. Les auteurs proposent une variante Efficiente qui :

Agrège les entrées selon la structure de partage (par exemple, sommation ou moyenne) avant d'appliquer les fonctions non linéaires partagées.
Réduit considérablement le nombre d'évaluations de fonctions non linéaires et la taille du graphe de calcul, tout en préservant l'équivariance.

3. Contributions Clés

Cadre Unifié (FS-KAN) : Introduction d'une approche fondée sur le partage de fonctions pour construire des KAN équivariants/invariants pour des groupes de permutation arbitraires, unifiant des travaux antérieurs dispersés.
Analyse Théorique de l'Expressivité :
- Preuve que les FS-KAN ont la même puissance expressive que les MLP à partage de paramètres dans le sens de l'approximation uniforme.
- Démonstration que les FS-KAN peuvent approximer n'importe quel MLP équivariant et vice-versa.
- Conséquence majeure : Cela permet de transférer directement les résultats théoriques connus sur les réseaux équivariants (comme l'universalité des DeepSets ou la puissance discriminative des tests k-WL pour les graphes) vers les FS-KAN.
Interprétabilité Accrue : La structure de partage de fonctions rend la symétrie explicite dans les fonctions apprises, facilitant la visualisation et l'interprétation des modèles (contrairement aux KAN standards qui apprennent des fonctions indépendantes et désordonnées).
Validation Empirique : Résultats expérimentaux montrant une efficacité supérieure des données (data efficiency) dans les régimes à faible quantité de données.

4. Résultats Expérimentaux

Les auteurs évaluent FS-KAN sur plusieurs tâches avec différentes symétries :

Classification de Signaux (Symétrie $S_n \times C_T$ ) : FS-KAN surpasse les modèles de base (DeepSets) dans les régimes à faible données (60-1200 exemples), avec une précision supérieure et une meilleure efficacité paramétrique. La version efficace réduit le temps d'entraînement de 1,4x par rapport à la version complète.
Classification de Nuages de Points (Symétrie $S_n$ ) : Sur le dataset ModelNet40, FS-KAN surpasse systématiquement les DeepSets et les Transformers, surtout lorsque le nombre d'échantillons ou de points par nuage est limité.
Apprentissage Continu (Continual Learning) : Dans un scénario de classification de nuages de points avec dérive de distribution (rotation/translation), FS-KAN montre une meilleure résistance à l'oubli catastrophique que les modèles de base, préservant mieux les connaissances antérieures.
Prédiction de Notation Semi-supervisée ( $S_n \times S_m$ ) : Sur des tâches de complétion de matrices (MovieLens, Flixster), FS-KAN excelle dans des scénarios de données extrêmement rares, surpassant les modèles SSEM (Self-supervised Exchangeable Models) avec un nombre de paramètres bien inférieur.

Compromis Performance/Coût : Bien que FS-KAN soit plus lent à l'entraînement que les MLP standards (en raison de la complexité des fonctions apprises), son gain en précision dans les régimes à faible données justifie ce surcoût computationnel. La version "Efficiente" offre un bon compromis.

5. Signification et Impact

Ce travail est significatif car il comble un vide théorique majeur en intégrant les KAN (une architecture prometteuse pour l'interprétabilité et l'efficacité) dans le domaine de l'apprentissage géométrique profond (Geometric Deep Learning).

Théoriquement : Il établit un pont solide entre la théorie des réseaux équivariants classiques et les nouvelles architectures KAN, garantissant que les propriétés de généralisation et d'universalité sont préservées.
Pratiquement : Il offre une architecture de choix pour les applications où les données sont rares, structurées et soumises à des symétries (ex: sciences des matériaux, bio-informatique, systèmes de recommandation), permettant d'obtenir des modèles plus précis et plus interprétables avec moins de données d'entraînement.

En résumé, FS-KAN propose une évolution naturelle des réseaux de neurones symétriques, remplaçant le partage de poids rigide par un partage de fonctions flexible, tout en conservant les garanties mathématiques nécessaires à l'apprentissage robuste.