🤖 machine learning

Symbolic--KAN: Kolmogorov-Arnold Networks with Discrete Symbolic Structure for Interpretable Learning

Ce papier présente Symbolic-KAN, une architecture de réseau neuronal qui intègre une structure symbolique discrète directement dans l'apprentissage pour combler le compromis entre interprétabilité et évolutivité, permettant de découvrir et d'exprimer des équations gouvernantes sous forme d'expressions analytiques compactes sans ajustement symbolique postérieur.

Auteurs originaux : Salah A Faroughi, Farinaz Mostajeran, Amirhossein Arzani, Shirko Faroughi

Publié 2026-03-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Salah A Faroughi, Farinaz Mostajeran, Amirhossein Arzani, Shirko Faroughi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Problème : Le Dilemme du "Cerveau Noir"

Imaginez que vous essayez de comprendre comment fonctionne une machine complexe, comme une voiture ou une recette de cuisine.

Les méthodes classiques (Régression Symbolique) sont comme un détective qui essaie de deviner la recette en goûtant le plat et en essayant des milliers de combinaisons d'ingrédients au hasard. C'est précis, mais cela prend une éternité et ça ne fonctionne pas bien si la recette est très complexe.
Les réseaux de neurones classiques (IA moderne) sont comme un chef génial qui a goûté des millions de plats. Il sait cuisiner parfaitement, mais il ne peut pas vous dire pourquoi c'est bon. Il a un "instinct" (une boîte noire) mais pas de recette écrite. Si vous lui demandez la recette, il vous donne un bloc de code incompréhensible.

Le défi scientifique : Comment avoir la puissance de calcul du chef génial ET la clarté de la recette écrite ?

🚀 La Solution : Symbolic-KAN (Le Chef qui écrit ses recettes)

Les auteurs de cet article ont créé une nouvelle architecture d'intelligence artificielle appelée Symbolic-KAN.

Imaginez que vous construisez un robot-cuisinier. Au lieu de lui donner des ingrédients fixes (comme "sel" ou "sucre"), vous lui donnez une boîte à outils magique remplie de briques de base (des fonctions mathématiques simples : $x$ , $x^2$ , $\sin(x)$ , $\log(x)$ , etc.).

Voici comment Symbolic-KAN fonctionne, étape par étape :

1. La Construction : Des Briques de Lego Intelligentes

Contrairement aux réseaux de neurones classiques qui sont des murs de béton indifférenciés, Symbolic-KAN est construit comme un château de Lego.

Chaque "brique" (unité du réseau) ne fait qu'une seule chose simple : elle prend une information, la transforme avec une fonction simple (comme une courbe ou une ligne), et la passe à la suivante.
C'est basé sur un théorème mathématique (Kolmogorov-Arnold) qui dit que n'importe quelle fonction complexe peut être décomposée en une somme de fonctions simples.

2. Le Processus d'Apprentissage : Le Tri Sélectif

C'est ici que la magie opère. Au début, le robot est confus. Il essaie de tout mélanger : il utilise un peu de sinus, un peu de logarithme, un peu de carré, un peu de tangente, tout en même temps. C'est le "flou artistique".

Mais le système a un mécanisme de tri (un "portail") :

Pendant l'entraînement, le robot regarde ses erreurs.
Il se dit : "Tiens, pour prédire ce mouvement, le 'sinus' marche super bien, mais le 'logarithme' est inutile."
Il commence à éteindre les fonctions inutiles et à renforcer les bonnes.

3. Le Résultat Final : La Recette Pure

À la fin de l'entraînement, le robot ne garde que les briques essentielles.

Au lieu d'avoir un mélange flou, il vous sort une recette claire et concise : "Pour prédire ce phénomène, il suffit de prendre $x$ , de le mettre au carré, d'ajouter un peu de sinus, et le tour est joué."
Il n'a pas besoin de vous donner une formule mathématique complexe à la fin ; il l'a découverte pendant qu'il apprenait.

🌟 Pourquoi c'est révolutionnaire ? (Les Analogies)

1. L'Archéologue vs Le Peintre

Les réseaux de neurones classiques sont comme des peintres abstraits : ils créent une belle image (une prédiction précise), mais on ne sait pas comment ils ont fait.
Symbolic-KAN est comme un archéologue. Il ne se contente pas de reconstruire le site, il trouve les outils exacts (les fonctions mathématiques) que les anciens ont utilisés pour le construire. Il vous donne non seulement la reconstruction, mais aussi les outils et la méthode.

2. Le Tri des Ordures
Imaginez que vous avez un tas de déchets (des données) et que vous cherchez l'or (la loi physique).

Les méthodes anciennes fouillent tout le tas manuellement (lent et cher).
Les IA classiques trient tout en un tas compact mais illisible.
Symbolic-KAN est un aimant intelligent qui attire instantanément l'or et rejette le reste, vous donnant un petit tas d'or pur et brillant (une équation simple) sans avoir besoin de fouiller dans les ordures après coup.

📊 Ce que l'article a prouvé

Les auteurs ont testé leur invention sur trois types de défis :

Des courbes simples : Ils ont donné des points au hasard, et le robot a retrouvé la formule exacte ( $x^2$ , ou des mélanges de sinus) sans aide.
Des systèmes dynamiques (comme un pendule) : Ils ont observé un objet bouger et le robot a réussi à retrouver les lois de la physique qui régissent ce mouvement, même avec des paramètres inconnus.
Des équations complexes (Physique) : Ils ont demandé au robot de résoudre des équations de la chaleur ou de la diffusion. Non seulement il a trouvé la solution précise, mais il a aussi identifié les bons ingrédients mathématiques (comme le sinus ou l'exponentielle) qui composent cette solution.

💡 En Résumé

Symbolic-KAN est un pont entre la puissance brute de l'IA moderne et la clarté de la science traditionnelle.

C'est comme si vous donniez à un enfant une boîte de Lego géante et que, au lieu de construire un monstre informe, il apprenait à construire un avion, puis à vous expliquer : "J'ai utilisé 4 ailes, 2 moteurs et un fuselage, et voici pourquoi ça vole."

C'est un pas énorme vers une Intelligence Artificielle Explicable, capable de découvrir les lois de l'univers non pas en les devinant, mais en les écrivant pour nous.

1. Problématique et Contexte

Le domaine de l'apprentissage scientifique (SciML) vise à construire des modèles prédictifs respectant les structures physiques, mais il existe un compromis fondamental entre interprétabilité et apprentissage évolutif (scalable) :

Régression symbolique classique : Produit des expressions analytiques explicites et interprétables, mais repose sur des recherches combinatoires coûteuses qui ne passent pas bien à l'échelle avec des données massives ou de haute dimension.
Réseaux de neurones (MLP, PINN) : Scalables et efficaces pour les données complexes, mais produisent des représentations « opaques » (boîtes noires) difficiles à analyser ou à intégrer dans des pipelines de modélisation mécaniste.
Réseaux KAN (Kolmogorov-Arnold Networks) : Une avancée récente qui paramétrise les fonctions multivariées comme des superpositions de fonctions univariées entraînables. Bien que plus proches des formules analytiques que les MLP, les KANs standards utilisent souvent des bases de splines ou de polynômes qui, une fois composées, deviennent des expressions globales trop longues et illisibles pour une interprétation humaine directe.

Le défi : Comment concevoir une architecture neuronale capable d'apprendre efficacement à partir de données tout en produisant directement des équations gouvernantes compactes, lisibles et interprétables, sans nécessiter de post-traitement symbolique ?

2. Méthodologie : Symbolic-KAN

Les auteurs proposent Symbolic-KAN, une architecture neuronale qui intègre une structure symbolique discrète directement dans le réseau entraînable.

A. Formulation Architecturale

Le modèle s'appuie sur le théorème de représentation de Kolmogorov-Arnold (KART), mais avec une reformulation flexible :

Au lieu d'utiliser une somme fixe de fonctions univariées sur chaque coordonnée d'entrée, chaque unité du réseau apprend une projection scalaire ( $s_k = w^T h + b$ ) des caractéristiques amont.
Sur cette projection, une fonction univariée est appliquée.
Contrairement aux KANs standards qui utilisent des bases fixes (ex: B-splines), Symbolic-KAN sélectionne dynamiquement des primitives analytiques à partir d'une bibliothèque (ex: $\{0, 1, x, x^2, \sin(x), \cos(x), \tanh(x), e^x, \log(1+|x|), \dots\}$ ).

B. Mécanisme de Sélection et de « Durcissement » (Gating & Hardening)

Pour passer d'un mélange continu à une structure symbolique discrète, le modèle utilise un mécanisme de gating hiérarchique :

Portes de sélection de primitives : Pour chaque lien (edge), un vecteur de logits choisit une primitive parmi la bibliothèque. Une relaxation continue (Gumbel-Softmax) permet le gradient pendant l'entraînement.
Portes de sélection d'arêtes : Chaque unité sélectionne une seule projection scalaire parmi plusieurs candidates.
Portes d'activation d'unités : Permet l'élagage (pruning) des unités inutiles.
Régularisation symbolique : Des termes de pénalité (entropie et suppression non maximale) sont ajoutés à la fonction de perte pour forcer les coefficients de sélection à devenir des vecteurs « one-hot » (une seule valeur à 1, les autres à 0).
Durcissement (Hardening) : Après l'entraînement, les portes sont figées en valeurs discrètes. Chaque unité active ne retient qu'une seule primitive et une seule direction de projection, générant une expression fermée compacte sans ajustement symbolique postérieur.

C. Fonction de Perte

L'optimisation combine :

Fidélité aux données / Contraintes physiques : Erreur quadratique sur les données ou résidus d'équations aux dérivées partielles (PDE).
Régularisation symbolique : Pénalisation de l'entropie des portes (pour favoriser la sélection unique) et pénalité de diversité pour éviter que plusieurs arêtes ne choisissent la même primitive.
Pénalité de parcimonie : Contrôle du nombre d'unités actives pour obtenir un modèle compact.

3. Contributions Clés

Architecture Unifiée : Première approche combinant la puissance d'apprentissage des KANs avec une découverte symbolique native, éliminant le besoin de régression symbolique post-hoc.
Découverte de Primitives Évolutives : Le modèle agit comme un mécanisme de découverte d'opérateurs, identifiant les composants analytiques les plus pertinents pour construire des bibliothèques candidates pour des méthodes d'apprentissage d'équations parcimonieuses (comme SINDy).
Interprétabilité Directe : Le résultat final est une expression mathématique compacte (ex: $A \sin(\gamma x + \beta) + B$ ) reflétant la structure réelle du système, contrairement aux approximations numériques opaques.
Généralisation Physique : Le cadre fonctionne aussi bien en apprentissage supervisé (régression) qu'en apprentissage informé par la physique (PDEs inverses et directs).

4. Résultats Expérimentaux

Les auteurs valident Symbolic-KAN sur trois paradigmes :

Régression de données (Toy Experiments) :
- Le modèle récupère avec précision des fonctions cibles complexes (ex: polynômes, combinaisons trigonométriques et rationnelles) à partir de données dispersées.
- Il identifie correctement les primitives sous-jacentes (ex: sélection de $x^2$ pour une fonction quadratique) et élimine les composantes redondantes, produisant une erreur relative très faible ( $< 10^{-5}$ ).
Identification de Systèmes Dynamiques (Équation de Van der Pol) :
- Dans un problème inverse, le modèle reconstruit les trajectoires et estime les paramètres inconnus ( $a, \mu, c$ ) d'un oscillateur avec un amortissement non linéaire et un exposant non entier ( $x^{2.15}$ ).
- Résultats : Précision élevée des paramètres (erreurs < 1% pour la plupart) et reconstruction stable des trajectoires sur de longues durées, même avec des dynamiques non linéaires complexes.
Apprentissage Informé par la Physique (PDEs) :
- Équation de Réaction-Diffusion : Le modèle résout un problème inverse pour identifier le coefficient de réaction $\kappa$ et la structure de la solution. Sur des domaines étendus, Symbolic-KAN surpasse largement les KANs basés sur Chebyshev (cPIKAN) et les PINN classiques, réduisant l'erreur de validation de ~95% et retrouvant les primitives trigonométriques correctes.
- Équation de Laplace : Pour une solution analytique connue impliquant des fonctions sinus et hyperboliques, Symbolic-KAN sélectionne naturellement les primitives $\sin, \cosh, \sinh$ , confirmant sa capacité à découvrir la famille fonctionnelle correcte. Il obtient une erreur de validation ~59% inférieure aux PINN et ~87% inférieure aux cPIKAN.

5. Signification et Impact

Ce travail représente une étape majeure vers un apprentissage mécaniste évolutif.

Au-delà de la prédiction : Symbolic-KAN ne se contente pas de prédire des valeurs ; il infère la structure mathématique sous-jacente des lois physiques.
Pont entre deux mondes : Il comble le fossé entre les méthodes de régression symbolique (interprétables mais non scalables) et les réseaux de neurones profonds (scalables mais opaques).
Utilité pratique : En fournissant des expressions analytiques compactes directement issues de l'entraînement, il facilite l'intégration de ces modèles dans des pipelines de simulation existants et ouvre la voie à la découverte automatique de lois physiques à partir de données brutes.

En conclusion, Symbolic-KAN démontre qu'il est possible d'entraîner des réseaux de neurones profonds qui convergent vers des représentations symboliques discrètes, offrant ainsi un outil puissant pour la science des données interprétable et fondée sur la physique.