💻 computer science

Dictionary-KAN: Resolving the Optimization Paradox of Kolmogorov-Arnold Networks via Complex RKHS, Machine-Verified Theory, and Discrete Hierarchical Refinement

Cet article introduit Dictionary-KAN (DKAN), une architecture vérifiée par machine qui résout le paradoxe d'optimisation des réseaux de Kolmogorov-Arnold en employant des dictionnaires RBF à coefficients complexes et un raffinement hiérarchique discret pour parvenir à une régression multivariée, une récupération de coefficients de PDE et une interprétabilité efficace sur matériel supérieures, tout en évitant les problèmes de mémoire et de convergence des KAN basés sur des splines continues.

Auteurs originaux : Kiarash Mohammadi

Publié 2026-08-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Kiarash Mohammadi

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le vaste paysage de l'intelligence artificielle moderne, un défi persistant hante les chercheurs depuis longtemps : comment construire des machines capables d'apprendre des motifs complexes sans s'égarer dans un océan de confusion mathématique. Pendant des décennies, l'approche standard s'est appuyée sur de massives et denses grilles de connexions, où chaque partie du système communique avec toutes les autres. Bien que puissants, ces systèmes peinent souvent à trouver le chemin le plus efficace vers une solution, se retrouvant bloqués dans des pièges locaux ou nécessitant tellement de mémoire qu'ils ne peuvent tout simplement pas fonctionner sur le matériel disponible. Une idée plus récente, connue sous le nom de représentation de Kolmogorov-Arnold, a proposé une voie différente. Elle suggérait que toute relation multidimensionnelle complexe pouvait être décomposée en une série d'étapes unidimensionnelles plus simples, additionnées entre elles. Ce concept promettait une manière plus élégante et interprétable de modéliser le monde, mais lorsque les scientifiques ont tenté de le construire, ils se sont heurtés à un paradoxe fondamental. Les outils mathématiques utilisés pour rendre ces réseaux flexibles étaient trop instables, provoquant l'effondrement du processus d'apprentissage ou rendant le calcul impossibles à supporter.

Un chercheur nommé Kiarash Mohammadi a maintenant proposé une solution à ce paradoxe avec une nouvelle architecture appelée Dictionary-KAN. Au lieu de tenter d'étirer et de déformer une grille continue de points de données, ce qui conduit souvent à l'instabilité qui a tourmenté les tentatives précédentes, ce nouveau système utilise un ensemble fixe et prédéfini de blocs de construction. Imaginez un dictionnaire de mots qui ne change jamais ; le réseau apprend simplement comment mélanger ces mots pour former des phrases, plutôt que d'essayer d'inventer de nouvelles lettres à la volée. En ancrant chaque connexion dans ce dictionnaire stable, le chercheur garantit que le problème mathématique que l'ordinateur résout est toujours fluide et prévisible, évitant les crashs soudains et les pertes de progression qui surviennent dans les modèles plus anciens. Cette approche permet au système de croître en taille et en détail sans oublier ce qu'il a déjà appris, un exploit qui était auparavant impossible avec ce type de réseaux.

L'innovation va plus loin que la simple stabilité. Le chercheur a élevé l'ensemble du système dans un espace mathématique complexe, permettant au réseau de comprendre naturellement comment les différentes variables se multiplient et interagissent entre elles. Dans les versions précédentes, le système devait être forcé d'apprendre ces interactions par des calculs lourds et inefficaces. Ici, la structure elle-même gère la multiplication, rendant le processus d'apprentissage beaucoup plus efficace. Cette conception inclut également une méthode de raffinement unique. Lorsque le réseau a besoin de devenir plus précis, il peut insérer de nouvelles couches de détails entre les couches existantes sans perturber le travail déjà accompli. Les nouvelles parties commencent avec une influence nulle, garantissant que la sortie du réseau reste exactement la même avant et après l'expansion, éliminant ainsi efficacement le problème de l'« oubli catastrophique » où l'apprentissage de nouvelles choses efface les connaissances anciennes.

Pour s'assurer que ces affirmations n'étaient pas de simples espoirs théoriques, le chercheur a soumis la logique centrale à une vérification rigoureuse et automatisée par machine. À l'aide d'un programme informatique spécialisé conçu pour prouver des vérités mathématiques, chaque étape de la théorie d'optimisation a été vérifiée comme étant correcte sous des conditions spécifiques. L'ordinateur a confirmé que le système possède une solution optimale unique et que la méthode utilisée pour la trouver convergera toujours vers cette solution sans rester bloquée. Ce niveau de certitude est rare dans le domaine, où de nombreuses théories reposent sur des hypothèses difficiles à prouver. Les résultats de cette vérification ont ensuite été mis à l'épreuve lors d'une série de simulations en conditions réelles. Sur des tâches impliquant l'interaction de multiples variables, le nouveau système a surpassé les modèles denses standards par un facteur de vingt, atteignant une précision bien plus élevée avec beaucoup moins de ressources.

Le système a également démontré des capacités remarquables en matière de découverte scientifique. Lorsqu'on lui a demandé d'identifier les lois régissant un pendule oscillant avec une résistance de l'air, le réseau a réussi à isoler les variables physiques correctes, y compris la subtile force d'amortissement que d'autres modèles avaient manquée. De même, lorsqu'il a été chargé de découvrir les équations derrière un problème de dynamique des fluides connu sous le nom d'équation de Burgers, il a reconstruit les relations mathématiques correctes avec moins de un pour cent d'erreur, même s'il a dû inventer lui-même les termes de multiplication nécessaires. Dans une application pratique, les chercheurs ont entraîné le réseau à modéliser la façon dont la lumière se réfléchit sur une surface métallique rugueuse, une tâche critique pour des graphismes informatiques réalistes. Le modèle résultant était si propre et structuré qu'il pouvait être traduit directement en un court programme informatique lisible par l'homme, supprimant totalement le besoin du logiciel de réseau neuronal lourd.

Cependant, la recherche n'est pas exempte de limites, et l'auteur prend soin de rapporter ses succès avec la même clarté que ses échecs. Lorsque le système a été testé sur des données présentant des sauts brusques, comme une fonction échelon, il a présenté une faiblesse connue appelée « ringing » (effet de pompage), où la sortie oscille légèrement autour de l'arête abrupte. Bien que le nouveau système ait mieux géré cela que les versions précédentes, il ne pouvait pas égaler la précision de modèles plus simples et plus anciens dans ces cas spécifiques. De plus, les garanties mathématiques fournies par la vérification machine dépendent du respect de certaines conditions, telles que le fait que les données possèdent une structure spécifique, ce qui signifie que la théorie n'est pas une garantie universelle pour chaque jeu de données possible. Le chercheur note explicitement que le système n'est pas conçu pour être une mémoire parfaite de chaque détail, mais plutôt un outil pour comprendre et affiner des relations complexes.

Ce travail représente une étape importante pour rendre l'intelligence artificielle plus fiable et plus efficace. En remplaçant les grilles continues instables par un dictionnaire de fonctions fixe, le chercheur a résolu un paradoxe d'optimisation de longue date qui entravait le développement de ces réseaux. La capacité de faire croître le réseau sans oublier, de découvrir des lois physiques avec une grande précision et de compiler le résultat final en un code simple suggère un avenir où ces systèmes seront non seulement puissants, mais aussi compréhensibles et pratiques. Les conclusions sont présentées non pas comme une réponse finale à tous les problèmes, mais comme une fondation stable sur laquelle des versions plus avancées peuvent être construites, avec la théorie de base déjà vérifiée par une machine comme étant mathématiquement saine.

Résumé Technique : Dictionary-KAN

Énoncé du Problème

L'article traite du « paradoxe d'optimisation » inhérent aux réseaux Kolmogorov-Arnold (KAN) continus. Bien que le théorème de représentation de Kolmogorov-Arnold garantisse que toute fonction continue multivariée peut être décomposée en fonctions unidimensionnelles et en additions, les implémentations standards des KAN continus (utilisant des B-splines, des polynômes de Chebyshev ou des centres gaussiens apprenables) rencontrent quatre écheches critiques en pratique :

Pathologies des fonctions de base : Les fonctions rationnelles bornées provoquent une disparition du gradient, tandis que les polynômes de degré élevé créent des paysages de perte corrugués avec des passages par zéro erratiques.
Instabilité de la grille : Le re-maillage dynamique des nœuds de spline entraîne des effondrements de tri non convexes et des déformations de domaine, provoquant un oubli catastrophique lors des mises à jour localisées.
Violation des contraintes KA : La modélisation des interactions non linéaires entre variables (ex: $x_1x_2$ ) nécessite souvent des projections linéaires denses ou du gating, réintroduisant de fait les matrices de poids denses des perceptrons multicouches (MLP) et brisant la structure de sommation unidimensionnelle.
Intraitabilité de la régularisation : Les pénalités de Sobolev $L_2$ standard floutent les transitions abruptes, tandis que les limites de Lipschitz strictes contraignent excessivement l'expressivité.

De plus, les KAN continus souffrent d'une « malédiction de la mémoire de la dimensionnalité » où les activations de grilles denses passent mal à l'échelle avec la largeur du réseau, menant souvent à des échecs de type Out-of-Memory (OOM).

Méthodologie : Dictionary-KAN (DKAN)

L'auteur propose Dictionary-KAN, une architecture qui remplace le déformage de grille continu et apprenable par une approche de dictionnaire discret fixe ancrée dans l'analyse fonctionnelle. Les engagements de conception fondamentaux sont :

1. Dictionnaires RKHS fixes avec coefficients complexes

Au lieu de centres apprenables, chaque fonction d'arête est définie comme un dictionnaire Gaussien fixe (magnitude-RBF) dans un espace de Hilbert à noyau reproduisant (RKHS). Les coefficients sont des nombres complexes apprenables.

Fonction d'arête : $\phi(z) = w_{b1}z + w_{b2}z^2 + \sum_{m=1}^M w_m \exp(-\gamma |z - c_m|^2)$ , où $c_m$ sont des centres réels fixes et $w$ sont des poids complexes.
Routage complexe : Les entrées sont élevées dans le plan complexe ( $x_p \mapsto x_p + 0i$ ). Les termes de base analytiques ( $z, z^2$ ) isolent naturellement les produits croisés multiplicatifs (ex: $z^2 = (x+iy)^2 = x^2 - y^2 + 2ixy$ ) sans nécessiter de projections matricielles denses.

2. Raffinement Hiérarchique Discret (DHR)

Pour augmenter la capacité sans réentraîner ni perturber les représentations existantes, le DKAN emploie le DHR. Ce processus insère des centres médians entre les centres de dictionnaire existants. Crucialement, les nouveaux poids sont initialisés exactement à zéro, garantissant que la sortie du réseau reste bit-identique avant et après le raffinement. Cela garantit un « oubli catastrophique nul ».

3. Régularisation de Variation Totale (TV) Discrète

Pour imposer la parcimonie et des profils de poids quasi-linéaires, une pénalité $\ell_1$ est appliquée aux deuxièmes différences discrètes de la séquence de poids : $R_{TV}(w) = \lambda_{TV} \sum |w_{m+1} - 2w_m + w_{m-1}|$ .

4. Théorie Vérifiée par Machine

Une caractéristique distinctive de ce travail est que le cœur de la théorie d'optimisation est formellement vérifié dans Lean 4 / Mathlib. L'auteur ne repose pas sur des arguments asymptotiques informels ; il fournit plutôt des preuves vérifiées par machine pour :

Convexité stricte : La perte est strictement convexe sous des hypothèses de dictionnaire de rang plein.
Stationnarité : La stationnarité de la descente de gradient est équivalente aux équations normales ( $K^*(Kw-y)=0$ ).
Convergence : La convergence géométrique de la descente de gradient est prouvée sous une condition de Polyak–Lojasiewicz (PL) dérivée.
Zéro-Oubli : L'identité DHR est prouvée pour préserver la fonction point par point.

Résultats Clés

1. Stabilité d'Optimisation et Précision

Sur une tâche de régression multivariée couplée ( $f(x,y) = \sin(x)\cos(y) + xy$ ), le DKAN surpasse les bases RBF-KAN denses d'environ 20× en termes de MSE de test.

Complexe vs Réel : Le DKAN à valeurs complexes (C-DKAN) converge de manière fluide et monotone. En revanche, le DKAN à valeurs réelles (R-DKAN) présente une instabilité sévère de la perte et des chocs de gradient, validant la phase complexe comme stabilisateur géométrique.
Zéro-Oubli : Lors de l'expansion DHR, le changement de sortie du réseau est exactement de 0.0, confirmant la garantie théorique.

2. Limitations sur les Discontinuités

L'article rapporte des résultats négatifs concernant les discontinuités. Sur une tâche d'approximation de fonction en escalier, les dictionnaires magnitude-RBF lisses présentent des oscillations de type Gibbs (dépassements/sous-dépassements).

Bien que le C-DKAN oscille moins que les KAN denses, il ne peut égaler l'approximation quasi exacte de l'escalier des MLP ReLU.
Le régularisateur TV, qui pénalise la courbure de l'espace des poids, échoue à supprimer les oscillations de l'espace des fonctions car les larges bosses de dépassement ont de petites dérivées secondes discrètes. L'auteur précise explicitement que la TV de l'espace des poids ne contrôle pas les oscillations de l'espace des fonctions.

3. Mise à l'échelle Matérielle

Le DKAN résout le goulot d'étranglement de la mémoire des KAN continus.

Les KAN denses nécessitent une mémoire de $O(BN^2G)$ pour les tenseurs d'activation d'arêtes, menant à des échecs OOM à une largeur $N=256$ .
Le DKAN passe à une échelle de $O(BNM)$ en mémoire. À $N=128$ , le DKAN utilise 18,6× moins de VRAM que la base dense. À $N=256$ , le modèle dense échoue, tandis que le DKAN se termine avec 2,66 Go.

4. Découverte Scientifique (EDO et EDP)

Pendule Amorti : Le DKAN réussit à récupérer la structure d'espace d'état couplée $\{\theta, \dot{\theta}\}$ et la non-linéarité $\sin(\theta)$ . Une base réelle a échoué à conserver la coordonnée d'amortissement $\dot{\theta}$ , la substituant par un proxy monotone.
Équation de Burgers : Le DKAN découvre les coefficients de l'EDP de Burgers visqueuse ( $u_t = -1.0024 u u_x + 0.0095 u_{xx}$ ) avec <1% d'erreur. Crucialement, il synthétise le produit non linéaire $u u_x$ nativement via la partie imaginaire de $z^2$ (où $z = u + i u_x$ ), alors que la base nécessitait ce terme comme une caractéristique d'entrée explicite.

5. Compilation Symbolique

Le DKAN peut être compilé en un shader GLSL fermé de ~50 lignes pour la compensation d'énergie BRDF. En élagant les petits poids et en utilisant des centres fixes, le réseau se convertit directement en un arbre d'expression symbolique, permettant un déploiement en temps réel sans runtime neuronal.

Signification et Revendications

L'article positionne Dictionary-KAN non pas comme un interpolateur universel (où des MLP non structurés peuvent encore atteindre un MSE brut plus faible sur des grilles lisses), mais comme une alternative stable, interprétable et efficace matériellement aux deux, MLP et KAN continus.

Sa principale signification réside dans :

Résolution du Paradoxe d'Optimisation : En fixant le dictionnaire et en utilisant le routage complexe, il élimine l'instabilité de la grille et la disparition du gradient tout en maintenant les contraintes topologiques du théorème de KA.
Garanties Vérifiées par Machine : Il fournit les premières preuves vérifiées par machine pour la convergence, la convexité et le raffinement à zéro-oubli des KAN, allant au-delà des simples arguments théoriques informels.
Couplage Multiplicatif Natif : Il parvient à la modélisation des interactions de variables via les propriétés analytiques complexes plutôt que par des projections denses.
Scalabilité : Il supprime la malédiction de la mémoire de la dimensionnalité associée aux KAN basés sur des grilles denses.

L'auteur est modeste dans ses affirmations, reconnaissant explicitement que les dictionnaires lisses peinent avec les discontinuités et que la théorie actuelle repose sur des prémisses conditionnelles (ex: dictionnaires de rang plein) qui nécessitent une certification dépendante des données dans un travail futur (V2). Le travail est présenté comme une fondation « V1 », avec des versions futures ciblant l'unification par la théorie des noyaux et le passage à l'échelle de systèmes profonds.