Résumé technique : KAN-ODE holomorphe pour la découverte interprétable de dynamiques complexes

1. Énoncé du problème

Les systèmes dynamiques complexes régis par des applications holomorphes (par exemple, $z^2 + c$) présentent des frontières fractales et une sensibilité extrême aux conditions initiales. La modélisation précise de ces systèmes à partir de données nécessite des méthodes qui respectent la géométrie complexe-analytique sous-jacente.

Les approches actuelles font face à trois limitations principales :

1. Absence de priors structurels : Les Équations Différentielles Ordinaires Réseaux de Neurones (Neural ODEs) standard utilisent typiquement des Perceptrons Multicouches (MLP) pour paramétrer les champs de vitesse. Ces MLP manquent de priors complexe-analytiques et ne parviennent pas à imposer les conditions de Cauchy–Riemann nécessaires aux fonctions holomorphes.
2. Opacité : Les MLP fonctionnent comme des approximateurs boîte noire, n'offrant aucun chemin reliant les poids appris à des équations gouvernantes symboliques interprétables.
3. Contraintes à valeurs réelles : Les applications existantes des Réseaux de Kolmogorov–Arnold (KAN) aux Neural ODEs ont été restreintes aux espaces d'état à valeurs réelles, laissant les dynamiques à valeurs complexes sans réponse.

2. Méthodologie : KAN-ODE holomorphe

Les auteurs proposent le KAN-ODE holomorphe, un cadre qui intègre les Réseaux de Kolmogorov–Arnold aux Neural ODEs, contraints par une régularisation de Cauchy–Riemann pour garantir que les dynamiques apprises sont holomorphes.

2.1 Architecture

Le cadre remplace les fonctions d'activation fixes des MLP standards par des fonctions B-spline univariées apprenables résidant sur les arêtes du réseau.

• Entrée/Sortie : Le réseau prend les parties réelle et imaginaire de l'état complexe $z = x + iy$ comme entrée et sort les parties réelle et imaginaire du champ de vitesse $f(z) = u + iv$.
• Paramétrisation : Chaque activation d'arête $\phi_{i,j}(x)$ est définie comme une combinaison linéaire de fonctions de base B-spline $B_m(x)$ avec des coefficients apprenables.
• Efficacité : L'architecture proposée utilise une largeur de $[2, 5, 2]$, résultant en seulement 280 paramètres entraînables, contre 4 482 pour la base de référence MLP.

2.2 Régularisation de Cauchy–Riemann

Pour imposer l'holomorphie, les auteurs introduisent un terme de régularisation différentiable dérivé des équations de Cauchy–Riemann :
$$\frac{\partial u}{\partial x} = \frac{\partial v}{\partial y}, \quad \frac{\partial u}{\partial y} = -\frac{\partial v}{\partial x}$$
La fonction de perte inclut un terme $L_{CR}$ qui pénalise les écarts par rapport à ces conditions. Pour éviter un effondrement de l'entraînement causé par l'imposition immédiate de cette contrainte, un calendrier de réchauffement linéaire est employé, augmentant progressivement le poids de régularisation $\lambda_{CR}$ de zéro au cours des étapes initiales d'entraînement.

2.3 Extraction symbolique

Une caractéristique clé des KAN est leur capacité à effectuer une régression symbolique automatique. Après l'entraînement, les activations de spline apprises sur chaque arête sont ajustées par rapport à une bibliothèque candidate de fonctions de base (par exemple, polynômes, exponentielles, termes trigonométriques). Les fonctions de base dominantes à travers les arêtes du réseau sont utilisées pour identifier la famille symbolique de l'équation gouvernante (par exemple, identifier un système comme appartenant à la famille $z^2 + c$).

3. Contributions clés

1. Architecture KAN holomorphe : Le premier cadre combinant les KAN aux Neural ODEs sous régularisation de Cauchy–Riemann pour les dynamiques complexes.
2. Évaluation complète : Tests sur six familles de systèmes dynamiques complexes, incluant les classes polynomiales ($z^2+c, z^3+c$) et transcendantales ($e^z+c, \sin(z)+c, \cos(z)+c, z \cdot e^z+c$), ainsi qu'une application physique d'écoulement potentiel.
3. Interprétabilité et robustesse : Démontrant que le modèle peut récupérer des formules symboliques, imposer une structure holomorphe et maintenir une résilience au bruit supérieure par rapport aux MLP.

4. Résultats expérimentaux

Le cadre a été évalué sur six systèmes purement complexe-analytiques et un système physique (écoulement potentiel autour d'un cylindre).

4.1 Précision et efficacité

• Approximation du champ de vitesse : Le KAN holomorphe a atteint $R^2 > 0,95$ sur les six systèmes purs en utilisant uniquement 280 paramètres.
• Comparaison avec MLP : Bien que la base de référence MLP (4 482 paramètres) ait atteint une erreur quadratique moyenne (MSE) ponctuelle inférieure en raison de sa plus grande capacité, elle manquait d'interprétabilité et d'imposition structurelle.
• Reconstruction fractale : Le modèle a reconstruit les frontières fractales de l'ensemble de Julia avec un accord allant jusqu'à 98,0 % (par exemple, pour le système sinus), validant que les champs de vitesse appris préservent les détails géométriques fins.

4.2 Découverte symbolique

Le modèle a correctement identifié la famille symbolique gouvernante pour les six systèmes grâce à un ajustement automatique spline-vers-formule (100 % de précision).

• Les systèmes polynomiaux ont été identifiés comme polynomiaux.
• Les systèmes transcendantaux ont été correctement ajustés à des formes exponentielles, trigonométriques ou mixtes exponentielles.

4.3 Stabilité et résilience au bruit

• Analyse de Lyapunov : Le modèle a correctement classifié la stabilité des systèmes, identifiant les systèmes polynomiaux comme chaotiques et les systèmes transcendantaux comme majoritairement stables.
• Robustesse au bruit : Sous 10 % de bruit d'observation, le KAN n'a montré qu'une dégradation de 4 % de la MSE, tandis que le MLP se dégradait d'un facteur de 15,2×. Cela met en évidence le biais inductif fourni par la contrainte de Cauchy–Riemann et la paramétrisation par spline.
• Apprentissage par transfert : Le fine-tuning d'un KAN entraîné sur des dynamiques quadratiques ($z^2+c$) pour apprendre des dynamiques cubiques ($z^3+c$) a résulté en une amélioration de 90,4 % de la MSE finale par rapport à un entraînement à partir de zéro, démontrant la transférabilité des priors holomorphes.

4.4 Limitations observées

• Systèmes rationnels/singuliers : Dans l'application d'écoulement potentiel ($f(z) = Uz + Ua^2/z$), le modèle a atteint un $R^2$ plus faible (0,333), indiquant que les paramétrisations B-spline optimisées pour des fonctions lisses peinent avec les structures rationnelles et les singularités.
• Défis de gradient : Les systèmes avec des gradients d'ordre supérieur raides (par exemple, $z^3+c$) ont montré des valeurs de $R^2$ légèrement inférieures par rapport aux systèmes plus lisses.

5. Signification et revendications

L'article positionne le KAN-ODE holomorphe comme une alternative efficace en paramètres et interprétable aux MLP pour la découverte guidée par la physique des dynamiques holomorphes. Les auteurs affirment que, bien que les MLP puissent offrir une précision de reconstruction ponctuelle supérieure en raison d'une capacité plus élevée, ils échouent à fournir les trois capacités critiques essentielles à la découverte scientifique dans ce domaine :

1. Récupération de formules symboliques : La capacité d'extraire des équations gouvernantes sous forme close.
2. Structure holomorphe imposée : Garantir que les dynamiques apprises satisfont les contraintes complexe-analytiques.
3. Résilience au bruit supérieure : Maintenir les performances dans des contextes d'observation bruyants où les modèles boîte noire échouent.

Ce travail établit les KAN comme un outil viable pour faire le lien entre l'analyse complexe, la théorie des systèmes dynamiques et l'apprentissage automatique scientifique, spécifiquement pour les systèmes où les priors structurels et l'interprétabilité sont primordiaux.