🤖 machine learning

Neural Discovery of Memory and Nonlocal Kernels in Integro-Differential Equations with Constrained Kolmogorov--Arnold Networks

Cet article propose un cadre de solveur différentiable utilisant des réseaux de Kolmogorov–Arnold contraints (spécifiquement les MC-KAN à contraintes fortes et les Cheb-KAN à pénalité douce) pour découvrir de manière robuste des noyaux de mémoire et non locaux interprétables dans des équations intégro-différentielles à partir d'observations éparses et bruitées, démontrant que l'imposition de contraintes de forme physiques par construction produit une précision supérieure aux pénalités douces, particulièrement pour les problèmes multidimensionnels.

Auteurs originaux : Aruzhan Tleubek, Salah A Faroughi

Publié 2026-07-14

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aruzhan Tleubek, Salah A Faroughi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective essayant de comprendre les « règles fantômes » qui régissent une machine mystérieuse. Vous ne pouvez pas voir les engrenages internes de la machine, mais vous pouvez observer comment elle bouge lorsque vous la poussez. Dans le monde de la physique, de nombreux systèmes (comme des élastiques qui se rétractent lentement ou la chaleur qui se propage à travers un matériau doté d'une mémoire) ne réagissent pas seulement à ce qui se passe en ce moment même. Ils se souviennent du passé. Ils ont une « mémoire déclinante ».

Les mathématiciens décrivent cette mémoire à l'aide d'un ingrédient spécial appelé noyau (ou kernel). Considérez le noyau comme une fiche de recette qui indique exactement quel poids accorder à chaque moment du passé. Si vous connaissez la recette, vous pouvez prédire l'avenir parfaitement. Mais généralement, la fiche de recette est manquante ! Les scientifiques possèdent les mouvements de la machine (les données), mais ils ne connaissent pas la recette. C'est un puzzle complexe car de nombreuses recettes différentes pourraient produire le même mouvement, surtout si vos observations sont floues ou incomplètes.

L'ancienne méthode vs La nouvelle méthode

Pendant longtemps, les scientifiques ont tenté de résoudre cela par des dérivations mathématiques complexes spécifiques à chaque problème, ou en devinant une recette en espérant qu'elle convienne. Les auteurs de cet article disent : « Essayons quelque chose de différent. » Ils ont construit un réseau de neurones (un type de cerveau d'IA) qui agit comme un détective. Au lieu de deviner, ce cerveau d'IA apprend la recette directement à partir des données désordonnées et bruitées de la façon dont le système bouge.

Mais voici le piège : si vous laissez simplement un cerveau d'IA standard deviner, il pourrait inventer une recette qui n'a aucun sens physique. Par exemple, il pourrait suggérer que la mémoire devient plus forte à mesure que l'événement est ancien, ou que l'influence du passé devient soudainement négative. Dans le monde réel, la mémoire s'estompe généralement de manière fluide et ne change jamais de signe.

Les deux stratégies de détective

Pour empêcher l'IA de faire des conjectures absurdes, les chercheurs ont essayé deux façons de forcer l'IA à suivre les règles de la physique.

Stratégie 1 : La pénalité « douce » (Le Cheb-KAN)
Imaginez que vous entraînez un chien. Vous lui dites : « Ne saute pas sur le canapé », et si il le fait, vous lui donnez un petit « non » (une pénalité douce). Le chien pourrait écouter, mais il pourrait aussi sauter quand même s'il en a vraiment envie. C'est ce que fait le Cheb-KAN. Il essaie d'apprendre la recette, mais si la recette enfreint les règles (comme devenir négative ou s'incurver du mauvais côté), l'ordinateur ajoute un petit score de « punition » aux devoirs de l'IA. L'IA essaie de minimiser la punition, mais il n'est pas strictement interdit de transgresser les règles.

Stratégie 2 : La contrainte « dure » (Le MC-KAN)
Maintenant, imaginez que vous construisez une cage autour du chien. Le chien ne peut physiquement pas sauter sur le canapé parce que la cage est là. C'est le MC-KAN (Monotone–Convex Kolmogorov–Arnold Network). Les chercheurs n'ont pas seulement demandé à l'IA d'être sage ; ils ont construit le cerveau de l'IA à partir de blocs mathématiques spéciaux (des polynômes de Bernstein) qui rendent impossible pour l'IA de générer une recette qui enfreint les règles. L'IA est forcée par sa propre architecture à ne produire que des recettes qui sont positives, qui s'estompent toujours et qui s'incurvent de la bonne façon. Ce n'est pas une suggestion ; c'est une loi de la machine.

Le grand test : L'IA peut-elle trouver la recette ?

L'équipe a mis les deux stratégies à l'épreuve dans trois scénarios, allant du plus simple au plus complexe.

1. La mémoire simple (Équation de Volterra 1D)
Ils ont commencé par un système simple où la mémoire s'estompe comme une courbe exponentielle standard (comme une tasse de café qui refroidit). Ils ont fourni à l'IA des données avec différents niveaux de « bruit » (statique ou flou).

Le résultat : Les deux stratégies ont trouvé la bonne recette. Même lorsque les données étaient très bruitées, les deux ont réussi. Cependant, la contrainte dure (MC-KAn) était légèrement plus précise, trouvant la recette avec environ 13 % à 54 % d'erreur en moins que la version à pénalité douce, selon le niveau de bruit dans les données. C'était comme si le chien en cage ne faisait aucune erreur, tandis que le chien avec le doux « non » commettait quelques petites glissades.

2. La mémoire extensible (Onde viscoélastique 1D)
Ensuite, ils ont observé une tige caoutchouteuse vibrant. La mémoire ici n'était pas une courbe simple ; c'était une « exponentielle étirée », une forme plus complexe souvent trouvée dans les polymères vitreux. Ils ont rendu les données très éparses, ce qui signifie qu'ils n'ont donné à l'IA que quelques instantanés du mouvement de la tige (seulement 11 instantanés sur un total de 1001).

Le résultat : Étonnamment, les deux méthodes pouvaient encore trouver la recette même avec si peu de données. Mais encore une fois, le Contrainte dure (MC-KAN) était plus cohérent. Il a trouvé la recette avec environ 40 % d'erreur en moins que la version de la pénalité douce. La version de la pénalité douce oscillait parfois, tandis que la version à contrainte dure restait stable.

3. Le chaos 2D (Réaction-diffusion non locale)
Enfin, ils ont abordé le défi le plus difficile : un système 2D où la mémoire dépend de l'espace dans deux directions (comme un motif se formant sur une surface). Les données étaient éparses (seulement 7 instantanés temporels sur une grille de 32x32) et bruitées (jusqu'à une déviation standard de bruit de 0,15).

Le résultat : C'est ici que la différence est devenue énorme. La stratégie de pénalité douce a commencé à halluciner. Elle a produit des recettes présentant des ondulations bizarres et ne s'estompait pas correctement. Le Contrainte dure (MC-KAN) est resté parfaitement solide.
- Au niveau de bruit le plus élevé (σ = 0,15), la méthode à contrainte dure avait une erreur de noyau de 12,36 %, tandis que la méthode à pénalité douce affichait 21,95 %. La contrainte dure était presque deux fois plus précise.
- La méthode de pénalité douce a même produit des formes « non admissibles » (des recettes qui ressemblaient à des lois de puissance au lieu des formes exponentielles correctes) lorsque le bruit était élevé. La méthode à contrainte dure n'a jamais enfreint les règles.

Le verdict final

L'article conclut que, bien que les deux méthodes fonctionnent bien lorsque les données sont propres et simples, imposer les règles en les intégrant dans la structure de l'IA (Contraintes Dures) est beaucoup plus robuste lorsque les données sont désordonnées, éparses ou de haute dimension.

Les auteurs ont constaté que pour le problème 2D le plus difficile avec du bruit, la méthode de contrainte dure a réduit l'erreur d'environ 44 % par rapport à la méthode de pénalité douce. Ils ont également utilisé avec succès un outil appelé PySR pour traduire la recette « boîte noire » apprise par l'IA en une formule mathématique claire et lisible (comme $e^{-0,99\tau}$ ), prouant que l'IA n'a pas seulement deviné des nombres, mais qu'elle a réellement appris la loi physique sous-jacente.

Ce que l'article dit ne l'est PAS :

L'article ne prétend pas que cela fonctionne pour tout type de mémoire. Il exclut explicitement les noyaux qui oscillent, changent de signe ou ne s'estompent pas. La méthode de contrainte dure est construite spécifiquement pour une « mémoire déclinante » qui est positive et lisse.
L'article ne dit pas que c'est une solution miracle pour tous les problèmes inverses. Il admet que pour le problème 2D, ils ont dû diviser la recette en morceaux pour trouver la formule complète, et que le couplage entre les deux directions n'a pas été parfaitement récupéré en une seule fois.
Les résultats sont basés sur des simulations (données générées par ordinateur), et non sur des expériences réelles pour le moment. Les auteurs suggèrent que c'est une étape suivante, mais la preuve actuelle réside dans les chiffres qu'ils ont générés.

En bref : si vous voulez trouver la recette secrète d'une mémoire déclinante à partir de données désordonnées, construire une cage autour de votre IA (Contraintes Dures) fonctionne bien mieux que de simplement lui demander gentiment de bien se comporter (Pénalités Douces).

Résumé technique : Découverte neuronale de noyaux de mémoire et non locaux dans les équations intégro-différentielles avec des réseaux de Kolmogorov–Arnold contraints

1. Énoncé du problème

L'article traite du problème inverse mal posé consistant à identifier des noyaux de mémoire ou non locaux inconnus régissant des équations intégro-différentielles (EID) à partir d'observations spatio-temporelles éparses et bruitées. Les EID modélisent des systèmes physiques présentant des effets de mémoire (ex. : relaxation viscoélastique, diffusion anormale) ou une non-localité spatiale (ex. : péridynamique, réaction-diffusion non locale), où l'état dépend d'une évolution historique ou d'interactions spatiales distantes via un noyau de convolution $K$ .

Les méthodes d'identification existantes présentent des limitations significatives :

Les approches classiques reposent sur des dérivations analytiques spécifiques au problème, des exigences d'observation spécialisées (ex. : mesures de flux aux limites) ou des hypothèses restrictives pour garantir la stabilité du problème.
Les méthodes actuelles d'apprentissage automatique scientifique (SciML) représentent souvent les noyaux de manière implicite au sein des paramètres de réseaux de neurones, manquant ainsi de l'interprétabilité sous forme fermée, ou nécessitent des dérivations d'adjoint spécifiques pour le calcul du gradient. De plus, de nombreuses méthodes peinent à imposer des contraintes physiques (positivité, monotonie, convexité) nécessaires à la récupération stable du noyau dans des contextes mal posés.

L'objectif est de développer un cadre flexible et piloté par les données permettant de récupérer directement la forme fonctionnelle du noyau à partir d'observations, tout en respectant strictement les contraintes de forme physiques, sans nécessiter de formules d'inversion analytiques propres à chaque problème.

2. Méthodologie

Les auteurs proposent un cadre basé sur un solveur différentiable qui intègre une représentation de noyau neuronale paramétrable au sein d'un solveur numérique pour l'EID. Le cadre suit une stratégie de type « discrétiser-puis-optimiser », calculant les gradients via la différenciation automatique à travers le solveur, évitant ainsi le besoin d'équations d'adjoint spécifiques au cas étudié.

2.1. Paramétrage du noyau neuronal

Le noyau inconnu $K(\tau)$ (où $\tau$ représente les décalages temporels et/ou spatiaux) est paramétré à l'aide de réseaux de Kolmogorov–Arnold (KAN). Deux architectures spécifiques sont comparées :

KAN de Chebyshev à contraintes souples (Cheb-KAN) :
- Utilise des bases de polynômes de Chebyshev pour les fonctions de bord.
- Les propriétés physiques (positivité, décroissance monotone, convexité) sont encouragées via des termes de pénalité souples ajoutés à la fonction de perte.
- La fonction de perte combine l'écart de données avec des pénalités pour les valeurs négatives, les dérivées premières positives et les dérivées secondes négatives.
KAN Monotone-Convexe à contraintes fortes (MC-KAN) :
- Utilise des bases de polynômes de Bernstein pour les fonctions de bord.
- Les propriétés physiques sont imposées par construction à travers des contraintes sur les coefficients polynomiaux.
- Mécanisme : En contraignant les coefficients de Bernstein à satisfaire des conditions d'ordre et de convexité spécifiques (ex. : $c_0 \ge c_1 \ge \dots \ge c_N$ pour une décroissance monotone), la fonction résultante est garantie d'être positive, monotone décroissante et convexe sur le domaine $[0, 1]$ .
- L'architecture emploie un ordre de couches spécifique : la première couche utilise des fonctions de bord convexes décroissantes, tandis que les couches suivantes utilisent des fonctions de bord convexes croissantes. Cette composition garantit que le noyau final satisfait les contraintes physiques requises, quels que soient les coefficients appris.

2.2. Entraînement et récupération

Entraînement : Le noyau neuronal est intégré dans un solveur direct (utilisant la quadrature ou la FFT pour les intégrales). Les paramètres sont optimisés pour minimiser l'écart entre les données spatio-temporelles prédites et observées.
Régression symbolique : Après l'entraînement, le noyau neuronal appris est échantillonné, et une régression symbolique (via PySR) est appliquée pour extraire une expression mathématique interprétable (ex. : formes exponentielles ou de loi de puissance).

3. Contributions clés

Cadre de solveur différentiable : Un cadre général pour la découverte de noyaux qui intègre des représentations neuronales directement dans des solveurs numériques, éliminant le besoin de dérivations d'adjoint spécifiques.
Architecture KAN à contraintes fortes : L'introduction de MC-KAN, qui utilise des polynômes de Bernstein pour garantir les contraintes physiques (positivité, monotonie, convexité) par construction, plutôt que de s'appuyer sur des pénalités souples.
Analyse comparative : Une évaluation systématique des approches à contraintes fortes (MC-KAN) versus les approches à contraintes souples (Cheb-KAN) à travers différents niveaux de parcimonie des données, de bruit et de dimensionnalité.
Interprétabilité : L'intégration réussie de la régression symbolique pour convertir les noyaux neuronaux appris en lois constitutives sous forme fermée.

4. Résultats expérimentaux

Le cadre a été validé sur trois problèmes de référence :

Expérience I : IDE de Volterra 1D (Mémoire temporelle)

Tâche : Récupérer un noyau de mémoire exponentiel à partir de séries temporelles bruitées.
Résultats : Les deux méthodes ont identifié avec succès la forme exponentielle. Cependant, MC-KAN a systématiquement obtenu des erreurs de reconstruction de noyau plus faibles que Cheb-KAN pour tous les niveaux de bruit et toutes les profondeurs de réseau.
Observation : Bien que les deux méthodes aient récupéré la forme analytique correcte ( $K(\tau) = e^{-r\tau}$ ) via la régression symbolique, le MC-KAN a fourni des approximations numériques plus précises, particulièrement à des niveaux de bruit élevés.

Expérience II : PIDE d'onde viscoélastique 1D (Mémoire temporelle)

Tâche : Récupérer un noyau de type exponentielle étirée (KWW) à partir de clichés temporels épars de la vibration d'une tige viscoélastique.
Résultats : Les deux méthodes sont robustes à la parcimonie des données (jusqu'à 1 % de la grille complète). MC-KAN a obtenu des erreurs de reconstruction de noyau environ 40 % inférieures à celles de Cheb-KAN pour tous les niveaux de parcimonie.
Observation : Les reconstructions de MC-KAN sont restées strictement positives, monotones et convexes, tandis que Cheb-KAN présentait de légères oscillations artificielles. Les deux méthodes ont récupéré avec succès les paramètres réels de KWW ( $\tau_0, \beta$ ) via la régression symbolique.

Expérience III : Équation de réaction-diffusion non locale 2D (Non-localité spatiale)

Tâche : Récupérer un noyau d'interaction spatiale 2D complexe et anisotrope à partir de données éparses et bruitées.
Résultats :
- Dans le cas sans bruit, Cheb-KAN a légèrement mieux performé.
- Sous des conditions de bruit ( $\sigma \ge 0.02$ ), MC-KAN a nettement surpassé Cheb-KAN. À $\sigma = 0.15$ , MC-KAN a réduit l'erreur du noyau de près d'un facteur deux par rapport à Cheb-KAN.
- Robustesse : Les contraintes fortes de MC-KAN ont empêché les oscillations non physiques qui apparaissaient dans les reconstructions de Cheb-KAN lorsque les données étaient éparses et bruitées.
- Normalisation : Une normalisation par loi de puissance des entrées (concentrant la résolution près de l'origine) a encore amélioré les performances de MC-KAN pour les noyaux présentant des gradients abrupts.
Récupération symbolique : Bien que les formes couplées en 2D soient difficiles à récupérer directement, la régression symbolique a réussi à identifier les tranches 1D séparables et la structure de couplage (forme produit) dans l'espace logarithmique.

5. Signification et affirmations

L'article affirme que l'imposition de contraintes de forme physiquement motivées par construction (via MC-KAN) offre une plus grande robustesse que les pénalités souples pour la découverte de noyaux multidimensionnels, particulièrement lorsque les observations sont éparses et bruitées.

Robustesse : Le principal avantage des contraintes fortes n'est pas nécessairement une performance supérieure dans des problèmes inverses simples et bien observés, mais plutôt la capacité à maintenir des représentations physiquement cohérentes et précises à mesure que la qualité des données se dégrade.
Généralisabilité : Le cadre est compatible avec les intégrateurs temporels et les discrétisations spatiales standards, ce qui le rend applicable à une large classe d'EID sans nécessiter de dérivations d'adjoint personnalisées.
Limites : Les auteurs reconnaissent que l'actuel MC-KAN est limité aux noyaux positifs, monotones et convexes (excluant les noyaux oscillatoires ou changeant de signe). De plus, la régression symbolique pour les noyaux multidimensionnels entièrement couplés reste un défi, nécessitant souvent une récupération par étapes des composantes séparables.

En résumé, ce travail démontre que la combinaison de solveurs différentiables avec des réseaux neuronaux à contraintes structurelles (spécifiquement les KAN basés sur les polynômes de Bernstein) offre une approche puissante, interprétable et robuste pour résoudre les problèmes inverses dans les systèmes non locaux ou dotés de mémoire.