💻 computer science

Spectral bias mitigation in physics-informed neural surrogates for nonlinear structural dynamics: Fourier feature encoding versus Kolmogorov-Arnold representations

Cette étude démontre que, bien que les réseaux de Kolmogorov–Arnold (KAN) atténuent intrinsèquement mieux le biais spectral que les MLP standards dans la dynamique structurelle non linéaire, l'application de l'encodage par caractéristiques de Fourier est le facteur dominant pour la précision, rendant les MLP enrichis par Fourier supérieurs tant aux KAN simples qu'aux KAN enrichis par Fourier, lesquels souffrent d'une dégradation des performances due à des oscillations de gradient incompatibles avec l'optimisation informée par la physique.

Auteurs originaux : Salih Berkan Aydemir

Publié 2026-07-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Salih Berkan Aydemir

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à prédire comment un bâtiment oscille lors d'un tremblement de terre. Le bâtiment ne se contente pas de se balancer d'avant en arrière selon un rythme lent et simple ; il vibre avec un mélange complexe de balancements lents et lourds et de petits tremblements rapides et saccadés, tout cela en même temps. C'est le monde de la dynamique structurelle non linéaire, et pendant longtemps, les cerveaux de robots standards utilisés pour résoudre ces problèmes (appelés MLP ou Perceptrons Multicouches) avaient un angle mort majeur.

Le Problème : L'angle mort du « Biais Spectral »

Imaginez ces cerveaux de robots standards comme une radio qui ne capte que les basses. Ils sont excellents pour apprendre les mouvements lents et à basse fréquence (le coup sourd et profond du séisme), mais ils ignorent complètement les vibrations aiguës et rapides (les secousses nettes). Dans le monde scientifique, c'est ce qu'on appelle le biais spectral. Peu importe le temps qu'on les entraîne, ils ne parviennent pas à entendre les notes hautes, ce qui conduit à des prédictions qui ressemblent à une ligne plate alors que le bâtiment est en réalité en train de trembler violemment.

Les Contendants : Deux nouvelles façons de réparer la radio

Les chercheurs de cette étude ont organisé une course pour voir comment réparer cela. Ils ont testé quatre conceptions de cerveaux de robots différents, mais avec une règle très stricte : chaque cerveau devait avoir exactement le même nombre de « neurones » (environ 16 400 paramètres). Cela garantissait que la course soit équitable.

Ils ont testé deux idées principales :

L'amélioration par « Caractéristiques de Fourier » : C'est comme donner au robot une paire de lunettes spéciales qui traduit l'entrée temporelle en une carte multidimensionnelle d'ondes sinusoïdales et cosusoïdales. Cela force le robot à voir les hautes fréquences dès le départ.
Le cerveau « KAN » : C'est un nouveau type de cerveau (réseau Kolmogorov-Arnold) où les connexions entre les neurones ne sont pas fixes ; ce sont des courbes apprenables et flexibles (spécifiquement des polynômes de Chebyshev). C'est comme donner au robot un cerveau capable de remodeler son propre câblage interne pour s'adapter à la forme des données.

La Course : Quatre scénarios de tremblements de terre très différents

Les robots ont été testés sur quatre défis très distincts :

Bouc–Wen : Un système qui agit comme un matériau collant et plastique qui se courbe et ne reprend pas sa forme parfaitement (comportement hystérétique).
Duffing : Un système avec une forme d'énergie à « double puits », comme une balle roulant entre deux collines.
Van der Pol : Un système qui crée son propre rythme, comme un battement de cœur ou un battement d'aile.
Bâtiment à 3 degrés de liberté (3-DOF) : Un bâtiment de trois étages oscillant selon plusieurs modes à la fois.

Les Résultats : Qui a gagné ?

Les résultats ont été surprenants et très clairs.

1. Les lunettes ont gagné la course
La plus grande découverte est que l'encodage par caractéristiques de Fourier (les lunettes spéciales) était le facteur le plus important. Lorsque les chercheurs ont mis ces lunettes sur le cerveau MLP standard, celui-ci est devenu une superstar.

Dans les tests Duffing et Van der Pol, le « Fourier-MLP » a réduit son erreur à des niveaux extrêmement bas, atteignant des erreurs L2 inférieures à 0,001 (ce qui équivaut à une précision quasi parfaite pour ces tests de référence).
Dans les tests Bouc–Wen et bâtiment 3-DOF, il a réduit les erreurs de 98,6 % à 99,7 %.
Sans ces lunettes, le MLP standard échouait complètement, prédisant presque aucun mouvement (erreurs proches de 1,0) pour les bâtiments complexes.

2. Le cerveau KAN : Bon, mais seulement sans les lunettes
Le cerveau KAN seul (sans les lunettes de Fourier) était en fait assez intelligent. Dans le test Van der Pol, il était 3,5 fois meilleur que le simple MLP car ses courbes internes flexibles agissaient comme un décodeur de fréquence intégré. Cependant, il n'a pas pu égaler le Fourier-MLP.

3. Le Paradoxe : Les mélanger a empiré les choses
Voici le rebondissement que les chercheurs ont trouvé fascinant. Lorsqu'ils ont essayé de combiner les lunettes de Fourier avec le cerveau KAN (créant un « FPIKAN »), la performance s'est dégradée.

Dans le test Duffing, ajouter les lunettes au cerveau KAN a en fait augmenté l'erreur de 201,7 % (rendant le système trois fois pire que le cerveau KAN seul).
Dans le test Van der Pol, cela a augmenté l'erreur de 9,0 %.

Pourquoi le mélange a-t-il échoué ?

Les auteurs expliquent cela en utilisant le concept de « flux de gradient », qui est la manière dont le robot apprend de ses erreurs.

Les lunettes de Fourier créent un chemin très fluide et facile pour que le robot apprenne.
Les courbes internes du cerveau KAN (polynômes de Chebyshev) sont très sinueuses et complexes. Lorsque vous forcez le cerveau KAN à regarder à travers les lunettes de Fourier, les « signaux d'apprentissage » (gradients) commencent à osciller sauvagement. C'est comme essayer de conduire une voiture de course haute performance (KAN) sur une piste parfaitement lisse (Fourier), mais la suspension de la voiture est si sensible à la fluidité qu'elle commence à se désagréger à cause des vibrations. La mathématique devient trop désordonnée pour que le robot trouve la solution parfaite.

Le Verdict Final

L'étude conclut que pour prédire les mouvements des structures, la représentation de l'entrée (les lunettes) importe plus que l'architecture du cerveau.

Le Gagnant : Le Fourier-MLP (Cerveau standard + lunettes de Fourier). Il était le plus précis, le plus rapide à entraîner et le plus simple à utiliser.
Le Deuxième : Le cerveau KAN seul. C'est un second choix solide si vous ne connaissez pas la plage de fréquence à l'avance, mais il n'est pas aussi performant que le Fourier-MLP.
Le Perdant : Le FPIKAN (KAN + Fourier). L'article soutient explicitement que combiner ces deux technologies spécifiques est contre-productif et doit être évité sous sa forme actuelle.

En résumé, si vous voulez qu'un robot prédise les vibrations d'un bâtiment, ne vous contentez pas de construire un cerveau plus sophistiqué ; donnez-lui la bonne paire de lunettes pour voir les détails de haute fréquence. Et n'essayez pas de mélanger le cerveau le plus perfectionné avec les lunettes, ou vous risquez de briser tout le système.

Résumé Technique : Atténuation du Biais Spectral dans les Substituts Neuronaux Informés par la Physique pour la Dynamique Structurelle Non Linéaire

1. Énoncé du Problème

Les perceptrons multicouches (MLP) standards utilisés dans les réseaux de neurones informés par la physique (PINN) souffrent d'un biais spectral : une tendance systématique à apprendre les composantes de basse fréquence d'un signal tout en échouant à capturer les modes de haute fréquence. Cette limitation est critique en dynamique structurelle non linéaire, où les réponses des systèmes contiennent intrinsèquement des composantes multi-fréquentielles (par exemple, les modes fondamentaux et les harmoniques supérieures) résultant d'interactions modales, de comportements hystérétiques et de rigidité non linéaire.

Bien que des alternatives récentes comme les réseaux de Kolmogorov–Arnold (KAN) aient été proposées pour atténuer ce phénomène via des activations de bordure apprenables, les comparaisons existantes entre KAN et MLP sont souvent biaisées. Les études antérieures souffrent fréquemment de :

Comptages de paramètres inégaux.
Normalisation inappropriée des entrées (provoquant la saturation des activations).
Conditions initiales (CI) codées en dur à zéro, même pour des états non nuls.
Application incohérente des contraintes informées par la physique.

Ces incohérences méthodologiques mènent à des conclusions trompeuses concernant l'efficacité des choix architecturaux par rapport aux représentations d'entrée.

2. Méthodologie

Cette étude établit un cadre expérimental rigoureux et apparié en termes de paramètres pour isoler les effets de la représentation d'entrée et de l'architecture de base.

2.1 Problèmes de Référence

Quatre problèmes de dynamique non linéaire canoniques ont été sélectionnés, chacun représentant une classe dynamique distincte :

Oscillateur hystérétique de Bouc–Wen : Hystérésis indépendante de la vitesse (apprentissage piloté par les données).
Oscillateur de Duffing : Rigidité géométrique cubique avec comportement quasi-périodique (informé par la physique).
Oscillateur de Van der Pol forcé : Oscillation de cycle limite auto-excitée (informé par la physique).
Bâtiment à trois degrés de liberté (3-DOF) : Superposition modale multi-fréquentielle linéaire (piloté par les données).

2.2 Conception Architecturale (2 × 2 Factoriel)

Quatre modèles ont été comparés, tous contraints à environ 16 400 paramètres entraînables pour garantir l'équité :

MLP Classique (Plain MLP) : MLP standard avec une entrée temporelle normalisée ( $t/t_{max}$ ).
Fourier-MLP : MLP avec encodage de caractéristiques de Fourier ( $\Phi(t)$ ).
KAN-seul (KAN-only) : KAN avec des activations de polynômes de Chebyshev apprenables et une entrée temporelle normalisée.
FPIKAN (KAN enrichi par Fourier) : KAN avec encodage de caractéristiques de Fourier.

Contrôles Méthodologiques Clés :

Normalisation des Entrées : Les entrées du MLP classique et du KAN-seul ont été normalisées sur $[0, 1]$ pour éviter la saturation de la fonction $\tanh$ ; les modèles Fourier sont immunisés grâce aux fonctions sinus et cosinus bornées.
Conditions Initiales : Application explicite des véritables CI physiques ( $u(0), \dot{u}(0)$ ) plutôt que l'utilisation de zéros codés en dur.
Fonction de Perte : Une perte unifiée comprenant la fidélité des données ( $L_{data}$ ), les contraintes de conditions initiales ( $L_{IC}, L_{vel}$ ) et les résidus physiques ( $L_{phys}$ ) pour les benchmarks applicables.
Entraînement : Optimiseur Adam avec recuit de type cosinus sur 5 000 époques.

2.3 Analyse Théorique

L'étude inclut une analyse du flux de gradient des couches KAN. Elle postule que, bien que les polynômes de Chebyshev agissent comme des décomposeurs spectraux implicites, leurs dérivées secondes (requises pour la perte informée par la physique dans les équations différentielles du second ordre) produisent des magnitudes de gradient oscillatoires. Ces oscillations créent un paysage d'optimisation incompatible lorsqu'elles sont combinées avec des entrées encodées par Fourier, ce qui peut déstabiliser l'entraînement.

3. Principales Contributions

Comparaison Appariée en Paramètres : La première comparaison rigoureuse des architectures KAN et MLP à travers quatre benchmarks non linéaires avec une capacité de modèle strictement égale (~16,4k paramètres).
Étude d'Ablation Factorielle : Un plan systématique $2 \times 2$ isolant les contributions individuelles de l'encodage de caractéristiques de Fourier et de l'architecture de base (MLP vs KAN).
Correction Méthodologique : Identification et correction de sept "bugs" d'implémentation courants dans la littérature des PINN (ex: absence de CI de vitesse, temps non normalisé, paramètres discordants) qui faussaient auparavant les résultats.
Analyse d'Incompatibilité de Gradient : Démonstration mathématique de la raison pour laquelle la combinaison de l'encodage de Fourier avec les KAN basés sur Chebyshev peut dégrader les performances en raison de la dynamique de gradient conflictuelle.
Évaluation de la Fidélité Spectrale : Analyse dans le domaine fréquentiel démontrant que les métriques d'erreur dans le domaine temporel sont insuffisantes pour diagnostiquer le biais spectral.

4. Résultats

4.1 Dominance de l'Encodage de Caractéristiques de Fourier

La conclusion la plus significative est que l'encodage de caractéristiques de Fourier est le facteur dominant dans l'atténuation du biais spectral.

L'ajout de l'encodage de Fourier à un MLP classique a réduit les erreurs relatives $L_2$ de 98,6 % à 100 % sur tous les benchmarks.
Le Fourier-MLP a obtenu l'erreur la plus faible dans les quatre benchmarks ( $L_2 \le 0,014$ , avec $L_2 < 10^{-3}$ pour Duffing et Van der Pol).
Sans encodage de Fourier, le MLP classique et le KAN-seul ont tous deux échoué à capturer la dynamique haute fréquence dans les benchmarks Bouc–Wen et du bâtiment à 3-DOF, produisant une erreur $L_2 \approx 1,0$ (prédiction quasi nulle).

4.2 Performance du KAN sans Encodage de Fourier

En l'absence d'encodage de Fourier, le KAN-seul surpasse le MLP classique dans les systèmes oscillatoires non linéaires :

Duffing : Le KAN a réduit l'erreur de 1,9× ($0,074$ vs $0,139$).
Van der Pol : Le KAN a réduit l'erreur de 3,5× ($0,164$ vs $0,574$).
Cela confirme que les activations de Chebyshev apprenables agissent comme des décomposeurs spectraux implicites, atténuant partiellement le biais dans des régimes de fréquences plus simples.

4.3 Le "Paradoxe" du FPIKAN

Contrairement à l'attente selon laquelle la combinaison de deux stratégies d'atténuation donnerait de meilleurs résultats, le FPIKAN est systématiquement moins performant que le Fourier-MLP.

Dans le benchmark Duffing, l'ajout de l'encodage de Fourier au KAN a augmenté l'erreur de 201,7 % (de $0,074 $à$ 0,224$).
Dans le benchmark Van der Pol, l'erreur a augmenté de 9,0 %.
Cause : Les magnitudes de gradient oscillatoires inhérentes aux polynômes de Chebyshev de haut degré entrent en conflit avec le paysage d'optimisation lisse requis par les résidus physiques de second ordre, surtout lorsqu'ils sont couplés à des entrées de Fourier.

4.4 Convergence et Analyse Spectrale

Convergence : Le Fourier-MLP a convergé de manière fluide vers un $MSE < 10^{-7}$ . Le FPIKAN a convergé initialement mais a plafonné à des niveaux d'erreur plus élevés ( $10^{-3}$ à $10^{-5}$ ), ce qui est cohérent avec l'hypothèse d'instabilité du gradient.
Fidélité Spectrale : Le Fourier-MLP a reconstruit avec précision l'ensemble du spectre fréquentiel. Les modèles sans Fourier ont présenté une forte atténuation des hautes fréquences, filtrant efficacement les modes au-dessus de 2–3 Hz.

5. Signification et Conclusions

L'article conclut que pour les substituts neuronaux informés par la physique dans la dynamique structurelle non linéaire :

La Représentation d'Entrée est Critique : L'encodage de caractéristiques de Fourier est le choix de conception le plus important, éliminant efficacement le biais spectral quel que soit l'architecture de base.
Architecture Recommandée : Le Fourier-MLP est l'architecture recommandée, offrant l'erreur la plus faible, un entraînement plus rapide (~2× plus rapide que les alternatives KAN) et une mise en œuvre plus simple.
Valeur du KAN Autonome : Les KAN apportent une valeur ajoutée lorsque l'encodage de Fourier n'est pas réalisable (ex: plages de fréquences inconnues), car ils surpassent les MLP jusqu'à 3,5× grâce à la décomposition spectrale implicite.
Contre-productivité de l'Hybridation : Combiner l'encodage de Fourier avec les KAN basés sur Chebyshev (FPIKAN) est actuellement contre-productif en raison de l'incompatibilité des gradients. Les auteurs suggèrent l'exploration future de variantes KAN basées sur des B-splines ou des ondelettes avec des dérivées bornées pour résoudre ce problème.
Rigueur Méthodologique : L'étude souligne que la littérature comparative précédente peut être compromise par des défauts d'implémentation. Le respect de l'appariement strict des paramètres, de la normalisation appropriée et de l'application correcte des conditions initiales est essentiel pour des conclusions scientifiques valides dans ce domaine.