Optimization of randomized neural networks for transfer operator approximation

Résumé technique : Optimisation des réseaux de neurones randomisés pour l'approximation des opérateurs de transfert

Énoncé du problème
L'approximation pilotée par les données des opérateurs de transfert (tels que les opérateurs de Koopman et de Perron–Frobenius) est essentielle pour analyser le comportement global des systèmes dynamiques complexes, y compris les états métastables en dynamique moléculaire et les structures cohérentes en écoulements fluides. Les méthodes traditionnelles comme la décomposition modale dynamique étendue (EDMD) reposent sur des dictionnaires fixes de fonctions de base (par exemple, polynômes, gaussiennes), dont la sélection optimale dépend du système et constitue souvent un problème ouvert. Bien que les réseaux de neurones (RN) puissent apprendre ces dictionnaires, les réseaux entièrement entraînés nécessitent une rétropropagation coûteuse en calcul, souffrant de problèmes tels qu'une convergence lente, des minima locaux et une instabilité des gradients.

Les réseaux de neurones randomisés, tels que le RaNNDy proposé précédemment, répondent à ces coûts de calcul en fixant les poids et les biais des couches cachées et en entraînant uniquement la couche de sortie via une solution sous forme fermée. Cependant, cette approche présente une limitation critique : la qualité de l'approximation dépend entièrement de la sélection aléatoire initiale des poids et des biais. Si les fonctions de base générées aléatoirement échouent à représenter avec précision les fonctions propres du système, l'approximation de l'opérateur résultante est médiocre, et il n'existe aucun mécanisme au sein du cadre standard RaNNDy pour corriger cela.

Méthodologie
Les auteurs proposent un algorithme pour optimiser la base randomisée de RaNNDy en ajustant les hyperparamètres de la fonction d'activation et les distributions à partir desquelles les poids et les biais sont échantillonnés, tout en maintenant les paramètres structurels du réseau (poids et biais) fixes une fois échantillonnés.

1. Activation et base paramétriques : La méthode introduit des paramètres ajustables $\omega$ (par exemple, l'échelle de la distribution pour les poids/biais, ou les paramètres d'une fonction d'activation paramétrique comme $\tanh$) dans la définition de la fonction de base : $\psi(x, \omega) = \sigma(W(\omega_W)x + b(\omega_b), \omega_a)$.
2. Optimisation variationnelle : L'algorithme utilise le principe variationnel de Rayleigh pour définir une fonction de perte. Pour les opérateurs auto-adjoints (systèmes réversibles), l'objectif est de maximiser la somme des valeurs propres de l'opérateur projeté. Pour les opérateurs non auto-adjoints (systèmes non réversibles), la méthode maximise la trace de l'opérateur avant-arrière projeté pour approximer les valeurs singulières.
   • La fonction de perte est formulée comme $L(\omega) = \text{tr}(\hat{A}(\omega))$, où $\hat{A}(\omega)$ est construit à partir de matrices de covariance et de covariance croisée pilotées par les données ($\hat{C}_{00}, \hat{C}_{01}$, etc.).
3. Boucle d'optimisation : Les hyperparamètres $\omega$ sont mis à jour itérativement en utilisant la descente de gradient ou l'optimisation bayésienne pour maximiser la trace de l'approximation de l'opérateur. Une fois $\omega$ optimisé, les poids de la couche de sortie sont calculés via un problème de valeurs propres sous forme fermée, préservant ainsi l'efficacité computationnelle des réseaux randomisés.

Contributions clés

1. Algorithme d'optimisation novateur : L'article introduit une méthode pour optimiser la base randomisée de RaNNDy en ajustant les hyperparamètres de la fonction d'activation et les échelles de distribution, comblant ainsi le fossé entre les réseaux entièrement randomisés et les réseaux entièrement entraînés.
2. Application à des systèmes divers : L'approche est validée sur trois problèmes de référence distincts :
   • Marches aléatoires sur des graphons : Démontrant la capacité à reconstruire des graphons et des densités de transition à partir de données.
   • Jet de Bickley : Un benchmark de dynamique des fluides pour la détection d'ensembles cohérents.
   • Protéine NuG2 : Données de dynamique moléculaire de haute dimension pour analyser les transitions de repliement-dépliage.

Résultats
Les expériences numériques démontrent que l'optimisation des paramètres d'activation améliore considérablement la précision de l'approximation par rapport à l'utilisation d'une base aléatoire fixe et mal initialisée :

• Graphons : L'algorithme a convergé en moins de 20 époques, identifiant correctement une lacune spectrale correspondant à trois ensembles métastables. La base optimisée a permis une reconstruction précise du graphon et de la densité de transition. En revanche, une recherche par grille pour des distributions fixes s'est révélée moins efficace, et les réseaux entièrement entraînés (VAMPnets) avec des taux d'apprentissage plus élevés ont divergé ou sont restés piégés dans des minima locaux.
• Jet de Bickley : La méthode a détecté avec succès des ensembles cohérents en regroupant les fonctions singulières optimisées. L'algorithme a convergé en moins de 10 itérations, révélant les structures cohérentes du système plus efficacement que la base aléatoire initiale.
• Protéine NuG2 : La base optimisée a capturé avec précision les valeurs propres et les fonctions propres dominantes, distinguant les états repliés et dépliés de la protéine. La base aléatoire initiale a produit de mauvaises approximations, soulignant la nécessité de l'optimisation proposée.

Signification et affirmations
Les auteurs positionnent ce travail comme un « compromis » entre les réseaux de neurones entièrement randomisés et entièrement entraînés. La signification réside dans le maintien des avantages computationnels de RaNNDy (solution sous forme fermée, pas de rétropropagation pour les couches cachées, coûts d'entraînement inférieurs) tout en atténuant sa faiblesse principale : la sensibilité à la sélection aléatoire initiale des fonctions de base.

L'article affirme que l'ajustement des distributions des poids et des biais cachés est plus facile en raison d'un paysage de perte plus simple par rapport à l'entraînement de réseaux complets, permettant potentiellement l'utilisation d'algorithmes tels que l'optimisation bayésienne. Les auteurs suggèrent modestement que, bien que le travail actuel se concentre sur des paramètres d'activation spécifiques, les travaux futurs pourraient explorer des fonctions d'activation avec plus d'hyperparamètres et mener des comparaisons systématiques des temps d'exécution sur des systèmes dynamiques plus complexes pour évaluer davantage les compromis des approches randomisées.