Koopman Subspace Pruning in Reproducing Kernel Hilbert Spaces via Principal Vectors

1. Problématique et Contexte

L'article s'attaque à un défi majeur dans l'analyse des systèmes dynamiques non linéaires : l'approximation de l'opérateur de Koopman. Bien que l'opérateur de Koopman offre un cadre puissant pour linéariser des systèmes non linéaires en les représentant dans un espace de fonctions de dimension infinie, les méthodes pratiques reposent sur des projections dans des sous-espaces de dimension finie.

• Limitation de l'EDMD standard : La méthode de Décomposition Modale Dynamique Étendue (EDMD) dépend fortement du choix d'un dictionnaire d'observables. Un mauvais choix conduit à une faible fidélité de l'approximation.
• Avantage et limite du Kernel EDMD (kEDMD) : L'utilisation d'espaces de Hilbert à noyau reproduisant (RKHS) permet de définir implicitement un dictionnaire riche et adapté aux données, améliorant la qualité de l'approximation. Cependant, la complexité computationnelle de kEDMD est de l'ordre de $O(N^3)$ (où $N$ est le nombre de points de données), ce qui la rend inutilisable pour les grands ensembles de données.
• Le problème de l'invariance : La précision d'un modèle de Koopman dépend de la proximité d'invariance du sous-espace choisi par rapport à l'opérateur. Si le sous-espace n'est pas invariant, l'erreur de projection est importante.
• Le besoin de pruning (élagage) : Des techniques d'élagage de sous-espaces existent pour l'EDMD standard (dans un cadre euclidien) afin de supprimer les directions géométriquement mal alignées et d'améliorer l'invariance. Cependant, ces méthodes ne sont pas applicables au cadre du RKHS, où la géométrie est définie par un noyau et non par un produit scalaire euclidien simple.

Objectif principal : Développer une méthode pour calculer les angles et vecteurs principaux entre un sous-espace et son image par l'opérateur de Koopman dans un RKHS, afin de permettre l'élagage ciblé de sous-espaces pour améliorer la précision et réduire la dimensionnalité.

2. Méthodologie

Les auteurs proposent une approche en deux volets : une méthode exacte pour les petits ensembles de données et une approximation scalable pour les grands ensembles.

A. Fondements Théoriques (Calcul Exact)

Les auteurs formulent le problème de recherche de l'angle principal entre un sous-espace $S$ et son image $KS$ (l'image de $S$ par l'opérateur de Koopman) dans le RKHS.

1. Représentation implicite : Les vecteurs de base du sous-espace sont exprimés comme des combinaisons linéaires de sections de noyau empiriques.
2. Calcul des produits scalaires : Grâce à l'« astuce du noyau » (kernel trick), les produits scalaires dans le RKHS peuvent être calculés via des matrices de noyau ($K_{X,X}$ et $K_{T(X),X}$).
3. Décomposition QR spectrale : Pour gérer les dépendances linéaires et la structure implicite, les auteurs utilisent une décomposition en valeurs propres tronquée des matrices de Gram pour obtenir des bases orthonormées implicites.
4. SVD : Les angles principaux sont obtenus via la décomposition en valeurs singulières (SVD) d'une matrice de cosinus construite à partir de ces bases orthonormées.

• Algorithme 1 (Kernel-SPV) : Implémente cette procédure exacte. Sa complexité reste dominée par la résolution de systèmes linéaires de taille $N$, soit $O(N^3)$.

B. Approximation Scalable (Nyström)

Pour surmonter le goulot d'étranglement computationnel $O(N^3)$, les auteurs introduisent une approximation basée sur la méthode de Nyström.

1. Échantillonnage de points repères (Landmarks) : Un sous-ensemble de $D$ points ($D \ll N$) est sélectionné pour approximer la géométrie du noyau.
2. Carte de caractéristiques explicite : Une carte de caractéristiques $\psi(x)$ est construite à partir de la décomposition spectrale de la matrice de noyau des points repères. Cela permet de transformer les données en un espace de dimension $D$.
3. Matrices cibles et régularisation : Au lieu de résoudre le système linéaire coûteux pour obtenir les coefficients de l'image de Koopman, les auteurs définissent des matrices cibles $Z_V$ et $Z_{KV}$ dans l'espace des caractéristiques. Une régularisation de Tikhonov est utilisée pour assurer la stabilité numérique et gérer les défauts de rang.
4. Seuillage de rang : Pour éviter que le bruit d'approximation n'artificialise la dimension du sous-espace, une SVD tronquée avec des seuils adaptatifs est appliquée aux matrices cibles.

• Algorithme 2 (Approximate Kernel-SPV) : Cette méthode réduit la complexité à $O(NDs + D^3)$, rendant le traitement de grands ensembles de données possible.

3. Contributions Clés

1. Cadre théorique RKHS : Première dérivation rigoureuse des angles et vecteurs principaux spécifiquement pour la géométrie d'un RKHS, permettant l'élagage de sous-espaces dans ce cadre.
2. Algorithmes Kernel-SPV et Approximate Kernel-SPV :
   • Un algorithme exact pour les cas de petite échelle.
   • Un algorithme scalable basé sur Nyström pour les grands ensembles de données, évitant l'inversion de matrices de noyau denses.
3. Réduction de modèle : La méthode sert non seulement à améliorer la précision (en réduisant l'erreur de prédiction), mais aussi à réduire la dimensionnalité du modèle, ce qui est crucial pour la synthèse de contrôleurs.
4. Preuve de convergence empirique : Démonstration que l'approximation de Nyström converge vers les arguments principaux exacts et préserve la géométrie du sous-espace nécessaire à l'élagage, même avant que les bases approchées ne soient parfaitement orthonormées.

4. Résultats Expérimentaux

Les auteurs valident leur approche sur un oscillateur de Duffing amorti (système dynamique non linéaire classique).

• Configuration : $N=5000$ points de données, dictionnaire initial de dimension $s=200$.
• Précision de l'approximation : L'augmentation du nombre de points repères $D$ réduit les résidus d'orthonormalité. Avec $D=2000$, les angles principaux calculés par la méthode approchée correspondent presque parfaitement à ceux de la méthode exacte.
• Performance de l'élagage : L'application de l'élagage (réduisant la dimension à $s^*=5$) améliore significativement la précision de la prédiction à 5 pas de temps pour l'éigenfonction dominante (associée à $\lambda \approx 1$).
• Comparaison : Les erreurs de prédiction relatives sont nettement plus faibles après l'élagage par rapport au modèle kEDMD non élagué.

5. Signification et Impact

Ce travail comble une lacune importante entre la théorie riche des espaces de Hilbert à noyau reproduisant et les besoins pratiques de modélisation et de contrôle des systèmes dynamiques à grande échelle.

• Faisabilité : Il rend l'EDMD basée sur noyau applicable à des problèmes de grande dimension où les méthodes exactes échouent.
• Robustesse : En permettant l'élagage de sous-espaces, il améliore la stabilité et la précision des modèles de Koopman, réduisant le besoin de réglage manuel de dictionnaires.
• Contrôle : La réduction de dimensionnalité obtenue par l'élagage est une étape clé pour la conception de contrôleurs basés sur la dynamique relevée (lifted dynamics), rendant ces contrôleurs plus tractables.

En résumé, l'article propose une avancée méthodologique majeure pour rendre les approximations de l'opérateur de Koopman plus précises, plus stables et computationnellement viables pour des applications réelles complexes.