A Dynamic Subspace Approach for Low-rank Approximation of Large-scale Nonlinear Systems

Résumé technique : Une approche par sous-espace dynamique pour l'approximation de rang faible de systèmes non linéaires à grande échelle

Énoncé du problème
Une approximation de faible dimension efficace est cruciale pour la compression de données, l'apprentissage automatique et la réduction de modèles. Cependant, les méthodes statiques standard, telles que la décomposition orthogonale propre (POD) et les autoencodeurs linéaires, reposent sur des espaces de projection fixes. Ces représentations statiques échouent à capturer adéquatement les phénomènes transitoires dominés par le transport, où les modes physiques ou les structures cohérentes dérivent au fil du temps. Pour maintenir la précision dans de tels scénarios, les méthodes linéaires statiques nécessitent souvent une augmentation significative du rang d'approximation (dimensionnalité), une limitation connue sous le nom de « barrière de Kolmogorov ». Bien que les méthodes non linéaires puissent surmonter cette limite d'expressivité, elles sacrifient souvent l'interprétabilité ou l'efficacité computationnelle et reposent sur des plongements fixes qui ne s'adaptent pas à l'état évolutif.

Méthodologie
Les auteurs proposent une approche par sous-espace dynamique qui modélise l'évolution de la base d'approximation comme une trajectoire continue en temps sur la variété de Grassmann ($G(r, N)$), l'espace de tous les sous-espaces linéaires de dimension $r$ dans $\mathbb{R}^N$.

1. Formulation géométrique :
   Au lieu d'une base fixe $V$, la méthode emploie une base variable dans le temps $V(t)$ paramétrée comme un chemin géodésique (le chemin le plus court entre les sous-espaces). La base est définie par :
   $$V(\tau) = V_1 \cos(\tau \Theta) + V_2 \sin(\tau \Theta)$$
   où $V_1$ et $V_2$ sont des matrices orthonormées, $\tau$ est le temps normalisé, et $\Theta$ est une matrice diagonale d'angles principaux représentant les taux de rotation. Cette formulation découple la dérive géométrique du sous-espace de l'évolution intrinsèque des coordonnées de faible dimension, permettant à la base de s'adapter à la physique instantanée sans gonfler le rang $r$.

2. Optimisation évolutive via l'espace des caractéristiques :
   L'optimisation directe sur l'espace d'état de haute dimension (dimension $N$) est computationnellement intraitable pour les systèmes à grande échelle. Pour y remédier, les auteurs introduisent une réduction de l'espace des caractéristiques :

   • Un ensemble fixe de $n_f$ modes de caractéristiques (dérivés des vecteurs singuliers dominants des données instantanées via POD) est utilisé pour construire une base réduite $\tilde{V} \in \mathbb{R}^{N \times n_f}$.
   • La base dynamique est contrainte de se situer dans l'enveloppe de ces caractéristiques : $V(\tau) = \tilde{V} T(\tau)$, où $T(\tau)$ est une matrice de rotation de faible dimension.
   • Cela déplace les variables d'optimisation de l'espace de haute dimension ($N \times 2r$) vers l'espace des caractéristiques ($n_f \times 2r$), rendant le coût computationnel indépendant de la dimension d'état originale $N$.

3. Optimisation riemannienne :
   Le problème d'apprentissage est formulé comme la minimisation de l'erreur de projection quadratique moyenne sur les instantanés d'entraînement. L'optimisation est effectuée sur une variété produit $\mathcal{M} = \text{St}(n_f, 2r) \times \mathbb{R}^r$, où $\text{St}$ désigne la variété de Stiefel des matrices orthonormées. Les auteurs utilisent un solveur de gradient conjugué riemannien (via le package Pymanopt avec un backend JAX) pour imposer strictement les contraintes d'orthogonalité et naviguer dans la géométrie de la variété. L'implémentation utilise des opérations vectorisées pour calculer les projections pour tous les pas de temps simultanément, éliminant la surcharge des boucles temporelles itératives.

Contributions clés

• Paramétrisation géodésique : Le recadrage de la réduction de dimensionnalité comme une tâche de géométrie différentielle où la base évolue le long de géodésiques sur la variété de Grassmann, permettant un suivi adaptatif des dynamiques non stationnaires.
• Découplage des coûts : Un cadre évolutif qui découple le coût d'optimisation de l'espace d'état de haute dimension $N$ en effectuant l'apprentissage dans un espace de caractéristiques réduit précalculé.
• Efficacité du rang : La méthode atteint une précision supérieure aux approximations linéaires statiques à rangs équivalents, brisant efficacement la barrière de Kolmogorov pour les phénomènes dominés par le transport sans nécessiter de gonflement du rang.
• Implémentation vectorisée : Une stratégie d'optimisation entièrement vectorisée, sans boucle, exploitant les capacités modernes de différenciation automatique et de traitement parallèle.

Résultats
Le cadre a été évalué sur deux problèmes distincts :

1. Équation de transport 1D : Un point de référence pour les ondes progressives. L'approche par sous-espace dynamique a démontré une convergence significativement plus rapide de l'erreur relative par rapport à la POD statique. À une dimension réduite de $r=20$, la méthode dynamique a atteint une précision comparable à une base POD statique de rang $2r$, validant l'efficacité de la perspective géodésique.
2. Sillage turbulent d'un profil aérodynamique (LES) : Un ensemble de données de grande échelle et haute fidélité ($N \approx 6.6 \times 10^5$) impliquant une turbulence complexe et non stationnaire.
   • L'approche par sous-espace dynamique a constamment surpassé la POD statique sur tous les rangs testés.
   • À $r=200$, la méthode dynamique a atteint une erreur relative de 2,4 % contre 4,0 % pour la POD sur un instantané de test.
   • La base dynamique a capturé des structures turbulentes à petite échelle et maintenu la continuité temporelle, tandis que les modes POD statiques ont produit des résultats plus lisses et plus diffus.
   • L'optimisation a convergé en environ 25 secondes pour $r=80$ sur un CPU standard, démontrant son évolutivité.

Importance et affirmations
L'article affirme que cette approche par sous-espace dynamique offre une alternative robuste et évolutive à l'apprentissage de variétés traditionnel pour la modélisation de rang faible de systèmes complexes et non stationnaires. En paramétrant la base comme une géodésique, la méthode permet à l'espace d'approximation d'évoluer parallèlement à l'état de haute dimension, assurant une synchronisation avec la physique instantanée.

Les auteurs soulignent que cette approche :

• Atténue la barrière de Kolmogorov en évitant le gonflement du rang généralement requis par les méthodes statiques pour les écoulements dominés par le transport.
• Reste indépendante des équations gouvernantes, ne nécessitant aucune paramétrisation explicite de la physique sous-jacente, ce qui facilite son intégration dans des codes de simulation de niveau production existants.
• Fournit un cadre mathématiquement rigoureux qui déplace l'accent computationnel de la manipulation de vecteurs de haute dimension vers l'optimisation des coefficients temporels et des angles principaux.

Ce travail positionne cette méthode comme un facilitateur viable pour les jumeaux numériques haute fidélité à l'ère du calcul exascale, offrant un alignement de sous-espace quasi optimal avec une complexité computationnelle significativement inférieure aux approches traditionnelles. Les travaux futurs sont notés comme se concentrant sur l'extension de la méthode aux géodésiques par morceaux pour des horizons temporels plus longs et sur le couplage de la base adaptative avec des cadres existants de réduction de modèles basés sur les données.