A Dynamic Subspace Approach for Low-rank Approximation of Large-scale Nonlinear Systems

Technische Samenvatting: Een Dynamische Subruimtebenadering voor Lagere-rangbenadering van Groot-schalige Niet-lineaire Systemen

Probleemstelling
Effectieve laag-dimensionale benadering is cruciaal voor datacompressie, machine learning en modelreductie. Echter, standaard statische methoden, zoals Proper Orthogonal Decomposition (POD) en lineaire auto-encoders, vertrouwen op vaste projectieruimten. Deze statische representaties slagen er niet in om transiënte, transport-gedomineerde fenomenen adequaat vast te leggen, waarbij fysische modi of coherente structuren in de loop van de tijd verschuiven. Om in dergelijke scenario's nauwkeurigheid te behouden, vereisen statische lineaire methoden vaak een aanzienlijke verhoging van de benaderingsrang (dimensionaliteit), een beperking die bekendstaat als de "Kolmogorov-barrière". Hoewel niet-lineaire methoden deze expressiviteitslimiet kunnen overwinnen, offeren ze vaak interpreteerbaarheid of rekenkundige efficiëntie op en vertrouwen ze op vaste embedden die niet adaptief reageren op de evoluerende toestand.

Methodologie
De auteurs stellen een dynamische subruimtebenadering voor die de evolutie van de benaderingsbasis modelleert als een tijd-continue trajectorie op het Grassmanniaanse variëteit ($G(r, N)$), de ruimte van alle $r$-dimensionale lineaire subruimten in $\mathbb{R}^N$.

1. Geometrische Formulering:
   In plaats van een vaste basis $V$, hanteert de methode een tijdsvariabele basis $V(t)$ geparametriseerd als een geodetisch pad (het kortste pad tussen subruimten). De basis wordt gedefinieerd door:
   $$V(\tau) = V_1 \cos(\tau \Theta) + V_2 \sin(\tau \Theta)$$
   waarbij $V_1$ en $V_2$ orthonormale matrices zijn, $\tau$ genormaliseerde tijd is, en $\Theta$ een diagonaalmatrix is van hoofdhoeken die de rotatiesnelheden voorstellen. Deze formulering ontkoppelt de geometrische drift van de subruimte van de intrinsieke evolutie van de laag-dimensionale coördinaten, waardoor de basis zich kan aanpassen aan de instantane fysica zonder de rang $r$ op te blazen.

2. Schaalbare Optimalisatie via Kenmerkruimte:
   Directe optimalisatie over de hoog-dimensionale toestandsruimte (dimensionaliteit $N$) is rekenkundig onuitvoerbaar voor groot-schalige systemen. Om dit aan te pakken, introduceren de auteurs een reductie van de kenmerkruimte:

   • Een vaste set van $n_f$ kenmerkmodi (afgeleid van de leidende singuliere vectoren van de snapshot-data via POD) wordt gebruikt om een gereduceerde basis $\tilde{V} \in \mathbb{R}^{N \times n_f}$ te construeren.
   • De dynamische basis wordt beperkt om binnen de opspanning van deze kenmerken te liggen: $V(\tau) = \tilde{V} T(\tau)$, waarbij $T(\tau)$ een laag-dimensionale rotatiematrix is.
   • Dit verplaatst de optimalisatievariabelen van de hoog-dimensionale ruimte ($N \times 2r$) naar de kenmerkruimte ($n_f \times 2r$), waardoor de rekenkosten onafhankelijk worden van de oorspronkelijke toestandsdimensionaliteit $N$.

3. Riemanniaanse Optimalisatie:
   Het leerningsprobleem wordt geformuleerd als het minimaliseren van de gemiddelde kwadratische projectiefout over de trainings-snapshots. De optimalisatie wordt uitgevoerd op een productvariëteit $\mathcal{M} = \text{St}(n_f, 2r) \times \mathbb{R}^r$, waarbij $\text{St}$ de Stiefel-variëteit van orthonormale matrices aanduidt. De auteurs maken gebruik van een Riemanniaanse geconjugeerde gradiëntoplosser (via het Pymanopt-pakket met een JAX-backend) om orthogonaliteitsbeperkingen strikt af te dwingen en de variëteitsgeometrie te navigeren. De implementatie maakt gebruik van vectoriserende operaties om projecties voor alle tijdstappen simultaan te berekenen, waardoor de overhead van iteratieve tijd-lussen wordt geëlimineerd.

Belangrijkste Bijdragen

• Geodetische Parametrizatie: Het herformuleren van dimensionaliteitsreductie als een differentiaal-geometrische taak waarbij de basis evolueert langs geodeten op het Grassmanniaanse variëteit, wat adaptieve tracking van niet-stationaire dynamiek mogelijk maakt.
• Ontkoppeling van Kosten: Een schaalbaar kader dat de optimalisatiekosten ontkoppelt van de hoog-dimensionale toestandsruimte $N$ door het leren uit te voeren in een vooraf berekende, gereduceerde kenmerkruimte.
• Rang-efficiëntie: De methode bereikt een hogere nauwkeurigheid dan statische lineaire benaderingen bij equivalente rangen, en breekt effectief de Kolmogorov-barrière voor transport-gedomineerde fenomenen zonder rang-inflatie te vereisen.
• Vectoriseerde Implementatie: Een volledig vectoriseerde, lus-vrije optimalisatiestrategie die gebruikmaakt van moderne automatische differentiatie en parallelle verwerkingsmogelijkheden.

Resultaten
Het kader werd geëvalueerd op twee verschillende problemen:

1. 1D Transportvergelijking: Een benchmark voor reizende golven. De dynamische subruimtebenadering toonde een aanzienlijk snellere convergentie in relatieve fout aan in vergelijking met statische POD. Bij een gereduceerde dimensionaliteit van $r=20$ bereikte de dynamische methode een nauwkeurigheid die vergelijkbaar was met een statische POD-basis met rang $2r$, wat de effectiviteit van het geodetische perspectief valideert.
2. Turbulente Vleugelwake (LES): Een groot-schalige, hoog-trouwheidsdataset ($N \approx 6.6 \times 10^5$) met complexe, niet-stationaire turbulentie.
   • De dynamische subruimtebenadering presteerde consistent beter dan statische POD over alle geteste rangen.
   • Bij $r=200$ bereikte de dynamische methode een relatieve fout van 2,4% vergeleken met 4,0% voor POD op een testsnapshot.
   • De dynamische basis ving fijn-schalige turbulente structuren op en behield tijdcontinuïteit, terwijl statische POD-moden gladdere, meer gediffuseerde resultaten opleverden.
   • De optimalisatie convergeerde in ongeveer 25 seconden voor $r=80$ op een standaard CPU, wat schaalbaarheid aantoont.

Betekenis en Aanspraken
Het artikel beweert dat deze dynamische subruimtebenadering een robust en schaalbaar alternatief biedt voor traditionele variëteitsleer voor de lager-rangmodellering van complexe, niet-stationaire systemen. Door de basis te parametrizeren als een geodeet, laat de methode de benaderingsruimte evolueren samen met de hoog-dimensionale toestand, waardoor synchronisatie met instantane fysica wordt gewaarborgd.

De auteurs benadrukken dat deze aanpak:

• De Kolmogorov-barrière verzacht door de rang-inflatie te vermijden die typisch vereist is door statische methoden voor transport-gedomineerde stromingen.
• Onafhankelijk blijft van besturende vergelijkingen, waarbij geen expliciete parametrizatie van de onderliggende fysica vereist is, wat integratie in bestaande productieniveau simulatiecodes vergemakkelijkt.
• Een wiskundig rigoureus kader biedt dat de rekenkundige focus verschuift van het manipuleren van hoog-dimensionale vectoren naar het optimaliseren van temporele coëfficiënten en hoofdhoeken.

Het werk positioneert deze methode als een haalbare katalysator voor hoog-trouwheids digitale tweelingen in het exascale-computing-tijdperk, met een bijna optimale subruimte-uitlijning en aanzienlijk lagere rekencomplexiteit dan traditionele benaderingen. Toekomstig werk wordt opgemerkt om zich te richten op het uitbreiden van de methode naar stuksgewijze geodeten voor langere tijdshorizonten en het koppelen van de adaptieve basis aan bestaande datagedreven modelreductiekaders.