Fast Quadratic Manifold Learning For Nonlinear Dimensionality Reduction in Large-scale Systems using Riemannian Optimization

Technische Samenvatting: Snelle kwadratische manifold-lering voor niet-lineaire dimensiereductie

Probleemstelling
Grootschalige fysische systemen, zoals die welke worden beheerst door partiële differentiaalvergelijkingen (PDE's), zijn computationally duur om te simuleren, wat real-time toepassingen zoals ontwerp en optimalisatie belemmert. Technieken voor modelreductie, met name Reduced-Order Models (ROM's), lossen dit op door systeemdynamica te benaderen in lagerdimensionale deelruimten. Hoewel Proper Orthogonal Decomposition (POD) de standaard is voor lineaire dimensiereductie, faalt deze vaak om de intrinsieke kromming van sterk niet-lineaire oplossingsmanifolds (bijvoorbeeld turbulente stromingen) vast te leggen zonder dat er verboden grote deelruimte-dimensies voor nodig zijn.

Kwadratische Manifolds (QM) bieden een oplossing door lineaire projecties aan te vullen met gestructureerde kwadratische correctietermen. Echter, bestaande QM-benaderingen ondervinden aanzienlijke beperkingen:

1. Suboptimale Basisselectie: Standaardmethoden vertrouwen op de leidende hoofdcomponenten (POD-modi) voor de lineaire deelruimte. Hoewel deze optimaal zijn voor lineaire reconstructie, zijn deze modi vaak suboptimaal voor het vastleggen van de niet-lineaire interacties die nodig zijn voor kwadratische correcties.
2. Combinatorische Complexiteit: Greedy-selectiemethoden proberen het representatievermogen te verbeteren door te zoeken in een grotere pool van kandidaat-modi. Deze methoden zijn echter inherent discreet en combinatorisch, en lijden aan factoriële complexiteit naarmate de kandidatenpool groeit, wat de haalbare basisgroottes in de praktijk beperkt.
3. Schaalbaarheid: Veel optimalisatie-gebaseerde benaderingen voor QM-construktie omvatten kostfuncties die schalen met de volledige toestandsruimte-dimensie ($N$), waardoor ze computationeel onuitvoerbaar worden voor grootschalige systemen.

Methodologie: FastQM
Het artikel stelt FastQM voor, een raamwerk dat de identificatie van een optimale kwadratische benadering herformuleert als een continue optimalisatieprobleem op de Stiefel-maand.

• Continue Deelruimte-identificatie: In plaats van discrete selectie van POD-modi, behandelt FastQM de basisidentificatie als het vinden van een optimale orthonormale frame binnen een vooraf gedefinieerde span van kandidaat-singuliere vectoren. De lineaire deelruimte ($V_r$) en de kwadratische correctiedeelruimte ($V_q$) worden geconstrueerd als lineaire combinaties van $m$ kandidaat-modi (doorgaans de leidende $m$ linker singuliere vectoren van de snapshot-gegevens).
• Riemanniaanse Optimalisatie: Het zoeken naar de optimale basis wordt geformuleerd als het minimaliseren van een geregulariseerde kleinste-kwadraten doelfunctie onder orthogonaliteitsbeperkingen. De optimalisatievariabelen zijn rotatiematrixen $Q_r$ en $Q_q$ die de kandidaat-basis afbeelden op de optimale lineaire en kwadratische deelruimten. Dit probleem wordt opgelost met Riemanniaanse optimalisatie (specifiek met gebruik van de Pymanopt-bibliotheek en JAX voor automatische differentiatie en hardware-versnelling).
• Formulering in Kenmerkruimte: Een cruciale innovatie is de herformulering van de doelfunctie om computatie-efficiëntie te waarborgen. Door het projecteren van snapshot-gegevens op de kandidaat-basis vooraf te berekenen ($\tilde{S} = \tilde{V}^T S$) en gebruik te maken van spoor-identiteiten, schaalt de evaluatie van de kostfunctie en haar gradiënten met het aantal kandidaat-modi ($m$) en gereduceerde dimensies ($r, q$), in plaats van met de volledige toestandsdimensie ($N$). Dit zorgt ervoor dat de methode schaalbaar blijft voor grootschalige problemen waar $N \gg m$.
• Algoritme: Het proces omvat:
  1. Het berekenen van de SVD van de gecentreerde snapshot-matrix.
  2. Het selecteren van de top $m$ singuliere vectoren als de kandidaat-span.
  3. Het oplossen van het beperkte optimalisatieprobleem op de Stiefel-maand $St(m, r+q)$ om de optimale rotatiematrixen $Q_r$ en $Q_q$ te vinden.
  4. Het reconstrueren van de optimale bases en het oplossen voor de kwadratische wegingsmatrix $\Xi$ via lineaire kleinste-kwadraten.

Belangrijkste Bijdragen

1. Nieuw Optimalisatiekader: Het artikel introduceert een verschuiving van discrete, combinatorische basisselectie naar continue deelruimte-identificatie via Riemanniaanse optimalisatie, waardoor de basis kan worden "geroteerd" om beter aan te sluiten bij niet-lineaire structuren.
2. Schaalbare Doelfunctie: De afleiding van een doelfunctie waarvan de evaluatie onafhankelijk is van de volledige toestandsruimte-dimensie $N, waardoor toepassing op grootschalige systemen mogelijk wordt.
3. Prestatievalidatie: Een uitgebreide vergelijking die aantoont dat FastQM superieur is aan standaard POD, POD-gebaseerde QM's en greedig geconstrueerde QM's in reconstructie-nauwkeurigheid.

Numerieke Resultaten
De effectiviteit van FastQM werd aangetoond op een Large-Eddy Simulation (LES) van een turbulente luchtproefachterwaartse stroming (NACA 0012 bij $Re=23.000$), met een toestandsdimensie van $N \approx 6,6 \times 10^5$.

• Nauwkeurigheid: Over verschillende gereduceerde dimensies ($r$) en aantallen niet-lineaire modi ($q$) behaalde FastQM consistent de laagste relatieve reconstructiefout in vergelijking met POD, POD-gebaseerde QM en Greedy QM.
• Vergelijking met Greedy-methoden: Hoewel Greedy QM bij lage dimensies vergelijkbaar presteerde met POD-gebaseerde QM (vanwege de initiële selectie die overeenkwam met de leidende singuliere vectoren), vermijdt FastQM deze beperking door de continue rotatie van de basis te optimaliseren, waardoor kritieke niet-lineaire kenmerken worden vastgelegd die door discrete selectie werden gemist.
• Modestructuur: Visuele analyse van de geoptimaliseerde modi onthulde dat deze aanzienlijk fijnere schalen oplossen in vergelijking met standaard POD-modi, wat een betere kwadratische benadering mogelijk maakt.
• Convergentie: De optimalisatie convergeerde efficiënt (bijvoorbeeld binnen 86 iteraties voor het LES-geval) met een beheersbare computereis (ongeveer 20 seconden voor het specifieke testgeval).

Betekenis en Beweringen
De auteurs beweren dat FastQM een levensvatbare keuze vestigt voor grootschalige modelreductietaken door de suboptimaliteit van standaard POD-gebaseerde kwadratische manifolds te overwinnen. Het artikel stelt het volgende:

• De optimaliteit van POD-coördinaten is strikt beperkt tot lineaire benaderingen; voor kwadratische manifolds moet het coördinatenstelsel worden geoptimaliseerd.
• Continue optimalisatie op de Stiefel-maand biedt een rijkere zoekruimte dan greedy-selectie, waarbij de synergie tussen lineaire en kwadratische termen wordt geoptimaliseerd zonder de combinatorische explosie.
• De methode bereikt superieure reconstructiefideliteit met minimale computereis, waardoor deze geschikt is voor hoogdimensionale systemen waar traditionele optimalisatiebenaderingen onuitvoerbaar zouden zijn.

Het werk concludeert dat hoewel de specifieke toepassing een turbulente luchtproefachterwaartse stroming was, het raamwerk algemeen is, en toekomstig werk gericht is op uitbreiding naar een bredere variëteit aan technische problemen om de generaliseerbaarheid verder te beoordelen.