Fast Quadratic Manifold Learning For Nonlinear Dimensionality Reduction in Large-scale Systems using Riemannian Optimization

Riepilogo Tecnico: Apprendimento di Varietà Quadratiche Veloci per la Riduzione di Dimensionalità Non Lineare

Enunciato del Problema
I sistemi fisici su larga scala, come quelli governati da equazioni differenziali alle derivate parziali (PDE), sono computazionalmente costosi da simulare, ostacolando applicazioni in tempo reale come la progettazione e l'ottimizzazione. Le tecniche di riduzione del modello, in particolare i Modelli di Ordine Ridotto (ROM), affrontano questo problema approssimando la dinamica del sistema in sottospazi a dimensionalità inferiore. Sebbene la Decomposizione Ortogonale Proper (POD) sia lo standard per la riduzione di dimensionalità lineare, spesso non riesce a catturare la curvatura intrinseca di varietà di soluzioni altamente non lineari (ad esempio, flussi turbolenti) senza richiedere dimensioni di sottospazio proibitivamente grandi.

Le Varietà Quadratiche (QM) offrono una soluzione potenziando le proiezioni lineari con termini di correzione quadratica strutturati. Tuttavia, gli approcci QM esistenti presentano limitazioni significative:

1. Selezione Subottimale della Base: I metodi standard si affidano alle componenti principali principali (modi POD) per il sottospazio lineare. Sebbene ottimali per la ricostruzione lineare, questi modi sono spesso subottimali per catturare le interazioni non lineari necessarie per le correzioni quadratiche.
2. Complessità Combinatoria: I metodi di selezione greedy tentano di migliorare la capacità rappresentativa cercando un pool più ampio di modi candidati. Tuttavia, questi metodi sono intrinsecamente discreti e combinatori, soffrendo di complessità fattoriale man mano che il pool di candidati cresce, il che limita le dimensioni della base fattibili nella pratica.
3. Scalabilità: Molti approcci basati sull'ottimizzazione per la costruzione di QM coinvolgono funzioni di costo che scalano con la dimensione completa dello spazio degli stati ($N$), rendendoli computazionalmente intrattabili per sistemi su larga scala.

Metodologia: FastQM
Il documento propone FastQM, un framework che riformula l'identificazione di un'approssimazione quadratica ottimale come un problema di ottimizzazione continua sulla varietà di Stiefel.

• Identificazione Continua del Sottospazio: Invece della selezione discreta dei modi POD, FastQM tratta l'identificazione della base come la ricerca di un riferimento ortonormale ottimale all'interno di un intervallo predefinito di vettori singolari candidati. Il sottospazio lineare ($V_r$) e il sottospazio di correzione quadratica ($V_q$) sono costruiti come combinazioni lineari di $m$ modi candidati (tipicamente i primi $m$ vettori singolari a sinistra dei dati snapshot).
• Ottimizzazione Riemanniana: La ricerca della base ottimale è formulata come la minimizzazione di una funzione obiettivo di minimi quadrati regolarizzata soggetta a vincoli di ortogonalità. Le variabili di ottimizzazione sono matrici di rotazione $Q_r$ e $Q_q$ che mappano la base candidata sui sottospazi lineare e quadratico ottimali. Questo problema è risolto utilizzando l'ottimizzazione Riemanniana (in particolare sfruttando la libreria Pymanopt e JAX per la differenziazione automatica e l'accelerazione hardware).
• Formulazione nello Spazio delle Caratteristiche: Un'innovazione critica è la riformulazione della funzione obiettivo per garantire l'efficienza computazionale. Pre-calcolando la proiezione dei dati snapshot sulla base candidata ($\tilde{S} = \tilde{V}^T S$) e utilizzando identità di traccia, la valutazione della funzione di costo e dei suoi gradienti scala con il numero di modi candidati ($m$) e le dimensioni ridotte ($r, q$), piuttosto che con la dimensione completa dello stato ($N$). Ciò garantisce che il metodo rimanga scalabile per problemi su larga scala dove $N \gg m$.
• Algoritmo: Il processo prevede:
  1. Calcolo della SVD della matrice degli snapshot centrata.
  2. Selezione dei primi $m$ vettori singolari come intervallo candidato.
  3. Risoluzione del problema di ottimizzazione vincolata sulla varietà di Stiefel $St(m, r+q)$ per trovare le matrici di rotazione ottimali $Q_r$ e $Q_q$.
  4. Ricostruzione delle basi ottimali e risoluzione per la matrice di pesatura quadratica $\Xi$ tramite minimi quadrati lineari.

Contributi Chiave

1. Nuovo Framework di Ottimizzazione: Il documento introduce un passaggio dalla selezione della base discreta e combinatoria all'identificazione continua del sottospazio tramite ottimizzazione Riemanniana, consentendo la "rotazione" della base per allinearla meglio alle strutture non lineari.
2. Funzione Obiettivo Scalabile: La derivazione di una funzione obiettivo la cui valutazione è indipendente dalla dimensione completa dello spazio degli stati $N$, abilitando l'applicazione a sistemi su larga scala.
3. Validazione delle Prestazioni: Un confronto completo che dimostra come FastQM superi la POD standard, le QM basate su POD e le QM costruite in modo greedy in termini di accuratezza di ricostruzione.

Risultati Numerici
L'efficacia di FastQM è stata dimostrata su una simulazione a grandi vortici (LES) di una scia turbolenta di un profilo alare (NACA 0012 a $Re=23.000$), caratterizzata da una dimensione dello stato di $N \approx 6,6 \times 10^5$.

• Accuratezza: Attraverso varie dimensioni ridotte ($r$) e numeri di modi non lineari ($q$), FastQM ha costantemente raggiunto l'errore di ricostruzione relativo più basso rispetto a POD, QM basate su POD e QM Greedy.
• Confronto con Metodi Greedy: Mentre la QM Greedy ha mostrato prestazioni simili alla QM basata su POD a basse dimensioni (a causa della selezione iniziale che corrisponde ai vettori singolari principali), FastQM ha evitato questo limite ottimizzando la rotazione continua della base, catturando caratteristiche non lineari critiche che la selezione discreta aveva mancato.
• Struttura dei Modi: L'analisi visiva dei modi ottimizzati ha rivelato che risolvono scale significativamente più fini rispetto ai modi POD standard, facilitando una migliore approssimazione quadratica.
• Convergenza: L'ottimizzazione è convergente in modo efficiente (ad esempio, entro 86 iterazioni per il caso LES) con un impatto computazionale gestibile (circa 20 secondi per il caso di test specifico).

Significato e Affermazioni
Gli autori affermano che FastQM stabilisce una scelta praticabile per compiti di riduzione del modello su larga scala superando la subottimalità delle varietà quadratiche standard basate su POD. Il documento afferma che:

• L'ottimalità delle coordinate POD è strettamente limitata alle approssimazioni lineari; per le varietà quadratiche, il sistema di coordinate deve essere ottimizzato.
• L'ottimizzazione continua sulla varietà di Stiefel fornisce uno spazio di ricerca più ricco rispetto alla selezione greedy, ottimizzando la sinergia tra termini lineari e quadratici senza l'esplosione combinatoria.
• Il metodo raggiunge una fedeltà di ricostruzione superiore con un sovraccarico computazionale minimo, rendendolo adatto a sistemi ad alta dimensionalità dove gli approcci di ottimizzazione tradizionali sarebbero intrattabili.

Il lavoro conclude che, sebbene l'applicazione specifica fosse una scia turbolenta di un profilo alare, il framework è generale, e il lavoro futuro mira ad estenderlo a una più ampia varietà di problemi ingegneristici per valutare ulteriormente la generalizzabilità.