A Dynamic Subspace Approach for Low-rank Approximation of Large-scale Nonlinear Systems

Riepilogo Tecnico: Un Approccio a Sottospazio Dinamico per l'Approssimazione a Rango Basso di Sistemi Non Lineari su Grande Scala

Enunciato del Problema
Un'approssimazione efficace a bassa dimensionalità è fondamentale per la compressione dei dati, l'apprendimento automatico e la riduzione dei modelli. Tuttavia, i metodi statici standard, come la Decomposizione Ortogonale Propria (POD) e gli autoencoder lineari, si basano su spazi di proiezione fissi. Queste rappresentazioni statiche non riescono a catturare adeguatamente fenomeni transitori e dominati dal trasporto, in cui i modi fisici o le strutture coerenti si spostano nel tempo. Per mantenere l'accuratezza in tali scenari, i metodi lineari statici richiedono spesso un aumento significativo del rango di approssimazione (dimensionalità), un limite noto come "barriera di Kolmogorov". Sebbene i metodi non lineari possano superare questo limite di espressività, spesso sacrificano l'interpretabilità o l'efficienza computazionale e si affidano a embedding fissi che non si adattano allo stato in evoluzione.

Metodologia
Gli autori propongono un approccio a sottospazio dinamico che modella l'evoluzione della base di approssimazione come una traiettoria continua nel tempo sulla varietà di Grassmann ($G(r, N)$), lo spazio di tutti i sottospazi lineari di dimensione $r$ in $\mathbb{R}^N$.

1. Formulazione Geometrica:
   Invece di una base fissa $V$, il metodo impiega una base variabile nel tempo $V(t)$ parametrizzata come un cammino geodetico (il percorso più breve tra i sottospazi). La base è definita da:
   $$V(\tau) = V_1 \cos(\tau \Theta) + V_2 \sin(\tau \Theta)$$
   dove $V_1$ e $V_2$ sono matrici ortonormali, $\tau$ è il tempo normalizzato e $\Theta$ è una matrice diagonale degli angoli principali che rappresenta le velocità di rotazione. Questa formulazione disaccoppia la deriva geometrica del sottospazio dall'evoluzione intrinseca delle coordinate a bassa dimensionalità, permettendo alla base di adattarsi alla fisica istantanea senza gonfiare il rango $r$.

2. Ottimizzazione Scalabile tramite Spazio delle Caratteristiche:
   L'ottimizzazione diretta sullo spazio degli stati ad alta dimensionalità (dimensione $N$) è computazionalmente intrattabile per sistemi su grande scala. Per affrontare questo problema, gli autori introducono una riduzione dello spazio delle caratteristiche:

   • Un insieme fisso di $n_f$ modi di caratteristica (derivati dai vettori singolari principali dei dati snapshot tramite POD) viene utilizzato per costruire una base ridotta $\tilde{V} \in \mathbb{R}^{N \times n_f}$.
   • La base dinamica è vincolata a giacere all'interno dello span di queste caratteristiche: $V(\tau) = \tilde{V} T(\tau)$, dove $T(\tau)$ è una matrice di rotazione a bassa dimensionalità.
   • Questo sposta le variabili di ottimizzazione dallo spazio ad alta dimensionalità ($N \times 2r$) allo spazio delle caratteristiche ($n_f \times 2r$), rendendo il costo computazionale indipendente dalla dimensione originale dello stato $N$.

3. Ottimizzazione Riemanniana:
   Il problema di apprendimento è formulato come la minimizzazione dell'errore quadratico medio di proiezione sugli snapshot di addestramento. L'ottimizzazione viene eseguita su una varietà prodotto $\mathcal{M} = \text{St}(n_f, 2r) \times \mathbb{R}^r$, dove $\text{St}$ denota la varietà di Stiefel delle matrici ortonormali. Gli autori utilizzano un solutore del gradiente coniugato Riemanniano (tramite il pacchetto Pymanopt con un backend JAX) per imporre rigorosamente i vincoli di ortogonalità e navigare la geometria della varietà. L'implementazione utilizza operazioni vettorizzate per calcolare le proiezioni per tutti i passi temporali simultaneamente, eliminando l'overhead dei cicli temporali iterativi.

Contributi Chiave

• Parametrizzazione Geodetica: La riformulazione della riduzione della dimensionalità come un compito di geometria differenziale in cui la base evolve lungo le geodetiche sulla varietà di Grassmann, consentendo il tracciamento adattivo di dinamiche non stazionarie.
• Disaccoppiamento dei Costi: Un framework scalabile che disaccoppia il costo di ottimizzazione dallo spazio degli stati ad alta dimensionalità $N$ eseguendo l'apprendimento in uno spazio delle caratteristiche ridotto e precalcolato.
• Efficienza del Rango: Il metodo raggiunge un'accuratezza superiore rispetto alle approssimazioni lineari statiche a ranghi equivalenti, rompendo efficacemente la barriera di Kolmogorov per i fenomeni dominati dal trasporto senza richiedere un'inflazione del rango.
• Implementazione Vettorizzata: Una strategia di ottimizzazione completamente vettorizzata e priva di cicli che sfrutta le moderne capacità di differenziazione automatica e elaborazione parallela.

Risultati
Il framework è stato valutato su due problemi distinti:

1. Equazione di Trasporto 1D: Un benchmark per le onde viaggianti. L'approccio a sottospazio dinamico ha dimostrato una convergenza significativamente più rapida nell'errore relativo rispetto alla POD statica. A una dimensione ridotta di $r=20$, il metodo dinamico ha raggiunto un'accuratezza paragonabile a una base POD statica con rango $2r$, validando l'efficacia della prospettiva geodetica.
2. Scia Turbolenta di un Profilo Alare (LES): Un dataset su grande scala e ad alta fedeltà ($N \approx 6.6 \times 10^5$) che coinvolge turbolenza complessa e non stazionaria.
   • L'approccio a sottospazio dinamico ha costantemente superato la POD statica su tutti i ranghi testati.
   • A $r=200$, il metodo dinamico ha raggiunto un errore relativo del 2.4% rispetto al 4.0% della POD su uno snapshot di test.
   • La base dinamica ha catturato strutture turbolente su scala fine e mantenuto la continuità temporale, mentre i modi POD statici hanno prodotto risultati più lisci e diffusi.
   • L'ottimizzazione è convergente in circa 25 secondi per $r=80$ su una CPU standard, dimostrando la scalabilità.

Significato e Affermazioni
Il documento afferma che questo approccio a sottospazio dinamico offre un'alternativa robusta e scalabile all'apprendimento di varietà tradizionale per la modellazione a rango basso di sistemi complessi e non stazionari. Parametrizzando la base come una geodetica, il metodo permette allo spazio di approssimazione di evolvere insieme allo stato ad alta dimensionalità, garantendo la sincronizzazione con la fisica istantanea.

Gli autori sottolineano che questo approccio:

• Mitiga la barriera di Kolmogorov evitando l'inflazione del rango tipicamente richiesta dai metodi statici per flussi dominati dal trasporto.
• Rimane indipendente dalle equazioni governative, non richiedendo una parametrizzazione esplicita della fisica sottostante, il che facilita l'integrazione nei codici di simulazione esistenti a livello di produzione.
• Fornisce un framework matematicamente rigoroso che sposta il focus computazionale dalla manipolazione di vettori ad alta dimensionalità all'ottimizzazione dei coefficienti temporali e degli angoli principali.

Il lavoro posiziona questo metodo come un abilitatore vitale per i gemelli digitali ad alta fedeltà nell'era del calcolo exascale, offrendo un allineamento del sottospazio quasi ottimale con una complessità computazionale significativamente inferiore rispetto agli approcci tradizionali. Si nota che il lavoro futuro si concentrerà sull'estensione del metodo a geodetiche a tratti per orizzonti temporali più lunghi e sull'accoppiamento della base adattiva con framework esistenti di riduzione di modelli basati sui dati.