Koopman Subspace Pruning in Reproducing Kernel Hilbert Spaces via Principal Vectors

1. Problema e Contesto

Il paper affronta le sfide legate all'approssimazione dell'operatore di Koopman, un potente strumento per l'analisi di sistemi dinamici non lineari tramite operatori lineari in spazi di funzioni a dimensione infinita.

• Limitazione degli approcci esistenti: Le tecniche standard come l'Extended Dynamic Mode Decomposition (EDMD) e la sua variante basata su kernel (Kernel EDMD) proiettano l'operatore di Koopman su un sottospazio finito dimensionale. La precisione di queste approssimazioni dipende criticamente dall'invarianza del sottospazio scelto rispetto all'operatore. Se il sottospazio non è invariante, la proiezione introduce errori significativi.
• Il gap metodologico: Esistono tecniche di "pruning" (potatura) del sottospazio che migliorano l'invarianza eliminando direzioni geometricamente disallineate, ma queste sono state finora sviluppate solo in contesti euclidei (spazi $\mathbb{R}^n$ con prodotto scalare empirico $L^2$).
• La sfida specifica: Estendere il pruning del sottospazio all'ambito degli Spazi di Hilbert a Kernel Riproduttivo (RKHS). Sebbene il Kernel EDMD offra dizionari ricchi e adattivi ai dati, la sua complessità computazionale è $O(N^3)$ (dove $N$ è il numero di punti dati), rendendolo proibitivo per grandi dataset. Inoltre, calcolare gli angoli principali e i vettori principali necessari per il pruning all'interno della geometria complessa di un RKHS non è banale a causa della natura implicita degli elementi dello spazio.

2. Metodologia

Gli autori propongono un framework rigoroso per calcolare gli angoli e i vettori principali in RKHS, abilitando il pruning del sottospazio di Koopman. La metodologia si articola in tre fasi principali:

A. Formulazione Esatta in RKHS

Per risolvere il problema di calcolare gli angoli principali tra un sottospazio $S$ e la sua immagine $KS$ sotto l'operatore di Koopman:

1. Rappresentazione Algebrica: Vengono definiti i vettori di base del sottospazio $S$ e della sua immagine $KS$ come combinazioni lineari di sezioni di kernel empiriche.
2. Matrici Gram: Si costruiscono le matrici Gram ($M_V$, $M_{KV}$, $M_{cross}$) utilizzando le proprietà del kernel (kernel trick) per calcolare i prodotti scalari nello spazio infinito-dimensionale senza esplicitare le funzioni.
3. Ortogonalizzazione: Poiché le basi possono essere linearmente dipendenti, si utilizzano decomposizioni spettrali tronche delle matrici Gram per ottenere basi ortonormali numeriche stabili.
4. Calcolo degli Angoli: Gli angoli principali sono ottenuti tramite la SVD (Singular Value Decomposition) di una "matrice coseno" costruita a partire dalle basi ortonormalizzate. Questo permette di identificare le direzioni con il massimo errore di proiezione (massimo angolo principale).

B. Scalabilità tramite Approssimazione di Nyström

Per superare il collo di bottiglia computazionale $O(N^3)$ dell'approccio esatto:

1. Nyström Approximation: Viene introdotta un'approssimazione a rango basso della matrice del kernel utilizzando un sottoinsieme di $D$ punti "landmark" ($D \ll N$).
2. Mappatura Esplicita: Si costruisce una mappatura esplicita delle caratteristiche $\psi: \mathbb{R}^n \to \mathbb{R}^D$ basata sulla decomposizione spettrale della matrice dei landmark.
3. Target Matrices: Vengono progettate matrici target ($Z_V, Z_{KV}$) nello spazio delle caratteristiche esplicito. Per l'immagine di Koopman ($Z_{KV}$), si utilizza una soluzione regolarizzata di Tikhonov per evitare l'inversione della matrice kernel completa.
4. Soglia di Rango: Per gestire l'inflazione del rango introdotta dall'approssimazione e dalla regolarizzazione, si applica una SVD troncata con soglie dipendenti dai dati per recuperare la struttura geometrica essenziale.

C. Algoritmi Proposti

Sulla base di queste basi teoriche, vengono introdotti due algoritmi:

• Kernel-SPV: L'algoritmo esatto per il pruning del sottospazio basato sui vettori principali in RKHS.
• Approximate Kernel-SPV: La versione scalabile che utilizza l'approssimazione di Nyström, rendendo il metodo applicabile a dataset massivi.

3. Contributi Chiave

1. Estensione Teorica: Prima formulazione rigorosa del calcolo degli angoli e dei vettori principali specificamente per la geometria RKHS, colmando il divario tra il pruning del sottospazio e il Kernel EDMD.
2. Routine Computazionale Esatta: Derivazione di un algoritmo che calcola gli angoli principali utilizzando solo le matrici del kernel e le loro decomposizioni, senza richiedere l'esplicitazione delle funzioni nello spazio infinito.
3. Scalabilità: Sviluppo di un metodo basato su Nyström che riduce la complessità computazionale da $O(N^3)$ a $O(NDs + D^3)$ (dove $s$ è la dimensione del sottospazio e $D$ il numero di landmark), mantenendo alta la fedeltà geometrica.
4. Algoritmi di Pruning: Integrazione di questi strumenti in algoritmi di raffinamento del sottospazio (Kernel-SPV) che migliorano sistematicamente l'invarianza e la precisione predittiva.

4. Risultati Sperimentali

Gli autori hanno validato il metodo utilizzando l'oscillatore di Duffing smorzato:

• Convergenza dell'Approssimazione: Gli esperimenti mostrano che all'aumentare del numero di campioni di Nyström ($D$), gli errori di ortonormalità delle basi approssimate diminuiscono, confermando la convergenza verso la soluzione esatta.
• Accuratezza del Pruning: Con un numero relativamente basso di landmark ($D=2000$ su $N=5000$), l'algoritmo Approximate Kernel-SPV riesce a identificare lo stesso sottospazio invariante ottimale trovato dal metodo esatto.
• Miglioramento Predittivo: Il pruning del sottospazio ha portato a una significativa riduzione dell'errore di previsione a 5 passi per le autofunzioni di Koopman critiche (quelle con autovalore $\lambda \approx 1$), dimostrando che la rimozione delle direzioni non invarianti migliora la qualità del modello dinamico.

5. Significato e Impatto

Questo lavoro è significativo perché:

• Unifica Approcci: Combina la ricchezza dei dizionari basati su kernel (RKHS) con la precisione del raffinamento geometrico del sottospazio (pruning).
• Abilita Applicazioni su Grande Scala: Rende fattibile l'uso di Kernel EDMD per sistemi complessi e dataset di grandi dimensioni, risolvendo il problema della scalabilità computazionale.
• Migliora la Controlabilità: La riduzione della dimensionalità ottenuta tramite il pruning è cruciale per la sintesi di controllori basati su stati sollevati (lifted state dynamics), rendendo i modelli più gestibili e accurati.
• Fondamento Teorico: Fornisce le basi matematiche necessarie per derivare future stime di errore e strategie di pruning più sofisticate basate sugli angoli principali calcolati.

In sintesi, il paper presenta un avanzamento fondamentale nella modellazione dei sistemi dinamici non lineari, offrendo strumenti pratici e teoricamente solidi per costruire modelli di Koopman più accurati ed efficienti in spazi di funzioni complessi.