Deep Koopman Learning using Noisy Data

Titolo: Deep Koopman Learning using Noisy Data (DKND)

Autori: Wenjian Hao, Devesh Upadhyay, Shaoshuai Mou
Pubblicazione: Transactions on Machine Learning Research (04/2025)

1. Il Problema

Il paper affronta la sfida di apprendere la dinamica di sistemi non lineari complessi utilizzando dati di osservazione corrotti da rumore di misura.

• Contesto: I metodi basati sull'operatore di Koopman (in particolare il Deep Koopman Operator o DKO) permettono di trasformare sistemi non lineari in sistemi lineari in uno spazio "sollevato" (lifted) di dimensione superiore, facilitando l'analisi e il controllo.
• Sfida: Nella realtà, le misurazioni dello stato ($y_t$) sono raramente perfette e contengono rumore ($w_t$). Quando si applicano trasformazioni non lineari (tramite reti neurali profonde) per "sollevare" lo stato, il rumore viene distorto e le sue proprietà statistiche cambiano, portando a stime distorte dell'operatore di Koopman e a modelli di dinamica inaccurati.
• Obiettivo: Sviluppare un framework per apprendere un'approssimazione finita dell'operatore di Koopman partendo da dati rumorosi, garantendo che il modello risultante sia robusto e accurato per applicazioni di controllo, assumendo solo che il rumore di misura sia limitato (bounded).

2. Metodologia Proposta (DKND)

Gli autori propongono un nuovo framework chiamato Deep Koopman Learning with Noisy Data (DKND). L'approccio modifica la formulazione standard del DKO per mitigare esplicitamente l'effetto del rumore.

Formulazione del Problema

Il sistema dinamico è descritto da:
$$x(t+1) = f(x(t), u(t))$$
$$y(t) = x(t) + w(t)$$
Dove $x$ è lo stato vero (sconosciuto), $y$ è la misura rumorosa, e $w$ è il rumore limitato ($\|w\| \leq w_{max}$).

Strategia di Ottimizzazione

Invece di minimizzare direttamente l'errore tra lo stato vero e la previsione (impossibile poiché $x$ è sconosciuto), il metodo minimizza un limite superiore dell'errore di stima.

1. Decomposizione dell'Errore: L'errore totale viene scomposto in due componenti:
   • L'errore di adattamento del modello ai dati rumorosi ($y_t \to y_{t+1}$).
   • La discrepanza tra la dinamica appresa dai dati rumorosi e quella che si otterrebbe da dati privi di rumore.
2. Nuova Funzione di Perdita ($L_f$): Viene introdotta una funzione di perdita composta da due termini:
   • Termine 1 ($L_{f,1}$): Minimizza l'errore di previsione nello spazio sollevato e nello spazio originale utilizzando i dati rumorosi.
   • Termine 2 ($L_{f,2}$): Quantifica la discrepanza massima tra il modello appreso dai dati rumorosi e quello ideale (senza rumore). Questo termine è derivato teoricamente considerando il limite superiore del rumore e la proprietà di Lipschitz della rete neurale $g(\cdot, \theta)$.
3. Algoritmo Iterativo (DKND):
   • Si utilizza un approccio iterativo che alterna tra:
     1. Calcolo delle matrici lineari $A, B, C$ (tramite pseudo-inversa di Moore-Penrose) date le attuali pesi della rete neurale $\theta$.
     2. Aggiornamento dei pesi della rete neurale $\theta$ tramite discesa del gradiente per minimizzare la funzione di perdita totale (che include il termine di regolarizzazione per il rumore).
   • Questo processo permette di "aggiustare" le funzioni osservabili (la rete neurale) per compensare gli effetti del rumore.

3. Contributi Chiave

1. Framework Data-Driven per Rumore Limitato: Propone il primo metodo che apprende l'operatore di Koopman profondo assumendo solo che il rumore di misura sia limitato, senza richiedere distribuzioni specifiche (es. Gaussiana) o conoscenza esatta del rumore.
2. Mitigazione Attiva del Rumore: A differenza dei metodi precedenti che trattano il rumore come un errore residuo, DKND caratterizza matematicamente l'impatto del rumore sulle funzioni osservabili e lo mitiga aggiornando i parametri della rete neurale per minimizzare la discrepanza tra il modello rumoroso e quello ideale.
3. Dimostrazione Teorica: Fornisce una prova teorica (Teorema 1) che la minimizzazione della nuova funzione di perdita porta a una soluzione che minimizza anche l'errore di approssimazione della dinamica reale.
4. Semplicità di Implementazione: Il metodo si integra facilmente con le architetture DNN esistenti, richiedendo solo una modifica alla funzione di perdita.

4. Risultati Sperimentali

Gli autori hanno testato l'algoritmo DKND su quattro benchmark:

1. Dinamica lineare 2D.
2. Cartpole (OpenAI Gym).
3. Lunar Lander (OpenAI Gym).
4. Veicolo di superficie non presidiato (USV - caso reale).

Condizioni di Test:

• Sono stati introdotti tre tipi di rumore: Gaussiano, Poissoniano e Uniforme.
• Confronto con tre metodi baseline:
  • DK: Deep Koopman standard (addestrato su dati rumorosi senza correzioni specifiche).
  • DMDTLS: Dynamic Mode Decomposizione con Total Least Squares.
  • MLP: Multilayer Perceptron standard.

Performance:

• Errore RMS (Root Mean Square Deviation): DKND ha mostrato sistematicamente errori RMS inferiori rispetto a tutti i metodi di confronto, specialmente su dati di test.
• Robustezza al Rumore: La differenza di performance tra DKND e gli altri metodi è diventata più marcata all'aumentare dell'intensità del rumore (specialmente per il rumore uniforme).
  • Ad esempio, nel caso del rumore uniforme sul sistema 2D, l'errore di DKND è stato di 1.48, contro 2.07 di DK e 2.68 di MLP.
  • Per il rumore Gaussiano, DKND ha mantenuto un errore molto basso (es. 0.207 sul test) rispetto agli altri.
• Stabilità: Le deviazioni standard su 10 trial sono state molto basse, indicando alta consistenza.

5. Significato e Conclusioni

• Impatto sul Controllo: Questo lavoro è cruciale per l'applicazione del controllo basato su modelli appresi (Model Predictive Control, ecc.) in scenari reali dove i sensori sono rumorosi. Un modello dinamico più accurato permette strategie di controllo più sicure ed efficienti.
• Limitazioni: Il metodo assume che il rumore sia limitato (bound noto o stimabile). Inoltre, come per tutte le ottimizzazioni basate su DNN, il metodo converge a minimi locali e non globali.
• Prospettive Future: Gli autori suggeriscono di esplorare strategie di controllo ottimo basate sulle dinamiche apprese da DKND e di investigare formalmente l'impatto del limite del rumore ($w_{max}$) sulle prestazioni.

In sintesi, il paper presenta un avanzamento significativo nella teoria di Koopman, rendendola più pratica e robusta per l'uso con dati reali e rumorosi, superando le limitazioni dei metodi attuali che spesso falliscono in presenza di rumore non strutturato.