Sintesi Tecnica: Apprendere il Controllo di Sistemi Non Lineari a Commutazione tramite la Regressione dell'Operatore di Koopman

Definizione del Problema

Questo lavoro affronta la sfida di identificare e controllare sistemi dinamici non lineari in cui lo spazio di controllo $U$ è finito. La dinamica del sistema è governata da una mappa di flusso non lineare a commutazione $f: X \times U \to X$, descritta dall'equazione alle differenze $x_{t+1} = f(x_t, u_t)$. Le difficoltà principali nel controllare tali sistemi sono duplici:

1. Non Linearità e Dinamiche Sconosciute: La mappa di flusso $f$ è generalmente sconosciuta e non lineare, rendendo la soluzione del problema di controllo ottimo a orizzonte infinito computazionalmente intrattabile.
2. Insiemi di Controllo Finiti: La finitezza dell'insieme di controllo può portare a dinamiche in ciclo chiuso che sono ultimateamente limitate ma non asintoticamente stabili nel limite, potenzialmente risultando in costi di controllo ottimo illimitati.

Per affrontare queste problematiche, gli autori propongono un framework basato sui dati che trasforma il problema di commutazione non lineare in un problema di commutazione lineare all'interno di uno Spazio di Hilbert Riproducente (RKHS), sfruttando il formalismo dell'operatore di Koopman.

Metodologia

1. Lifting di Koopman in RKHS

La metodologia principale prevede il lifting dello spazio degli stati $X$ in uno spazio di osservabili ad alta dimensione (potenzialmente a dimensione infinita) $\mathcal{H}$ tramite una mappa di caratteristiche $\psi: X \to \mathcal{H}$.

• Dinamica di Commutazione Lineare: Per un insieme di controllo finito $U$, le dinamiche non lineari sono rappresentate da una famiglia di operatori lineari $\{K_u\}_{u \in U}$ che agiscono sullo stato elevato $z_t = \psi(x_t)$. L'evoluzione è governata da $z_{t+1} = K_{u_t} z_t$.
• Costruzione dell'Operatore: Gli autori definiscono gli operatori di Koopman $K_u$ sull'RKHS $\mathcal{H}$ estendendo gli operatori pre-Koopman definiti sull'immagine dello spazio degli stati. Questa estensione si basa sull'assunto che il kernel sia strettamente definito positivo e che gli operatori siano uniformemente limitati su un sottospazio denso di $\mathcal{H}$.
• Evitamento di Misure Invarianti: A differenza di parte della letteratura esistente, questo approccio non richiede l'esistenza o la conoscenza di una misura invariante (ad esempio, per dinamiche ergodiche) per definire gli operatori.

2. Identificazione Basata sui Dati tramite Regressione

Poiché gli operatori $K_u$ sono sconosciuti, essi vengono stimati da campioni di dati finiti tramite regressione non parametrica in RKHS.

• Problema di Apprendimento: Per ogni controllo $u$, l'operatore $\hat{K}_u$ viene appreso risolvendo un problema di regressione con valori operatore regolarizzato (regolarizzazione di Tikhonov) per minimizzare l'errore tra lo stato elevato previsto e il successivo stato osservato.
• Garanzie di Convergenza: Il documento deriva i tassi di apprendimento per l'errore di approssimazione $\|\hat{K}_u - K_u\|$. Questi tassi dipendono dalla dimensione del campione $n$, dalle proprietà del kernel e da un parametro di "condizione sorgente" $r \in (1/2, 1]$ che quantifica la regolarità dell'operatore target rispetto alla geometria del kernel. L'analisi non si basa su assunti di ergodicità o reversibilità temporale.

3. Controllo Predittivo del Modello (MPC)

Per risolvere il problema di controllo ottimo a orizzonte infinito nello spazio elevato, gli autori impiegano il Controllo Predittivo del Modello (MPC).

• Costo di Stadio Tempo-Variante: Per gestire la potenziale mancanza di stabilità asintotica dovuta ad azioni finite, il costo di stadio $\ell(t, z, u)$ è esplicitamente tempo-variante (ad esempio, incorporando un fattore di sconto). Ciò assicura che il costo di controllo ottimo rimanga limitato.
• MPC Esatto vs Inesatto:
  • MPC Esatto: Assume che i veri operatori di Koopman siano noti. Il documento stabilisce che il gap di sub-ottimalità decade esponenzialmente con l'orizzonte predittivo $T$, a condizione che valga un assunto di controllabilità.
  • MPC Inesatto: Utilizza i modelli surrogati appresi $\hat{K}_u$. Il documento quantifica il gap di sub-ottimalità combinando l'errore di apprendimento statistico (dalla regressione di Koopman) con le proprietà di robustezza dell'algoritmo MPC.

Contributi Chiave

1. Modello di Commutazione Lineare per Controlli Finiti: Lo studio formalizza un modello predittivo basato su Koopman lineare specificamente per dinamiche non lineari con spazi di controllo finiti, evitando gli assunti bilineari o di invarianza temporale lineare comuni in altri lavori.
2. Apprendimento Non Parametrico con Limiti di Convergenza: Gli autori dimostrano come apprendere questi modelli di Koopman tramite regressione non parametrica in RKHS. Derivano limiti di apprendimento che non dipendono dall'ergodicità o dalla reversibilità temporale, offrendo un quadro teorico più generale.
3. Formulazione MPC Robusta: Il documento formula un problema di controllo ottimo a orizzonte infinito, non vincolato, con un costo di stadio tempo-variante per accomodare insiemi di azioni finite. Lo risolve usando MPC e fornisce un'analisi delle prestazioni teoriche.
4. Analisi della Sub-Ottimalità:
   • Per dinamiche di Koopman esatte, il documento deriva limiti di sub-ottimalità mostrando un decadimento esponenziale con la lunghezza dell'orizzonte.
   • Per dinamiche apprese (surrogate), il documento fornisce un limite ad alta probabilità che collega l'errore di apprendimento statistico alle prestazioni del controllo in ciclo chiuso. Questo unisce la teoria dell'apprendimento statistico con il controllo robusto.
5. Validazione Empirica: Gli algoritoritmi proposti sono implementati e testati su un benchmark dell'oscillatore di Duffing, validando empiricamente i risultati teorici riguardanti l'impatto dell'orizzonte predittivo e del numero di campioni di addestramento sulle prestazioni del controllo.

Risultati e Conclusioni

• Tassi di Apprendimento: L'analisi teorica mostra che l'errore di predizione a un passo del modello di Koopman approssimato scala come $O(n^{-1/6})$ nel regime più veloce (a seconda del parametro della condizione sorgente). Ciò corrisponde ai tassi trovati nell'apprendimento supervisionato, suggerendo che le stime siano precise.
• Prestazioni MPC:
  • Il gap di sub-ottimalità per l'algoritmo MPC esatto decade esponenzialmente con l'orizzonte predittivo $T$.
  • Quando si utilizzano modelli appresi, il gap di sub-ottimalità è limitato da un termine dipendente dall'errore di apprendimento $\epsilon(n, \delta)$. All'aumentare del numero di campioni $n$, il modello appreso diventa più accurato e il costo in ciclo chiuso si avvicina al valore ottimale.
• Simulazioni Numeriche: Gli esperimenti sull'oscillatore di Duffing confermano che:
  • L'aumento dell'orizzonte predittivo $T$ migliora le prestazioni del controllore, portando a una migliore stabilizzazione vicino all'origine.
  • L'aumento del numero di campioni di addestramento $n$ riduce il costo di controllo, validando i limiti teorici di apprendimento.
  • Il metodo funziona efficacemente sia con insiemi di controllo simmetrici che asimmetrici, con questi ultimi che mostrano un approccio più rapido alle superfici di commutazione.

Significato e Rivendicazioni

Il documento sostiene di fornire un quadro teorico rigoroso per il controllo di sistemi non lineari a commutazione utilizzando operatori di Koopman basati sui dati. La sua importanza risiede nel:

• Unire Teoria e Pratica: Collega la teoria dell'apprendimento statistico (regressione RKHS) con la teoria del controllo (MPC) per fornire garanzie di prestazione dimostrabili per il controllo basato sui dati.
• Generalizzazione: Evitando assunti come l'ergodicità o strutture di sistema specifiche (ad esempio, la bilinearità), l'approccio è applicabile a una classe più ampia di sistemi non lineari con input di controllo finiti.
• Robustezza Quantificabile: Il lavoro quantifica esplicitamente come gli errori di stima derivanti da dati finiti si propagano alle prestazioni del controllo, offrendo un "ponte ad alta probabilità" tra apprendimento e controllo.
• Implementazione Pratica: Gli autori forniscono un'implementazione open-source e dimostrano che i limiti teorici di sub-ottimalità sono rilevanti nella pratica, come evidenziato dalle simulazioni dell'oscillatore di Duffing.

Gli autori mantengono rivendicazioni modeste, notando che l'analisi teorica si basa su assunti specifici (ad esempio, limitatezza, condizioni sorgente) e che i lavori futuri potrebbero estendere questi risultati a diverse strategie di campionamento o verificare gli assunti per classi specifiche di sistemi non lineari. Riconoscono inoltre che l'applicazione in tempo reale potrebbe richiedere approssimazioni per la ricerca combinatoria inerente al problema del controllo ottimo.