Data-driven Acceleration of MPC with Guarantees

Sintesi Tecnica: Accelerazione basata sui dati dell'MPC con Garanzie

Enunciato del Problema
Il Controllo Predittivo basato su Modello (MPC) è un framework dominante per il controllo ottimo di sistemi dinamici vincolati e ad alta dimensionalità. Tuttavia, la sua dipendenza dalla risoluzione iterativa di problemi di ottimizzazione vincolata a orizzonte mobile online crea un collo di bottiglia computazionale, rendendolo spesso inadatto per applicazioni a bassa latenza. Sebbene siano stati proposti l'MPC esplicito e approssimazioni tramite reti neurali per accelerare il controllo, essi soffrono di significativi svantaggi: i metodi espliciti richiedono spesso costosi schemi di proiezione o faticano a gestire le non linearità; le reti neurali sono difficili da adattare a nuovi dati senza riaddestramento; e molti metodi non parametrici mancano di garanzie rigorose, non asintotiche, su fattibilità e prestazioni.

Metodologia
Gli autori propongono un nuovo framework basato sui dati che accelera l'MPC sostituendo l'ottimizzazione online con una politica non parametrica costruita a partire da soluzioni MPC offline. La metodologia di base comprende tre componenti principali:

1. Formulazione Conservativa Offline: Invece di risolvere il problema MPC originale online, gli autori risolvono offline una versione leggermente più conservativa. Ciò comporta la riduzione dell'insieme dei vincoli sullo stato $X$ a un insieme $\epsilon$-eroso $X_{-\epsilon}$ (utilizzando la differenza di Pontryagin). Risolvere questo problema conservativo garantisce che le traiettorie ottimali rimangano strettamente all'interno dei confini originali dei vincoli, fornendo un margine di sicurezza.
2. Costruzione della Politica Non Parametrica: Viene costruito un dataset $D$ a partire dalle soluzioni offline, costituito da tuple $(x_i, u_i, J_i)$, dove $x_i$ è uno stato, $u_i$ è il controllo ottimo e $J_i$ è il costo ottimo a venire per il problema conservativo. La politica proposta $\pi_D$ è una regola greedy, del vicino più prossimo: per uno stato corrente $x$, seleziona il controllo $u_i$ associato al punto del dataset $x_i$ che minimizza il costo regolarizzato $J_i + \lambda \|x - x_i\|$.
3. Garanzie Teoriche: Gli autori stabiliscono le condizioni alle quali questa politica è ricorsivamente fattibile e ammette un gap di ottimalità limitato.
   • Fattibilità Ricorsiva: Sfruttando la continuità di Lipschitz della dinamica del sistema, gli autori dimostrano che se il dataset $D$ costituisce una copertura sufficiente dello spazio degli stati (specificamente, una copertura $\epsilon/L_f$), la politica rimane fattibile per il problema originale, non conservativo.
   • Subottimalità Limitata: Utilizzando la continuità di Lipschitz della funzione costo a venire, gli autori costruiscono limiti superiori e inferiori dipendenti dai dati sul costo ottimo. Dimostrano che, con un parametro di regolarizzazione $\lambda$ sufficientemente grande, il costo della politica è limitato superiormente da un limite superiore conservativo derivato dai dati. Ciò porta a un limite dimostrabile sul gap di subottimalità relativo, che si restringe man mano che la copertura del dataset migliora.

Contributi Chiave
Il lavoro apporta quattro contributi principali:

1. Nuova Politica Non Parametrica: Una politica che risolve approssimativamente problemi MPC utilizzando dati offline provenienti da una formulazione conservativa, evitando la necessità di ottimizzazione online.
2. Capacità di Apprendimento Continuo: La politica supporta l'aggiunta incrementale di nuove soluzioni offline senza riaddestramento. I nuovi dati modificano la politica localmente, consentendo un miglioramento continuo.
3. Limiti Teorici Rigorosi: La definizione di condizioni esplicite sulla copertura dei dati offline che garantiscono la fattibilità ricorsiva e gap di ottimalità limitati su tutto il dominio. Queste condizioni definiscono un chiaro compromesso tra la quantità di dati raccolti e la rigidità dei limiti di prestazione.
4. Implementazione Efficiente: La politica è implementata come una regola di ricerca (utilizzando i k-vicini più prossimi tramite FAISS), che è ordini di grandezza più veloce della risoluzione online dell'MPC.

Risultati Sperimentali
Gli autori validano il loro approccio su due benchmark: un pendolo invertito e un sistema LTI instabile a tempo minimo.

• Velocità: La politica proposta (etichettata MINT) raggiunge velocità di inferenza tra 100 e 1000 volte superiori rispetto all'MPC online standard.
• Prestazioni: Il metodo dimostra un favorevole compromesso tra latenza e ottimalità. Con una copertura dei dati sufficiente, la politica raggiunge un gap di ottimalità relativo paragonabile all'MPC standard con orizzonti di previsione più brevi, superando significativamente tali MPC a orizzonte ridotto in termini di qualità della soluzione.
• Verifica: Viene dimostrato che un algoritmo basato sulla suddivisione sequenziale del dominio dello spazio degli stati (Algoritmo 2) verifica ricorsivamente i certificati di fattibilità e ottimalità, confermando che le condizioni teoriche sono soddisfatte nella pratica.

Significato e Affermazioni
Gli autori affermano che questo lavoro colma il divario tra la velocità del controllo esplicito/non parametrico e le garanzie rigorose dell'MPC basato sull'ottimizzazione. A differenza degli approcci basati su reti neurali, il metodo proposto non richiede riaddestramento per nuovi dati e offre garanzie non asintotiche. Il framework quantifica esplicitamente il compromesso tra lo sforzo di raccolta dati (memoria e calcolo offline) e le prestazioni di controllo (gap di ottimalità e fattibilità). I risultati suggeriscono che questo approccio è un candidato valido per compiti di controllo in tempo reale dove la bassa latenza è critica, a condizione che possano essere raccolti dati offline sufficienti per soddisfare le condizioni di copertura. Il lavoro conclude notando che i lavori futuri si concentreranno sul ridimensionamento di questi metodi per sistemi ad alta dimensionalità e applicazioni embedded.