On Building Myopic MPC Policies using Supervised Learning

Titolo: Costruzione di Politiche MPC Miopi utilizzando Apprendimento Supervisionato

Autori: Christopher A. Orrico, Bokan Yang, Dinesh Krishnamoorthy (Università di Tecnologia di Eindhoven).

---

1. Il Problema

Il Model Predictive Control (MPC) è una tecnica di controllo avanzata che risolve iterativamente un problema di ottimizzazione online ad ogni istante di campionamento, considerando lo stato corrente del sistema. Sebbene efficace, l'onere computazionale richiesto per la risoluzione online può essere proibitivo per i sistemi embedded con risorse limitate e tempi di campionamento rapidi.

Per mitigare questo problema, è stata proposta l'approccio dell'MPC esplicito approssimato, dove una rete neurale profonda impara la politica di controllo (la mappatura stato-azione) da dati ottimali generati offline. Tuttavia, questo approccio presenta due limiti principali:

1. Mancanza di garanzie di prestazioni: Sostituendo l'ottimizzazione online con una politica approssimata, si perdono le garanzie di stabilità e vincoli tipiche dell'MPC standard.
2. Rigidità parametrica: Se i parametri del controllore (vincoli, costi, modelli) cambiano durante l'esecuzione online, la politica pre-addestrata diventa subottimale o pericolosa, richiedendo un nuovo addestramento.

Un approccio alternativo consiste nell'utilizzare un MPC miope (con un orizzonte di previsione molto breve, ad esempio un passo), ma riducendo l'orizzonte si rischia un degrado severo delle prestazioni. La teoria di Bellman suggerisce che, se fosse disponibile la funzione esatta del "costo futuro" (cost-to-go), anche un approccio miope (greedy) potrebbe mantenere prestazioni ottimali. Il problema è che calcolare esattamente questa funzione è intrattabile.

2. Metodologia Proposta

Gli autori propongono un metodo ibrido che combina l'apprendimento supervisionato offline con un controllore MPC miope online. L'obiettivo non è imparare direttamente la politica (azione), ma approssimare la funzione valore ottima (il costo futuro, $V^*(x)$).

Approccio di Apprendimento

Invece di minimizzare semplicemente l'errore quadratico medio (MSE) tra il valore previsto e quello ottimo (come fanno i metodi standard), gli autori introducono un vincolo di proprietà di discesa (descent property constraint).

• Dati di Addestramento: Vengono generati offline risolvendo problemi MPC a lungo orizzonte per diverse realizzazioni di stato. Il dataset consiste in tuple ottimali: (stato $x_i$, azione ottima $u^*_i$, valore ottimo $V^*(x_i)$).
• Funzione Obiettivo: Si addestra un'approssimatore parametrico $V(x; \theta)$ minimizzando l'errore quadratico medio (MSE).
• Vincolo Innovativo: Si impone che, applicando l'azione ottima $u^*_i$ allo stato $x_i$, il costo futuro dello stato successivo $f(x_i, u^*_i)$ sia strettamente inferiore al costo corrente, tenendo conto del costo di fase $\ell(x_i, u^*_i)$.
  $$V(f(x_i, u^*_i); \theta) - V(x_i; \theta) \leq \ell(x_i, u^*_i)$$
  Questo vincolo guida l'apprendimento affinché la funzione appresa si comporti come una Funzione di Lyapunov di Controllo (CLF), garantendo che ogni passo ottimi la riduzione del costo.

Controllore Online

Durante l'esecuzione online, il sistema utilizza un MPC miope con un orizzonte di 1 passo:
$$\min_{u} \ell(x, u) + V(f(x, u); \hat{\theta})$$
Soggetto ai vincoli del sistema. Qui, $V(\cdot; \hat{\theta})$ è la funzione valore appresa offline.

3. Contributi Chiave

1. Apprendimento della Funzione Valore vs. Politica: A differenza dell'MPC esplicito approssimato che impara la politica diretta, questo metodo impara la funzione valore. Questo permette di mantenere la struttura di ottimizzazione online (risolvendo un problema a 1 passo) invece di una semplice inferenza.
2. Vincolo di Discesa: L'introduzione del vincolo di discesa nell'addestramento supervisionato è il contributo principale. Gli autori dimostrano che una funzione valore con un basso errore MSE ma senza il vincolo di discesa può portare a prestazioni di controllo scadenti, mentre una funzione con un MSE più alto ma che rispetta il vincolo di discesa garantisce stabilità e prestazioni migliori.
3. Adattabilità Online: Poiché il controllore online risolve ancora un problema di ottimizzazione (seppur semplice), può adattarsi in tempo reale a cambiamenti nei parametri (es. nuovi vincoli di stato, tempi di campionamento diversi, costi variabili) senza bisogno di ri-addestrare il modello di apprendimento automatico.

4. Risultati Sperimentali

Il metodo è stato testato su un esempio di benchmark: un Reattore Chimico a Serbatoio Agitato (CSTR) con due stati (concentrazione e temperatura).

• Confronto MSE vs. Vincolo di Discesa:
  • Caso 1 (Solo MSE): L'approssimatore ha ottenuto un errore MSE molto basso (0.0515) sui dati di addestramento. Tuttavia, in simulazione in ciclo chiuso, il controllore miope non ha raggiunto il setpoint, mostrando invece un comportamento ciclico e instabile.
  • Caso 2 (MSE + Vincolo di Discesa): L'approssimatore ha avuto un errore MSE più alto (0.8199), indicando un "fit" peggiore sui dati grezzi. Tuttavia, le traiettorie in ciclo chiuso hanno mostrato una convergenza stabile verso il setpoint, con prestazioni quasi equivalenti all'MPC a orizzonte completo (N=140).
• Robustezza ai Cambiamenti Parametrici:
  • Il controllore miope basato sulla funzione valore è stato testato modificando online il tempo di campionamento (da 3s a 0.1s) e stringendo i vincoli sullo stato (limitando la temperatura).
  • Il sistema ha continuato a funzionare correttamente adattandosi ai nuovi vincoli, cosa che un controllore basato su una politica diretta pre-addestrata non potrebbe fare senza un nuovo addestramento.

5. Significato e Conclusioni

Questo lavoro dimostra che per l'apprendimento di funzioni valore nel contesto del controllo predittivo, la struttura fisica e le proprietà matematiche (come la discesa del costo) sono più importanti della precisione statistica (MSE) sui dati di addestramento.

Il metodo proposto offre un compromesso efficace:

• Riduce drasticamente il costo computazionale online rispetto all'MPC a lungo orizzonte.
• Mantiene le garanzie di stabilità e adattabilità tipiche dell'MPC, che sono perse nell'MPC esplicito approssimato puro.
• Permette di aggiornare i parametri del controllore in tempo reale senza ri-addestrare le reti neurali, rendendolo ideale per applicazioni embedded dinamiche.

In sintesi, l'approccio trasforma l'apprendimento supervisionato da un semplice sostituto della politica a un componente che potenzia un controllore miope, garantendo prestazioni robuste attraverso l'incorporazione di principi di ottimizzazione dinamica direttamente nel processo di apprendimento.