Policy Optimization with Differentiable MPC: Convergence Analysis under Uncertainty

1. Il Problema

Il lavoro affronta la sfida di ottimizzare i parametri di un controllore Model Predictive Control (MPC) quando la dinamica del sistema è parzialmente sconosciuta e soggetta a rumore stocastico.
Nell'approccio standard, le prestazioni di un MPC dipendono criticamente dall'accuratezza del modello interno. Quando il modello è incerto, l'ottimizzazione dei parametri del controllore (come i pesi della funzione di costo o i parametri del modello stesso) diventa un problema complesso. La letteratura esistente spesso si concentra su scenari con modelli noti o non fornisce garanzie di convergenza rigorose quando si combinano l'identificazione del sistema e l'ottimizzazione della politica in un ciclo chiuso.
L'obiettivo è sviluppare un framework che permetta di:

1. Identificare online i parametri sconosciuti del sistema.
2. Ottimizzare i parametri di progetto del MPC (la "politica") per minimizzare un costo a livello superiore.
3. Garantire la convergenza dell'algoritmo verso un punto critico (ottimo locale) anche in presenza di incertezze.

2. Metodologia

Gli autori propongono un algoritmo iterativo che combina tre componenti principali: Identificazione del Sistema, Ottimizzazione Differenziabile e Analisi di Convergenza.

A. Identificazione del Sistema (System Identification)

Ad ogni iterazione $k$, il sistema raccoglie dati di stato e ingresso ($x_t, u_t$). Utilizzando una struttura di modello lineare nei parametri (o linearizzata), viene stimato il parametro incognito $\theta$ tramite un estimatore dei minimi quadrati ricorsivi (RLS).

• Viene costruito un insieme di confidenza ellissoidale $\Theta_k$ che contiene il vero parametro $\theta$ con alta probabilità.
• Viene assunto che la condizione di persistenza dell'eccitazione (PE) sia soddisfatta su ogni iterazione (finestra temporale $T$), garantendo che l'incertezza sul parametro diminuisca asintoticamente.

B. Ottimizzazione della Politica (Policy Optimization)

Il problema di ottimizzazione è formulato come un problema di discesa del gradiente proiettata sui parametri di progetto $p$ (che includono i pesi del costo e, opzionalmente, il modello di previsione).

• Differenziabilità: Il paper sfrutta la differenziabilità del percorso (path-differentiability) e il teorema della funzione implicita non liscia per calcolare i gradienti della mappa di soluzione del problema di ottimizzazione MPC rispetto ai suoi parametri. Questo permette di propagare il gradiente attraverso il blocco MPC (che risolve un problema di ottimizzazione vincolato) fino ai parametri di ingresso.
• Stima del Gradiente: Poiché la distribuzione del rumore è sconosciuta, il gradiente viene stimato utilizzando una singola realizzazione del disturbo osservata durante l'iterazione corrente, combinata con il modello nominale $\theta_k$ ottenuto dall'identificazione.
• Aggiornamento: I parametri $p$ vengono aggiornati tramite discesa del gradiente proiettata su un insieme ammissibile che tiene conto dell'insieme di confidenza $\Theta_k$.

C. Varianti Proposte

1. Approccio Generale: Il modello di previsione all'interno del MPC è trattato come una variabile di decisione ottimizzabile insieme ai pesi del costo.
2. Equivalenza Certezza (Certainty Equivalence - CE): Una variante più pratica in cui il modello di previsione del MPC è fissato uguale alla migliore stima corrente $\theta_k$ ottenuta dall'identificazione. Questo riduce la dimensionalità del problema di ottimizzazione.

3. Contributi Chiave

1. Garanzie di Convergenza sotto Incertezza: Il contributo principale è la dimostrazione teorica che l'algoritmo proposto converge a un punto critico della funzione di costo, anche quando la dinamica del sistema è incerta e affetta da rumore stocastico. Questo colma un vuoto nella letteratura, che spesso assumeva modelli perfetti o non forniva analisi di convergenza per l'identificazione ricorsiva accoppiata all'ottimizzazione.
2. Analisi per Modelli Imperfetti: Il lavoro estende l'analisi al caso in cui l'identificazione del modello non è asintoticamente esatta (mancanza di PE o rumore persistente). Viene proposto un metodo per calcolare un limite superiore probabilistico sul gradiente residuo, permettendo di quantificare la sub-ottimalità dovuta all'errore di modellazione.
3. Framework Unificato: Integrazione rigorosa di identificazione del sistema, differenziazione implicita di problemi di ottimizzazione vincolati (MPC) e ottimizzazione stocastica.

4. Risultati Sperimentali

Gli autori hanno validato l'approccio su tre scenari simulati:

• Sistemi Lineari Random: Su un set di sistemi lineari a 4 stati, l'algoritmo ha ridotto significativamente il costo rispetto a un MPC non sintonizzato. La variante "Certainty Equivalence" (Alg. 3) ha mostrato prestazioni superiori (sub-ottimalità media dell'11% contro il 30% dell'approccio generale) grazie alla ridotta complessità del spazio di ricerca.
• Quadricottero Non Lineare: Applicazione su un drone non lineare a 12 stati. L'algoritmo ha dimostrato di apprendere rapidamente il modello (errore di stima <1% in ~40 iterazioni) e di far convergere le traiettorie di controllo verso quelle di un controllore "onnisciente" (che conosce il modello vero). L'approccio ha funzionato anche quando il costo del MPC non corrispondeva esattamente all'obiettivo di livello superiore (inclusa una penalità energetica non convessa).
• Controllo Laterale di un Veicolo Autonomo: Su un modello di bicicletta per un'auto da corsa su pista curva, l'algoritmo ha ridotto il costo del ciclo chiuso del 35% rispetto al controllore non sintonizzato, avvicinandosi al 15% di sub-ottimalità rispetto all'ottimo globale. È stato anche dimostrato come calcolare limiti probabilistici sul gradiente residuo in presenza di disturbi non stocastici (curvatura della strada).

5. Significato e Impatto

Questo lavoro è significativo perché fornisce un fondamento teorico rigoroso per l'uso dell'ottimizzazione basata su gradienti (differentiable optimization) nell'addestramento di controllori MPC in scenari reali, dove i modelli non sono perfetti.

• Robustezza: Dimostra che l'accoppiamento tra identificazione ricorsiva e ottimizzazione della politica è stabile e convergente.
• Praticità: La variante "Certainty Equivalence" offre un metodo computazionalmente efficiente e facile da implementare per applicazioni industriali.
• Futuro: Sebbene il paper non si concentri direttamente sulla sicurezza (safety), gli autori notano che il modello appreso può essere integrato con metodologie robuste (come quelle citate in [11]) per garantire la sicurezza e la fattibilità ricorsiva, aprendo la strada a controllori adattivi sicuri per sistemi critici.

In sintesi, il paper trasforma l'ottimizzazione dei parametri MPC da un processo basato su tentativi ed errori (o su modelli perfetti) in un processo sistematico, garantito e adattivo, capace di gestire l'incertezza intrinseca dei sistemi reali.