Policy Optimization for Unknown Systems using Differentiable Model Predictive Control

1. Il Problema

L'ottimizzazione delle politiche di controllo (Policy Optimization) mira a progettare un controllore che minimizzi un obiettivo prestazionale. Quando la politica è basata sul Model Predictive Control (MPC), il controllo si basa su un modello dinamico del sistema per pianificare traiettorie future e rispettare i vincoli.
Tuttavia, un problema fondamentale sorge quando il modello dinamico del sistema è impreciso o sconosciuto:

• Gli schemi di ottimizzazione esistenti per l'MPC spesso assumono che il modello sia esatto.
• Se il modello è inaccurato, l'ottimizzazione basata puramente sul modello può portare a prestazioni subottimali o addirittura a instabilità.
• Le approcci puramente basati sui dati (model-free) sono robusti ma spesso soffrono di una lenta convergenza e di un'efficienza di campionamento inferiore.
• L'MPC introduce non-smoothness (non differenziabilità) nella funzione di costo a causa dei vincoli e della natura di ottimizzazione interna, rendendo difficile l'applicazione diretta dei metodi di gradiente classici.

L'obiettivo del paper è sviluppare un framework di ottimizzazione che sia robusto all'incertezza del modello, garantendo la convergenza a un punto critico anche in presenza di dinamiche sconosciute, mantenendo al contempo l'efficienza dei metodi basati su modello.

2. Metodologia

Gli autori propongono un algoritmo ibrido che combina l'ottimizzazione basata su modello (model-based) con l'ottimizzazione di ordine zero (zeroth-order), ispirandosi al lavoro di He et al. (2024) ma estendendolo al contesto non-smooth dell'MPC.

A. Fondamenti Teorici: Jacobiani Conservativi

Poiché la mappa di soluzione dell'MPC è non-smooth, gli autori adottano il framework delle funzioni definibili e dei Jacobiani Conservativi (introdotti da Bolte e Pauwels, 2021).

• Questo approccio estende il concetto di derivata a funzioni localmente Lipschitz, permettendo l'analisi di sensibilità e la catena di derivazione anche per funzioni non differenziabili ovunque.
• La convergenza è analizzata in termini di punti critici di Goldstein $\delta$, una nozione di ottimalità adatta per problemi non-smooth e non convessi dove non si dispone di informazioni complete.

B. Stima del Gradiente Ibrida

L'algoritmo aggiorna i parametri della politica $\theta$ combinando due direzioni di discesa:

1. Stima basata sul modello (Model-based): Utilizza un modello approssimato $g$ (che può essere lineare o derivato da identificazione) per calcolare una stima del gradiente attraverso la differenziazione della catena di ottimizzazione dell'MPC. Questa stima è efficiente ma potenzialmente distorta se $g \neq f$ (dove $f$ è la dinamica reale).
2. Stima di ordine zero (Model-free): Utilizza una tecnica di smoothing casuale (randomized smoothing) per stimare il gradiente basandosi esclusivamente sulle valutazioni della funzione di costo sul sistema reale. Questa stima è robusta ma rumorosa e richiede più iterazioni.

C. L'Algoritmo di Aggiornamento

All'iterazione $k$, l'aggiornamento dei parametri è dato da:
$$\theta_{k+1} = \Pi_{\Theta}[\theta_k - \alpha_k d_k]$$
dove la direzione di discesa $d_k$ è una combinazione convessa:
$$d_k = \eta_k d_{k,1} + (1 - \eta_k) d_{k,2}$$

• $d_{k,1}$: Direzione basata sul modello.
• $d_{k,2}$: Direzione basata sull'estimatore di ordine zero.
• $\eta_k \in [0, 1]$: Un peso che bilancia la fiducia nel modello.
  • Se $\eta_k \approx 1$, si dà priorità al modello (convergenza rapida iniziale).
  • Se $\eta_k \approx 0$, si dipende dai dati (robustezza a lungo termine).
• Il paper dimostra teoricamente che, scegliendo opportunamente la sequenza di passi $\alpha_k$ e il peso decrescente $\eta_k$ (che tende a zero), l'algoritmo converge a un punto critico di Goldstein, garantendo che l'errore del modello non impedisca la convergenza finale.

3. Contributi Chiave

1. Framework Ibrido Robusto: Introduzione di un metodo di ottimizzazione per l'MPC che integra informazioni di modello e dati, offrendo un compromesso dinamico tra velocità di apprendimento e robustezza.
2. Gestione della Non-Smoothness: Applicazione rigorosa della teoria dei Jacobiani Conservativi per garantire l'analisi di convergenza su problemi di controllo non-smooth, un aspetto spesso trascurato nella letteratura precedente.
3. Garanzie di Convergenza: Dimostrazione teorica che l'algoritmo converge a un punto critico di Goldstein anche quando il modello dinamico è impreciso, superando le limitazioni degli approcci puramente basati su modello.
4. Validazione su Sistema Non Lineare: Applicazione e validazione su un sistema complesso e non lineare (un quadricottero a 12 dimensioni), dimostrando l'efficacia pratica.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un modello di quadricottero a 12 dimensioni (posizione, velocità, angoli di Eulero, velocità angolari).

• Setup: Il modello utilizzato per l'MPC era una linearizzazione identificata tramite regressione ai minimi quadrati, che differisce dalla dinamica non lineare reale.
• Confronto: L'approccio proposto è stato confrontato con:
  • Ottimizzazione puramente basata sul modello ($\eta_k = 1$).
  • Ottimizzazione puramente di ordine zero ($\eta_k = 0$).
  • Ottimizzazione con modello perfetto (baseline ideale).
• Performance:
  • Il metodo puramente basato sul modello ha mostrato un miglioramento rapido iniziale ma è diventato instabile e non ha converguto a causa dell'errore del modello.
  • Il metodo puramente di ordine zero ha converguto in modo stabile ma molto lento.
  • Il metodo ibrido proposto ha combinato i vantaggi: transitori iniziali rapidi (grazie al modello) e convergenza stabile a lungo termine (grazie alla correzione di ordine zero).
• Qualità della Politica: La politica appresa ha raggiunto un costo finale di 1084.91, confrontato con 1081.3 ottenuto con un modello perfetto. Questo rappresenta una sub-ottimalità inferiore all'1%, dimostrando che l'algoritmo riesce a trovare parametri quasi ottimali nonostante l'incertezza del modello e il rumore del gradiente.

5. Significato e Impatto

Questo lavoro è significativo perché colma il divario tra l'efficienza dei metodi basati su modello e la robustezza dei metodi basati sui dati nel contesto del controllo predittivo.

• Praticità: Offre una soluzione per scenari reali dove ottenere un modello dinamico perfetto è costoso o impossibile, permettendo di iniziare con un modello approssimato e "affinarlo" tramite i dati.
• Sicurezza: Mantenendo la struttura MPC, il metodo conserva la capacità di gestire vincoli in modo esplicito, offrendo garanzie di sicurezza superiori rispetto ai metodi di apprendimento per rinforzo (RL) puramente model-free.
• Futuro: Il lavoro apre la strada a politiche di controllo adattive che possono operare in ambienti incerti con garanzie matematiche di convergenza, un passo cruciale per l'implementazione di sistemi autonomi complessi.