Model-Agnostic Meta Learning for Differentiable MPC

Sintesi Tecnica: Apprendimento Meta-Agnostico del Modello per l'MPC Differenziabile

Formulazione del Problema
Il Controllo Predittivo del Modello (MPC) è una tecnica di controllo robusta, tuttavia le sue prestazioni dipendono fortemente da modelli di sistema accurati e da funzioni di costo ben tarate. Sebbene l'ottimizzazione della policy basata sul gradiente sia emersa come un metodo rigoroso per tarare i parametri dell'MPC (come matrici di costo e vincoli) per migliorare le prestazioni in loop chiuso, essa affronta due limitazioni primarie:

1. Collo di bottiglia computazionale: La taratura tradizionale in loop chiuso richiede molteplici iterazioni per convergere, il che è computazionalmente costoso e spesso intrattabile per implementazioni hardware a causa dei tempi di esecuzione e degli overhead di reset del sistema.
2. Mancanza di generalizzazione: I controller ottimizzati per specifiche condizioni di addestramento spesso soffrono di overfitting e subiscono un significativo degrado delle prestazioni quando applicati a task inediti o a traiettorie di riferimento variabili.

Gli approoli esistenti che utilizzano il Meta-Learning (specificamente, il Model-Agnostic Meta-Learning, o MAML) nel controllo si sono concentrati ampiamente sull'adattamento del modello di sistema per colmare il gap sim-to-real. Questo articolo affronta il divario nell'adattare il controller stesso (specificamente la definizione dell'obiettivo e dei vincoli dell'MPC) a nuovi task in modo rapido.

Metodologia
Gli autori propongono un nuovo framework che integra il Model-Agnostic Meta-Learning (MAML) con l'MPC differenziabile e l'identificazione del sistema online. L'obiettivo centrale è apprendere un insieme "generalizzato" di iperparametri dell'MPC ($\bar{p}$) tale che, per ogni nuovo task (traiettoria di riferimento $r$), un insieme di parametri ottimali specifici per il task ($p_r$) possa essere derivato con un'interazione minima (un singolo passo di discesa del gradiente).

La metodologia consiste in tre componenti chiave:

1. Framework MPC Differenziabile: Gli autori utilizzano il framework di ottimizzazione della policy in cui il costo e i vincoli dell'MPC sono trattati come variabili addestrabili. Utilizzano la metodologia Backpropagation-MPC (BP-MPC) per calcolare i gradienti del costo in loop chiuso rispetto ai parametri dell'MPC. Ciò consente l'addestramento end-to-end nonostante la natura non regolare del problema di ottimizzazione.
2. Identificazione del Sistema Online: Per affrontare le imprecisioni del modello, il framework integra uno stimatore dei minimi quadrati ricorsivi (RLS). Ad ogni iterazione, i parametri del sistema ($\theta$) vengono aggiornati sulla base di dati di traiettoria reali ($x, u$). Ciò serve a un duplice scopo: raffinare il modello predittivo utilizzato nella linearizzazione dell'MPC e ridurre il bias nelle stime del gradiente utilizzate per l'ottimizzazione della policy.
3. Adattamento MAML: L'algoritmo MAML è adattato all'ambito MPC.
   • Inner Loop: Per un set di riferimenti di addestramento $\mathcal{R}$, l'algoritmo calcola i parametri specifici del task $p_r(\bar{p})$ eseguendo un singolo aggiornamento del gradiente sulla funzione di costo completa $C_{full}(r, \bar{p}, \theta_r)$.
   • Outer Loop: Il parametro generalizzato $\bar{p}$ viene aggiornato per minimizzare la somma dei costi ottenuti da questi parametri adattati.
   • Approssimazione: Per evitare l'onere computazionale del calcolo dei derivati del secondo ordine esatti (Hessiani) richiesti dal gradiente esatto di MAML, gli autori impiegano un'approssimazione Quasi-Newton BFGS. Ciò consente di stimare il gradiente dell'obiettivo meta utilizzando solo informazioni del primo ordine e interazioni di sistema.

Contributi Chiave

• MAML per l'Ottimizzazione della Policy MPC: Il documento introduce la prima applicazione di MAML specificamente per l'adattamento delle definizioni di obiettivo e vincolo dei controller MPC, piuttosto che solo del modello di sistema.
• Identificazione del Sistema Integrata: La pipeline ottimizza simultaneamente il modello predittivo e gli iperparametri dell'MPC. Gli autori dimostrano che l'identificazione del sistema non solo migliora l'accuratezza della predizione, ma potenzia anche la qualità delle stime del gradiente per la taratura della policy.
• Framework Validato su Hardware: L'approccio è implementato e testato su un sistema fisico Ball-on-Plate (BoP), dimostrando la fattibilità in un contesto reale con vincoli hardware.

Risultati Sperimentali
Il metodo proposto è stato validato su un banco di prova Ball-on-Plate utilizzando traiettorie circolari e quadrate per l'addestramento, e una traiettoria a forma di otto per il test su task inediti.

• BP-MPC vs. Baseline: Lo schema BP-MPC (che combina l'ottimizzazione della policy e l'identificazione del sistema) ha superato significativamente l'MPC non addestrato, LQR e i controller PID. Nello specifico, ha ridotto gli errori di inseguimento di un ulteriore 10% rispetto a un MPC con parametri pre-identificati ma senza taratura della policy.
• Impatto dell'Identificazione del Sistema: Gli esperimenti hanno mostato che l'inclusione dell'identificazione del sistema online ha ridotto i costi in loop chiuso di un fattore due rispetto al BP-MPC senza identificazione del sistema. Anche con un modello pre-identificato, il raffinamento online ha fornito ulteriori riduzioni dei costi (miglioramento del 33–44% rispetto alle baseline).
• Performance del Meta-Learning: I parametri inizializzati tramite MAML ($\bar{p}$) hanno dimostrato una capacità di adattamento superiore. Quando applicati a riferimenti inediti (la traiettoria a forma di otto) senza ulteriore addestramento, il controller inizializzato con MAML ha prodotto errori di inseguimento inferiori rispetto a un MPC standard non addestrato. Inoltre, l'inizializzazione MAML ha fornito un punto di partenza robusto che ha richiesto meno episodi per convergere alle prestazioni ottimali rispetto all'inizializzazione casuale o nominale.

Significatività e Rivendicazioni
L'articolo sostiene che questo framework affronta con successo i colli di bottiglia computazionali della taratura tradizionale in loop chiuso. Sfruttando MAML, il sistema può adattarsi a nuovi task con "overhead minimo", richiedendo solo una frazione del costo computazionale e delle interazioni di sistema necessarie per un addestramento completo.

Gli autori sottolineano che il loro approccio consente la progettazione di "controller MPC altamente adattabili" che mantengono prestazioni eccezionali attraverso diversi task. Crucialmente, notano che, sebbene MAML fornisca un'inizializzazione robusta, non rende ridondanti gli aggiornamenti online; la combinazione dell'inizializzazione MAML e del successivo tuning BP-MPC produce i risultati migliori. Il lavoro è presentato come un passo verso la rendere pratica la taratura dell'MPC basata sul gradiente per implementazioni hardware dove l'overhead di reset e i tempi di esecuzione sono vincoli critici.