Sintesi Tecnica: Controllo Predittivo Nonlineare Amortizzato

Definizione del Problema

Il Controllo Predittivo Nonlineare (NMPC) offre un potente framework per il controllo ottimo vincolato, ma affronta un significativo collo di bottiglia computazionale. Ad ogni istante di campionamento, l'NMPC richiede la risoluzione di un programma non lineare (NLP) vincolato in tempo reale. Per modelli di impianto non lineari, il tempo di risoluzione per singolo step può essere ordini di grandezza superiore rispetto ai sistemi lineari, rendendo spesso l'implementazione in tempo reale impraticabile su hardware con risorse limitate o ad alte frequenze di campionamento. Sebbene gli schemi di Real-Time Iteration (RTI) migliorino l'efficienza eseguendo un singolo iterazione di tipo Newton, il costo computazionale può essere comunque proibitivo. Inoltre, l'NMPC esplicito non lineare è generalmente intrattabile.

Recenti progressi nel machine learning, specificamente l' "ottimizzazione amortizzata" (amortized optimization), propongono di sostituire il solver online con un approssimatore di funzioni addestrato offline. Tuttavia, una sfida principale in questo approccio è preservare le garanzie a ciclo chiuso, come la soddisfazione dei vincoli e la stabilità, quando l'approssimazione appresa devia dalla soluzione esatta.

Metodologia

Gli autori propongono un framework per sistemi non lineari affini all'input (sistemi in cui la dinamica è affine rispetto all'input di controllo, $x_{k+1} = f(x_k) + G(x_k)u_k$) che approssima il movimento di controllo ottimo risolvendo un Programma Quadratico (QP) dipendente dallo stato online. L'innovazione chiave è un'architettura a singolo network residuo-correttore che separa l'apprendimento dei parametri del problema dall'applicazione dei vincoli.

1. Formulazione QP Parametrica

Per i sistemi affini all'input, la mappa dello stato a un passo è affine rispetto all'input di controllo $u_0$. Gli autori formulano un piccolo QP per ottimizzare il primo movimento di controllo $u_0$:

• Obiettivo: Una funzione di costo quadratica $\frac{1}{2}u_0^\top H(x_0) u_0 + c(x_0, r)^\top u_0$, dove $H$ e $c$ dipendono dallo stato corrente e dal riferimento.
• Vincoli:
  • Vincoli Hard: I limiti di input e i vincoli affini all'input (es. limiti di coppia) sono imposti direttamente.
  • Vincoli Soft: I limiti di stato per il passo successivo sono modellati come vincoli soft utilizzando variabili di slack per garantire che il QP rimanga ammissibile.
• Dimensione: Il QP risultante ha significativamente meno variabili decisionali ($n_u + n_s$) rispetto all'intero orizzonte NLP ($(N+1)n_x + N n_u$).

2. Architettura della Rete Residuo-Correttore

Invece di apprendere l'intera sequenza di controllo ottimo o l'intero set di parametri del QP da zero, la rete apprende solo le correzioni residue rispetto a una base analitica:

• Base Analitica: Derivata dalla linearizzazione della dinamica del sistema e della funzione di costo attorno allo stato corrente. Questa fornisce stime iniziali per il fattore di Cholesky dell'Hessiana ($L_{an}$) e il vettore di costo lineare ($c_{an}$).
• Rete Neurale ($\phi_\psi$): Prende come input lo stato concatenato e il riferimento e predice le correzioni ($\Delta L, \Delta c$).
• Meccanismo di Correzione:
  • Il fattore di Cholesky completo è $L_{full} = L_{an} + \Delta L$.
  • Gli elementi diagonali sono elaborati attraverso una funzione softplus per garantire la stretta positività, assicurando che l'Hessiana risultante $H_{full} = L_{full}L_{full}^\top$ sia definita positiva.
  • Il vettore di costo completo è $c_{full} = c_{an} + \Delta c$.

3. Solver Differenziabile e Addestramento

• Inferenza Online: I parametri corretti definiscono un piccolo QP, che viene risolto online da uno strato di interior-point differenziabile. Ciò garantisce che l'output $u_0^*$ soddisfi i vincoli del QP per costruzione.
• Addestramento Offline: La rete è addestrata su un dataset di soluzioni ottime NLP (generate da un solver come IPOPT) utilizzando una funzione di perdita ibrida:
  1. Imitazione Supervisionata ($L_{sup}$): Penalizza la deviazione della prima azione di controllo predetta dalla soluzione NLP ottimale.
  2. Stazionarietà KKT ($L_{KKT}$): Penalizza la violazione della condizione di stazionarietà del pieno NLP alla soluzione predetta.
  3. Complementarità di Fischer-Burmeister ($L_{FB}$): Penalizza le violazioni delle condizioni di complementarità per i vincoli di disuguaglianza.
  4. Regolarizzazione ($L_{reg}$): Mantiene le correzioni apprese vicine alla base analitica.

Contributi Chiave

1. Architettura Residuo-Correttore: Un approccio innovativo in cui una rete neurale apprende solo le correzioni a una base QP derivata analiticamente, invece dell'intera soluzione. Questo sfrutta la struttura nota dei sistemi affini all'input.
2. Soddisfazione dei Vincoli tramite Strati Differenziabili: Incorporando un solver QP differenziabile all'interno della rete, il metodo garantisce che la prima azione di controllo soddisfi i vincoli hard, affrontando un comune fallimento dei metodi basati sull'apprendimento.
3. Funzione di Perdita Ibrida: L'obiettivo di addestramento combina l'imitazione supervisionata con i residui KKT e le penalità di complementarità, migliorando prestazioni e ammissibilità rispetto ai metodi di puro apprendimento per imitazione.
4. Scalabilità: L'approccio riduce il problema di ottimizzazione online da un complesso NLP a un piccolo QP con una matrice di costo dipendente dallo stato, riducendo drasticamente la complessità computazionale.

Risultati Sperimentali

Il metodo è stato validato su un braccio robotico planare a tre link con tracking dell'end-effector cartesiano, soggetto a vincoli di posizione, velocità, accelerazione e coppia dei giunti.

• Performance: La policy amortizzata ha raggiunto un costo a ciclo chiuso medio entro il 4,7% dell'ottimo IPOPT a pieno orizzonte. Al contrario, lo schema RTI standard (acados) è divergente nel 12% degli scenari ed era peggiore del 17,5% in media, mentre un MLP diretto (senza lo strato QP) è divergente nel 27% degli scenari e ha violato significativamente i vincoli hard.
• Soddisfazione dei Vincoli: Il QP amortizzato ha soddisfatto i limiti hard di coppia e accelerazione con precisione numerica. I vincoli di stato soft sono stati violati solo lievemente durante i transitori (0,7% dei passi).
• Velocità Computazionale:
  • IPOPT: ~120 ms tempo di risoluzione mediano.
  • RTI (acados): ~2,4 ms tempo di risoluzione mediano.
  • Amortized QP: 0,116 ms tempo di risoluzione mediano.
  • Ciò rappresenta un accelerazione di circa 21x rispetto a RTI e un'accelerazione di circa 1800x rispetto al solver NLP completo.

Significato

L'articolo sostiene che questo approccio offre una via pratica per implementare l'NMPC su hardware con risorse limitate o ad alte frequenze di campionamento senza sacrificare la soddisfazione dei vincoli. Decoupling (de-accoppiando) l'apprendimento del panorama dei costi (tramite la rete) dall'applicazione dei vincoli (tramite il solver QP), il metodo ottiene accelerazioni di ordini di grandezza rispetto ai solver NLP tradizionali mantenendo prestazioni di tracking comparabili alla soluzione ottimale. L'uso di una funzione di perdita ibrida che combina l'apprendimento supervisionato con i residui KKT è evidenziato come un fattore chiave per ottenere una fattibilità e un'affidabilità superiori rispetto ai metodi che si limitano a adattare i dati o a imparare i warm-start.