Towards Safe Learning-Based Non-Linear Model Predictive Control through Recurrent Neural Network Modeling

1. Il Problema

Il controllo predittivo non lineare (NMPC) è ampiamente utilizzato in sistemi critici per la sicurezza (come veicoli autonomi e robot) per gestire vincoli di stato e input complessi. Tuttavia, la sua implementazione pratica è spesso limitata dalla necessità di risolvere problemi di ottimizzazione non lineari in tempo reale su hardware embedded, il che può essere computazionalmente costoso, specialmente con modelli complessi o orizzonti di previsione lunghi.

Gli approcci esistenti basati sull'apprendimento automatico (Learning-Based MPC) cercano di spostare il carico computazionale offline, addestrando reti neurali per approssimare la politica di controllo. Tuttavia, questi metodi presentano due limiti principali:

1. Richiedono grandi dataset di esperti (rollout NMPC) e tempi di addestramento costosi.
2. Le architetture tradizionali (spesso feed-forward) non catturano bene le dipendenze temporali sequenziali intrinseche al problema di controllo, portando a tassi di fattibilità più bassi e minore sicurezza in loop chiuso.

2. Metodologia: Seq-AMPC e Safe Seq-AMPC

Gli autori propongono Sequential-AMPC (Seq-AMPC), una politica neurale sequenziale che sostituisce l'approccio feed-forward con una Rete Neurale Ricorrente (RNN).

• Architettura Seq-AMPC:

  • Invece di prevedere l'intera sequenza di controllo di lunghezza $N$ in un unico passaggio (come fanno le MLP feed-forward), la RNN genera la sequenza ricorsivamente passo dopo passo.
  • Utilizza una cella RNN semplice con condivisione dei parametri attraverso l'orizzonte temporale.
  • Vantaggio Teorico: Mentre il numero di parametri di una MLP cresce linearmente con la lunghezza dell'orizzonte ($O(N)$), i parametri della RNN rimangono costanti ($O(1)$) indipendentemente da $N$. Questo riduce la complessità del modello e introduce un "bias induttivo" temporale che allinea l'architettura alla dinamica del sistema.

• Meccanismo di Sicurezza (Safe Seq-AMPC):

  • Per garantire la sicurezza in ambienti reali, la politica neurale è incapsulata in un wrapper di valutazione online sicura e fallback.
  • Algoritmo di Esecuzione:
    1. La RNN genera una sequenza candidata $\hat{u}(t)$.
    2. Viene verificata la fattibilità (vincoli di stato e input) e il costo rispetto a un candidato sicuro di fallback (solitamente la soluzione precedente spostata più un controllore terminale).
    3. Se la proposta della RNN è sicura e migliore, viene eseguita.
    4. Se fallisce i controlli di sicurezza, viene attivato il meccanismo di fallback per garantire la stabilità e la sicurezza del sistema.

3. Contributi Chiave

1. Transizione da Feed-Forward a Ricorrente: Sostituzione delle politiche feed-forward con RNN per catturare le dipendenze temporali, migliorando la coerenza della sequenza di controllo generata.
2. Efficienza dei Parametri: Dimostrazione teorica ed empirica che le RNN richiedono meno parametri per orizzonti lunghi rispetto alle MLP, rendendole più efficienti e generalizzabili.
3. Riduzione dei Dati di Addestramento: Il metodo Seq-AMPC richiede significativamente meno rollout esperti per addestrare una politica efficace rispetto alle controparti feed-forward.
4. Garanzie di Sicurezza: Integrazione robusta con un meccanismo di fallback che garantisce la sicurezza in loop chiuso anche quando la rete neurale fallisce, senza modificare il filtro di sicurezza sottostante.

4. Risultati Sperimentali

Il metodo è stato testato su tre benchmark: un quadricottero, un veicolo a trazione singola cinematico e un veicolo a trazione singola dinamico (con ostacoli).

• Fattibilità Open-Loop:

  • Su tutti i benchmark, Seq-AMPC ha mostrato tassi di fattibilità superiori rispetto all'AMPC feed-forward (es. 83.6% vs 72% sul quadricottero; 39.5% vs 35.6% sul veicolo dinamico).
  • Seq-AMPC ha raggiunto questi risultati con un numero di epoche di addestramento drasticamente inferiore (es. 2.75k epoche vs 100k epoche per il quadricottero).

• Sicurezza in Loop Chiuso:

  • Quadricottero: Aumento della sicurezza da 84.8% (AMPC) a 89.1% (Seq-AMPC).
  • Veicoli: Miglioramenti nella percentuale di rollout sicuri (es. da 54.1% a 58.7% per il modello dinamico).
  • Robustezza ai Dati: Anche riducendo il dataset di addestramento a 1/10, Seq-AMPC ha mantenuto prestazioni di sicurezza vicine a quelle ottenute con dati completi, dimostrando una migliore capacità di generalizzazione.

• Analisi degli Interventi:

  • L'analisi ha rivelato che, sebbene Seq-AMPC riduca drasticamente i fallimenti legati alla fattibilità degli stati (State), gli interventi sono spesso ancora causati dal mancato raggiungimento dell'insieme terminale (Terminal-set) o dal mancato miglioramento del costo rispetto al fallback. Tuttavia, la politica sequenziale riduce la frequenza di fallimenti critici rispetto alla baseline.

5. Significato e Conclusioni

Il lavoro dimostra che l'adozione di un'architettura sequenziale (RNN) per l'approssimazione delle politiche MPC non è solo un miglioramento architetturale, ma porta a benefici tangibili in termini di efficienza dei dati, stabilità dell'apprendimento e sicurezza operativa.

• Impatto Pratico: Seq-AMPC permette di implementare controllori NMPC complessi su hardware con risorse limitate, riducendo il bisogno di ottimizzazione online e dataset massivi.
• Sicurezza: L'approccio "Safe Seq-AMPC" offre un compromesso ottimale tra l'uso di reti neurali veloci e la garanzia di sicurezza rigorosa tipica del controllo predittivo, rendendolo adatto per applicazioni reali in sistemi critici.
• Sfide Future: Gli autori identificano come prossima sfida la riduzione della frequenza degli interventi (fallback), concentrandosi sul miglioramento della capacità della rete di prevedere correttamente l'ingresso nell'insieme terminale e sull'ottimizzazione del costo a lungo termine.

In sintesi, il paper stabilisce che la struttura sequenziale delle RNN è superiore alle MLP feed-forward per l'apprendimento di politiche di controllo predittivo, offrendo un percorso verso sistemi di controllo autonomi più sicuri, efficienti e affidabili.