Riepilogo Tecnico: Un Regolatore Neurale basato sull'Adjoint per il Controllo Ottimale in Tempo Reale con Vincoli di Stato

1. Definizione del Problema

Il controllo ottimale vincolato in tempo reale di sistemi non lineari presenta una sfida significativa nella robotica e nei sistemi autonomi, richiedendo ai controller di bilanciare le prestazioni con la rigorosa soddisfazione dei vincoli sotto limiti computazionali nell'ordine dei millisecondi.

• Controllo Predittivo Non Lineare (NMPC): Sebbene efficace, l'NMPC richiede la risoluzione di un problema di ottimizzazione non lineare vincolato online ad ogni passo temporale. In contesti critici per la sicurezza o con dinamiche veloci, la ripetuta ottimizzazione e la latenza del solver rendono questo approccio computazionalmente proibitivo.
• Apprendimento per Rinforzo (RL): L'RL offre un'inferenza online veloce ammortizzando il calcolo nella fase di addestramento offline. Tuttavia, gli approcci RL standard (ad esempio, Soft Actor-Critic) spesso faticano con l'efficienza del campionamento, la generalizzazione a condizioni fuori distribuzione (OOD) e la rigorosa soddisfazione dei vincoli. I comuni filtri di sicurezza (ad esempio, Funzioni di Barriera di Controllo o CBF) applicati alle policy RL possono portare a correzioni conservative o aggressive se la policy nominale non codifica intrinsecamente la struttura di ottimalità del problema.

Il problema centrale affrontato è lo sviluppo di un framework di controllo che raggiunga la velocità computazionale dei metodi basati sull'apprendimento, mantenendo al contempo la struttura di ottimalità del controllo ottimale e garantendo la sicurezza dei vincoli senza l'oneroso carico di ottimizzazione online dell'NMPC.

2. Metodologia: Regolatore Neurale basato sull'Adjoint (ANR)

Il documento propone l'Adjoint-based Neural Regulator (ANR), un framework basato sull'apprendimento che apprende una policy neurale per il co-stato (adjoint) piuttosto che una legge di controllo diretta. Questo approccio si fonda sul Principio del Minimo di Pontryagin (PMP).

A. Architettura Core

Il framework consiste in due fasi: addestramento offline e deployment online.

1. Parametrizzazione del Co-Stato (CoNN):

   • Una rete neurale, denominata Co-State Neural Network (CoNN), mappa lo stato attuale del sistema $x_i$ in una traiettoria di co-stato (adjoint) a orizzonte finito $\hat{\Lambda}_i = \{\hat{\lambda}_0, \dots, \hat{\lambda}_{N-1}\}$.
   • A differenza dell'RL, che apprende una policy $\pi(u|x)$, la CoNN apprende la mappatura dagli stati alle variabili adjoint, che rappresentano la sensibilità della funzione valore rispetto allo stato.

2. Addestramento Offline:

   • Rollout: Data una sequenza di co-stato prevista, la sequenza di input di controllo viene derivata minimizzando l'Hamiltoniana punto per punto. Per costi quadratici, ciò produce una legge di controllo esplicita: $\hat{u}^*_k = -\frac{1}{2}R^{-1}g^\top(x_k)\hat{\lambda}_k$.
   • Funzione di Perdita (Loss Function): La rete viene addestrata end-to-end utilizzando una loss a tre termini:
     • Costo di Stadio: Somma dei costi correnti ($x^\top Q x + u^\top R u$) sull'orizzonte.
     • Costo Terminale: Costo allo stato finale.
     • Regolarizzazione del Co-Stato: Una penalità $\ell_1$ sulla traiettoria del co-stato per incoraggiare previsioni a norma minima.
   • La loss viene propagata all'indietro attraverso il rollout dell'orizzonte per aggiornare i parametri della rete.

3. Deployment Online (Controllo in Tempo Reale):

   • Ad ogni passo temporale $t_k$, la CoNN predice una sequenza di co-stato a partire dallo stato corrente $x_k$.
   • Il primo co-stato previsto $\hat{\lambda}_{0|k}$ viene utilizzato per calcolare l'input di controllo.
   • Sicurezza e Fattibilità: Invece di una semplice proiezione, l'input di controllo è determinato risolvendo un problema di minimizzazione dell'Hamiltoniana vincolata in tempo reale. Questa ottimizzazione incorpora:
     • Limiti degli attuatori ($u \in \mathcal{U}$).
     • Vincoli di sicurezza dello stato imposti tramite Funzioni di Barriera di Controllo ad Alto Ordine (HOCBF).
   • La legge di controllo risultante è:
     $$u^*_k = \arg \min_{u} (u^\top R u + \hat{\lambda}^\top_{0|k} g(x_k) u)$$
     soggetto a vincoli di input e condizioni HOCBF che garantiscono la sicurezza.

3. Contributi Chiave

• Framework Innovativo: Introduzione dell'ANR, che scinde l'apprendimento dell'ottimalità (tramite l'adjoint) dall'applicazione dei vincoli (tramite la minimizzazione vincolata in tempo reale).
• Preservazione dell'Ottimalità: Apprendendo l'adjoint anziché l'azione, il framework codifica esplicitamente la struttura di ottimalità indiretta del problema di controllo vincolato, evitando le criticità del modello "nominale-poi-proiettato" tipiche dei metodi RL-CBF standard.
• Sicurezza e Fattibilità Unificate: Il metodo gestisce simultaneamente vincoli rigidi di stato (tramite HOCBF) e vincoli di input all'interno del passo di minimizzazione dell'Hamiltoniana, garantendo la fattibilità senza richiedere complessi processi di ingegneria delle ricompense (reward engineering).
• Efficienza Computazionale: L'approccio raggiunge prestazioni paragonabili all'NMPC ma con un costo computazionale significativamente ridotto, sostituendo l'ottimizzazione non lineare online con un'unica inferenza di una rete neurale e un piccolo Programma Quadratico (QP).

4. Risultati Sperimentali

Il framework è stato valutato su un modello di robot uniciclo con dinamiche $\dot{x} = v \cos \theta, \dot{y} = v \sin \theta, \dot{\theta} = \omega, \dot{v} = a$, con il compito di navigare verso un riferimento evitando ostacoli circolari. Sono stati effettuati confronti con NMPC (usando IPOPT) e RL (Soft Actor-Critic con filtro di sicurezza HOCBF-QP).

Metriche di Prestazione

• Velocità Computazionale:
  • RL: Più veloce (~0.5 ms).
  • ANR: ~1.2–1.4 ms (circa 250 volte più veloce di NMPC).
  • NMPC: ~350–1200 ms (a seconda della complessità dello scenario).
• Generalizzazione (Fuori Distribuzione - OOD):
  • RL: Ha faticato a generalizzare in modo affidabile a stati iniziali o riferimenti non visti, anche all'interno della distribuzione di addestramento, ottenendo bassi tassi di successo (ad esempio, 30% nei test in distribuzione, fallimento totale nei test OOD).
  • ANR: Ha mostrato una performance quasi invariante attraverso scenari non visti, inclusi stati iniziali OOD e riferimenti non nulli. I tassi di successo sono stati comparabili all'NMPC (ad esempio, 98% di successo in scenari di ostacoli OOD).
• Accuratezza:
  • L'ANR ha raggiunto Errori di Convergenza Assoluta (ACE) e Derivate Medie Quadratiche (MSD) comparabili all'NMPC, sebbene leggermente superiori all'RL nei casi in distribuzione dove l'RL ha subito overfitting.
  • Negli scenari OOD, l'ANR ha superato significativamente l'RL, che non riusciva a raggiungere gli obiettivi o a soddisfare i vincoli.

Risultati Specifici

• In scenari senza ostacoli (OOD), l'ANR ha eguagliato le prestazioni dell'NMPC con un costo computazionale di due ordini di grandezza inferiore.
• In scenari con molti ostacoli, l'ANR ha mantenuto alti tassi di successo (98% nei test con ostacoli densi randomizzati) dove l'RL è fallito.
• L'ANR ha gestito con successo compiti di inseguimento di riferimenti non nulli in contesti OOD, uno scenario in cui i baseline RL non erano stati valutati a causa delle loro scarse prestazioni pregresse.

5. Significato e Rivendicazioni

Il documento afferma che il framework ANR riesce a colmare il divario tra l'efficienza computazionale del controllo basato sull'apprendimento e le rigorose garanzie di ottimalità e sicurezza del controllo ottimale.

• Significato: Il metodo offre un'alternativa valida all'NMPC per applicazioni che richiedono decisioni di controllo nell'ordine dei millisecondi, come i sistemi dinamici veloci e la robotica critica per la sicurezza, dove l'ottimizzazione online ripetuta è proibitiva.
• Robustezza: A differenza dell'RL standard, che spesso richiede un esteso reward engineering e fatica con la generalizzazione, l'ANR sfrutta le proprietà strutturali del PMP per generalizzare efficacemente a condizioni iniziali e riferimenti non visti.
• Sicurezza: Integrando le HOCBF direttamente nella minimizzazione dell'Hamiltoniana, il framework garantisce la rigorosa soddisfazione dei vincoli di stato e di input, evitando i limiti strutturali dei filtri di sicurezza post-hoc applicati a policy nominali non ottimali.

Gli autori concludono che l'approccio proposto raggiunge prestazioni alla pari dell'NMPC a una frazione del suo costo computazionale, pur superando significativamente l'RL nei regimi fuori distribuzione rispetto all'addestramento. Il lavoro futuro è identificato nell'estensione del framework a ostacoli dinamici e sistemi ad alta dimensionalità.