Safety-Constrained Optimal Control for Unknown System Dynamics

Titolo: Controllo Ottimale Vincolato alla Sicurezza per Dinamiche di Sistema Sconosciute

Autori: Panagiotis Kounatidis e Andreas A. Malikopoulos (Cornell University)

---

1. Il Problema

Il controllo ottimo classico mira a derivare una strategia di controllo che minimizzi una funzione di costo soggetta a vincoli fisici e di sicurezza. Tuttavia, l'applicazione di metodi teorici come il Principio del Minimo di Pontryagin (PMP) o la Programmazione Dinamica richiede solitamente un modello matematico perfetto delle dinamiche del sistema.

In molte applicazioni reali (es. guida autonoma), le dinamiche esatte sono troppo complesse, costose o sconosciute da modellare con precisione. L'uso di modelli approssimati (o "gemelli digitali") introduce un mismatch di modello, che può degradare le prestazioni e compromettere la sicurezza.
Il problema centrale affrontato è: quando una politica di controllo derivata da un modello approssimato rimane ottimale per il sistema reale, specialmente in presenza di vincoli di sicurezza sullo stato e sull'ingresso di controllo?

2. Metodologia

Gli autori propongono un quadro teorico che combina un modello approssimato con una strategia di penalizzazione per gestire l'incertezza sulle dinamiche.

A. Formulazione del Problema

• Sistema Reale (Pianta): Dinamiche $\dot{\hat{x}} = \hat{f}(t, \hat{x}, u)$ sconosciute, soggette a vincoli di sicurezza $c(t, \hat{x}, u) \leq 0$.
• Modello Approssimato: Dinamiche note $\dot{x} = f(t, x, u)$, utilizzate per la sintesi del controllo.
• Problema di Controllo Surrogato: Invece di ignorare il mismatch, gli autori formulano un problema di controllo ottimo basato sul modello, ma aggiungono un termine di penalità alla funzione di costo. Questo termine quantifica la discrepanza tra lo stato del modello $x$ e lo stato osservato della pianta $\hat{x}$.
  $$J_{mod} = \int_0^T \left[ \ell(t, x, u) + \beta(t)\|x - \hat{x}\|^2 \right] dt + \phi(x(T))$$
  dove $\beta(t)$ è una funzione di pesatura temporale.

B. Analisi Hamiltoniana e Condizioni di Ottimalità

Utilizzando il Principio del Minimo di Pontryagin (PMP), gli autori derivano le condizioni di ottimalità sia per il problema reale che per quello basato sul modello penalizzato.

• Si definiscono gli Hamiltoniani $\hat{H}$ (per la pianta) e $H$ (per il modello).
• Il termine di penalità $\beta\|x - \hat{x}\|^2$ influenza l'evoluzione degli stati e dei costati (moltiplicatori di Lagrange), ma non dipende esplicitamente dall'ingresso di controllo $u$. Di conseguenza, non altera direttamente la struttura della minimizzazione puntuale dell'Hamiltoniano rispetto a $u$.

C. Risultati di Equivalenza

Il contributo teorico principale risiede nella dimostrazione delle condizioni strutturali sotto le quali i minimizzatori degli Hamiltoniani (il controllo ottimo) coincidono, nonostante le dinamiche siano diverse.

• Analisi Convessa: Viene dimostrato che se gli Hamiltoniani sono convessi rispetto al controllo e soddisfano certe condizioni di regolarità, i minimizzatori coincidono se i gradienti degli Hamiltoniani rispetto a $u$ sono uguali nel punto di controllo ottimale.
• Caso Quadratico: Per costi di controllo quadratici (comuni in ingegneria), vengono fornite condizioni verificabili. Se le dinamiche del modello e della pianta hanno la stessa struttura di gradiente rispetto al controllo (o se i moltiplicatori di Lagrange e gli stati si allineano), allora:
  $$\text{argmin}_{u \in U} \hat{H} = \text{argmin}_{u \in U} H$$
  Questo implica che la strategia di controllo ottima derivata dal modello penalizzato è identica a quella del sistema reale, anche se le traiettorie di stato interne potrebbero differire prima della proiezione sul vincolo.

3. Contributi Chiave

1. Estensione ai Vincoli di Sicurezza: Estensione dei risultati precedenti (riferimento [6]) per includere vincoli di sicurezza che coinvolgono sia lo stato che l'ingresso di controllo, un aspetto critico per applicazioni reali come la guida autonoma.
2. Decoupling tra Accuratezza del Modello e Ottimalità: Dimostrazione che l'accuratezza esatta del modello non è necessaria per l'ottimalità del controllo, purché vengano preservate le proprietà strutturali che determinano la minimizzazione dell'Hamiltoniano.
3. Ruolo del Termine di Penalità: Il termine di penalità agisce correggendo l'evoluzione degli stati e dei costati per allinearli alla realtà, senza però distorcere la logica di ottimizzazione istantanea del controllo.
4. Validazione Sperimentale: Implementazione e test su hardware reale (robot LIMO), dimostrando che la strategia basata sul modello penalizzato recupera il controllo ottimo reale nonostante un significativo mismatch parametrico.

4. Risultati Sperimentali

Gli autori hanno testato il framework su un banco di prova robotico con due robot LIMO (uno controllato, l'altro "leader" non controllato) per un'applicazione di cruise control con vincoli di distanza di sicurezza.

• Setup: Il sistema reale aveva dinamiche con ritardo e guadagno noti ($\hat{\tau}, \hat{k}$), mentre il modello di controllo assumeva parametri diversi ($\tau, k$), creando un mismatch intenzionale.
• Risultati:
  • Le traiettorie di posizione e gli ingressi di controllo generati dalla strategia basata sul modello penalizzato sono risultati identici a quelli della strategia di controllo ottimo reale (che conosceva le dinamiche vere).
  • Le figure mostrano che, sebbene i gradienti degli Hamiltoniani ($\nabla_u \hat{H}$ vs $\nabla_u H$) fossero diversi a causa del mismatch, i minimizzatori vincolati ($\text{argmin}$) coincidevano.
  • Il controllo ha mantenuto la distanza di sicurezza richiesta, dimostrando l'efficacia del metodo anche in presenza di incertezza.

5. Significato e Implicazioni

Questo lavoro offre un cambio di paradigma fondamentale per il controllo basato sull'apprendimento e l'uso di modelli approssimati:

• Non è necessario un modello perfetto: Per ottenere un controllo ottimo, non è sempre necessario identificare con precisione ogni parametro del sistema. È sufficiente che il processo di apprendimento o modellazione preservi le proprietà strutturali che governano la minimizzazione dell'Hamiltoniano.
• Validazione dei Gemelli Digitali: Fornisce una spiegazione teorica rigorosa del perché i "gemelli digitali" (modelli imperfetti) possono generare strategie di controllo ottimali nella pratica, a patto di utilizzare approcci di penalizzazione appropriati.
• Sicurezza: Il metodo garantisce che i vincoli di sicurezza siano rispettati anche quando il modello è impreciso, rendendolo altamente rilevante per sistemi critici come i veicoli autonomi.

In sintesi, il paper dimostra che è possibile separare il problema della modellazione accurata dalle dinamiche del sistema dal problema dell'ottimizzazione del controllo, purché si utilizzino strutture matematiche (come la penalizzazione dello stato) che allineino le condizioni di ottimalità tra modello e realtà.