Joint Chance Constrained Safe-Optimal Control

Sintesi Tecnica: Controllo Ottimo-Sicuro con Vincolo di Probabilità Congiunta (Joint Chance Constrained)

Formulazione del Problema
Il documento affronta i limiti della standard formulazione di controllo ottimo con vincolo di probabilità congiunta (Joint Chance Constrained - JCC) per sistemi stocastici. Nelle formulazioni JCC tradizionali, l'obiettivo è minimizzare il costo atteso di tutte le traiettorie (sia sicure che insicure) soggetto a un vincolo che la probabilità di rimanere all'interno di un insieme sicuro superi una soglia $\alpha$. Gli autori sostengono che questo approccio standard crea un incentivo perverso: il controllore può deliberatamente violare i vincoli di sicurezza per sfruttare traiettorie a basso costo, purché la probabilità complessiva di sicurezza rimanga al di sopra di $\alpha$. Questo comportamento è indesiderabile in applicazioni in cui le violazioni dei vincoli sono catastrofiche e irreversibili (ad es. incidenti aerei, guasti di dispositivi medici), poiché il costo di una traiettoria fallita non dovrebbe contribuire all'obiettivo di ottimizzazione.

Per affrontare ciò, il documento propone un problema di Controllo Ottimo-Sicuro con Vincolo di Probabilità Congiunta. L'obiettivo viene modificato per minimizzare il costo atteso solo delle traiettorie sicure, pur imponendo comunque il vincolo di probabilità congiunta che la probabilità di sicurezza sia almeno $\alpha$. Alle traiettorie insicure viene efficacementmente assegnato un costo pari a zero nella funzione obiettivo, eliminando l'incentivo a "sacrificare" la sicurezza per il risparmio sui costi.

Metodologia
Il nucleo del contributo metodologico è la riformulazione di questo problema non-markoviano in un framework risolvibile:

1. MDP a Spazio di Stato Aumentato: Gli autori dimostrano che il problema del Controllo Ottimo-Sicuro può essere inquadrato come un Processo Decisionale di Markov Vincolato (Constrained Markov Decision Process - CMDP) su uno spazio di stato aumentato $Z = X \times C$, dove $X$ è lo spazio di stato originale e $C$ rappresenta il costo accumulato.

   • L'evoluzione dello stato include un accumulatore di costo deterministico.
   • Vengono introdotti un passo temporale virtuale aggiuntivo e un input binario per gestire la funzione di ponderazione della traiettoria $a(\cdot)$, che seleziona se una traiettoria contribuisce al costo/vincolo in base alla sua sicurezza e al costo totale.
   • Questa trasformazione permette l'uso delle tecniche standard di Programmazione Dinamica (DP), che non sono direttamente applicabili alla formulazione originale a causa della dipendenza dalla storia completa della traiettoria.

2. Approssimazione e Limiti di Errore: Per sistemi con spazi di stato continui, gli autori impiegano un'astrazione a griglia per discretizzare lo spazio di stato, del costo e delle azioni. Essi derivano i limiti teorici sull'errore di sicurezza introdotto da questa discretizzazione. Nello specifico, dimostrano che se una policy raggiunge la sicurezza $\alpha$ sul MDP discretizzato, la sicurezza sul sistema continuo originale è limitata inferiormente da $\alpha - N h_x M_x \mu \Delta x$, dove i parametri sono correlati alla dimensione della griglia, alle costanti di Lipschitz del kernel di transizione e al numero di passi temporali. Ciò consente di stringere i vincoli sul problema discretizzato per garantire la sicurezza sul sistema continuo.

3. Approcci di Soluzione: Il documento valuta due metodi di soluzione:

   • Programmazione Dinamica (DP): Risolve il dual di Lagrange del CMDP tramite iterazione del valore (value iteration) e bisezione sul moltiplicatore duale $\lambda$.
   • Apprendimento per Rinforzo (RL): Implementa un framework di apprendimento lessicografico utilizzando l'algoritmo Soft-Actor-Critic (SAC). Questo comporta un processo di addestramento in due fasi: prima si massimizza la probabilità reach-avoid, poi si regola il moltiplicatore di Lagrange per soddisfare la specifica soglia di sicurezza $\alpha$.

Contributi Chiave

• Nuova Definizione di Problema: Introduzione di un problema di controllo che minimizza solo il costo delle traiettorie sicure, disaccoppiando il costo delle traiettorie insicure dall'obiettivo di ottimizzazione.
• Riformulazione Teorica: Dimostrazione che il problema del Controllo Ottimo-Sicuro è equivalente a un MDP vincolato su uno spazio di stato aumentato, consentendo l'uso della DP.
• Garanzie di Sicurezza: Derivazione di espliciti limiti sulla sicurezza della policy quando il problema viene risolto tramite approssimazioni a griglia in spazi di stato continui.
• Validazione Empirica: Esperimenti numerici completi che confrontano l'approccio proposto con il controllo JCC standard e le soluzioni RL.

Risultati Sperimentali
Gli autori validano il loro approccio su un sistema uniciclo 2D simulato in ambienti reach-avoid ingombrati.

• Differenze Comportamentali: Le policy JCC standard (che minimizzano il costo di tutte le traiettorie) sono state osservate mentre "rinunciavano" a raggiungere l'obiettivo per evitare percorsi sicuri ad alto costo, risultando spesso in traiettorie a basso costo che rimangono vicino allo stato iniziale o prendono scorciatoie insicure. Al contrario, le policy Ottimo-Sicure proposte ottimizzano esclusivamente per traiettorie di successo e sicure.
• Metriche di Performance: Nelle simulazioni Monte-Carlo, l'approccio Ottimo-Sicuro ha ottenuto costi di attuazione inferiori per le traiettorie sicure rispetto al JCC standard, mantenendo la richiesta probabilità di sicurezza. Il JCC standard ha ottenuto un costo atteso complessivo inferiore solo perché includeva i costi di molte traiettorie a basso costo, insicure (o di mancato raggiungimento).
• DP vs. RL: La DP ha generalmente superato l'RL nel trovare policy ottime, in particolare in ambienti complessi (ad es. "Simple-Slit"), dove l'RL convergeva a soluzioni conservatrici ottime locali. Tuttavia, l'RL ha dimostrato la capacità di gestire la struttura del problema, sebbene richiedesse tempi di calcolo significativamente più lunghi (90–130 minuti contro <2 minuti per la DP). Gli autori notano che, sebbene la DP cresca esponenzialmente con la dimensione dello stato, l'RL è spesso preferito per problemi reali ad alta dimensionalità dove la DP è impraticabile.

Significato e Rivendicazioni
Il documento sostiene che la formulazione JCC standard è fondamentalmente errata per sistemi con vincoli irreversibili perché incentiva le violazioni dei vincoli per ridurre i costi. Spostando l'obiettivo verso la minimizzazione del costo solo delle traiettorie sicure, il metodo proposto si allinea all'intuizione pratica: il costo di un veicolo incidentato o di una procedura medica fallita è irrilevante per il costo operativo di missioni di successo. Gli autori affermano che la loro formulazione evita il comportamento di "rinuncia" tipico dei controllori standard e fornisce un framework matematicamente rigoroso (tramite la riformulazione CMDP e la DP) per ottenere un controllo sicuro e ottimo nei costi. Concludono che, sebbene la DP sia attualmente il solver superiore per la formulazione proposta in contesti a bassa dimensionalità, il framework apre la strada all'applicazione di questi principi a vincoli di logica temporale più ampi e a sistemi del mondo reale.