A Forward Reachability Perspective on Control Barrier Functions and Discount Factors in Reachability Analysis

Titolo

Una prospettiva di raggiungibilità in avanti sulle Funzioni di Barriera di Controllo (CBF) e sui fattori di sconto nell'analisi di raggiungibilità.

1. Il Problema

La sicurezza nei sistemi di controllo richiede che gli stati del sistema rimangano all'interno di vincoli specifici per un orizzonte temporale indefinito. Questo problema è affrontato identificando insiemi di controllo invariante, ovvero sottoinsiemi dello spazio degli stati da cui le traiettorie non possono uscire se si applica una legge di controllo appropriata.
Esistono due approcci principali per garantire la sicurezza:

1. Funzioni di Barriera di Controllo (CBF): Impongono un vincolo differenziale che garantisce la sicurezza, spesso utilizzato per sintetizzare controlli in tempo reale. Tuttavia, la progettazione sistematica di CBF valide (specialmente robuste rispetto a disturbi) rimane un problema complesso.
2. Analisi di Raggiungibilità: Tradizionalmente, la maggior parte dei metodi si basa sulla raggiungibilità all'indietro (Backward Reachability) per calcolare il massimo insieme di controllo invariante contenuto in un vincolo di sicurezza.

Il limite degli approcci esistenti:
Gli approcci basati sulla raggiungibilità all'indietro (BRT) soffrono di problemi fondamentali quando si tenta di derivare CBF:

• Le funzioni valore ottenute sono spesso piatte all'interno dell'insieme invariante (se si usa uno sconto positivo), rendendo il gradiente nullo e inutilizzabile per il vincolo di barriera.
• Se si cerca di evitare la piattezza (usando fattori di sconto negativi o nessuno), le funzioni valore possono diventare discontinue, illimitate o non uniche, violando le condizioni di regolarità richieste dalle CBF.
• Non esiste un collegamento teorico diretto e robusto tra la funzione valore della raggiungibilità all'indietro e la definizione di una CBF valida.

2. Metodologia Proposta

Gli autori propongono un cambio di paradigma: passare dalla raggiungibilità all'indietro alla raggiungibilità in avanti (Forward Reachability), integrando un fattore di sconto nel costo del gioco differenziale.

Concetti Chiave:

• Tubo di Raggiungibilità Inevitabile (FRT - Forward Reachable Tube): Invece di chiedersi "da quali stati posso raggiungere un insieme target?", si chiede "quali stati sono inevitabilmente raggiunti partendo da un insieme iniziale $C$, anche sotto l'azione del disturbo peggiore?". L'FRT è l'insieme di stati tali che ogni traiettoria che li raggiunge deve aver passato per $C$ in un momento precedente.
• Gioco Differenziale con Sconto: La funzione valore $V_\gamma(x)$ è definita come il risultato di un gioco tra il controllo (che cerca di minimizzare la crescita dell'FRT) e il disturbo (che cerca di massimizzarlo). Viene introdotto un fattore di sconto $\gamma > 0$ nel costo:
  $$J_\gamma = \sup_{t \in (-\infty, 0]} e^{\gamma t} h_C(x(t))$$
  Questo sconto è applicato "all'indietro nel tempo" rispetto alla dinamica del sistema.
• Equazione di Hamilton-Jacobi (HJ-FRT-VI): La funzione valore $V_\gamma$ è l'unica soluzione di viscosità di una specifica disuguaglianza variazionale HJ:
  $$0 = \min \left\{ V_\gamma(x) - h_C(x), \quad \max_{u} \min_{d} \left( \frac{\partial V_\gamma}{\partial x} \cdot f(x, u, d) + \gamma V_\gamma(x) \right) \right\}$$

3. Contributi Teorici Principali

1. Collegamento tra FRT e Invarianza:

   • È dimostrato che l'FRT inevitabile è un insieme di controllo invariante robusto se il suo bordo è continuamente differenziabile.
   • Se il bordo non è differenziabile, l'invarianza potrebbe essere persa in punti specifici.
   • Qualsiasi insieme di controllo invariante robusto (con bordo differenziabile) che contiene l'insieme iniziale è un sopra-insieme dell'FRT.

2. Collegamento tra FRT e CBF:

   • La funzione valore $V_\gamma$ è una CBF: A differenza delle funzioni BRT, la funzione valore dell'FRT con sconto soddisfa naturalmente il vincolo di barriera ($\max_u \min_d \nabla V \cdot f + \gamma V \ge 0$) ed è limitata e continua.
   • Ottimalità Inversa: Qualsiasi CBF robusta valida può essere interpretata come una funzione valore di raggiungibilità in avanti con un fattore di sconto.
   • Supersoluzioni: Qualsiasi supersoluzione $C^1$ continua dell'equazione HJ-FRT-VI è una CBF valida e caratterizza un insieme di controllo invariante robusto che approssima dall'esterno (outer-approximates) l'FRT.

3. Metodo di Apprendimento (Neural FRT-CBF):

   • Sfruttando il fatto che le supersoluzioni sono CBF, gli autori propongono un metodo basato su reti neurali per apprendere una CBF.
   • La rete neurale apprende una funzione $W_\theta(x)$ che è una supersoluzione dell'HJ-FRT-VI, garantendo che il suo insieme di livello zero sia un insieme invariante che contiene l'FRT dell'insieme iniziale.
   • La funzione è parametrizzata come $W_\theta(x) = h_C(x) + u_\theta(x)^2$, garantendo che $W_\theta \ge h_C$.

4. Risultati Sperimentali

• Esempio del Doppio Integratore: Gli autori testano il metodo su un sistema a doppio integratore con un insieme iniziale circolare che non è di per sé invariante (le traiettorie tendono a uscire).
• Apprendimento della CBF: La rete neurale apprende con successo una funzione $W_\theta$ che:
  • È differenziabile.
  • Definisce un insieme invariante che contiene l'insieme iniziale e l'FRT calcolato numericamente.
  • Soddisfa il vincolo di barriera (il termine $\nabla W \cdot f + \gamma W$ è non negativo).
• Confronto: Il metodo supera le limitazioni degli approcci basati su BRT, producendo una funzione valore continua e utilizzabile per il controllo in tempo reale, evitando discontinuità e non unicità.

5. Significato e Impatto

Questo lavoro colma un divario teorico fondamentale nella letteratura sul controllo sicuro:

• Unificazione: Stabilisce un legame diretto e sistematico tra l'analisi di raggiungibilità, l'invarianza di controllo e le CBF, cosa che gli approcci basati sulla raggiungibilità all'indietro non sono riusciti a fare.
• Nuova Prospettiva: Dimostra che l'introduzione di un fattore di sconto nella raggiungibilità in avanti è la chiave per ottenere funzioni valore che soddisfano i requisiti delle CBF (limitatezza, continuità, unicità).
• Applicabilità Pratica: Fornisce un framework computazionale (tramite apprendimento profondo) per generare CBF robuste per sistemi complessi, partendo da un insieme iniziale anche non invariante, garantendo la sicurezza a lungo termine.
• Implicazioni per la Ricerca: Apre nuove strade per la progettazione di controllori sicuri basati su principi di ottimalità inversa e raggiungibilità, superando le limitazioni delle formulazioni tradizionali.

In sintesi, il paper dimostra che la raggiungibilità in avanti con sconto è il framework naturale per derivare CBF robuste, offrendo sia una base teorica solida che un metodo pratico di apprendimento automatico per la sintesi di politiche di controllo sicure.