Sintesi Tecnica: Dall'Apprendimento alla Sicurezza: Un Framework Diretto Basato sui Dati per il Controllo Vincolato

1. Definizione del Problema

Il documento affronta la sfida critica di garantire la sicurezza (soddisfacimento dei vincoli) nei sistemi di controllo basati sull'apprendimento, in particolare in contesti model-free dove la dinamica esplicita del sistema non è disponibile. Sebbene i tradizionali filtri di sicurezza (ad esempio, le Control Barrier Functions o CBF) impongano efficacemente la sicurezza in contesti model-based modificando gli input di controllo, essi si affidano tipicamente a modelli predittivi derivati dalla fisica o dai dati. Questa dipendenza crea una lacuna: i filtri di sicurezza data-driven esistenti sono per lo più "indiretti", richiedendo prima l'identificazione del sistema, il che aggrava gli errori e degrada le prestazioni di sicurezza. Inoltre, i metodi data-driven "diretti" sono spesso limitati a vincoli lineari o mancano di garanzie di sicurezza formali.

Il problema centrale è progettare un framework di controllo che:

1. Operi direttamente dai dati di transizione stato-azione senza identificazione esplicita del sistema.
2. Si integri perfettamente con algoritmi di apprendimento model-free arbitrari (ad esempio, Reinforcement Learning, Supervised Learning) per ottimizzare le prestazioni.
3. Fornisca garanzie formali di sicurezza e fattibilità ricorsiva, anche in presenza di imprecisioni nell'apprendimento.

2. Metodologia

La soluzione proposta è un framework di controllo basato sull'ottimizzazione che scinde l'ottimizzazione delle prestazioni dall'enforcement della sicurezza. Il framework si basa su un nuovo certificato di sicurezza chiamato State-Action Control Barrier Function (SACBF).

A. Concetto Centrale: State-Action Control Barrier Function (SACBF)

A differenza delle classiche CBF, che valutano la sicurezza esclusivamente in base allo stato $x$, la SACBF, indicata con $Q_B(x, u)$, è una funzione di entrambi lo stato e l'input di controllo.

• Definizione: Una funzione $Q_B$ è una SACBF se il suo sotto-livello zero definisce un insieme sicuro $S_Q$ tale che, per ogni stato in $S_Q$, esiste un input che soddisfa $Q_B(x, u) \leq 0$ che mantiene il successivo stato all'interno di $S_Q$.
• Vantaggio: Questa formulazione consente al filtro di sicurezza di valutare la sicurezza di un'azione di controllo candidata direttamente alla coppia stato-azione corrente, senza propagare la dinamica in avanti o richiedere un modello $f(x, u)$.

B. Il Framework di Controllo

La politica di controllo $\pi(x)$ è definita come la soluzione di un problema di ottimizzazione vincolata:
$$\pi(x) := \arg \min_{u \in U} Q(x, u) \quad \text{s.t.} \quad Q_B(x, u) \leq 0$$
Qui, $Q(x, u)$ è una funzione obiettivo (appresa tramite RL o SL) che rappresenta le prestazioni del compito, e $Q_B(x, u)$ è la SACBF appresa che funge da vincolo di sicurezza.

C. Apprendimento delle SACBF

Il documento propone tre distinti metodi di sintesi data-driven per $Q_B$:

1. Reinforcement Learning (RL): Tratta la sintesi della SACBF come un problema di raggiungibilità. Adatta i metodi di RL basati sul valore (come il Temporal Difference learning) per approssimare la funzione valore ottimale di un problema di raggiungibilità. Nota: questo metodo manca di garanzie formali di convergenza per il certificato di sicurezza a causa della natura non contraente dell'equazione di Bellman non scontata nel contesto della raggiungibilità.
2. Expert-Guided Learning: Presuppone la disponibilità di un controllore sicuro esperto (ad esempio, Artificial Potential Fields). Formula la sintesi come un problema di ottimizzazione robusta per trovare una SACBF che sia coerente con le traiettorie sicure dell'esperto.
3. Supervised Learning (SL): Presuppone che sia già nota una classica CBF $B(x)$. Utilizza la regressione supervisionata per apprendere la mappatura dalle coppie stato-azione al valore della SACBF, derivata dalla CBF nota.

D. Analisi della Robustezza: Error-to-State Safety (ESSf)

Per affrontare gli errori di apprendimento (dove la $Q_B^\omega$ appresa devia dalla vera $Q_B$), gli autori introducono un framework di Error-to-State Safety (ESSf).

• Meccanismo: Invece di fare affidamento sulla predizione basata sul modello, il framework quantifica l'impatto degli errori di apprendimento ($\epsilon$) direttamente sui vincoli di sicurezza.
• Strategia: Impiega un approccio di irrigidimento (tightening) e rilassamento dei vincoli:
  • Irrigidisce i vincoli di stato originali ($h(x) \leq 0$) in $h(x) + \delta(\epsilon) \leq 0$.
  • Rilassa il vincolo della SACBF nel filtro in $Q_B^\omega(x, u) \leq \kappa(\epsilon)$.
• Risultato: I Teoremi 1 e 2 forniscono relazioni in forma chiusa che mostrano come, se l'errore di apprendimento è limitato, il sistema rimanga ricorsivamente fattibile e sicuro entro i vincoli di stato irrigiditi.

E. Raffinamento della Politica

Una volta appresa una valida SACBF, il framework estende gli algoritmi di RL non vincolati (come il Fitted Q Iteration) al contesto vincolato. L'algoritmo (Constrained FQI) aggiorna iterativamente l'obiettivo di prestazione $Q_\theta$ imponendo al contempo il vincolo della SACBF appresa, garantendo che la politica risultante sia quasi-ottimale per il compito pur soddisfacendo la sicurezza.

3. Contributi Chiave

1. Framework di Controllo Sicuro Diretto Data-Driven: Il documento propone un framework che apprende controllori sicuri direttamente dai dati senza identificazione del sistema, colmando il divario tra l'apprendimento model-free e il controllo vincolato.
2. State-Action Control Barrier Functions (SACBF): Introduce e utilizza le SACBF, che valutano la sicurezza sulle coppie stato-azione, consentendo filtri di sicurezza che non richiedono espliciti modelli di dinamica.
3. Tre Schemi di Sintesi: Presenta tre metodi per apprendere le SACBF: tramite RL (generale ma con meno garanzie), tramite dimostrazioni di esperti (robusto) e tramite apprendimento supervisionato da CBF note (efficiente in termini di campionamento).
4. Analisi Error-to-State Safety (ESSf): Fornisce un nuovo framework di analisi della robustezza che quantifica come gli errori di apprendimento influenzino la sicurezza, offrendo garanzie formali attraverso l'irrigidimento dei vincoli di stato e il rilassamento del vincolo della SACBF.
5. Ottimizzazione Disaccoppiata: Il framework separa l'apprendimento delle prestazioni (ottimizzazione di $Q$) dall'enforcement della sicurezza (ottimizzazione di $Q_B$), permettendo l'integrazione di vari algoritmi di apprendimento mantenendo la sicurezza.

4. Risultati

Il framework è stato validato attraverso simulazioni su un veicolo autonomo che si muove in uno spazio 2D con ostacoli.

• Configurazione del Caso di Studio: È stato utilizzato un modello di veicolo cinematico con vincoli di stato e di input; la SACBF è stata appresa utilizzando sia l'approccio guidato dall'esperto (usando Artificial Potential Fields come esperto) sia l'approccio RL.
• Prestazioni di Sicurezza:
  • Il 3DSF proposto (Direct Data-Driven Safety Filter) ha raggiunto un tasso di sicurezza del 100% attraverso varie condizioni iniziali e politiche di riferimento (sia APF non sicure che DDPG non sicuri).
  • Al contrario, i Filtri di Sicurezza Data-Driven Indiretti (che si affidano a un modello appreso) hanno ottenuto tassi di sicurezza inferiori (ad esempio, ~79% per l'APF non sicuro), a causa del compounding degli errori di identificazione del modello e degli errori di apprendimento della CBF.
  • L'MPC (Model Predictive Control) ha raggiunto il 100% di sicurezza ma ha sofferto di scarse prestazioni del compito (solo il ~78% delle traiettorie ha raggiunto l'obiettivo) a causa di problemi di ottimizzazione non convessa e alti costi computazionali.
• Prestazioni del Compito:
  • L'algoritmo Constrained FQI (apprendimento di $Q$ con vincoli SACBF) ha ottenuto un costo totale di 173.85, superando sia le politiche DDPG sicure che quelle non sicure filtrate dal 3DSF. Ciò dimostra che l'integrazione dei vincoli di sicurezza direttamente nel processo di addestramento RL migliora le prestazioni del compito rispetto al filtraggio post-hoc o al reward shaping.
• Efficienza Computazionale: Il 3DSF ha dimostrato tempi di CPU online significativamente inferiori (circa 2.2 ms) rispetto all'MPC (circa 33 ms), rendendolo adatto ad applicazioni in tempo reale.

5. Significato e Rivendicazioni

Il documento rivendica di offrire un avanzamento modesto ma rigoroso nel controllo sicuro basato sull'apprendimento:

• Colmare la Lacuna: Ha colmato con successo il divario tra l'apprendimento model-free e il controllo vincolato eliminando la dipendenza da espliciti modelli di sistema per l'enforcement della sicurezza.
• Garanzie Formali senza Modelli: Fornisce garanzie formali di sicurezza (fattibilità ricorsiva e soddisfacimento dei vincoli) anche quando la dinamica del sistema è sconosciuta, a condizione che gli errori di apprendimento siano limitati.
• Superiorità rispetto ai Metodi Indiretti: I risultati suggeriscono che gli approoli data-driven diretti evitano il compounding degli errori inerente ai metodi indiretti (identificazione del modello + apprendimento del controllore), portando a migliori tassi di sicurezza.
• Flessibilità: Il framework è compatibile con una vasta gamma di algoritmi di apprendimento esistenti (RL, SL) e può essere aggiornato online.

Limitazioni Riconosciute:

• Il metodo richiede il campionamento nello spazio stato-azione, il che aumenta la complessità di campionamento rispetto ai metodi basati solo sullo stato.
• I vincoli di sicurezza potrebbero essere violati durante la fase di raccolta dati per l'addestramento, il che potrebbe non essere adatto per sistemi reali dove la sicurezza è fondamentale in ogni momento (sebbene i simulatori possano mitigare questo aspetto).
• La sintesi delle SACBF basata su RL manca di garanzie formali di convergenza per il certificato di sicurezza stesso a causa della natura del problema di raggiungibilità.
• L'attuale lavoro si concentra su sistemi a tempo discreto; l'estensione a sistemi a tempo continuo è un lavoro futuro.