A Review On Safe Reinforcement Learning Using Lyapunov and Barrier Functions

Enunciato del Problema

L'Apprendimento per Rinforzo (RL) ha dimostrato efficacia nella risoluzione di problemi complessi di decisione in ambiti quali robotica, gestione dell'energia e sistemi autonomi. Tuttavia, gli approcci RL standard mancano di garanzie teoriche rigorose riguardo alla stabilità in anello chiuso e alla soddisfazione dei vincoli. In applicazioni critiche per la sicurezza, le violazioni dei vincoli possono portare al fallimento del sistema o a danni fisici. Sebbene i metodi basati sulla teoria del controllo offrano certificati per la stabilità (tramite funzioni di Lyapunov) e la sicurezza (tramite funzioni barriera), integrare queste garanzie in framework RL basati sui dati rimane una sfida significativa. Il problema centrale affrontato è come garantire che una politica RL calcolata mantenga la stabilità del sistema e aderisca ai vincoli operativi sia durante l'addestramento che il dispiegamento, in particolare in assenza di modelli di sistema perfetti.

Metodologia e Ambito

Questo articolo fornisce una revisione completa delle tecniche di Apprendimento per Rinforzo Sicuro (Safe RL) che utilizzano esplicitamente le Funzioni di Lyapunov di Controllo (CLF) e le Funzioni Barriera di Controllo (CBF). Gli autori classificano la letteratura in base al ruolo che questi certificati svolgono all'interno del ciclo RL:

1. Approcci basati solo su Lyapunov: Utilizzo di CLF per garantire la stabilità asintotica.
2. Approcci basati solo su Barriera: Utilizzo di CBF per garantire l'invarianza in avanti degli insiemi sicuri.
3. Approcci combinati: Integrazione di entrambe le CLF e CBF per garantire simultaneamente stabilità e sicurezza.

La revisione distingue tra formulazioni basate su modello (che si affidano a dinamiche note o approssimate) e formulazioni senza modello (che si affidano puramente ai dati), notando un cambiamento decisivo nel campo verso approcci senza modello e combinati dopo il 2017, con un aumento delle metodologie combinate CLF–CBF dopo il 2022.

La revisione analizza come i certificati siano incorporati negli algoritmi RL, inclusi:

• Modellazione di Ricompense/Costi: Modifica della funzione obiettivo per penalizzare l'instabilità o le violazioni dei vincoli.
• Parametrizzazione della Funzione Critica/Valore: Trattamento della funzione valore stessa come candidata Lyapunov.
• Vincoli sulla Politica: Utilizzo di filtri di Programmazione Quadratica (QP) per proiettare le azioni RL nominali su insiemi sicuri.
• Regolarizzazione della Perdita: Aggiunta di termini di penalità alle perdite attore-critico per imporre le condizioni del certificato.
• Verifica Formale: Utilizzo della sintesi guidata da controesempi (CEGIS) o della programmazione Somma di Quadrati (SOS) per verificare certificati neurali.

Contributi Chiave

L'articolo apporta tre contributi principali alla letteratura esistente:

1. Tassonomia e Classificazione: Offre una classificazione strutturata dei metodi Safe RL, andando oltre le indagini generali per focalizzarsi specificamente sull'integrazione delle funzioni di Lyapunov e Barriera. Dettaglia come queste funzioni siano utilizzate come ricompense, critici, vincoli o filtri di sicurezza.
2. Identificazione di Problemi Aperti: Gli autori definiscono problemi aperti specifici per classe che ostacolano un dispiegamento più ampio:
   • Per i metodi Lyapunov: Validità del certificato sotto approssimazione di funzione e spostamento della distribuzione.
   • Per i metodi Barriera: Problemi di fattibilità e stallo sotto schermatura CBF–QP rigida, in particolare quando i vincoli sono in conflitto.
   • Per i metodi Combinati: Fattibilità congiunta CLF–CBF sotto incertezza del modello.
3. Analisi della Scalabilità: La revisione evidenzia che il dispiegamento in contesti ad alta dimensionalità e parzialmente osservabili rimane la barriera di scalabilità dominante per tutte e tre le classi. Contrasta la complessità computazionale dei diversi approcci, notando che, sebbene i filtri basati su QP offrano garanzie di sicurezza rigide, soffrono della "maledizione della dimensionalità" e di problemi di fattibilità negli spazi ad alta dimensionalità.

Risultati e Analisi Comparativa

La revisione sintetizza i risultati di numerosi studi (riassunti nelle Tabelle 3, 5 e 7) per trarre diverse conclusioni comparative:

• Forza dell'Applicazione della Sicurezza: I filtri combinati CLF–CBF–QP forniscono la sicurezza pratica più forte (invarianza rigida + stabilità asintotica) quando fattibili. I filtri puri CBF-QP offrono solo invarianza rigida. I metodi CMDP-Lagrangiani e la modellazione delle ricompense forniscono sicurezza "morbida" (a livello di aspettativa o basata su penalità), che è meno robusta ma più scalabile.
• Dipendenza dal Modello: I metodi CBF e combinati richiedono tipicamente strutture affini al controllo e calcoli delle derivate di Lie, spesso rendendo necessari apprenditori di modelli (ad es. Processi Gaussiani) o osservatori. I metodi Lyapunov-as-value possono essere più privi di modello ma dipendono fortemente dalla validità del critico appreso.
• Efficienza del Campionamento: I filtri rigidi di esecuzione (CBF-QP) richiedono generalmente meno campioni per raggiungere le soglie di sicurezza perché prevengono rollout non sicuri. La modellazione delle ricompense accelera la convergenza ma fornisce guadagni minori nell'efficienza del campionamento.
• Benchmarking: Gli autori identificano Safe-Control-Gym come il benchmark più adatto per questi metodi perché fornisce modelli simbolici per le derivate di Lie analitiche, API per i vincoli e iniezione di disturbi, elementi spesso assenti in ambienti standard come MuJoCo.

Significato e Affermazioni

L'articolo si posiziona come una sintesi centrata sul RL piuttosto che come un'indagine generale sull'apprendimento sicuro per il controllo. Il suo significato risiede in:

• Colmare il Divario tra Teoria e Pratica: Dimostra il promettente ambito per fornire garanzie di sicurezza per sistemi dinamici complessi utilizzando sia RL basato su modello che senza modello.
• Evidenziare i Cambiamenti Recenti: Documenta la transizione del campo dalle formulazioni basate su modello a quelle senza modello e l'emergere degli approcci combinati CLF–CBF come sottarea più attiva dopo il 2022.
• Definire le Direzioni Future: Gli autori sostengono che, sebbene esistano garanzie teoriche, il divario tra teoria e dispiegamento è incentrato sulla scoperta scalabile dei certificati, sulla generalizzazione robusta sotto spostamento della distribuzione e sulla gestione dell'osservabilità parziale.

La revisione conclude che, sebbene le funzioni di Lyapunov e barriera forniscano un percorso principiato per aggiungere struttura di stabilità e soddisfazione dei vincoli al controllo basato sull'apprendimento, le sfide rimanenti riguardano la risoluzione delle barriere di fattibilità nei filtri di ottimizzazione vincolata e l'istituzione di principi di apprendimento robusti per certificati basati sui dati in contesti reali ad alta dimensionalità.