Safe-Support Q-Learning: Learning without Unsafe Exploration

1. Enunciato del Problema

Gli agenti di Reinforcement Learning (RL) scoprono tipicamente politiche ottimali attraverso l'esplorazione, che comporta intrinsecamente la visita di coppie stato-azione che possono portare a esiti non sicuri o catastrofici. Sebbene i metodi esistenti di "Safe RL" tentino di mitigare il rischio tramite vincoli, penalità o obiettivi sensibili al rischio (ad esempio, Conditional Value-at-Risk), generalmente non eliminano la visita di stati non sicuri durante l'addestramento. Spesso si basano su limiti probabilistici o vincoli basati sull'aspettativa, il che significa che le violazioni della sicurezza possono ancora verificarsi.

Gli autori affrontano un requisito di sicurezza più rigoroso: il processo di apprendimento non deve mai produrre traiettorie che visitano stati non sicuri. La sfida principale è come abilitare un'adeguata esplorazione e miglioramento della politica all'interno di un "insieme sicuro" ($S_{safe}$) ristretto, senza fare affidamento su un comportamento quasi ottimale o rischiare transizioni non sicure.

2. Metodologia: Safe-Support Q-Learning

Il framework proposto è un approccio basato su Q-learning che vincola tutti i componenti di apprendimento al supporto di un insieme sicuro. Opera sotto l'ipotesi che esista una politica di comportamento ($\pi_b$) supportata interamente su $S_{safe}$ (cioè, non visita mai stati non sicuri). Questa politica non deve essere ottimale, ma deve essere stocastica per permettere l'esplorazione all'interno della regione sicura.

Il framework è composto da tre componenti principali:

A. Costruzione della Politica di Comportamento

Il metodo utilizza una politica di comportamento $\pi_b$ supportata su $S_{safe}$. Vengono proposte due strategie di istanziazione:

1. HC Safe (Hand-Crafted): Utilizza regole o controllori ad alte prestazioni (ad esempio, PID, MPC) convertiti in politiche stocastiche. Negli spazi continui, ciò è implementato tramite Mean-Noise (politica deterministica + rumore gaussiano) o parametrizzazioni Distributional (gaussiane dipendenti dallo stato).
2. DS Safe (Dataset-Based): Addestra una politica tramite massima verosimiglianza su un dataset pre-raccolto contenente solo transizioni sicure. Questo agisce come una configurazione di RL offline in cui la politica è vincolata al supporto del dataset.

B. Target di Bellman Regularizzato KL

Per impedire alla funzione Q di assegnare valori elevati ad azioni fuori distribuzione (OOD) o non sicure, gli autori modificano il target di Bellman standard. Invece di utilizzare una prior uniforme (come in Soft Q-Learning) o un operatore max, introducono un termine di regularizzazione della divergenza KL che allinea la funzione Q alla politica di comportamento $\pi_b$.

Il valore target sicuro $y_k^{safe}$ per azioni discrete è definito come:
$$y_k^{safe} = r_{k+1} + \mathbb{1}(s_{k+1})\gamma \lambda \ln \left( \sum_{a \in A} \tilde{\pi}_b(a|s_{k+1}) \exp\left(\frac{Q(s_{k+1}, a)}{\lambda}\right) \right)$$
Dove:

• $\tilde{\pi}_b$ è una versione smussata della politica di comportamento per garantire probabilità strettamente positive.
• $\lambda$ è un parametro di temperatura.
• Questa formulazione penalizza efficacemente le deviazioni dalla distribuzione del comportamento sicuro, assicurando che la funzione Q rimanga all'interno del supporto delle azioni sicure.

Garanzia Teorica: Gli autori dimostrano che l'operatore di Bellman risultante è una contrazione, garantendo un punto fisso unico ($Q^*_\lambda$). La politica ottimale indotta da questa funzione Q è un softmax regolarizzato KL sulla politica di comportamento:
$$\pi^*_\lambda(a|s) = \frac{\tilde{\pi}_b(a|s) \exp(Q^*_\lambda(s, a)/\lambda)}{\sum_{a'} \tilde{\pi}_b(a'|s) \exp(Q^*_\lambda(s, a')/\lambda)}$$

C. Estrazione della Politica

• Spazi di Azione Discreti: La politica ottimale è derivata direttamente utilizzando l'espressione softmax in forma chiusa sopra riportata.
• Spazi di Azione Continui: Poiché l'integrale nel denominatore è intrattabile, gli autori propongono una politica surrogata ($\pi_\phi$) parametrizzata come una Gaussiana. Questo surrogato viene addestrato minimizzando la divergenza KL tra se stesso e la politica ottimale teorica, utilizzando il campionamento Monte Carlo per approssimare l'aspettativa.

Il framework è unificato e adattabile sia a contesti online che offline, nonché a spazi di azione discreti e continui.

3. Contributi Chiave

1. Garanzia di Sicurezza Rigorosa: A differenza dei precedenti metodi Safe RL che vincolano il rischio, questo approccio impone la sicurezza a livello di supporto della traiettoria, assicurando che nessun stato non sicuro venga visitato durante l'addestramento.
2. Q-Learning Regularizzato KL: Introduzione di un nuovo target di Bellman che vincola la funzione Q al supporto di una politica di comportamento sicura tramite divergenza KL, sostituendo la regolarizzazione dell'entropia standard.
3. Framework a Due Stadi: Una separazione tra l'addestramento della funzione Q e l'estrazione della politica, che permette un apprendimento stabile anche quando la politica di comportamento è subottimale ma sicura.
4. Varianti Unificate: Il metodo fornisce un unico framework adattabile a vari scenari (azioni Discrete/Continue, politiche di comportamento Hand-Crafted/Basate su Dataset).

4. Risultati Sperimentali

Gli autori hanno valutato il metodo sugli ambienti FrozenLake e CartPole, confrontandolo con il Q-learning standard e con baseline all'avanguardia (CQL, BCQ, IQL, TD3+BC, BEAR).

• Stabilità e Convergenza: Il metodo proposto ha dimostrato una convergenza più rapida e una varianza inferiore rispetto alle baseline, in particolare in contesti discreti dove altri metodi spesso fallivano nell'apprendere politiche efficaci.
• Calibrazione del Valore: I valori Q appresi dal metodo proposto erano ben calibrati, corrispondendo strettamente ai ritorni Monte Carlo. Al contrario, le baseline presentavano problemi come il collasso del valore, sovrastima (divergenza sopra la diagonale) o eccessivo conservatorismo.
• Sicurezza vs Prestazioni:
  • Nell'ambiente CartPole, il metodo proposto ha raggiunto un comportamento più sicuro (angoli massimi del palo inferiori) attraverso livelli di ritorno comparabili rispetto alle baseline.
  • Sebbene alcune baseline abbiano ottenuto alti ritorni, spesso lo hanno fatto con varianza più elevata o traiettorie non sicure.
  • Il metodo ha mostrato un compromesso: quando la politica di comportamento era imperfetta (ad esempio, in contesti altamente ristretti), le prestazioni erano limitate, ma la sicurezza è stata mantenuta rigorosamente.

5. Significato

Questo lavoro rappresenta un cambiamento significativo nel Safe RL, passando dalla mitigazione del rischio (consentendo una certa esplorazione non sicura) all'eliminazione del rischio (vietando rigorosamente l'esplorazione non sicura). Sfruttando una politica di comportamento supportata su un insieme sicuro e regolarizzando l'obiettivo del Q-learning, il metodo fornisce un modo fondato per apprendere politiche ottimali in ambienti ad alto rischio (ad esempio, robotica, guida autonoma) dove anche una singola interazione non sicura è inaccettabile. La garanzia teorica di un punto fisso unico e il successo pratico nel mantenere stime di valore ben calibrate rendono questo un framework robusto per applicazioni critiche per la sicurezza.