Scenario Generation for Risk-Aware Reinforcement Learning with Probably Approximately Safe Guarantees

Sintesi Tecnica: Generazione di Scenari per l'Apprendimento per Rinforzo Consapevole del Rischio con Garanzie di Probabilmente Approssimativamente Sicuro

Definizione del Problema
L'implementazione di agenti di Deep Reinforcement Learning (RL) in scenari reali è ostacolata dalla difficoltà di garantire la sicurezza, in particolare quando le policy apprese tramite RL non riescono a generalizzare a nuovi scenari o mostrano suscettibilità alle perturbazioni delle transizioni. I metodi tradizionali di verifica della sicurezza spesso si affidano al model-checking, il quale richiede una conoscenza precisa della dinamica delle transizioni del sistema — un requisito che è spesso impraticabile in ambienti complessi e model-free. Sebbene approcci recenti utilizzino garanzie di Probabilmente Approssimativamente Corretto (PAC) per limitare la probabilità di violazione dei vincoli di sicurezza ($\epsilon$) con un livello di confidenza ($\delta$), tali limiti sono spesso ampi. Questa ampiezza deriva dalle discrepanze tra le distribuzioni degli stati incontrati durante l'addestramento e il deployment, nonché da un'esplorazione insufficiente dello spazio degli stati. Di conseguenza, il divario tra i limiti superiore e inferiore della probabilità di violazione ($|\epsilon_1 - \epsilon_2|$) rimane ampio, fornendo informazioni limitate sulla reale sicurezza di una policy.

Metodologia
Gli autori propongono un framework in due fasi per restringere questi limiti di sicurezza probabilistici, identificando e addestrando su stati "tentativamente non sicuri" — regioni che giacciono tra una regione sicura dal limite inferiore conservativo e una regione sicura dal limite superiore meno conservativo.

1. Ottimizzazione Duale dei Certificati di Barriera:
   Il nucleo del metodo consiste nel formulare la verifica della sicurezza come un Programma di Chance-Constraint (CCP) duale. Gli autori costruiscono due certificati di barriera:

• Limite Inferiore ($B_1$): Una stima conservativa della regione sicura in cui la probabilità di violazione è inferiore a $\epsilon_1$.
• Limite Superiore ($B_2$): Una stima meno conservativa dove la probabilità di violazione è inferiore a $\epsilon_2$ (con $\epsilon_1 \leq \epsilon_2$).
  Questi certificati sono ottimizzati utilizzando traiettorie campionate per massimizzare il punteggio minimo della barriera per gli stati successivi, garantendo che se uno stato si trova all'interno della regione della barriera, le sue transizioni siano anche probabilmente sicure.

2. Rappresentazione Generativa dello Stato (VAE):
   Per gestire lo spazio degli stati ad alta dimensionalità e generare scenari rilevanti, gli autori addestrano un Autoencoder Variazionale (VAE) sullo spazio degli stati incontrati. I certificati di barriera sono mappati nello spazio latente del VAE. Ciò consente al sistema di identificare l'insieme differenza tra le regioni dei limiti superiore e inferiore ($Z_{B2} \setminus Z_{B1}$), che rappresenta stati che sono tentativamente non sicuri ma che condividono somiglianze osservabili con stati noti come sicuri o non sicuri.

3. Apprendimento della Fase 2 (Generazione di Scenari):
   Il framework impiega una seconda fase di apprendimento per migliorare la robustezza della policy. Invece di fare affidamento sull'esplorazione casuale o su strategie epsilon-greedy, il metodo genera nuovi scenari di addestramento campionando stati dallo spazio latente che giacciono all'interno del divario tra i due certificati di barriera. Questi stati vengono decodificati nuovamente nello spazio degli stati e utilizzati per inizializzare nuove traiettorie di addestramento. Questo processo mira specificamente alla "regione non robusta" per restringere i limiti sulla probabilità di violazione.

Contributi Chiave

• Formulazione Duale CCP: Il documento introduce un approccio di ottimizzazione duale per generare sia certificati di barriera a limite superiore che a limite inferiore, fornendo una visione più granulare della sicurezza della policy rispetto ai metodi a singolo limite.
• Mappatura della Barriera nello Spazio Latente: Codificando i certificati di barriera all'interno dello spazio latente di un VAE, gli autori consentono l'identificazione e la generazione di stati che sono adiacenti alla regione sicura ma non ancora completamente verificati, facilitando un'esplorazione mirata.
• Robustezza Model-Agnostic: Il metodo di apprendimento della Fase 2 proposto consente di migliorare la robustezza della policy senza richiedere la conoscenza esplicita delle dinamiche di transizione (model-free) o la guida di un esperto, affidandosi invece alle proprietà generative del VAE per colmare il divario tra regioni note come sicure o non sicure.
• Validazione Empirica: Lo studio dimostra che la generazione di stati all'interno delle regioni di sicurezza dei limiti superiore e inferiore è significativamente più efficace nel restringere le garanzie di sicurezza rispetto alle strategie di esplorazione standard come l'epsilon-greedy o le transizioni perturbate.

Risultati Sperimentali
Gli autori hanno valutato il loro metodo su ambienti OpenAI Gym, specificamente Ant (complesso, alta dimensionalità) e CartPole (controllo classico).

• Strettezza dei Limiti: Nella Fase 2, il metodo proposto ha ridotto significamente il divario tra $\epsilon_1$ e $\epsilon_2$. Ad esempio, nell'ambiente Ant, i limiti si sono ristretti da $(0.11, 0.41)$ a $(0.09, 0.18)$, rispetto ad altri metodi come Vanilla PPO o Epsilon Greedy che hanno prodotto limiti più ampi (ad esempio, $0.20, 0.45$).
• Performance: La ricompensa media della policy addestrata con il metodo proposto è rimasta comparabile o migliore rispetto ai metodi di base (ad esempio, PPO, Curriculum Adversarial Training), indicando che il miglioramento delle garanzie di sicurezza non è avvenuto a scapito dell'efficienza dell'apprendimento.
• Confronto: Il metodo ha superato vari approcci basati su curriculum e sull'addestramento avversariale in termini di stretezza dei limiti di sicurezza, particolarmente nel più complesso ambiente Ant.

Significato e Rivendicazioni
Il documento afferma che la sua importanza primaria risiede nello spostare l'attenzione dalle euristiche di esplorazione generale al targeting diretto dell'incertezza epistemica delle policy di RL. Generando nuovi scenari che si trovano specificamente nella regione di "incertezza" tra i limiti di sicurezza e di non sicurezza, il metodo fornisce garanzie di sicurezza più nitide e quantificabili prima del deployment. Gli autori sostengono che questo approccio segni un passo verso sistemi di RL spiegabili capaci di fornire garanzie di sicurezza probabilistiche in contesti model-free. Essi dichiarano esplicitamente che il loro metodo raggiunge un apprendimento robusto senza significativi compromessi in termini di efficienza e suggeriscono che il lavoro futuro potrebbe coinvolgere il contrasto tra diverse funzioni di embedding e l'estensione dell'approccio alla generazione di scenari specifici per sottotask per design di RL gerarchico.