Solving Parameter-Robust Avoid Problems with Unknown Feasibility using Reinforcement Learning

1. Il Problema: Disallineamento tra RL e Sintesi di Controller Sicuri

Il lavoro affronta una discrepanza fondamentale nell'applicazione del Reinforcement Learning (RL) profondo alla sintesi di controller sicuri ottimali basati sull'analisi di Hamilton-Jacobi (HJ).

• Obiettivo della Sintesi Sicura: Massimizzare l'insieme degli stati iniziali (e dei parametri) da cui un sistema dinamico può rimanere sicuro indefinitamente (insieme di raggiungibilità sicuro).
• Obiettivo del RL Standard: Ottimizzare il ritorno atteso su una distribuzione specifica di stati iniziali definita dall'utente.
• Il Conflitto: Il RL tende a ottimizzare per gli stati più frequenti nella distribuzione di campionamento, trascurando stati a bassa probabilità che sono comunque all'interno dell'insieme sicuro. Di conseguenza, le politiche apprese possono fallire catastroficamente in regioni "difficili" ma fattibili dello spazio degli stati.
• La Sfida della Fattibilità: Un approccio naturale è formulare il problema come un'ottimizzazione robusta (min-max) su un insieme di condizioni iniziali. Tuttavia, non è noto a priori se tale insieme sia fattibile (cioè se esista una politica che garantisca la sicurezza per tutti i parametri). Se l'insieme contiene parametri non fattibili, il problema robusto diventa irrisolvibile (tutte le politiche hanno lo stesso costo worst-case), rendendo l'approccio inutile.

Il paper definisce formalmente il Problema di Evitamento Robusto ai Parametri con Fattibilità Sconosciuta: trovare simultaneamente il più grande sottoinsieme di parametri fattibili e una politica sicura per quel sottoinsieme.

2. Metodologia: Feasibility-Guided Exploration (FGE)

Gli autori propongono FGE, un framework che risolve il problema attraverso tre componenti chiave interconnesse:

A. Stima dell'Insieme dei Parametri Fattibili ($\Theta^*$)

Poiché le etichette di fattibilità sono asimmetriche (un parametro osservato come sicuro è sicuramente fattibile, ma un parametro osservato come insicuro potrebbe esserlo a causa di una politica subottimale), l'apprendimento supervisionato standard non è applicabile.

• Classificatore Conservativo: FGE addestra un classificatore $q_\psi$ che stima la probabilità di fattibilità.
• Distribuzione Mista: Per addestrare il classificatore, si utilizza una distribuzione mista $p_{mix}$ che combina:
  1. Campioni positivi affidabili da un buffer di parametri già osservati come sicuri ($D_f$).
  2. Campioni "rumorosi" (potenzialmente falsi negativi) da roll-out on-policy.
• Garanzia: Questo approccio garantisce zero falsi positivi (nessun parametro non fattibile viene etichettato come fattibile) e un tasso di falsi negativi controllabile, permettendo al classificatore di espandere in sicurezza la conoscenza dell'insieme fattibile.

B. Ottimizzazione Robusta con Ricerca di Punti di Sella

Una volta stimato un insieme fattibile approssimato, il problema diventa un gioco minimax (trovare la politica migliore contro il parametro peggiore).

• Approccio: Invece di usare un avversario gaussiano (come in RARL) che può essere instabile, FGE utilizza metodi di apprendimento online basati sulla ricerca di punti di sella.
• Algoritmo: Si alterna tra:
  1. Aggiornamento della Politica: Utilizzando un algoritmo RL on-policy (es. PPO) per massimizzare la sicurezza sull'insieme corrente.
  2. Aggiornamento dell'Avversario (Parametri): Utilizzando una strategia Follow-the-Regularized-Leader (FTRL) per selezionare il parametro peggiore all'interno dell'insieme fattibile stimato. Questo fornisce garanzie teoriche di convergenza (regret sublineare) e stabilità, evitando le oscillazioni tipiche dei metodi Gradient Descent Ascent (GDA).

C. Espansione Guidata della Fattibilità

Per evitare che la politica rimanga intrappolata in regioni facili, FGE introduce un meccanismo di esplorazione attiva:

• Campionamento per Rifiuto (Rejection Sampling): Il classificatore di fattibilità viene utilizzato per identificare parametri che sono attualmente stimati come non fattibili.
• Distribuzione di Esplorazione: Si campiona attivamente da queste regioni incerte per forzare la politica a imparare a gestire scenari difficili. Se la politica riesce a risolvere un nuovo parametro, questo viene aggiunto al buffer di parametri fattibili ($D_f$), espandendo così l'insieme di addestramento.
• Buffer di Rehearsal: Viene mantenuto un buffer di parametri difficili ma fattibili su cui la politica attuale performa male, per garantire che non vengano dimenticati durante l'addestramento.

3. Contributi Chiave

1. Formalizzazione: Definizione rigorosa del problema di controllo ottimo sicuro robusto con fattibilità sconosciuta, che richiede la selezione simultanea di una regione parametrica massimale e di una politica sicura.
2. Framework Pratico (FGE): Un algoritmo che interseca l'espansione guidata dalla fattibilità (tramite esplorazione e classificatori) e l'ottimizzazione robusta (tramite tecniche di punti di sella e apprendimento online).
3. Classificatore Conservativo: Un metodo teorico per apprendere un classificatore di fattibilità con zero falsi positivi, fondamentale per evitare che il problema robusto diventi irrisolvibile.
4. Risultati Empirici: Dimostrazione che FGE supera significativamente gli stati dell'arte in termini di copertura dello spazio dei parametri sicuri.

4. Risultati Sperimentali

Il metodo è stato valutato su una suite di ambienti ad alta dimensionalità in MuJoCo e simulatori di volo (es. Hopper, HalfCheetah, FixedWing, scenari di guida autonoma e atterraggio su Luna).

• Performance: FGE ha dimostrato di apprendere politiche con oltre il 50% in più di copertura (safe set size) rispetto ai metodi esistenti (inclusi Domain Randomization, RARL, e metodi di Curriculum Learning come VDS e PLR).
• Gestione delle Condizioni Difficili: FGE riesce a risolvere condizioni iniziali rare e critiche (es. sorpassi stretti in scenari di guida, salti su piattaforme strette per Hopper) che altri metodi falliscono, grazie alla sua capacità di concentrare i campioni sulle regioni "difficili" ma fattibili.
• Scalabilità: Il metodo scala efficacemente a osservazioni ad alta dimensionalità (immagini RGB) e spazi parametrici complessi (fino a 9 dimensioni).
• Stabilità: L'uso di FTRL e del buffer di rehearsal garantisce una stabilità di addestramento superiore rispetto a metodi basati su gradienti diretti (GDA).

5. Significato e Impatto

Questo lavoro colma un divario critico tra la teoria del controllo sicuro (HJ reachability) e le pratiche di Reinforcement Learning.

• Superamento dei Limiti del RL Standard: Dimostra che il RL può essere utilizzato non solo per massimizzare la ricompensa media, ma per garantire la sicurezza in un insieme massimale di condizioni operative, anche quando non si sa a priori quali siano fattibili.
• Nuovo Paradigma per la Robustezza: Sposta l'attenzione dalla semplice "randomizzazione del dominio" (che può essere inefficiente) a una strategia di esplorazione guidata dalla fattibilità, che apprende attivamente i limiti del sistema.
• Applicabilità: Offre un approccio pratico per la sintesi di controller sicuri in scenari reali complessi (veicoli autonomi, robotica, aviazione) dove la definizione a priori di un insieme di parametri sicuri è impossibile.

In sintesi, FGE rappresenta un avanzamento significativo verso l'uso del RL per la sintesi di controller sicuri garantiti, risolvendo il problema di come esplorare e ottimizzare simultaneamente in spazi di parametri dove la fattibilità è incerta.