Sintesi Tecnica: Schermatura Robusta per il Reinforcement Learning Sicuro

Definizione del Problema

Gli agenti di Reinforcement Learning (RL) che operano in ambienti sconosciuti, modellati come Processi Decisionali di Markov (MDP), affrontano una sfida critica di sicurezza: gli algoritmi standard esplorano le azioni senza restrizioni, selezionando inevitabilmente azioni potenzialmente dannose. Sebbene esistano meccanismi di "schermatura" (shielding) per garantire formalmente la sicurezza limitando le azioni dell'agente, le tecniche esistenti richiedono tipicamente la conoscenza esatta delle dinamiche di transizione rilevanti per la sicurezza. In scenari pratici di RL, tali dinamiche sono sconosciute.

Gli approoli attuali per gestire dinamiche sconosciute si affidano spesso all'apprendimento di stime puntuali (ad esempio, stime di massima verosimiglianza o Maximum Likelihood Estimates) delle probabilità di transizione. Tuttavia, ciò introduce errori statistici che compromettono le garanzie formali di sicurezza. In alternativa, l'apprendimento di insiemi di incertezza attorno alle probabilità di transizione (ad esempio, utilizzando i limiti Probably Approximately Correct - PAC) è una strategia valida, ma gli attuali framework di schermatura sono incompatibili con tali insiemi, poiché progettati per modelli con probabilità esatte. Questo articolo affronta il divario nel fornire un framework di schermatura che garantisca la sicurezza per agenti RL operanti in MDP sconosciuti, sfruttando i Robust MDP (RMDP).

Metodologia

Gli autori propongono un nuovo framework di schermatura per gli RMDP, dove le probabilità di transizione sono rappresentate come insiemi (insiemi di incertezza) anziché come valori singoli. La metodologia procede in due fasi principali:

1. Framework Formale per gli RMDP

Il documento definisce un RMDP come un gioco tra un agente (che sceglie le azioni) e un avversario (che sceglie le probabilità di transizione dagli insiemi di incertezza). La sicurezza è definita tramite formule di Logica Temporale Lineare (LTL), concentrandosi specificamente su frammenti di sicurezza in cui un "prefisso errato" (bad prefix) porta a una violazione.

• Definizione dello Scudo (Shield): Uno scudo è definito come una coppia $(D, \Gamma)$, dove $D$ è un monitor controllabile (che estende i monitor standard con azioni ausiliarie) e $\Gamma$ mappa gli stati di osservazione e gli stati del monitor a un insieme di distribuzioni di probabilità ammesse sulle azioni.
• Costruzione: Lo scudo è costruito su un'astrazione di sicurezza finita dell'RMDP. Utilizza una funzione di valore induttiva $\beta$ che funge da limite superiore robusto sulla probabilità di raggiungere uno stato "cattivo" (violazione della formula LTL). Lo scudo restringe l'agente alle azioni in cui il peggior caso del valore atteso del prossimo "budget di violazione" rimane entro il budget corrente.
• Garanzie Teoriche: Gli autori dimostrano che, per un dato RMDP, lo scudo costruito è:
  • Sound (Corretto): Ogni politica ammissibile dallo scudo soddisfa la specifica di sicurezza sotto il caso peggiore dell'avversario.
  • Ottimale (Approssimato): Ogni politica sicura dell'RMDP è ammissibile dallo scudo (fino a un errore $\epsilon$ dipendente dall'approssimazione della funzione di valore). Se la funzione di valore è esatta, lo scudo è esattamente ottimale.

2. Schermatura di MDP Sconosciuti tramite Apprendimento

Il framework viene istanziato per MDP sconosciuti attraverso una pipeline di apprendimento:

1. Apprendimento degli RMDP: Le probabilità di transizione vengono apprese da transizioni campionate utilizzando gli intervalli di confidenza di Clopper-Pearson per costruire insiemi di incertezza PAC. Ciò produce un RMDP appreso $\hat{M}$ che "contiene" l'MDP reale $M$ con alta confidenza ($1 - \delta$).
2. Sintesi dello Scudo: Uno scudo è calcolato sull'RMDP appreso $\hat{M}$ utilizzando il metodo di iterazione del valore robusto descritto in precedenza.
3. Distribuzione (Deployment): Lo scudo viene distribuito sull'MDP reale (sconosciuto). L'agente interagisce con l'ambiente, ma le sue scelte di azione sono vincolate dallo scudo derivato da $\hat{M}$.

Il documento stabilisce che se l'RMDP appreso contiene l'MDP reale con alta confidenza, lo scudo costruito sull'RMDP garantisce la sicurezza per l'MDP reale con la stessa confidenza. Inoltre, all'aumentare del numero di campioni, gli insiemi di incertezza si restringono e la conservatività dello scudo diminuisce, permettendo all'agente di avvicinarsi alla ricompensa ottimale del vero MDP.

Contributi Chiave

1. Nuovo Framework di Schermatura per gli RMDP: Il documento introduce il primo framework di schermatura progettato specificamente per gli RMDP (MDP con insiemi di probabilità di transizione), affrontando il limite dei metodi esistenti che richiedono dinamiche esatte.
2. Dimostrazioni di Soundness e Ottimalità: Gli autori forniscono prove rigorose che dimostrano come il loro scudo sia corretto (garantisce la sicurezza sotto dinamiche peggiori) e approssimativamente ottimale (permette ricompense quasi ottimali) per gli RMDP.
3. Integrazione con l'Apprendimento PAC: Il lavoro combina la schermatura robusta con i metodi di campionamento esistenti per apprendere le probabilità di transizione con garanzie PAC. Ciò consente la costruzione di scudi per MDP sconosciuti che forniscono garanzie di sicurezza ad alta confidenza.
4. Validazione Empirica: L'approccio è valutato su molteplici ambienti (Media Streaming, Color Bomb Gridworld, Pacman) confrontando il metodo proposto con i baseline basati su MDP esatti e sulla stima di massima verosimiglianza (MLE).

Risultati

I risultati sperimentali dimostrano il compromesso tra disponibilità di dati e conservatività dello scudo:

• Garanzie di Sicurezza: Gli scudi robusti proposti (impostazioni Kno e Unk) soddisfano costantemente la probabilità richiesta della specifica di sicurezza ($1-p$) attraverso varie dimensioni di campione, mentre lo scudo basato su MLE viola frequentemente le soglie di sicurezza, particolarmente con dimensioni di campione piccole o moderate.
• Recupero delle Prestazioni: All'aumentare del numero di campioni, gli insiemi di incertezza nell'RMDP appreso diventano più stretti. Di conseguenza, gli scudi robusti diventano meno restrittivi e il ritorno atteso dell'agente protetto converge verso la performance di un agente che opera con piena conoscenza dell'MDP (il baseline dell'MDP).
• Gestione di Grafi Sconosciuti: Il framework gestisce con successo i casi in cui la struttura del grafo dell'MDP è sconosciuta (impostazione Unk), a patto che venga assunta una probabilità di transizione minima, sebbene ciò richieda un numero di campioni minimo più elevato per apprendere in modo affidabile la struttura del grafo.

Significato e Rivendicazioni

Il documento sostiene di fornire una soluzione formale al problema dell'esplorazione sicura nel RL quando le dinamiche di transizione sono sconosciute. Passando dalle stime puntuali agli insiemi di incertezza (RMDP), gli autori sostengono che è possibile costruire scudi che offrono garanzie di sicurezza formali e ad alta confidenza senza richiedere la conoscenza perfetta dell'ambiente.

La significatività risiede nel colmare il divario tra i metodi formali (che tipicamente assumono modelli noti) e l'RL basato sui dati (che opera su modelli sconosciuti). Gli autori sottolineano che, sebbene i metodi robusti possano essere conservativi con dati limitati, questa conservatività è un compromesso necessario per garantire la sicurezza. Man mano che i dati si accumulano, il metodo si rilassa naturalmente, consentendo all'agente di raggiungere rendimenti attesi elevati pur mantenendo la sicurezza. Ciò contrasta con gli approcci allo stato dell'arte che utilizzano stime puntuali, i quali, come dimostrato dal paper, possono portare a comportamenti non sicuri a causa dell'incertezza statistica non modellata.

Il lavoro si posiziona come un passo verso l'autonomia sicura in scenari critici per la sicurezza dove l'incertezza del modello è intrinseca, offrendo un'alternativa teoricamente fondata ai vincoli di sicurezza euristici o ai metodi privi di garanzie a campioni finiti.