Riepilogo Tecnico: Apprendimento per Rinforzo Trasferibile tramite Embedding Latenti Probabilistici e Adattamento Dinamico della Politica per il Deployment Sim-to-Real

1. Enunciato del Problema

Gli agenti di apprendimento per rinforzo (RL) profondo per sistemi cyber-fisici (ad esempio, veicoli autonomi, robotica) sono tipicamente addestrati in simulatori a causa dell'alto costo e dei rischi per la sicurezza dell'esplorazione nel mondo reale. Tuttavia, il deployment di questi agenti in ambienti reali porta spesso a un degrado delle prestazioni e a violazioni della sicurezza causate dal divario Sim-to-Real (Sim2Real)—la discrepanza inevitabile tra le dinamiche simulate e quelle del mondo reale.

Gli approcci esistenti presentano compromessi significativi:

• Randomizzazione del Dominio: Migliora la robustezza ma manca di garanzie di sicurezza esplicite e può portare a un addestramento instabile.
• RL Robusto alla Distribuzione/Rischio-Sensibile: Formula il trasferimento come un'ottimizzazione nel caso peggiore, migliorando l'affidabilità sotto forti spostamenti distributivi, ma spesso risultando in politiche eccessivamente conservative e in un degrado delle prestazioni del compito.
• Meta-RL/Adattamento del Dominio: Cerca di inferire contesti latenti ma spesso assume preferenze di rischio fisse, mancando di meccanismi per regolare dinamicamente il compromesso sicurezza-prestazioni durante il deployment.

La sfida centrale affrontata è lo sviluppo di un agente RL trasferibile che sia addestrato interamente in simulazione, ma rimanga adattivo e sicuro durante il deployment nel mondo reale, gestendo specificamente le dinamiche di sistema non modellate senza sacrificare l'efficienza.

2. Metodologia

Gli autori propongono un framework unificato che integra Embedding di Contesto Latente Probabilistici con Apprendimento per Rinforzo Distributivo (Distributional RL) all'interno di una formulazione di Processo Decisionale di Markov Vincolato (CMDP).

2.1. Adattamento della Variabile di Contesto Latente

Il framework modella l'ambiente come una famiglia di CMDP indicizzati da un parametro ambientale $\xi$. Per colmare il divario, viene introdotta una variabile di contesto latente $z$ per codificare informazioni salienti specifiche dell'ambiente.

• Encoder: Una rete di inferenza $q_\phi(z|D_\xi)$ è addestrata per stimare $z$ da un insieme di contesto $D_\xi$ (campioni di transizione). L'encoder è ottimizzato utilizzando un limite inferiore variazionale che include critici di ricompensa e costo, insieme a un collo di bottiglia informativo (divergenza KL) per prevenire l'overfitting.
• Inferenza: Al momento del deployment, l'agente raccoglie un numero limitato di interazioni nel mondo reale ($N_{real}$) per rifinare la stima del contesto latente $\hat{z}_{\xi^*}$, permettendo alla politica di condizionare le sue azioni sullo stato ambientale inferito.

2.2. Formulazione Distributional RL

Il framework impiega Implicit Quantile Networks (IQN) per modellare l'intera distribuzione dei ritorni (ricompense e costi) piuttosto che solo le loro aspettative.

• Critic: Il critic impara funzioni quantiliche $Z(s, a, z; \tau)$ per la ricompensa e il costo.
• Actor: Un attore deterministico $\pi_\phi(s, z)$ è addestrato con un obiettivo neutrale al rischio basato sull'aspettativa dei critici IQN.

2.3. Adattamento Dinamico della Politica Sensibile al Rischio

Una innovazione chiave è la capacità di regolare dinamicamente il livello di rischio della politica deployata in base all'accuratezza della stima del contesto latente.

• Neutrale al Rischio vs. Sensibile al Rischio: Mentre la politica di addestramento è neutrale al rischio, la politica di deployment può essere regolata per essere sensibile al rischio valutando il critico del costo utilizzando quantili della coda superiore $U([\eta, 1])$ invece dell'intervallo completo $U([0, 1])$.
• $\eta$ Dinamico: Il parametro quantilico $\eta$ viene regolato dinamicamente durante il deployment.
  • Fase Iniziale: Quando $N_{real}$ è piccolo e l'errore di stima $\epsilon(N_{real})$ è elevato, viene utilizzato un $\eta$ più alto (più conservativo) per garantire margini di sicurezza.
  • Fase Successiva: Man mano che vengono raccolti più contesti e $\hat{z}$ diventa accurato, $\eta$ viene gradualmente diminuito, permettendo alla politica di diventare meno conservativa e più efficiente, avvicinandosi infine alla politica neutrale al rischio.
• Raffinamento dell'Azione: Un raffinamento del gradiente proiettato online e leggero viene applicato all'azione nominale per soddisfare il vincolo di costo consapevole del rischio senza aggiornare i parametri della rete.

2.4. Garanzie Teoriche

Il paper fornisce dimostrazioni teoriche per:

• Convergenza: Gli operatori di Bellman distributivi condizionati al latente preservano la proprietà di contrazione, garantendo la stabilità dell'addestramento.
• Limite Superiore di Sicurezza: Un teorema stabilisce che il costo della politica deployata è limitato da $d + L_c \epsilon(N_{real})$, dove $d$ è la soglia di sicurezza e $\epsilon$ è l'errore di stima.
• Sicurezza Condizionata: È dimostrato che se la riduzione del costo ottenuta dalla politica sensibile al rischio ($\Delta c$) supera l'aumento del costo indotto dall'errore ($L_c \epsilon$), il vincolo di sicurezza è soddisfatto.
• Esistenza di un Quantile Sicuro: Gli autori dimostrano che esiste un quantile fattibile $\eta$ che garantisce la sicurezza una volta raccolti un numero sufficiente di campioni di contesto ($N_{real} > N_{min}$).

3. Contributi Chiave

1. Framework Unificato Sicuro e Adattivo: Un framework basato su CMDP che integra l'adattamento del contesto latente probabilistico con il Distributional RL, abilitando un trasferimento di politica sicuro e adattivo sotto il mismatch Sim2Real.
2. Regolazione del Rischio al Momento dell'Inferenza: Un meccanismo per regolare dinamicamente il livello di rischio della politica deployata al momento dell'inferenza in base all'accuratezza della stima del contesto latente, bilanciando sicurezza e prestazioni.
3. Garanzie Teoriche di Sicurezza: Dimostrazioni riguardanti la convergenza dell'addestramento, i benefici dell'adattamento del contesto latente e la sicurezza assicurata sotto il divario Sim2Real tramite un limite superiore di sicurezza derivato.

4. Risultati Sperimentali

Il metodo è stato valutato su due compiti: POINTGOAL2 (OpenAI Safety Gym) e un compito di Guida Autonoma (riduzione delle oscillazioni del convoglio di veicoli).

• Confronto delle Prestazioni:
  • Baseline: Confrontato contro Nominal (nessuna randomizzazione), Randomizzazione del Dominio (D.R.), SPiDR (sicurezza pessimistica provabile) e Robust RL.
  • Risultati: Nel deployment, Nominal, D.R. e Robust RL hanno ottenuto alte ricompense ma hanno subito gravi violazioni dei costi (violazioni della sicurezza). SPiDR e il metodo proposto hanno mantenuto la sicurezza, ma SPiDR era eccessivamente conservativo, portando a ricompense inferiori.
  • Metodo Proposto: Ha raggiunto un compromesso ricompensa-costo superiore, mantenendo i costi al di sotto della soglia di sicurezza mentre otteneva ricompense più elevate rispetto a SPiDR. Nel compito di guida autonoma, ha anche ridotto significativamente le oscillazioni del traffico (O.R.), la scossa (jerk) e il consumo di carburante rispetto ai controller baseline.
• Adattamento Dinamico: Gli esperimenti hanno mostrato che il modulo di adattamento sensibile al rischio ha mantenuto con successo i costi al di sotto della soglia durante tutto il deployment. Il parametro di rischio $\eta$ è transitato da conservativo a meno conservativo man mano che veniva raccolto più contesto reale.
• Sensibilità OOD: Il metodo ha mantenuto costantemente la sicurezza attraverso livelli di Fuori Distribuzione (OOD) Lieve, Medio e Alto, mentre altri metodi hanno fallito sotto spostamenti OOD più elevati.
• Studio di Ablazione: La rimozione del modulo di adattamento del rischio ha portato a violazioni dei costi, confermando la necessità della regolazione dinamica del rischio. L'encoder latente da solo ha migliorato le prestazioni rispetto alla baseline nominale ma non ha garantito la sicurezza senza l'adattamento del rischio.

5. Significato e Affermazioni

Il paper afferma che questo framework affronta il limite critico dei metodi Sim2Real esistenti che o sacrificano l'efficienza per la robustezza o non garantiscono la sicurezza quando si incontrano dinamiche non modellate. Modellando esplicitamente l'incertezza del contesto ambientale e regolando dinamicamente il rischio, l'approccio abilita un avvio sicuro nella fase iniziale del deployment (quando il contesto è scarso) e un funzionamento efficiente una volta che l'agente si è adattato.

Gli autori posizionano questo lavoro come un passo verso il deployment di RL in sistemi cyber-fisici critici per la sicurezza dove l'addestramento diretto è non fattibile. Notano che, mentre il lavoro attuale si concentra su ambienti fissi ma sconosciuti, le direzioni future potrebbero includere la gestione di ambienti in continua evoluzione (ad esempio, cambiamenti improvvisi del meteo) tramite meccanismi di rilevamento dei cambiamenti. Il framework è inoltre notato come potenzialmente adattabile a contesti di RL offline, sebbene le limitazioni dei dati negli ambienti offline reali pongano sfide per la stima accurata del contesto e della distribuzione.