Riepilogo Tecnico: Apprendimento per Rinforzo Vincolato Offline con Copertura Parziale dei Dati

Enunciato del Problema

Il lavoro affronta l'Apprendimento per Rinforzo Vincolato Offline (Offline Constrained RL) nell'ambito dei Processi Decisionali di Markov Vincolati (CMDP) scontati. L'obiettivo è apprendere una politica da un dataset offline fisso che massimizzi un segnale di ricompensa primario, soddisfacendo al contempo molteplici vincoli ausiliari di sicurezza o risorse.

Una sfida centrale in questo contesto è la copertura parziale dei dati. L'ottimizzazione affidabile richiede tipicamente che il dataset copra l'occupazione stato-azione delle politiche in valutazione. Nell'RL offline non vincolato, i metodi attore-critico pessimistici hanno dimostrato successo in presenza di copertura insufficiente. Tuttavia, nel contesto vincolato, i metodi primali-duali affrontano un ostacolo specifico: l'aggiornamento dei moltiplicatori duali richiede la stima delle violazioni dei vincoli per le politiche intermedie. Sotto copertura parziale, queste politiche intermedie potrebbero non essere supportate dal dataset, rendendo gli aggiornamenti duali inaffidabili e reintroducendo di fatto requisiti di copertura elevati.

Inoltre, i metodi esistenti spesso fanno affidamento su passaggi di estrazione della politica che richiedono la conoscenza della distribuzione sconosciuta di generazione dei dati ($\mu_D$) o di una politica di riferimento, il che è poco pratico in scenari reali.

Metodologia: PDOCRL

Gli autori propongono PDOCRL (Primal-Dual Oracle-Efficient Constrained Reinforcement Learning), un algoritmo progettato per essere efficiente in termini di oracolo, efficiente in termini di campioni sotto copertura parziale e indipendente dalla distribuzione di generazione dei dati.

1. Formulazione di Programmazione Lineare Decomposta

Le formulazioni LP standard per i CMDP ottimizzano sulle misure di occupazione ($\mu$). Il recupero di una politica da $\mu$ richiede tipicamente la normalizzazione rispetto alla distribuzione dei dati $\mu_D$, che è sconosciuta. Per aggirare questo problema, gli autori impiegano una decomposizione Lagrangiana:

• Introducono una variabile copia $\nu$ per la misura di occupazione $\mu$.
• Separano i ruoli: $\mu$ è utilizzata per la stima Lagrangiana (tramite cambio di misura rispetto alla distribuzione dei dati), mentre $\nu$ è utilizzata per l'estrazione della politica.
• Crucialmente, riparametrizzano $\nu$ in termini della misura di occupazione $\mu$ e della politica $\pi$ direttamente: $\nu_{\mu, \pi}(s, a) = \pi(a|s)((1-\gamma)d_0(s) + \gamma[P^\top \mu](s))$.
• Ciò rende la politica $\pi$ una variabile di ottimizzazione esplicita, eliminando la necessità di un passo separato di estrazione della politica che dipenda da $\mu_D$.

2. Gestione dei Punti di Sella Spuri

Gli autori identificano che le formulazioni di punti di sella ristrette che utilizzano approssimazione funzionale generale possono ammettere punti di sella spuri. Anche se le classi di funzioni contengono la politica ottimale, la sua misura di occupazione e le funzioni valore azione ottimali, un punto di sella del Lagrangiano ristretto potrebbe non corrispondere a una politica ottimale.

Per risolvere ciò, impongono due condizioni chiave:

• Condizione di Slater (Assunzione B): Garantisce l'esistenza di una politica ammissibile che soddisfa i vincoli con un margine positivo $\phi$. Ciò limita i variabili duali ottimali.
• Realizzabilità della Funzione Valore per Tutte le Politiche (Assunzione C): Una forte condizione di realizzabilità che richiede che per ogni politica $\pi$ nella classe, le funzioni valore $Q^\pi_0$ e $Q^\pi_0 + (1 + 1/\phi)Q^\pi_i$ siano contenute nella classe di funzioni $\mathcal{Q}$. Questo è più forte della realizzabilità per singola politica, ma necessario per escludere punti di sella spuri nella formulazione decomposta.

3. Algoritmo Primal-Duale Efficiente in Termini di Oracolo

PDOCRL risolve il problema empirico del punto di sella utilizzando oracoli standard, evitando un'ottimizzazione min-max intrattabile:

• Giocatori Primali:
  • Rapporto di Densità ($w$): Utilizza un oracolo di ottimizzazione lineare online senza rimpianti ($\mathcal{O}_{LOW}$) sulla classe di funzioni $\mathcal{W}$.
  • Politica ($\pi$): Utilizza un oracolo di ottimizzazione della politica senza rimpianti ($\mathcal{P}_{O\Pi,\mathcal{Q}}$) sulla classe di politiche $\Pi$.
• Giocatori Duali:
  • Funzione Q ($Q$): Utilizza un oracolo di minimizzazione lineare ($\mathcal{LMO}_{\mathcal{Q}}$) su $\mathcal{Q}$.
  • Moltiplicatori di Lagrange ($\lambda$): Utilizza un oracolo di minimizzazione lineare ($\mathcal{LMO}_{B\Delta_I}$) sul limite duale.

L'algoritmo itera $T$ volte, aggiornando queste variabili e restituendo una politica campionata uniformemente dalla sequenza $\pi_1, \dots, \pi_T$.

Contributi Chiave

1. Progettazione dell'Algoritmo: PDOCRL è il primo metodo a raggiungere simultaneamente garanzie di copertura parziale, efficienza in termini di oracolo e indipendenza dalla distribuzione di generazione dei dati ($\mu_D$) nell'RL vincolato offline con approssimazione funzionale generale.
2. Insight Teorico sui Punti di Sella: Il lavoro dimostra che le formulazioni naive di punti di sella ristretti possono fallire a causa di punti di sella spuri e identifica una più forte condizione di realizzabilità per tutte le politiche sotto la quale ogni punto di sella ristretto è ottimale.
3. Tecnica di Decomposizione: Riparametrizzando la misura di occupazione per rendere la politica una variabile esplicita, il metodo evita la fragilità statistica dell'estrazione di politiche da rapporti di densità quando $\mu_D$ è sconosciuto.
4. Complessità dei Campioni: Sotto le assunzioni dichiarate, PDOCRL restituisce una politica quasi-ottimale e quasi-ammissibile con una complessità di campioni di $\tilde{O}(\epsilon^{-2})$.

Risultati Sperimentali

Gli autori hanno valutato PDOCRL sul benchmark BulletGym utilizzando dataset dal pacchetto DSRL.

• Baseline: Confronto contro BC-All, BC-Safe, CDT, BCQ-Lag, BEAR-Lag, CPQ e COptiDICE.
• Prestazioni: PDOCRL è stato l'unico algoritmo a soddisfare costantemente i vincoli di sicurezza (costo normalizzato $\le 1$) su tutti i compiti, mantenendo al contempo prestazioni di ricompensa competitive.
• Studio di Ablazione: Una variante di PDOCRL che torna al passo standard di estrazione della politica (richiedente la conoscenza di $\mu_D$) ha performato significativamente peggio, confermando che la riparametrizzazione proposta è critica per le prestazioni nel contesto offline.

Significato e Affermazioni

Il lavoro afferma che PDOCRL affronta un divario fondamentale nell'RL vincolato offline: il compromesso tra requisiti di copertura, efficienza computazionale e la necessità di conoscenza della distribuzione dei dati.

• A differenza dei precedenti metodi attore-critico (es. PDCA, WSAC) che richiedono copertura completa o ottimizzazione intrattabile, PDOCRL opera sotto copertura parziale con efficienza in termini di oracolo.
• A differenza dei metodi basati su rapporti di densità (es. COptiDICE, POCC) che fanno affidamento su $\mu_D$ per l'estrazione della politica, PDOCRL ottimizza direttamente la politica.
• Il lavoro evidenzia che, sebbene forti assunzioni di realizzabilità (per tutte le politiche) siano necessarie per garantire l'ottimalità in presenza di punti di sella spuri, questo è un prezzo teorico necessario per raggiungere l'efficienza in termini di oracolo ed evitare assunzioni distribuzionali nel contesto di approssimazione funzionale generale.

Gli autori concludono che PDOCRL fornisce un framework provatamente efficiente per l'apprendimento offline sicuro, sebbene notino che il rilassamento della condizione di realizzabilità per tutte le politiche verso la realizzabilità per singola politica rimanga una direzione per lavori futuri.