Distributional Off-Policy Evaluation with Deep Quantile Process Regression

1. Il Problema: Valutazione Off-Policy Distribuzionale (OPE)

La Valutazione Off-Policy (OPE) è un problema fondamentale nell'Apprendimento per Rinforzo (RL), che mira a stimare il valore di una politica target ($\pi$) utilizzando dati raccolti da una politica comportamentale diversa ($\pi_b$). Questo è cruciale in scenari dove l'esperimentazione online è costosa, rischiosa o eticamente limitata (es. sanità, finanza).

La maggior parte dei metodi OPE esistenti si concentra sulla stima del valore atteso (la media) del ritorno totale. Tuttavia, questo approccio ignora l'incertezza intrinseca e la variabilità delle distribuzioni di ritorno. La Apprendimento per Rinforzo Distribuzionale (DRL) propone di modellare l'intera distribuzione dei ritorni invece della sola media, offrendo una caratterizzazione più ricca delle prestazioni della politica e migliorando la robustezza in ambienti stocastici.

Il paper affronta la sfida di estendere l'OPE a una prospettiva distribuzionale, sviluppando un metodo che stimi l'intera distribuzione di ritorno con garanzie teoriche rigorose e alta efficienza campionaria.

2. Metodologia: DQPOPE (Deep Quantile Process regression-based Off-Policy Evaluation)

Gli autori propongono DQPOPE, un nuovo algoritmo che combina la regressione dei processi quantili con le reti neurali profonde (DNN) per l'OPE distribuzionale.

Concetti Chiave:

• Approccio Quantile Process: A differenza dei metodi DRL precedenti (come QR-DQN) che stimano quantili discreti a livelli fissi, DQPOPE modella la funzione quantile continua $f(s, a, \tau)$, dove $\tau \in (0, 1)$ è il livello quantile. Il livello quantile $\tau$ è trattato come un input diretto della rete neurale.
• Operatore di Bellman Distribuzionale: L'algoritmo iterativamente approssima l'operatore di Bellman distribuzionale $T^\pi$. Invece di lavorare direttamente sulle distribuzioni, trasforma il problema in una sequenza di stime di funzioni quantili.
• Generazione di Campioni Esatti: Un problema critico nei metodi quantili discreti è la necessità di "pseudo-campioni" (pseudo-samples) che introducono errori di rappresentazione. DQPOPE risolve questo problema utilizzando la proprietà che, data una funzione quantile $f$, un campione dalla distribuzione può essere generato esattamente valutando $f(s, a, U)$ dove $U \sim \text{Unif}(0, 1)$. Questo elimina la necessità di discretizzazione e imputazione.
• Architettura: Utilizza reti neurali profonde con funzioni di attivazione ReLU per approssimare la funzione quantile. L'input della rete è la coppia stato-azione $(s, a)$ e il livello quantile $\tau$.

Algoritmo:

1. Inizializzazione di una funzione quantile $\hat{f}_0$.
2. Per ogni iterazione $t$:
   • Campionamento di livelli quantili $\tau_i$ e stati futuri.
   • Generazione del target $y_i = r_i + \gamma \hat{f}_{t-1}(s'_i, a'_i, u_i)$, dove $u_i$ è un rumore uniforme.
   • Minimizzazione della perdita di controllo (check loss) $\rho_\tau$ per aggiornare la rete $\hat{f}_t$.
3. Output della distribuzione stimata dopo $T$ iterazioni.

3. Contributi Chiave

1. Introduzione della Regressione del Processo Quantile per OPE:

   • Trasforma il problema di apprendimento distribuzionale (infinito-dimensionale) in un problema di regressione finito-dimensionale.
   • Evita gli errori di rappresentazione intrinseci alle approssimazioni quantili discrete.
   • Permette di generare campioni esatti per l'aggiornamento di Bellman senza costi computazionali aggiuntivi di imputazione.

2. Avanzamenti Teorici (Complessità Campionaria):

   • Fornisce una analisi non-asintotica rigorosa della complessità campionaria per l'OPE distribuzionale con DNN.
   • Dimostra che DQPOPE può stimare l'intera distribuzione di ritorno con la stessa complessità campionaria richiesta dai metodi basati sul valore per stimare solo la media.
   • Stabilisce limiti di errore superiori (upper bounds) che raggiungono il tasso minimax ottimale $N^{-\frac{\beta}{2\beta+d}}$ (dove $\beta$ è la regolarità di Hölder e $d$ la dimensione), sotto assunzioni di convessità locale e regolarità.

3. Vantaggi Teorici e Pratici:

   • Robustezza: La stima del valore della politica ottenuta mediando i quantili è meno sensibile agli outlier rispetto alla minimizzazione dell'errore quadratico medio (MSE) usata nei metodi basati sul valore.
   • Efficienza: Non sacrifica l'efficienza campionaria pur ottenendo informazioni distribuzionali complete.

4. Risultati Sperimentali

Gli autori hanno validato DQPOPE su diversi scenari:

• CartPole (Simulazione):

  • Dimostrazione della convergenza esponenziale dell'errore all'aumentare della dimensione del campione.
  • Conferma che la precisione migliora con una minore discrepanza distribuzionale (distribution shift).

• Esempio Toy con Code Pesanti (Heavy-tailed Rewards):

  • In ambienti con distribuzioni di ricompensa a code pesanti (es. distribuzione t di Student), DQPOPE supera significativamente i metodi basati sul valore (DOPE) in termini di Errore Quadratico Medio (MSE).
  • L'approccio basato sulla media dei quantili si dimostra molto più robusto agli outlier rispetto alla regressione quadratica.

• Dataset Reale: MIMIC-III (Sepsi):

  • Applicazione alla valutazione di politiche di trattamento per pazienti con sepsi.
  • Confronto con DOPE e DQOPE (metodo basato su quantili discreti).
  • Risultato: DQPOPE ha prodotto stime del valore della politica più accurate e robuste, distinguendo meglio le politiche ottimali (DDQN) da quelle casuali o subottimali. Le politiche stimate da DQPOPE hanno mostrato una maggiore allineamento con la politica target, evitando raccomandazioni di dosaggi eccessivi o insufficienti.

• MuJoCo (Controllo Continuo):

  • Validazione in ambienti ad alta dimensionalità. DQPOPE ha mostrato prestazioni superiori rispetto a metodi basati su categorie (CateOPE) e metodi basati sulla massima verosimiglianza (MLEOPE), specialmente in presenza di rumore e con dimensioni del dataset variabili.

5. Significato e Impatto

Questo lavoro è significativo per diversi motivi:

1. Ponte tra Teoria e Pratica: Colma il divario tra la teoria dell'OPE distribuzionale e le implementazioni pratiche basate su reti neurali profonde, fornendo le prime garanzie teoriche solide per l'OPE distribuzionale in spazi continui e complessi.
2. Superamento dei Limiti Esistenti: Risolve il problema dei "pseudo-campioni" che affligge i metodi quantili discreti, offrendo un framework matematicamente più pulito ed efficiente.
3. Efficienza Campionaria: Dimostra che ottenere informazioni complete sulla distribuzione (non solo la media) non comporta un costo aggiuntivo in termini di quantità di dati necessari, rendendo l'OPE distribuzionale praticabile anche con dataset offline limitati.
4. Applicabilità in Settori Critici: La robustezza agli outlier e la capacità di catturare l'incertezza rendono questo metodo ideale per applicazioni ad alto rischio come la sanità (decisioni terapeutiche) e la finanza, dove la comprensione della variabilità dei risultati è tanto importante quanto la media.

In sintesi, DQPOPE rappresenta un passo avanti fondamentale verso l'adozione robusta e teoricamente fondata dell'Apprendimento per Rinforzo Distribuzionale in scenari di valutazione offline.