Riepilogo Tecnico: Ottimizzazione di Politiche Offline Regolarizzata con Posterior Hybrid Bayesian Belief (PhyB)

1. Definizione del Problema

L'Apprendimento per Rinforzo (RL) Offline mira a ottimizzare le politiche utilizzando dataset pre-raccolti senza ulteriore interazione con l'ambiente. Un collo di bottiglia primario in questo paradigma è la gestione dell'incertezza epistemica, che sorge da due fonti:

1. Incertezza a livello di campione: causata dalla copertura parziale del dataset.
2. Incertezza a livello di modello: derivante dall'ambiguità nell'identificare dinamiche di transizione uniche da dati finiti.

Mentre il Bayesian RL offre un quadro unificato per quantificare queste incertezze trattando i modelli di dinamica come variabili casuali, l'ottimizzazione pratica della politica rimane computazionalmente impegnativa. Gli approcci esistenti affrontano un compromesso:

• Tecniche basate sulla ricerca (ad es., Programmazione Lineare Intera Mista, Monte Carlo Tree Search) sono teoricamente solide ma non scalano verso compiti ad alta dimensionalità.
• Assunzioni restrittive (ad es., distribuzioni posteriori fisse, Robust MDP con verosimiglianze Dirac) garantiscono la trattabilità ma sacrificano l'adattabilità e le prestazioni intrinseche del Bayesian RL, portando spesso a un eccessivo conservatorismo (sovra-pessimismo).

La domanda centrale affrontata è: È possibile sviluppare un algoritmo di ottimizzazione di politiche offline computazionalmente trattabile sotto credenze Bayesiane senza fare affidamento su assunzioni restrittive sulla distribuzione posteriore?

2. Metodologia: Posterior Hybrid Bayesian Belief (PhyB)

Gli autori propongono PhyB, un framework che riformula l'aspettativa sulla posteriore dei modelli come una combinazione convessa su un sottoinsieme di modelli di dinamica, evitando assunzioni restrittive sulla distribuzione posteriore.

2.1. Formulazione della Credenza (Belief)

Invece di trattare il modello di dinamica come una stima puntuale o mantenere una complessa posteriore continua, PhyB opera su un insieme finito di modelli $\mathcal{T} = \{\tau_0, \dots, \tau_{N-1}\}$.

• Sottoinsieme Pessimistico: Un sottoinsieme $\tilde{\mathcal{T}} \subseteq \mathcal{T}$ viene formato selezionando i $k$ modelli corrispondenti alle previsioni di valore $Q$ più basse (bottom-$k$).
• Combinazione Convessa: Invece di selezionare un singolo modello peggiore (che porta a un pessimismo di tipo Dirac) o mediare tutti i modelli (che diluisce il pessimismo), PhyB assegna pesi $\alpha_i$ ai modelli in $\tilde{\mathcal{T}}$.
• Pesatura Regolarizzata dall'Entropia: I pesi sono determinati risolvendo un problema di ottimizzazione regolarizzato dall'entropia:
  $$\min_{\alpha} \sum_{i=0}^{k-1} \alpha_i q_{\tau_i}(s, a) + \lambda \alpha_i \log \alpha_i$$
  La soluzione ottimale segue una distribuzione di Boltzmann: $\alpha_i \propto \exp(-q_{\tau_i}(s, a)/\lambda)$.
• Posterior Hybrid: Questo schema di pesatura costruisce una "Posterior Hybrid Bayesian Belief" $\tilde{P}(\tau)$, che è un mix di distribuzioni unimodali centrate attorno a specifici quantili dell'insieme dei modelli. Ciò consente un adattamento continuo e guidato dai dati del livello di pessimismo.

2.2. Ottimizzazione della Politica Regolarizzata

Per ottimizzare la funzione obiettivo definita da questa credenza ibrida, gli autori affrontano due sfide: la geometria non euclidea dello spazio delle distribuzioni multimodali e il costo computazionale della risoluzione dell'equazione di Bellman.

• Sottoproblemi Regolarizzati con Bregman: L'ottimizzazione è decomposta in una sequenza di sottoproblemi regolarizzati dalla divergenza di Bregman ($D_\psi$).
• Algoritmo Iterativo: Viene proposto un algoritmo di miglioramento iterativo della politica in cui la politica al passo $i+1$ viene aggiornata sulla base della politica di riferimento al passo $i$:
  $$\pi_{i+1} = (\nabla \psi)^{-1} \left( \frac{1}{\beta} (Q - z) + \nabla \psi(\pi_i) \right)$$
  Questa formulazione rispecchia i metodi del gradiente naturale e garantisce un miglioramento monotono dell'obiettivo fino alla convergenza.

2.3. Garanzie Teoriche

• Discrepanza Limitata: La discrepanza dell'obiettivo indotta dall'approssimazione della combinazione convessa è dimostrata essere limitata.
• Pessimismo: Il metodo induce un limite inferiore sul vero ritorno atteso. Il divario tra il ritorno stimato e quello reale svanisce man mano che la fedeltà del modello aumenta e la dimensione del sottoinsieme pessimistico diminuisce.
• Monotonicità: Si dimostra che la performance della politica è monotonicamente non decrescente rispetto alla dimensione del sottoinsieme $k$ e monotonicamente non crescente rispetto alla dimensione dell'insieme $N$.

3. Contributi Chiave

1. Formulazione PhyB: Una nuova formulazione della credenza che tratta le dinamiche di transizione come variabili casuali senza assunzioni restrittive sulla posteriore, riformulando le aspettative come combinazioni convesse su un sottoinsieme pessimistico.
2. Ottimizzazione Regolarizzata Iterativa: Un algoritmo che decompone il compito di ottimizzazione in sottoproblemi regolarizzati con Bregman, fornendo garanzie metricamente agnostiche per il miglioramento monotono.
3. Analisi Teorica: Dimostrazioni che stabiliscono che l'errore di approssimazione è limitato, il pessimismo indotto è controllabile e l'ottimizzazione della politica converge monotonicamente.
4. Performance Empirica: Risultati allo stato dell'arte sui benchmark standard (D4RL) e sui compiti di liquidazione stocastica.

4. Risultati Sperimentali

Gli autori hanno valutato PhyB sul benchmark D4RL (18 dataset su HalfCheetah, Hopper e Walker2d con diverse qualità di dati) e su un compito di liquidazione ottimale stocastica.

• Performance: PhyB ha ottenuto prestazioni superiori su 11 dei 18 dataset D4RL e si è mantenuto competitivo sugli altri. Ha superato significativamente i baseline robusti, inclusi i metodi model-free (CQL, IQL, TD3+BC) e quelli model-based (MOReL, RAMBO, PMDB, ADM).
• Compiti Stocastici: Nel compito di liquidazione altamente stocastico, dove molti baseline sono falliti nell'apprendere politiche efficaci, PhyB ha dimostrato una performance robusta e superiore.
• Studi di Ablazione:
  • Combinazione Convessa: Rimuovere la combinazione convessa (selezionando un singolo modello) ha causato un significativo degrado delle prestazioni, validando la necessità della credenza ibrida.
  • Iperparametri: Il metodo ha mostrato robustezza alle variazioni degli iperparametri ($\omega$, $\lambda$). È stato osservato un compromesso in cui i dataset di qualità inferiore beneficiavano di un maggiore pessimismo ( $\lambda$ minore), mentre i dataset di alta qualità richiedevano meno conservatorismo.
• Allineamento Teorico: Le curve empiriche hanno confermato che i ritorni stimati da PhyB costituivano costantemente un limite inferiore per i ritorni reali (validando il teorema del pessimismo) ed esibivano un miglioramento quasi monotono durante l'addestramento.

5. Significato e Rivendicazioni

Il paper sostiene che PhyB colmi con successo il divario tra l'attrattiva teorica del Bayesian RL e i requisiti computazionali dell'ottimizzazione di politiche offline.

• Quantificazione Unificata dell'Incertezza: Trattando le dinamiche come variabili casuali e utilizzando una posteriore ibrida, PhyB unifica la quantificazione dell'incertezza a livello di campione e a livello di modello senza ricorrere ad assunzioni semplificate come le verosimiglianze Dirac.
• Scalabilità: A differenza dei precedenti metodi bayesiani che dipendono da solver intrattabili, PhyB offre un approccio computazionalmente efficiente che scala a compiti di controllo continuo ad alta dimensionalità.
• Adattabilità: Il metodo evita il "eccessivo conservatorismo" dei Robust MDP permettendo al livello di pessimismo di adattarsi continuamente in base ai dati e al disaccordo del modello, piuttosto che affidarsi a fissi assunti del caso peggiore.
• Robustezza: L'approccio fornisce garanzie metricamente agnostiche per il miglioramento monotono, garantendo un apprendimento stabile anche in assenza di interazione online con l'ambiente.

Gli autori concludono che PhyB rappresenta un passo avanti significativo nel rendere pratico il Bayesian RL per contesti offline, offrendo un framework robusto che bilancia l'avversione al rischio con l'ottimizzazione delle prestazioni.