Multivariate Distributional Reinforcement Learning Using Sliced Divergences

Sintesi Tecnica: Apprendimento per Rinforzo Distribuzionale Multivariato tramite Divergenze Slicate

Definizione del Problema

L'Apprendimento per Rinforzo Distribuzionale (DRL) modella l'intera distribuzione dei rendimenti piuttosto che solo la sua aspettativa, offrendo vantaggi teorici ed empirici rispetto al classico RL basato sull'aspettativa. Tuttavia, estendere il DRL a contesti multivariati (dove i rendimenti sono vettori $d$-dimensionali, con $d > 1$) rimane una sfida significativa.

Gli approcci esistenti affrontano tre limitazioni primarie:

1. Intrattabilità Computazionale: Metriche comuni come la distanza di Wasserstein soffrono di elevati costi computazionali in alta dimensione (tipicamente $O(n^3 \log n)$ per i solutori di trasporto ottimale) e scarsi tassi statistici che dipendono dalla dimensione ambiente.
2. Mancanza di Garanzie di Contrazione: Sebbene il DRL scalare disponga di risultati di contrazione ben stabiliti sotto l'operatore di Bellman, i contesti multivariati con sconto matriciale generale (dove il fattore di sconto è una matrice stato-azione dipendente $\Gamma(s, a) \in \mathbb{R}^{d \times d}$) mancano di garanzie di contrazione rigorose. I metodi esistenti spesso non riescono a contrarre sotto sconti anisotropi (non uniformi).
3. Bias del Gradiente nell'Addestramento Stocastico: Molte divergenze, in particolare la Wasserstein, falliscono la proprietà del gradiente campionario non distorto (U) quando il target di Bellman viene istanziato da un singolo successore campionato (standard TD learning). Ciò porta a gradienti distorti e a un appaiamento distribuzionale subottimale.

Metodologia: Sliced Distributional Reinforcement Learning (SDRL)

Gli autori introducono il Sliced Distributional Reinforcement Learning (SDRL), un framework che eleva le divergenze unidimensionali trattabili alle distribuzioni di rendimento multivariate tramite proiezioni casuali (slicing).

Meccanismo Core

Invece di calcolare direttamente una divergenza ad alta dimensione, l'SDRL proietta le distribuzioni multivariate su direzioni casuali $\theta \in S^{d-1}$, calcola una divergenza base $\Delta$ in una dimensione e aggrega i risultati.

• Uniform Slicing: Media la divergenza base su $L$ direzioni casuali:
  $$S\Delta_p^p(\mu, \nu) = \int_{S^{d-1}} \Delta^p((P_\theta)_\#\mu, (P_\theta)_\#\nu) d\sigma(\theta)$$
• Max-Slicing (MSDRL): Ottimizza sulla direzione più discriminante per ottenere garanzie di contrazione più forti per gli sconti matriciali generali:
  $$MS\Delta(\mu, \nu) = \sup_{\theta \in S^{d-1}} \Delta((P_\theta)_\#\mu, (P_\theta)_\#\nu)$$

Il framework supporta una vasta classe di divergenze base, analizzando specificamente Wasserstein ($W_p$), distanza di Cramér ($C_2$) e Maximum Mean Discrepancy (MMD).

Contributi Teorici

Il documento stabilisce fondamenta teoriche rigorose per l'SDRL:

1. Proprietà Metriche: Dimostra che sia i lift uniformi che quelli max-sliced preservano gli assiomi metrici se la divergenza base è una metrica.
2. Garanzie di Contrazione:
   • Uniform Slicing: Dimostra la contrazione di Bellman sotto sconto scalare condiviso ($\Gamma = \gamma I$) per qualsiasi divergenza base che soddisfi la non-espansione di traslazione, la contrazione di scala e la $p$-convessità di miscela.
   • Max-Slicing: Introduce un nuovo risultato di contrazione per lo sconto matriciale denso generale (aggiornamenti anisotropi). Dimostra che il max-slicing produce contrazione sotto la norma dell'operatore della matrice di sconto, un contesto in cui l'uniform slicing e l'MMD standard spesso falliscono nel contrarre.
3. Complessità Campionaria: Dimostra che l'uniform slicing eredita i tassi di convergenza indipendenti dalla dimensione dalla divergenza base 1D, evitando la maledizione della dimensionalità. I tassi del max-slicing scalano polinomialmente con la dimensione ($O(d \log n / n)$), il che è significativamente migliore del trasporto ottimale esatto in alta dimensione.
4. Analisi del Bias del Gradiente:
   • Uniform Slicing: Preserva la proprietà del gradiente campionario non distorto (U) se la divergenza base la soddisfa. Ciò rende le Sliced Cramér e le Sliced MMD compatibili con il bootstrapping TD a singolo campione standard.
   • Max-Slicing: Fallisce la proprietà (U) a causa del bias di selezione introdotto dal passaggio di massimizzazione. La direzione selezionata dipende dal particolare batch di campioni, portando a gradienti distorti in contesti TD standard.

Risultati Sperimentali

Gli autori valutano l'SDRL su tre benchmark: una catena MDP tabulare, un ambiente maze basato su pixel e un sottoinsieme di giochi Atari.

1. Ambiente Chain (Policy Evaluation):

   • Confronta one-sample TD (bootstrapping standard) vs. near-exact TD (costruzione esplicita della miscela).
   • Risultato: Gli obiettivi che soddisfano la proprietà (U) (ad esempio, Sliced Cramér, Sliced MMD) ottengono un accoppiamento distribuzionale accurato nel regime a singolo campione. Gli obiettivi che violano (U) (ad esempio, Sliced Wasserstein, varianti Max-Sliced) degradano significativamente a meno che non venga usato il target di miscela completo.
   • Max-Slicing: Si comporta bene nel caso degenero monodimensionale (dove il bias di selezione svanisce), ma fallisce nei contesti multivariati generali sotto one-sample TD.

2. Pixel-Based Maze (Policy Evaluation):

   • Valuta l'accuratezza distribuzionale utilizzando la distanza Wasserstein-2 empirica tra i rendimenti Monte Carlo e la predizione del critico.
   • Risultato: Sliced Cramér e Sliced MMD si comportano alla pari con i loro corrispettivi non sliced e superano significativamente la Sliced Wasserstein nel regime TD a singolo campione, confermando l'importanza della proprietà (U).

3. Giochi Atari (Controllo):

   • Valuta le prestazioni di controllo su rendimenti multidimensionali decomposti.
   • Risultato: Sebbene gli obiettivi che soddisfano (U) forniscano stime distribuzionali accurate, la Sliced Wasserstein-2 ottiene sorprendentemente forti prestazioni di controllo nonostante il scarso accoppiamento distribuzionale e i gradienti distorti. Ciò suggerisce che per il controllo, la stima accurata dell'aspettativa del rendimento possa essere più critica della fedeltà dell'intera distribuzione, anche se l'obiettivo distribuzionale è distorto.

Significato e Rivendicazioni

Il documento rivendica di fornire un framework principato per estendere il DRL a contesti multivariati mantenendo la trattabilità computazionale e le garanzie teoriche.

• Raccomandazione Pratica: Gli autori identificano la Sliced Cramér come una forte scelta predefinita per l'apprendimento distribuzionale multivariato. È computazionalmente efficiente ($O(n \log n)$), soddisfa la proprietà del gradiente non distorto (permettendo l'addestramento TD standard) e offre garanzie di contrazione nel contesto isotropo standard.
• Insight Teorico: Il lavoro chiarisce i compromessi tra diverse scelte di divergenza. Evidenzia come, mentre il Max-Slicing risolve il problema della contrazione per gli sconti matriciali generali, esso introduce un bias del gradiente che lo rende inadatto al TD a singolo campione standard senza modifiche.
• Identificazione del Gap: Il paper conclude che una divergenza che sia simultaneamente provabilmente contrattiva sotto sconti anisotropi generali (solo in senso di norma), soddisfi la proprietà del gradiente campionario non distorto e offra una stima trattabile rimane una questione aperta.

In sintesi, l'SDRL offre un approccio scalabile e teoricamente fondato per il DRL multivariato, con la Sliced Cramér che emerge come la scelta pratica più robusta per le pipeline standard di apprendimento per rinforzo.