Multivariate Distributional Reinforcement Learning Using Sliced Divergences

Technische Samenvatting: Multivariante Distributieve Reinforcement Learning met Sliced Divergences

Probleemstelling

Distributieve Reinforcement Learning (DRL) modelleert de volledige retourverdeling in plaats van alleen het gemiddelde, wat theoretische en empirische voordelen biedt ten opzien van klassieke verwachte RL. Het uitbreiden van DRL naar multivariante instellingen (waarbij beloningen $d$-dimensionale vectoren zijn, $d > 1$) blijft echter een aanzienlijke uitdaging.

Bestaande benaderingen kampen met drie primaire beperkingen:

1. Computationele Intractabiliteit: Veelgebruikte metrieken zoals de Wasserstein-afstand lijden onder hoge computationele kosten in hoge dimensies (typisch $O(n^3 \log n)$ voor optimale transport-solvers) en slechte statistische snelheden die afhangen van de omgevingsdimensie.
2. Gebrek aan Contractiegaranties: Hoewel scalaire DRL over goed gevestigde contractie-resultaten beschikt onder de Bellman-operator, missen multivariante instellingen met algemene matrix-discounting (waarbij de discountfactor een staat-actie afhankelijke matrix $\Gamma(s, a) \in \mathbb{R}^{d \times d}$ is) rigoureuze contractiegaranties. Bestaande methoden falen vaak bij het contracteren onder anisotrope (niet-uniforme) discounting.
3. Gradiëntbias in Stochastische Training: Veel divergenties, in het bijzonder de Wasserstein-afstand, voldoen niet aan de onbevooroordeelde steekproefgradiënt-eigenschap (U) wanneer het Bellman-doel wordt geïnstantieerd vanuit een enkele gesamplede opvolger (standaard TD-learning). Dit leidt tot bevooroordeelde gradiënten en suboptimale distributieve matching.

Methodologie: Sliced Distributional Reinforcement Learning (SDRL)

De auteurs introduceren Sliced Distributional Reinforcement Learning (SDRL), een framework dat behandelbare een-dimensionale divergenties naar multivariante retourverdelingen tilt via willekeurige projecties (slicing).

Kernmechanisme

In plaats van een hoog-dimensionale divergentie direct te berekenen, projecteert SDRL de multivariante verdelingen op willekeurige richtingen $\theta \in S^{d-1}$, berekent een basisdivergentie $\Delta$ in één dimensie, en aggregeert de resultaten.

• Uniform Slicing: Middelt de basisdivergentie over $L$ willekeurige richtingen:
  $$S\Delta_p^p(\mu, \nu) = \int_{S^{d-1}} \Delta^p((P_\theta)_\#\mu, (P_\theta)_\#\nu) d\sigma(\theta)$$
• Max-Slicing (MSDRL): Optimaliseert over de meest discriminerende richting om sterkere contractiegaranties te verkrijgen voor algemene matrix-discounts:
  $$MS\Delta(\mu, \nu) = \sup_{\theta \in S^{d-1}} \Delta((P_\theta)_\#\mu, (P_\theta)_\#\nu)$$

Het framework ondersteunt een brede klasse van basisdivergenties, specifiek de Wasserstein ($W_p$), Cramér-afstand ($C_2$) en Maximum Mean Discrepancy (MMD).

Theoretische Bijdragen

Het artikel legt de rigoureuze theoretische fundamenten voor SDRL vast:

1. Metrische Eigenschappen: Bewijst dat zowel uniform als max-sliced lifts de metriek-axioma's behouden als de basisdivergentie een metriek is.
2. Contractiegaranties:
   • Uniform Slicing: Bewijst Bellman-contractie onder gedeelde scalaire discounting ($\Gamma = \gamma I$) voor elke basisdivergentie die voldoet aan translatie-niet-expansie, schaal-contractie en mengeling $p$-convexiteit.
   • Max-Slicing: Introduceert een nieuw contractie-resultaat voor algemene dichte matrix-discounting (anisotrope updates). Het bewijst dat max-slicing contractie oplevert onder de operatornorm van de discount-matrix, een setting waarin uniform slicing en standaard MMD vaak falen om te contracteren.
3. Steekproefcomplexiteit: Demonstreert dat uniform slicing de dimensievrije convergentiesnelheden van de basis 1D-divergentie erft, waardoor de vloek van dimensionaliteit wordt vermeden. Max-slicing snelheden schalen polynomiaal met de dimensie ($O(d \log n / n)$), wat aanzienlijk beter is dan exacte hoog-dimensionale OT.
4. Analyse van Gradiëntbias:
   • Uniform Slicing: Behoudt de onbevooroordeelde steekproefgradiënt-eigenschap (U) als de basisdivergentie eraan voldoet. Dit maakt Sliced Cramér en Sliced MMD compatibel met standaard één-steekproef TD-bootstrapping.
   • Max-Slicing: Faalt voor eigenschap (U) door de selectiebias die wordt geïntroduceerd door de maximalisatiestap. De gekozen richting is afhankelijk van de specifieke steekproefbatch, wat leidt tot bevooroordeelde gradiënten in standaard TD-settings.

Experimentele Resultaten

De auteurs evalueren SDRL op drie benchmarks: een tabelaire keten MDP, een pixel-gebaseerde doolhofomgeving en een subset van Atari-games.

1. Ketenvormige Omgeving (Policy Evaluation):

   • Vergelijkt één-steekproef TD (standaard bootstrapping) versus bijna-exacte TD (expliciete mengeling constructie).
   • Bevinding: Doelstellingen die voldoen aan eigenschap (U) (bijv. Sliced Cramér, Sliced MMD) bereiken nauwkeurige distributieve matching in het één-steekproef regime. Doelstellingen die (U) schenden (bijv. Sliced Wasserstein, Max-Sliced varianten) presteren aanzienlijk slechter, tenzij de volledige mengeling-target wordt gebruikt.
   • Max-Slicing: Presteert goed in het degeneratieve één-dimensionale geval (waar selectiebias verdwijnt), maar faalt in algemene multivariante settings onder één-steekproef TD.

2. Pixel-gebaseerd Doolhof (Policy Evaluation):

   • Evalueert de distributieve nauwkeurigheid met behulp van de empirische Wasserstein-2 afstand tussen Monte Carlo returns en de voorspelling van de critic.
   • Bevinding: Sliced Cramér en Sliced MMD presteren op gelijke voet met hun niet-gesliced tegenhangers en presteren aanzienlijk beter dan Sliced Wasserstein in het één-steekproef TD regime, wat het belang van eigenschap (U) bevestigt.

3. Atari Games (Control):

   • Evalueert controleprestaties op gedecomposeerde meer-dimensionale beloningen.
   • Bevinding: Hoewel doelstellingen die voldoen aan (U) nauwkeurige distributieve schattingen bieden, bereikt Sliced Wasserstein-2 verrassend sterke controleprestaties ondanks slechte distributieve matching en bevooroordeelde gradiënten. Dit suggereert dat voor controle, een nauwkeurige schatting van de retourverwachting kritischer kan zijn dan de getrouwheid van de volledige verdeling, zelfs als de distributieve doelstelling bevooroordeeld is.

Betekenis en Claims

Het artikel claimt een geprincipleerd framework te bieden voor het uitbreiden van DRL naar multivariante instellingen, terwijl computationele hanteerbaarheid en theoretische garanties behouden blijven.

• Praktische Aanbeveling: De auteurs identificeren Sliced Cramér als een sterke standaard voor multivariante distributieve learning. Het is computationeel efficiënt ($O(n \log n)$), voldoet aan de onbevooroordeelde gradiënt-eigenschap (wat standaard TD-training mogelijk maakt) en biedt contractiegaranties in de standaard isotrope setting.
• Theoretisch Inzicht: Het werk verheldert de trade-offs tussen verschillende divergentie-keuzes. Het benadrukt dat hoewel Max-Slicing het contractieprobleem voor algemene matrix-discounts oplost, het een gradiëntbias introduceert die het ongeschikt maakt voor standaard één-steekproef TD zonder modificatie.
• Identificatie van een Gat: Het artikel concludeert dat een divergentie die tegelijkertijd bewezen contractief is onder algemene anisotrope discounts (in een norm-alleen zin), voldoet aan de onbevooroordeelde steekproefgradiënt-eigenschap en een hanteerbare schatting biedt, een openstaande vraag blijft.

Samenvattend biedt SDRL een schaalbare en theoretisch gefundeerde benadering van multivariante DRL, waarbij Sliced Cramér naar voren komt als de meest robuuste praktische keuze voor standaard reinforcement learning pipelines.