Technische Samenvatting: Retry Policy Gradients in Continue Ruimtes van Acties

Probleemstelling

Exploratie blijft een centrale uitdaging in reinforcement learning (RL), met name in continue controle. Standaard benaderingen vertrouwen doorgaans op stochastische policies gecombineerd met expliciete entropie-regularisatie (bijv. Soft Actor-Critic, SAC) of ruisinjectie. Hoewel deze methoden effectief zijn, introduceren ze een hulp-entropiebonus die de optimale policy bevoordeelt richting hogere entropie, wat convergentie naar het ware deterministische optimum kan verhinderen.

Recentelijk hebben "retry-gebaseerde" doelstellingen (bijv. pass@K, max@K) veelbelovend gebleken in discrete actieruimtes en bij de post-training van Large Language Models (LLM's). Deze doelstellingen optimaliseren de maximale return verkregen uit $M$ gesamplede trajecten in plaats van de verwachte return. Eerder werk (ReMax) toonde aan dat deze doelstelling in discrete ruimtes van nature exploratie stimuleert door zich aan te passen aan de return-onzekerheid, zelfs zonder expliciete entropiebonussen. De theoretische eigenschappen van ReMax in continue actieruimtes bleven echter onverkend, en bestaande gradiënt-schatters voor discrete ruimtes laten zich niet uitbreiden naar continue domeinen.

Methodologie

Theoretisch Kader

De auteurs breiden de ReMax-doelstelling uit naar continue actieruimtes met behulp van een pathwise derivative estimator.

• Doelstelling: Gegeven een Q-functie $Q(s, a)$ en een retry-budget $M$, is de doelstelling gedefinieerd als:
  $$J^M(\pi, Q) := \mathbb{E}_{s \sim p_0} \left[ \mathbb{E}_{a_{1:M} \sim \pi(\cdot|s)} \left[ \max_{m=1:M} Q(s, a_m) \right] \right]$$
  In tegenstelling tot entropie-geregulariseerde doelstellingen, behoudt deze formulering de deterministische optimale policy ($\pi^*$) als het globale optimum, waardoor de bias naar stochasticiteit die inherent is aan entropiebonussen wordt vermeden.

• Gradiëntschatting: Omdat exacte berekening onhaalbaar is in continue ruimtes, gebruiken de auteurs een Reparameterization (RP) gradiëntschatter. Acties worden gesampled via $a_i = \mu + \sigma \epsilon_i$ (waarbij $\epsilon_i \sim \mathcal{N}(0, I)$). De doelstelling wordt benaderd door $B$ acties te samplen, hun Q-waarden te sorteren en een gewogen som van de top $M$ waarden te berekenen. Dit maakt backpropagation door het Q-netwerk en de policy-parameters mogelijk.

Theoretische Analyse van Gradiëntdynamiek

Het artikel biedt een gedetailleerde analyse van hoe de ReMax-gradiënt het optimalisatielandschap vormgeeft voor een Gaussische policy $\mathcal{N}(\mu, \sigma^2)$ met een kwadratische beloning $r(a) = -a^2$. Twee belangrijke mechanismen worden geïdentificeerd wanneer $M > 1$:

1. Entropieverhoging (Directionele Effect): Wanneer het gemiddelde van de policy ver van het optimum verwijderd is en de schaal $\sigma$ klein is, wijst de gradiëntrichting van nature naar het verhogen van $\sigma$. Dit gebeurt omdat de "max"-operator over $M$ samples een positieve verwachte opwaartse fluctuatie in beloning (of neerwaartse fluctuatie in kosten) creëert die alleen toegankelijk is door de schaal van de policy te vergroten. Dit bevordert stochastische exploratie zonder een expliciete bonus.
2. Gradiëntdemping (Magnitude Effect): Naarmate de policy het optimum nadert, neemt de gradiëntnorm af. Het selecteren van de beste van $M$ samples vermindert de afwijking van het optimum, wat effectief suboptimale samples "vergeeft" en de convergentie vertraagt. Dit dempende effect helpt om gedurende de training een hogere entropie langer in stand te houden.

De auteurs analyseren ook de interactie met de Adam-optimizer. Ze tonen aan dat Adam's adaptieve normalisatie (specifiek de stabilisatieparameter $\epsilon$) het gradiëntdempingseffect kan tegenwerken. Een kleine $\epsilon$ (standaard $10^{-8}$) normaliseert gradiënten, wat potentieel de convergentie versnelt en het entropie-instandhoudende effect vermindert, terwijl een grotere $\epsilon$ het dempende gedrag herstelt.

Algoritme: ReMAC

De auteurs implementeren deze bevindingen in ReMax Actor-Critic (ReMAC), een off-policy actor-critic algoritme.

• Critic: Getraind via standaard temporal-difference regressie met clipped double Q-learning (gebruikmakend van twee critics om overschatting te verminderen).
• Actor: Geoptimaliseerd met de pathwise derivative van de ReMax-doelstelling.
• Implementatie: ReMAC wordt gepresenteerd als een minimale modificatie van SAC, waarbij de entropiebonus uit de critic-target en temperatuurinstelling wordt verwijderd, en de actor-loss wordt vervangen door de ReMax-loss.

Belangrijkste Resultaten

Theoretische Bevindingen

• Vectorveld-analyse: Visualisaties van het gradiëntvectorveld voor 1D Gaussische policies bevestigen dat voor $M > 1$, gradiënten de policy naar hogere entropie duwen wanneer deze ver van het optimum is, terwijl standaard RL ($M=1$) altijd naar lagere entropie duwt.
• Convergentie-eigenschappen: ReMax convergeert naar het deterministische optimum ($\mu=0, \sigma=0$), terwijl entropie-regularisatie convergeert naar een stochastisch optimum ($\mu=0, \sigma>0$).
• Adam-interactie: Theoretische en empirische analyse van een toy-probleem demonstreert dat het dempende effect gevoelig is voor de $\epsilon$-parameter van Adam.

Empirische Evaluatie

Experimenten werden uitgevoerd op zes continue controle-taken uit de Brax-suite (Ant, HalfCheetah, Hopper, Reacher, Swimmer, Walker2d) over 3 miljoen stappen.

• Prestaties: ReMAC met $M > 1$ behaalde prestaties vergelijkbaar met SAC en presteerde over het algemeen beter dan PPO. In verschillende omgevingen (Ant, Reacher, Swimmer, Walker2d) leverden grotere retry-budgetten ($M=4, 8$) hogere gemiddelde returns op dan $M=1$.
• Entropiedynamiek: Consistent met de theoretische voorspellingen behield ReMAC met $M > 1$ een hogere policy-entropie dan $M=1$ (standaard RL) tijdens de training. Entropie nam over het algemeen toe met $M$, met name in de Ant- en Swimmer-omgevingen.
• Vergelijking met SAC: Hoewel ReMAC een hogere entropie bereikte dan standaard RL ($M=1$), bleef de entropie lager dan die van SAC, wat te verwachten is gezien de expliciete entropie-maximalisatie van SAC.

Betekenis en Claims

De paper positioneert de bijdragen als volgt:

1. Theoretische Uitbreiding: Het is het eerste werk dat ReMax uitbreidt naar continue actieruimtes en een rigoureuze theoretische verklaring biedt voor de exploratie-bevorderende eigenschappen via pathwise derivatives.
2. Intrinsieke Exploratie: Het demonstreert dat retry-gebaseerde doelstellingen stochastische exploratie kunnen induceren door de geometrie van het gradiëntlandschap (richting en magnitude) in plaats van door expliciete entropiebonussen. Dit voorkomt de bias die het optimale beleid wegstuurt van de deterministische oplossing.
3. Praktische Levensvatbaarheid: De introductie van ReMAC toont aan dat deze theoretische eigenschappen vertalen naar praktische deep RL-settings, waarbij SAC-niveau prestaties worden behaald met minimale architecturale wijzigingen.
4. Optimalisatieinzicht: Het werk benadrukt de cruciale rol van optimizer-hyperparameters (specifiek de $\epsilon$ van Adam) bij het moduleren van de exploratie-exploitatie balans in retry-gebaseerde doelstellingen.

De auteurs blijven bescheiden over de reikwijdte en merken op dat hun theoretische analyse uitgaat van gladheid (smoothness) en sterke convexiteit, wat mogelijk niet geldt in alle praktische deep RL-omgevingen. Ze presenteren ReMAC als een bewijs van concept voor stochastische exploratie en suggereren dat toekomstig werk ReMax kan integreren met posterior sampling over Q-functies om "diepe exploratie" in sparse-reward settings mogelijk te maken.