Technische Samenvatting: Soft Deterministic Policy Gradient met Gaussische Glating

Probleemstelling

Deterministic Policy Gradient (DPG) en de deep learning-instantiatie daarvan, Deep Deterministic Policy Gradient (DDPG), worden veel gebruikt voor continue controletaken. Deze methoden maken echter afhankelijk van een kritieke aanname: de action-value functie (critic) moet differentieerbaar zijn met betrekking tot de actie. Bij praktische controleproblemen met schaarse of discrete beloningen zijn de resulterende Q-functies vaak niet-glad of niet-differentieerbaar. Onder deze omstandigheden worden de actie-gradienten die nodig zijn voor DPG-updates ongedefinieerd of zeer instabiel, wat leidt tot een verslechterde leerprestatie. De auteurs stellen vast dat standaard Temporal Difference (TD) learning de gladheid van de actie-gradienten van de critic niet expliciet beperkt, waardoor DPG gevoelig is voor onregelmatige beloningslandschappen die veel voorkomen in robotica en autonoom rijden.

Methodologie

Het artikel stelt Soft Deterministic Policy Gradient (Soft-DPG) voor, een raamwerk dat de standaard Bellman-backup vervangt door een $\sigma$-geglatteerde Bellman-vergelijking, geformuleerd via Gaussische Glating (GS).

Kerntheoretisch Raamwerk

1. $\sigma$-Geglattede Bellman-vergelijking: In plaats van de standaard Q-functie $Q^\pi(s, a)$ te leren, leert de methode een ge gladde action-value functie $Q^\pi_\sigma(s, a)$. Dit wordt gedefinieerd als het vaste punt van een nieuwe operator $T^\pi_\sigma$:
   $$Q^\pi_\sigma(s, a) = R(s, a) + \gamma \mathbb{E}_{s' \sim P(\cdot|s,a), w \sim \mathcal{N}(0, I)} [Q^\pi_\sigma(s', \pi(s') + \sigma w)]$$
   Cruciaal is dat de glating direct wordt toegepast op de Bellman-backup-operator, waardoor de resulterende waardenfunctie consistent is met de ge gladde dynamica, in plaats van een post-hoc glating van een geleerde critic.

2. Soft-DPG-stelling: Door gebruik te maken van de eigenschappen van Gaussische glating, leiden de auteurs een nieuwe policy gradient-stelling af. In tegenstelling tot standaard DPG, dat $\nabla_a Q(s, a)$ vereist, hangt de Soft-DPG-gradiënt alleen af van functiewaarden van de ge gladde critic bij verstoord acties:
   $$\nabla_\theta J_\sigma = \mathbb{E}_{s \sim \rho_{\nu_\theta}, \tilde{a} \sim \nu_\theta} \left[ \frac{1}{\sigma^2} \nabla_\theta \pi_\theta(s) (\tilde{a} - \pi_\theta(s)) Q^{\pi_\theta}_\sigma(s, \tilde{a}) \right]$$
   waarbij $\tilde{a} = \pi_\theta(s) + \sigma w$. Deze formulering elimineert de expliciete afhankelijkheid van de actie-gradiënt van de critic, waardoor de gradiënt goed gedefinieerd blijft, zelfs als de onderliggende Q-functie niet-glad is.

3. Theoretische Waarborgen: Het artikel biedt rigoureuze grenzen voor de benaderingsfouten die worden geïntroduceerd door de gladheidsparameter $\sigma$. Het stelt vast dat het verschil tussen de oorspronkelijke waardenfunctie en de ge gladde versie begrensd en controleerbaar is, mits de beloning en overgangsdynamica voldoen aan Lipschitz-continuïteitsvoorwaarden.

Algorithmische Instantiatie: Soft DDPG

De auteurs zetten dit raamwerk om in een deep reinforcement learning-algoritme genaamd Soft DDPG. Het algoritme volgt de standaard DDPG-architectuur (actor-critic met replay buffers en doelnetswerken), maar wijzigt de update-regels:

• Critic-update: De doelwaarde wordt berekend met behulp van een met Gaussische ruis verstoord doelactie ($\tilde{a}' = \bar{\pi}(s') + \sigma w$), waardoor de critic effectief wordt getraind om het vaste punt van de ge gladde Bellman-operator te benaderen.
• Actor-update: Het beleid wordt bijgewerkt door met Gaussische ruis verstoord acties te bemonsteren en de ge gladde critic te evalueren, waardoor de berekening van $\nabla_a Q$ wordt vermeden.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Soft-DPG-raamwerk: De introductie van een principieel raamwerk dat de differentieerbaarheidsbeperkingen van standaard DPG overwint door Gaussische glating direct in de Bellman-operator op te nemen.
2. Theoretische Analyse: De afleiding van analytische bovengrenzen voor de benaderingsfouten in zowel action-value als state-value functies tussen de oorspronkelijke MDP en de ge gladde MDP, waardoor formele waarborgen worden geboden voor de bias die door de gladheidsparameter wordt geïntroduceerd.
3. Soft DDPG-algoritme: De implementatie van een praktisch deep RL-algoritme dat concurrerende stabiliteit en prestaties demonstreert, met name in omgevingen met onregelmatige beloningsoppervlakken.

Experimentele Resultaten

De auteurs evalueerden Soft DDPG op standaard MuJoCo continue controle-benchmarks (OpenAI Gym) en hun gediscretiseerde-beloningsvarianten.

• Omgevingen met continue beloningen: In standaard settings met dichte beloningen (bijvoorbeeld HalfCheetah, Hopper) bereikt vanilla DDPG over het algemeen hogere prestaties. De auteurs merken op dat dit theoretisch te verwachten is, aangezien Gaussische glating een benaderingsbias introduceert wanneer de onderliggende waardenfunctie al glad is. Soft DDPG blijft echter concurrerend in deze settings.
• Omgevingen met discrete beloningen: In omgevingen waar beloningen schaars, discreet of niet-glad zijn, toont Soft DDPG duidelijke en consistente winst ten opzichte van standaard DDPG. Bij taken zoals Ant, Hopper en Inverted Double Pendulum met gediscretiseerde beloningen lijdt standaard DDPG aan instabiel leren door ongedefinieerde gradienten, terwijl Soft DDPG stabiele policy-updates handhaaft en hogere uiteindelijke returns bereikt.
• Aanvullende benchmarks: Verdere experimenten in omgevingen zoals BipedalWalker en MountainCar met discrete beloningen bevestigden dat Soft DDPG de baseline overtreft in de meeste niet-gladde scenario's.

Betekenis en Claims

Het artikel beweert dat Soft-DPG een principieel oplossing biedt voor de instabiliteit van deterministische policy gradienten in niet-gladde omgevingen. Door de afhankelijkheid van actie-gradienten van de critic te verwijderen, zorgt de methode ervoor dat policy-updates goed gedefinieerd blijven, zelfs wanneer de Q-functie niet-differentieerbaar is.

De auteurs positioneren Soft DDPG als een robuust alternatief voor controletaken met onregelmatige beloningslandschappen, zoals die voorkomen in robotica en autonoom rijden, waar schaarse of discrete beloningen veelvoorkomend zijn. Ze erkennen beperkingen, met name dat de methode een gladheidsparameter $\sigma$ introduceert die afstemming vereist, en dat het, net als andere op DDPG gebaseerde methoden, gevoeligheid voor hyperparameters erft zonder convergentiewaarborgen in de setting van deep RL. Het werk claimt niet DDPG in alle scenario's te vervangen, maar eerder de toepasbaarheid ervan uit te breiden naar een bredere klasse van problemen waar standaard aannames falen.