Technische Samenvatting: Generatieve Actor-Critic met Zachte Bridge-beleid

Probleemstelling

Maximum-entropie (MaxEnt) online versterkend leren (RL) is een dominante aanpak voor off-policy continue controle, waarbij waarde-maximalisatie in evenwicht wordt gebracht met expliciete stochasticiteit. Waar standaard Soft Actor-Critic (SAC) vertrouwt op hanteerbare Gaussische beleidsstrategieën, vereisen complexe controleproblemen vaak multimodale of sterk niet-Gaussische actie-distributies. Expressieve generatieve beleidsstrategieën (bijv. diffusie- en flow-modellen) bieden een oplossing, maar staan voor twee kritieke obstakels bij toepassing op MaxEnt RL:

1. Onhanteerbare Entropie: MaxEnt-updates vereisen de eindpunt-dichtheid van het beleid of een equivalente regularisator. Voor generatieve acteurs is de marginale actie-dichtheid vaak niet beschikbaar of duur om te berekenen, omdat de actie wordt verkregen door te marginaliseren over latente paden. Bestaande methoden grijpen terug op entropiegrenzen, heuristische proxies of benaderingen, wat een indirecte connectie met het MaxEnt-doel creëert.
2. Berekeningskosten: Hoogpresterende generatieve beleidsstrategieën gebruiken vaak iteratieve steekproefmethodes (bijv. diffusie met veel denoising-stappen) die gedeelde netwerkparameters hergebruiken. Dit verhoogt de inferentiekosten bij implementatie en, cruciaal, de trainingskosten. Tijdens actor-updates moet backpropagation door de tijd (BPTT) elke verfijningsstap doorlopen, wat het geheugengebruik verhoogt en optimalisatie destabiliseert. Het verminderen van het aantal functiewaarderingen (NFE) verlaagt de kosten, maar veroorzaakt vaak een scherpe daling in prestaties.

Het artikel zoekt naar een generatieve actor die de expressiviteit van stochastische latente generatie behoudt, terwijl het een hanteerbaar MaxEnt-doel blootlegt en de berekeningslast van lange, gedeelde-parameter steekproefmethodes vermijdt.

Methodologie: SoftGAC

De auteurs stellen SoftGAC (Soft Generative Actor-Critic) voor, een methode die het MaxEnt-doel verheft van de terminal actie-distributie naar het volledige latente generatiepad.

1. Pad-ruimte Zachte Doelstelling

In plaats van de entropie van de uiteindelijke actie $a$ te optimaliseren, optimaliseert SoftGAC een pad-ruimte doelstelling over het latente traject $\tau = (z_0, \dots, z_K)$. De doelstelling is gedefinieerd als:
$$J_{path}(P_\theta | s) = \mathbb{E}_{\tau \sim P_\theta} [Q(s, T(z_K))] - \alpha D_{KL}(P_\theta(\cdot|s) \| R)$$
waarbij $R$ een referentiepadwet met hoge entropie is.

• Theoretische Grondslag: De auteurs bewijzen dat de pad-KL-divergentie decomposeert in een eindpunt-KL-term (die de standaard MaxEnt-regularisator herstelt) en een conditionele pad-term. Deze pad-gewijze relatieve entropie fungeert als een strengere regularisator die controleert hoe de actor de terminal actie bereikt, niet alleen de distributie van de actie zelf.
• Vaste-Basis Beperking: In de praktijk start de actor vanuit een vaste basis latente distributie $p_0$. Theoretische analyse toont aan dat, hoewel een vaste basis een constante kloof introduceert ten opzichte van de onbeperkte optimum, dit het variatieprobleem niet breekt; het fungeert simpelweg als een inductieve bias.

2. Zachte Bridge-beleidsstrategieën

Om de pad-KL hanteerbaar en computatie-efficiënt te maken, hanteert SoftGAC een zachte bridge-beleidsstrategie:

• Architectuur: De actor is een eindige Markov-keten in pre-tanh latente ruimte. Het start vanuit een vaste basiswet (logistische distributie) en past $K$ lichtgewicht, stap-specifieke Gaussische residu-overgangen toe om een terminal latente $z_K$ te bereiken.
• Eén-doorloop Ontwerp: In tegenstelling tot diffusiemodellen die een enkel netwerk hergebruiken voor $K$ stappen, gebruikt SoftGAC $K$ verschillende overgangsblocks. Dit maakt actie-generatie mogelijk via een enkele gesteste voorwaartse doorloop door het netwerk, waardoor iteratieve steekproefneming en lange BPTT-grafieken worden vermeden.
• Referentieproces: De referentie-brug $R$ wordt gedefinieerd met behulp van een logistische basis en een Euler-Gaussische kern afgeleid van de score van de pre-tanh-dichtheid die mapt naar een uniforme actie-distributie.
• Hanteerbare Regularisator: Omdat zowel de actor- als de referentie-overgangen Gaussisch zijn, factoriseert de pad-KL-divergentie in een som van lokale KL-termen. Deze som, aangeduid als Control Energy $C_\theta(s, \tau)$, is analytisch berekenbaar.
  $$D_{KL}(P_\theta \| R) = D_{KL}(p_0 \| r_0) + \mathbb{E}[C_\theta(s, \tau)]$$
  De actor-update minimaliseert $\alpha C_\theta(s, \tau) - Q(s, a)$, wat effectief een afweging maakt tussen waarde en de gesteste overgangs-control energy.

3. Trainingsalgoritme

SoftGAC volgt een off-policy actor-critic-lus:

• Critic: Update een zachte waardenfunctie $Q$ met targets die de gesteste control energy van de next-state-pad bevatten: $y = r + \gamma(Q_{min}(s', a') - \alpha C_{\bar{\theta}}(s', \tau'))$.
• Actor: Update parameters om de gesteste control energy te minimaliseren terwijl de Q-waarde wordt gemaximaliseerd.
• Temperatuurafstemming: Een dual update past $\alpha$ aan om de gemiddelde control energy dicht bij een doelbudget $\rho_{ctrl} K d_a$ te houden.

Belangrijkste Bijdragen

1. Pad-ruimte Formulering: De auteurs formuleren een pad-ruimte zachte doelstelling voor generatieve acteurs, en tonen aan dat deze de eindpunt-KL-regularisator bevat als marginale component en het effect van het gebruik van een vaste actor-basis karakteriseert.
2. Soft Bridge-beleidsontwerp: Ze ontwerpen een specifieke beleidsarchitectuur met behulp van een korte reeks lokale Gaussische overgangen in pre-tanh ruimte. Dit maakt de pad-gewijze regularisator exact berekenbaar als eindstap-control energy, wat een directe actor-update mogelijk maakt met actie-generatie via een enkele gesteste doorloop.
3. Reken-prestatie Afweging: Experimenten tonen aan dat SoftGAC hogere of concurrerende returns bereikt vergeleken met sterke generatieve baselines (diffusie en flow-matching), terwijl het het low-latency regime van één-doorloop acteurs behoudt.

Experimentele Resultaten

De methode werd geëvalueerd op uitdagende continue-controle benchmarks van DeepMind Control Suite (Humanoid, Dog) en HumanoidBench (H1).

• Prestaties: SoftGAC behaalde de sterkste algehele prestaties op hoogdimensionale, lange-horizon locomotietaken (bijv. Humanoid Run, Dog Run, H1 Hurdle), en presteerde beter dan zowel generatieve baselines (FLAC, DIME, FlowRL, QSM, QVPO) als de unimodale Gaussische baseline (CrossQ-SAC).
• Efficiëntie:
  • Inferentietijd: SoftGAC opereert in het low-latency regime (ongeveer 61–75 $\mu$s per actie op CPU), vergelijkbaar met één-stap flow-baselines en aanzienlijk sneller dan high-NFE diffusie-baselines (die 300–400+ $\mu$s nodig hebben).
  • Parameterbudget: Het aantal actor-parameters is vergelijkbaar met sterke baselines, waardoor de noodzaak om grotere netwerken te gebruiken om de kosten van iteratieve steekproefneming te verbergen, wordt vermeden.
• Ablaties: Het verwijderen van de zachte pad-ruimte regularisator ($\alpha=0$) degradeerde consequent de prestaties, wat bevestigt dat de winst voortkomt uit het principiële zachte doel en niet alleen uit de bridge-parametrisatie.

Betekenis en Claims

Het artikel beweert dat SoftGAC de spanning oplost tussen de expressiviteit van generatieve beleidsstrategieën en de computatie/optimalisatiebeperkingen van MaxEnt RL. Door de actor te behandelen als een lichtgewicht, expliciete padwet in plaats van een eindpunt-distributie, biedt de methode:

• Een principiële zachte regularisatie (gesteste overgangs-control energy) die analytisch hanteerbaar is en heuristische entropiegrenzen vervangt.
• Vermijdt de optimalisatielast van lange BPTT-ketens geassocieerd met iteratieve steekproefmethodes, wat actor-updates stabiliseert.
• Levert een superieure reken-prestatie afweging, met state-of-the-art returns op moeilijke taken zonder de hoge inferentielatentie van meerstaps diffusie-steekproefmethodes.

De auteurs concluderen dat zachte bridge-beleidsstrategieën een praktisch ontwerp vertegenwoordigen voor efficiënt generatief actor-critic leren, en een levensvatbaar alternatief bieden voor iteratieve diffusie-aanpakken in online RL-situaties.