Technische Samenvatting: Beleidsoptimalisatie in Hybride Discreet-Continue Actieruimtes via Gemengde Gradiënten

Probleemstelling

Het artikel adresseert een fundamentele beperking in Versterkend Leren (RL) voor grootschalige problemen: het toewijzingsprobleem (credit assignment problem) in hoogdimensionale actieruimtes. Standaard modelvrije beleidsgradiëntmethoden, zoals REINFORCE en Proximal Policy Optimization (PPO), vertrouwen op score-functie (SF)-schatters. Deze methoden schatten gradiënten door beleidsperturbaties te correleren met cumulatieve beloningen. In hoogdimensionale situaties lijdt deze aanpak onder ernstige degradatie van het signaal-ruisverhouding, aangezien een enkele scalair rendement moet worden toegeschreven aan duizenden actiecomponenten die verweven zijn met exogene willekeur.

Hoewel differentieerbare simulatie (pad- of PW-gradiënten) een oplossing biedt door backpropagatie door de simulator om een scherpere toewijzing te verkrijgen, vereist dit traditioneel volledig gladde dynamica. Veel praktische problemen in robotica, besturing en operations omvatten hybride discreet-continue actieruimtes (bijvoorbeeld het selecteren van een discreet regime en het optimaliseren van een continue besturing binnen dat regime) of stuksgewijs gladde dynamica met discontinuïteiten. In deze situaties worden standaard PW-gradiënten biased of oninformatief, waardoor practitioners gedwongen worden terug te vallen op minder efficiënte SF-gebaseerde methoden en de beschikbare structurele informatie te verwerpen.

De kernuitdaging is een beleidsoptimalisatiekader te ontwikkelen dat de gladheid van continue componenten benut via backpropagatie, terwijl het discrete beslissingen en discontinuïteiten correct behandelt zonder bias in te voeren.

Methodologie: Hybride Beleidsoptimalisatie (HPO)

De auteurs stellen Hybride Beleidsoptimalisatie (HPO) voor, een kader ontworpen voor exogene MDP's waarbij een simulator tijdens het trainen toegang heeft tot de volledige realisatie van exogene willekeur (bijvoorbeeld vraag, weer), wat contrafactuele beleidsbeoordeling op hetzelfde traject mogelijk maakt.

1. Beleidsrepresentatie

Het beleid $\pi$ wordt gefactoriseerd in twee componenten:

• Discrete Component ($\pi^X_\phi$): Een stochastisch beleid dat een discrete actie $x_t$ (bijvoorbeeld een regime of modus) selecteert uit een eindige verzameling $\mathcal{X}$.
• Continue Component ($\pi^B_\kappa$): Een deterministische controller die een kandidaat-continue actie $b_t$ uitvoert voor elke mogelijke discrete actie $j \in \mathcal{X}$. De uitgevoerde actie is $b_t = \pi^B_\kappa(s_t)[x_t]$.

Deze "getordeerde" structuur maakt het mogelijk dat de continue controller glad is met betrekking tot zijn parameters $\kappa$, conditioneel op de discrete actie.

2. De Gemengde Gradiëntschatter

De centrale theoretische bijdrage is een onbevooroordeelde gemengde gradiëntschatter die pad- (PW) en score-functie (SF) termen combineert. Voor een beleid geparametriseerd door $\theta = (\phi, \kappa)$ zijn de gradiënten:

• Discrete Gradiënt ($\nabla_\phi J$): Berekend met de standaard SF-schatter:
  $$\nabla_\phi J(\theta) = \mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\phi \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]$$
• Continue Gradiënt ($\nabla_\kappa J$): Berekend als de som van een Pad-term en een Kruisterm:
  $$\nabla_\kappa J(\theta) = \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa c(s_t(\kappa), (x_t, b_t(\kappa)), \xi_t) \right]}_{\text{PW Gradiëntterm}} + \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]}_{\text{Kruisterm}}$$

Kernmechanisme:

• De PW-term backpropageert door de simulator voor de continue acties, waarbij de discrete acties vastgehouden worden. Dit isoleert het directe effect van continue acties op kosten, wat de toewijzing aanzienlijk verbetert.
• De Kruisterm vangt hoe veranderingen in de continue parameters $\kappa$ het staatstraject $s_t(\kappa)$ veranderen, wat op zijn beurt de kansverdeling van het discrete beleid $\pi^X_\phi$ verschuift.
• De schatter wordt geïmplementeerd met stop_grad (detach)-operaties in autodifferentiatiekaders (bijvoorbeeld PyTorch) om ervoor te zorgen dat de discrete bemonstering als vast wordt behandeld voor de PW-term, terwijl de kruisterm de afhankelijkheid van de discrete log-kans van de staat behoudt.

3. Omgaan met Discontinuïteiten

Het artikel demonstreert dat problemen met actie-discontinuïteiten (Stuksgewijs-Gladde MDP's) kunnen worden herschreven als hybride MDP's. Door een discrete actie in te voeren om het "gladde gebied" van de actieruimte te selecteren en een continue actie om de besturing binnen dat gebied te specificeren, behoudt het kader de onbevooroordeeldheid terwijl het lokale gladheid benut.

Belangrijkste Bijdragen

1. HPO-kader: Een beleidsoptimalisatiekader voor hybride discreet-continue actieruimtes dat een onbevooroordeelde gemengde gradiëntschatter oplevert. Het benut PW-gradiënten waar de probleemstructuur dit toelaat, en vermijdt zo de broosheid van pure PW-methoden en de hoge variantie van pure SF-methoden.
2. Theoretische Karakterisering van de Kruisterm: De auteurs bewijzen dat de Kruisterm verdwijnt naarmate het discrete beleid een beste reactie benadert (Stelling 2). Specifiek wordt de grootte van de kruisterm begrensd door de suboptimaliteit van het discrete beleid ($\epsilon$) en de gevoeligheid van de staat voor continue parameters. Dit resultaat impliceert dat nabij optimaliteit de koppeling tussen discrete en continue componenten verzwakt, wat benaderde gedecentraliseerde updates mogelijk maakt.
3. Empirische Validatie: Uitgebreide experimenten op Gecombineerde Aanvullingsproblemen (JRP) en Geswitchte Lineaire Kwantregelaars (S-LQR) tonen aan dat HPO PPO aanzienlijk overtreft, vooral naarmate de dimensie van de continue actie toeneemt.
   • Schaling: De prestatiekloof tussen HPO en PPO wordt significant breder met de dimensie van de continue actieruimte ($p$). Bijvoorbeeld, in S-LQR faalt PPO om te convergeren voor $p > 24$, terwijl HPO betrouwbaar convergeert tot $p=48$.
   • Gradiëntkwaliteit: Analyse toont aan dat de gemengde schatter in hoge dimensies een hoge alignering en lage RMSE behoudt, terwijl pure SF-schatters (gebruikt door PPO) instorten tot bijna nul-alignering naarmate de dimensionaliteit groeit.
4. Variantiereductiestrategie: Het artikel toont aan dat het weglaten van de kruisterm (HPONoCross) gunstig kan zijn nabij optimaliteit. Aangezien de verwachting van de kruisterm verdwijnt terwijl de variantie groeit naarmate het discrete beleid verbetert, reduceert het verwijderen ervan ruis zonder significante bias in te brengen in de laatste fasen van het trainen.

Resultaten en Betekenis

Het artikel stelt dat HPO een belangrijke stap voorwaarts is in het toepassen van beleidsgradiëntmethoden op realistische, grootschalige problemen waar differentieerbare simulatoren beschikbaar zijn, maar waar discrete beslissingen historisch de reikwijdte van pad-methoden hebben beperkt.

• Prestaties: In de JRP- en S-LQR-benchmarks bereikt HPO consistent lagere testverliezen en vereist minder beleidsupdates om doelprestatiekloven te bereiken in vergelijking met PPO. Het voordeel is het meest uitgesproken in hoogdimensionale continue ruimtes ($p \ge 40$).
• Gradiëntefficiëntie: De gemengde gradiënt biedt een drastisch beter signaal dan pure SF-gradiënten. In hoge dimensies daalt de alignering van de SF-schatter met de ware gradiëntrichting tot bijna nul, terwijl de gemengde schatter een alignering boven de 0,8 behoudt.
• Potentieel voor Gedecentralisatie: Het theoretische resultaat met betrekking tot de verdwijnende kruisterm suggereert een pad naar semi-gedecentraliseerde training, waarbij discrete en continue componenten apart kunnen worden geoptimaliseerd zodra het discrete beleid voldoende dicht bij een beste reactie ligt.

De auteurs positioneren dit werk als een brug tussen modelvrij RL en differentieerbare simulatie, waarbij de toepasbaarheid van laatstgenoemde wordt uitgebreid naar hybride actieruimtes zonder de onbevooroordeeldheid die nodig is voor convergentie te offeren. De code en bronnen zijn beschikbaar gesteld om verder onderzoek in deze richting te faciliteren.