A Pontryagin Method of Model-based Reinforcement Learning via Hamiltonian Actor-Critic

Titel: Een Pontryagin-methode voor Model-based Reinforcement Learning via Hamiltonian Actor-Critic

Auteurs: Chengyang Gu, Yuxin Pan, Hui Xiong, en Yize Chen.

1. Het Probleem

Model-based Reinforcement Learning (MBRL) verbetert de sample-efficiëntie door een dynamisch model van de omgeving te leren om beleidsoptimalisatie te ondersteunen. Echter, bestaande methoden, zoals Actor-Critic-algoritmen met Model-Based Value Expansion (MVE), kampen met fundamentele beperkingen:

• Compounding Errors (Opstapeling van fouten): In MVE worden multi-stap rollouts gebruikt om de critic-waarde te schatten. Fouten in het geleerde dynamisch model stapelen zich op tijdens deze imaginair uitgevoerde rollouts, wat leidt tot onnauwkeurige waarde-schattingen.
• Sensitiviteit voor Horizon: De prestaties van MVE zijn sterk afhankelijk van de keuze van de rollout-horizon. Een te lange horizon introduceert meer bias door modelfouten, terwijl een te korte horizon onvoldoende langetermijninformatie biedt.
• Critic-bias: Onnauwkeurige waarde-schattingen misleiden de actor, wat resulteert in een zelfversterkende cyclus van suboptimale beleidskeuzes en verdere degradatie van het model.
• Robuustheid: Bestaande methoden presteren vaak slecht bij Out-of-Distribution (OOD) situaties, zoals verschuivingen in de beginstate, omdat de critic niet is getraind op deze gebieden.

2. Methodologie: Hamiltonian Actor-Critic (HAC)

De auteurs introduceren Hamiltonian Actor-Critic (HAC), een nieuwe MBRL-methode die gebaseerd is op het Pontryagin Maximum Principle (PMP). In plaats van een expliciete critic-waardefunctie te leren die vatbaar is voor foutopstapeling, optimaliseert HAC het beleid direct via de Hamiltoniaan.

Kernconcepten:

• Eliminatie van de Critic: HAC vervangt de traditionele critic-netwerken door een analytisch gedefinieerde Hamiltoniaan ($H$), die is afgeleid van het geleerde dynamisch model ($\hat{f}$) en de beloningsfunctie ($r$).
• Directe Optimalisatie: Het doel is om de Hamiltoniaan te minimaliseren over een reeks van $K$-stap imaginair rollouts. De actor $\pi_\theta$ wordt bijgewerkt om de actie te kiezen die de Hamiltoniaan minimaliseert.
• Co-state Berekening (Analytische Jacobiaan): Een cruciale technische innovatie is de berekening van de co-state ($\lambda$), die nodig is voor de Hamiltoniaan. In plaats van zware automatische differentiatie (die computatief zwaar is en grafische fouten veroorzaakt bij terugwaartse recursie), gebruiken de auteurs een analytische Jacobiaan-techniek. Voor een dynamisch model opgebouwd uit een neurale netwerk met ReLU-activaties, kan de Jacobiaan in gesloten vorm worden berekend via matrixvermenigvuldiging en maskering. Dit maakt de berekening grafiekvrij en zeer efficiënt.
• Formulering:
  • Het probleem wordt herschreven als een optimalisatieprobleem met een kostenfunctie $c(s,a) = -\gamma^t r(s,a)$.
  • De Hamiltoniaan wordt gedefinieerd als: $H(s_t, a_t, \lambda_{t+1}) = c(s_t, a_t) + \lambda_{t+1}^T f(s_t, a_t)$.
  • De co-state $\lambda_t$ wordt berekend via terugwaartse recursie: $\lambda_t = \nabla_{s_t} c(s_t, a_t) + \nabla_{s_t} f(s_t, a_t)^T \lambda_{t+1}$.

3. Belangrijkste Bijdragen

1. Nieuw Paradigma: De eerste toepassing van Pontryagin's Maximum Principles in een Actor-Critic framework voor zowel online als offline RL, waarbij de expliciete critic-waardefunctie wordt vervangen door de Hamiltoniaan.
2. Theoretische Garantie: De auteurs bewijzen dat HAC convergeert naar een lokaal optimum onder milde gladheids- en Lipschitz-aannames.
3. Strakkere Foutgrenzen: Er wordt een theoretisch bewijs geleverd dat de maximale schattingsfout van de critic in HAC strikt kleiner is dan die van MVE (Model-Based Value Expansion), mits de dynamica deterministisch is en de beloningsfuncties kwadratisch/lineair zijn. Dit komt door de behoudswet van de Hamiltoniaan, die de accumulatie van fouten over de rollout-horizon voorkomt.
4. Efficiëntie: Door het gebruik van de analytische Jacobiaan wordt de noodzaak voor zware backpropagatie door de rollout-sequentie verwijderd, wat leidt tot aanzienlijke rekenwinst.

4. Resultaten

De methode is getest op een reeks continue controle-benchmarks (LQR, Pendulum, MountainCar, MuJoCo Swimmer, Hopper) in zowel online als offline settings.

• Online RL: HAC presteert superieur of zeer competitief ten opzichte van state-of-the-art baselines zoals DDPG, SAC en MVE-DDPG. Het convergeert sneller en behaalt hogere cumulatieve beloningen.
• Offline RL: In settings met beperkte datasets (offline RL) overtreft HAC model-vrije methoden (zoals IQL en SAC-Off) en is het vergelijkbaar met of beter dan model-based methoden (zoals MOPO). Het toont een hoge sample-efficiëntie.
• Robuustheid (OOD): HAC toont aanzienlijk betere robustheid tegen veranderingen in de beginstate (distributional shift) dan MVE-methoden. Waar MVE-DDPG instabiel wordt en faalt bij verschuivingen, behoudt HAC stabiele trajecten.
• Ablatie Studies: Vergelijkingen tonen aan dat HAC vergelijkbare prestaties behaalt als MVE-DDPG met een ensemble van 3 tot 5 critic-netwerken, maar dan met minder totale rekentijd, omdat HAC geen ensemble nodig heeft om bias te compenseren.

5. Betekenis en Conclusie

Dit paper biedt een fundamentele verschuiving in hoe model-based reinforcement learning wordt benaderd. Door de theoretische principes van optimale controle (PMP) te integreren in diepe RL, elimineert HAC de noodzaak voor een gescheiden critic-netwerk, wat een belangrijke bron van fouten en instabiliteit wegneemt.

De belangrijkste implicaties zijn:

• Verhoogde Sample-efficiëntie: Door directe optimalisatie via de Hamiltoniaan worden minder interacties met de omgeving nodig.
• Betere Generalisatie: De methode is minder gevoelig voor modelfouten en distributieverschuivingen, wat het zeer geschikt maakt voor real-world toepassingen waar data beperkt is of de omgeving verandert.
• Rekenefficiëntie: De analytische Jacobiaan-techniek maakt de methode schaalbaar voor complexe, hoogdimensionale systemen zonder de rekenlast van ensembles.

Samenvattend stelt HAC een principieel, efficiënt en robuust alternatief voor standaard Actor-Critic frameworks, met name voor systemen met deterministische dynamica.