Robust Adversarial Policy Optimization Under Dynamics Uncertainty

1. Het Probleem

Versterkingsleer (RL) presteert vaak uitstekend in simulatie, maar faalt bij overdracht naar de echte wereld door dynamische onzekerheid (verschillen tussen het trainingsmodel en de werkelijkheid). Bestaande methoden hebben beperkingen:

• Domeinrandomisatie (Domain Randomization): Traint op een uniforme verdeling van parameters, maar behandelt alle scenario's gelijk, wat leidt tot inefficiëntie of over-conservatisme.
• Adversariële RL: Zoekt naar het "slechtste geval" door een tegenstander, maar mist vaak een fundamentele verdelingsgrondslag, wat instabiliteit en lokale overfitting veroorzaakt.
• Distributioneel Robuste RL (DRRL): Biedt een wiskundig onderbouwde oplossing via Robust MDP's (RMDP), maar de directe optimalisatie (primaal probleem) is vaak onhandelbaar. Bestaande benaderingen gebruiken vaak surrogate-adversariërs die blindvlekken laten of leiden tot over-conservatisme.

De kernvraag is: Hoe kunnen we RL-algoritmen ontwerpen die robuust zijn tegen dynamische onzekerheid, zonder te verzakken in over-conservatisme of instabiliteit?

2. Methodologie: RAPO Framework

De auteurs introduceren Robust Adversarial Policy Optimization (RAPO), een framework dat de dualiteit van het RMDP-probleem benut om een tractabele oplossing te vinden. RAPO combineert twee onafhankelijke maar complementaire componenten:

A. Dual Formulering en Exponentiële Tilt

In plaats van het onhandelbare primaal probleem (minimaliseren over een verzameling van overgangen) op te lossen, gebruiken de auteurs de duale formulering. Dit transformeert het probleem naar een scalar optimalisatieprobleem met een temperatuurparameter ($\eta$).

• De robuuste verwachting wordt benaderd door een exponentieel getilde verdeling van de nominale overgangskern: $p_\eta \propto \hat{p} e^{-\eta V}$.
• De parameter $\eta$ fungeert als een knop voor de afweging tussen prestatie en robuustheid, binnen een KL-divergentie budget ($\epsilon$).

B. Twee-Lagen Architectuur

RAPO implementeert deze dualiteit op twee niveaus:

1. Trajecto-niveau (AdvNet):

   • Doel: Het schatten van de optimale dual-temperatuur $\eta$ voor specifieke state-action paren.
   • Methode: Een Adversarial Network (AdvNet) wordt getraind om $\eta$ direct te voorspellen op basis van rollouts. Dit "amortiseert" de zoektocht naar de optimale $\eta$ (die normaal gesproken dure wortelzoekmethodes vereist).
   • Werking: AdvNet stuurt de rollouts naar gebieden met lage opbrengst binnen het toegestane KL-budget, waardoor lokale kwetsbaarheden worden blootgelegd zonder expliciete perturbaties te genereren.

2. Model-niveau (Boltzmann Reweighting):

   • Doel: Omgaan met globale modelmisspecificatie en variabiliteit in dynamische parameters.
   • Methode: Het gebruik van een ensemble van dynamische modellen. In plaats van uniform te sample, worden de gewichten van het ensemble aangepast via Boltzmann-reweighting.
   • Werking: Modellen waar het beleid slecht presteert (hoge "kwetsbaarheidsscores") krijgen een hoger gewicht, maar de verdeling blijft binnen een KL-budget ($\kappa$) van de prior. Dit zorgt voor een gerichte focus op de meest schadelijke dynamische omgevingen.

C. Geïntegreerde Optimalisatie

De twee componenten werken samen in een min-max spel:
$$\max_\theta \min_{w, \psi} \mathbb{E}_{\omega \sim w} \left[ \mathbb{E}_{\tilde{\tau} \sim (\pi_\theta, p_\omega, \psi)} \left[ \sum \gamma^t r_t \right] \right]$$
Waarbij $w$ de modelverdeling is (Boltzmann) en $\psi$ de trajecto-tilting (AdvNet). Het totale robuustheidsbudget splitst zich in $\kappa + \epsilon \leq B$.

3. Belangrijkste Bijdragen

• Dual Formulering: Een praktische realisatie van distributioneel robuuste RL die de oneindig-dimensionale optimalisatie reduceert tot een tractabele scalar parameter ($\eta$) en een gewogen ensemble.
• AdvNet: Een efficiënte methode om de dual-temperatuur te leren, wat de noodzaak van kostbare wortelzoekalgoritmes per stap elimineert en stabiliteit garandeert.
• Complementariteit: Het tonen dat trajecto-tilting (lokaal) en model-reweighting (globaal) elkaar aanvullen om zowel lokale fragiliteit als globale misspecificatie aan te pakken.
• Theoretische Garantie: Bewijzen dat de benaderingsfouten kwadratisch zijn in de fout van $\eta$ en dat de operator een $\gamma$-contractie blijft, wat convergentie garandeert. De gap tussen nominale en robuuste waarde schaalt als $O(\sqrt{\epsilon})$.

4. Resultaten

De auteurs evalueren RAPO op Walker2d (locomotie) en een quadcopter met lading (complexere dynamica met kabels).

• Robuustheid: RAPO behoudt hoge prestaties in Out-of-Distribution (OOD) scenario's (bijv. extreme massa-, inertie- of wrijvingsvariaties), terwijl baselines zoals PPO, PPO+DR (domeinrandomisatie) en RARL (adversariële RL) sterk degradëren of instabiel worden.
• Ablatie Studies:
  • Zonder AdvNet: Verlies van lokale robuustheid; het beleid faalt bij specifieke state-action combinaties.
  • Zonder Boltzmann-reweighting: Verlies van globale dekking; het beleid ziet de "slechtste" modelconfiguraties niet.
  • Beide componenten zijn noodzakelijk voor de beste OOD-prestaties.
• Quadcopter Experiment: In een complexe taak met een hangende lading en externe verstoringen, bereikte RAPO 0% crashes in OOD-scenario's, vergeleken met 40% crashes voor PPO en 25% voor RARL. Ook de trackingfout (RMSE) was significant lager.
• Efficiëntie: Hoewel RAPO meer rekenkracht vereist per stap door het ensemble, is het schaalbaar en behoudt het de prestaties binnen de trainingsverdeling (ID) op een niveau vergelijkbaar met standaard PPO.

5. Betekenis en Conclusie

RAPO sluit de kloof tussen theorie en praktijk in robuuste versterkingsleer. Het biedt een wiskundig onderbouwde, maar praktische oplossing voor dynamische onzekerheid die:

1. Vermijdt de blindvlekken van pure adversariële training.
2. Vermijdt de inefficiëntie van uniforme domeinrandomisatie.
3. Biedt een controleerbare afweging tussen prestatie en robuustheid via de KL-budgetten ($\epsilon$ en $\kappa$).

De methode is bijzonder relevant voor veiligheidskritische toepassingen zoals robotica, autonoom rijden en finance, waar falen onder onvoorspelbare omstandigheden onacceptabel is. De auteurs suggereren toekomstig werk gericht op het pre-trainen van ensembles met echte data om de simulatie-tot-realiteit kloof verder te verkleinen.