Technische Samenvatting: Robuuste Peak-cost Constrained Reinforcement Learning

1. Probleemformulering

Het artikel behandelt Robust Peak-cost Constrained Reinforcement Learning (RP-CRL), een probleemstelling waarbij een agent de verwachte cumulatieve beloning moet maximaliseren terwijl hij ervoor zorgt dat de maximale kosten die tijdens een traject worden ervaren, onder een gespecificeerde drempelwaarde blijven. Deze formulering wordt gemotiveerd door veiligheidskritische toepassingen waarbij een enkele catastrofale overtreding onacceptabel is, wat de standaard Constrained Markov Decision Process (CMDP) kaders — die vertrouwen op de verwachte cumulatieve kosten — ontoereikend maakt.

De auteurs formaliseren twee kritieke uitdagingen:

1. Peak-Cost Constraints: In tegenstelling tot standaard CMDP's hangt de beperking af van de traject-gewijze maximale kosten in plaats van een optelbare som. Dit leidt tot een niet-convexe optimalisatie met betrekking tot de state-action occupancy measure.
2. Sim-to-Real Mismatch: Policies die in simulatie worden getraind, falen vaak in de echte wereld vanwege mismatches in de transitiedynamiek. Het artikel streeft naar een policy die voldoet aan de peak-cost constraint onder de worst-case transitiedynamiek binnen een voorgeschreven onzekerheidsset.

Het kernoptimalisatieprobleem wordt gedefinieerd als:
$$\min_{\pi} \max_{P \in \mathcal{P}} J^P_r(\pi) \quad \text{s.t.} \quad \max_{P \in \mathcal{P}} \max_{s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) \leq b$$
waarbij $V^{\pi,P}_{c,peak}$ de robuuste peak-cost value function representeert, en $\mathcal{P}$ de onzekerheidsset van transitiemodellen is.

2. Belangrijkste Bijdragen en Theoretische Inzichten

A. Niet-nul Dualiteitsgat in Peak-Cost MDP's

Een primaire theoretische bijdrage is de demonstratie dat, in tegen tegenstelling tot standaard CMDP's, peak-cost constrained MDP's mogelijk geen nul dualiteitsgat toestaan, zelfs wanneer aan de Slater-voorwaarde wordt voldaan.

• Redenering: De "hard-max" beperking vernietigt de convexiteit van het probleem met betrekking tot de state-action occupancy measure.
• Implicatie: Standaard Lagrangian-gebaseerde primal-dual methoden, die vertrouwen op sterke dualiteit om de optimale oplossing te herstellen, zijn niet gegarandeerd te werken voor peak-cost problemen. De auteurs leveren een tegenvoorbeeld (zelfs in een tweetoestands MDP) dat aantoont dat de Lagrangian relaxatie strikt los kan zijn.

B. Robuust Surrogate Optimalisatiekader

Om het gebrek aan sterke dualiteit te overwinnen en de dynamische onzekerheid aan te pakken, stellen de auteurs een surrogate optimalisatiekader voor.

• Surrogaat Doelstelling: In plaats van het beperkte probleem direct op te lossen, minimaliseren zij een surrogaat doelstelling die de worst-case beloning en de worst-case constraint schending balanceert:
  $$\min_{\pi} \max \left\{ \frac{\max_{P} J^{\pi,P}_r}{\beta}, \left( \max_{P, s \in S_{\pi,P}} V^{\pi,P}_{c,peak}(s) - b \right) \right\}$$
• Theoretische Garantie: De auteurs bewijzen dat met een passende keuze van de hyperparameter $\beta$ (specifiek $\beta \geq C_{max}/\epsilon$), de optimale oplossing van dit surrogaat probleem dezelfde robuuste beloningswaarde bereikt als het oorspronkelijke probleem, terwijl de beperking met maximaal $\epsilon$ wordt geschonden.

C. Robuuste Waarde Estimatie via IPM

Om de onzekerheidsset $\mathcal{P}$ efficiënt te hanteren, maakt het artikel gebruik van Integral Probability Metrics (IPM).

• Voor continue toestandsruimtes wordt de onzekerheidsset gedefinieerd via een IPM-afstand van een nominaal model $P_0$.
• Dit maakt een gesloten vorm expressie mogelijk van de robuuste Bellman operator onder lineaire functiebenadering. Specifiek bevat de worst-case value function update een regularisatieterm proportioneel aan de norm van de value function gewichten:
  $$L_P V^{\pi}_{c,peak} = (1-\gamma)c(s,a) + \gamma V^{\pi}_{c,peak} + \rho \|w_{c, 2:d}\|_2$$
  Deze formulering vermijdt de computationele onhandelbaarheid van niet-rechthoekige onzekerheidssets.

3. Methodologie: Het RP-CRL Algoritme

Het voorgestelde algoritme, RP-CRL, is een Actor-Critic framework aangepast voor robuuste peak-constrained optimalisatie.

• Actor: Wordt bijgewerkt met behulp van een Proximal Policy Optimization (PPO) stijl clipped objective. Het advantage signaal dat gebruikt wordt voor de actor update wordt dynamisch geselecteerd op basis van de vraag of de huidige policy haalbaar (feasible) of niet haalbaar is.
• Critic: Er worden twee critics bijgehouden:
  1. Reward Critic ($V_r$): Schat de robuuste verwachte beloning in.
  2. Peak-Cost Critic ($V_{c,peak}$): Schat de robuuste peak cost in met behulp van een gedisconteerde recursie met een max operator (benaderd via Log-Sum-Exponential voor gladheid).
• Robustificatie: Beide critics integreren de IPM-gebaseerde robustificatieterm (de $\rho \|\cdot\|$ regularisatie) in hun Temporal Difference (TD) error berekeningen.
• Trainingslus: Het algoritme wisselt tussen het updaten van de reward en cost critics. Een selector functie bepaalt of er prioriteit moet worden gegeven aan het minimaliseren van de constraint schending (als infeasible) of het maximaliseren van de beloning (als feasible), wat effectief het surrogaat probleem oplost.

4. Experimentele Resultaten

De auteurs evalueren RP-CRL op CartPole en MuJoCo omgevingen (Ant, HalfCheetah, Humanoid, Swimmer) onder verstoorde dynamica.

• Baselines: Vergelijkingen worden gemaakt met:
  1. Een Primal-Dual (PD) methode aangepast voor peak-cost constraints (uit eerder werk [5], [6]).
  2. De voorgestelde Surrogate Objective getraind in een niet-verstoorde (nominale) omgeving.
• Perturbatie Setup: Training omvat het injecteren van ruis in systeemdynamica (bijv. zwaartekracht $g$ of viscositeit). Inferentie wordt getest onder sterkere perturbaties.
• Belangrijkste Bevindingen:
  • Constraint Satisfactie: RP-CRL slaagt er succesvol in om de peak cost onder de baseline te houden (vaak een zero peak cost bereikend), zelfs onder significante dynamische perturbaties. In contrast hiermee schenden de niet-robuuste surrogaat en de PD methode regelmatig de constraints tijdens inferentie.
  • Reward Performance: RP-CRL behaalt hogere returns dan de PD methode, die de neiging heeft om suboptimale policies te leren door het gebrek aan sterke dualiteit.
  • Robuustheid: Training met de robuuste formulering (surrogaat + IPM) leidt tot gladdere leercurves met lagere variantie en betere generalisatie naar ongeziene perturbaties vergeleken met training op nominale dynamica.
  • Generaliseerbaarheid: De methode presteert effectief over verschillende cost function definities en variërende niveaus van perturbatie ($\sigma$).

5. Betekenis en Claims

Het artikel claimt dat RP-CRL een noodzakelijke vooruitgang biedt voor veiligheidskritische RL door:

1. Theoretische Aannames te Corrigeren: Vast te stellen dat sterke dualiteit niet standhoudt voor peak-cost constraints, waardoor de directe toepassing van standaard Lagrangian methoden voor deze specifieke veiligheidsdoelstelling ongeldig wordt.
2. De Sim-to-Real Kloof te Overbruggen: Een robuust optimalisatiekader aan te bieden dat garandeert dat veiligheidsbeperkingen worden nageleefd, zelfs wanneer de ingezette omgeving verschilt van de trainingssimulator.
3. Praktisch Nut te Tonen: Aan te tonen via experimenten dat de voorgestelde surrogaat benadering, gecombineerd met IPM-gebaseerde robuuste waarde estimatie, effectief veiligheid afdwingt terwijl sterke beloningsprestaties behouden blijven in onzekere omgevingen.

De auteurs merken op dat hoewel de surrogaat oplossing de robuuste beloningswaarde van het oorspronkelijke probleem bereikt, de convergentiegaranties voor het voorgestelde actor-critic algoritme in grote toestandsruimtes aan toekomstig onderzoek worden overgelaten.