Solving Parameter-Robust Avoid Problems with Unknown Feasibility using Reinforcement Learning

Titel: Oplossen van Parameter-Robuuste Vermijd-problemen met Onbekende Feasibility met Reinforcement Learning

Auteurs: Oswin So, Eric Yang Yu, Songyuan Zhang, Matthew Cleaveland, Mitchell Black, Chuchu Fan (MIT & MIT Lincoln Laboratory).

---

1. Probleemstelling

Het paper adresseert een fundamentele mismatch tussen optimale veilige controller-synthese (vaak gebaseerd op Hamilton-Jacobi (HJ) analyse) en Deep Reinforcement Learning (RL).

• De Mismatch: HJ-analyse streeft naar het maximaliseren van de verzameling van starttoestanden waaruit een systeem veilig blijft (worst-case veiligheid). RL daarentegen optimaliseert de verwachte opbrengst over een door de gebruiker gespecificeerde verdeling van starttoestanden. Dit leidt tot beleidsregels die goed presteren op veelvoorkomende toestanden, maar catastrofaal falen in zeldzame, maar nog steeds veilige, gebieden van de parameterruimte.
• Robuuste Optimalisatie: Een natuurlijke oplossing is om het probleem te formuleren als een robuuste optimalisatie over een set van initiële condities (parameters $\theta$ die dynamica en veiligheidssets definiëren). Het doel is een beleid te vinden dat veilig is voor de slechtst mogelijke parameter binnen deze set.
• Het Kernprobleem: De robuuste optimalisatie hangt af van de feasibility (haalbaarheid) van de geselecteerde set parameters. Als de set parameters onhaalbaar is (d.w.z. er bestaat geen beleid dat voor alle parameters in die set veilig is), dan is het probleem onoplosbaar en worden alle beleidsregels gelijkwaardig (en suboptimaal). Het is echter a priori onbekend welke subset van de parameter ruimte haalbaar is.

Het paper introduceert het "Parameter-Robust Avoid Problem with Unknown Feasibility": het gelijktijdig identificeren van de grootste haalbare subset van parameters en het leren van een veilig beleid voor die subset.

2. Methodologie: Feasibility-Guided Exploration (FGE)

De auteurs stellen Feasibility-Guided Exploration (FGE) voor, een raamwerk dat drie sleuteluitdagingen aanpakt: het schatten van de haalbare set, het oplossen van de robuuste optimalisatie, en het uitbreiden van de set.

A. Schatten van de Haalbare Parameter Set ($\Theta^*$)

Omdat dynamica deterministisch zijn, is een parameter haalbaar als er minstens één veilig traject bestaat. Observaties van onveiligheid zijn echter niet per se een teken van onhaalbaarheid (het kan een suboptimaal beleid zijn).

• Asymmetrische Labels: Alleen "veilig" labels zijn betrouwbaar positief. "Onveilig" labels zijn ruis.
• Mixture Distribution: FGE traint een feasibility classifier ($q_\psi$) door een mengsel te gebruiken van:
  1. Positieve samples: Parameters die al bewezen veilig zijn (uit een buffer $D_f$).
  2. On-policy samples: Trajecten van het huidige beleid (bevat mogelijk fouten, maar leert de grenzen).
• Door deze te mengen met een coëfficiënt $\alpha$, creëren ze een classifier die geen false positives heeft (geen onhaalbare parameters worden als haalbaar gemarkeerd) en een gecontroleerde false-negative rate heeft. Dit wordt bereikt via variational inference.

B. Robuuste Optimalisatie met Saddle-Point Zoeken

Het probleem wordt geformuleerd als een minimax-spel:
$$\max_{\Theta' \subseteq \Theta} |\Theta'| \quad \text{s.t.} \quad \max_{\pi} \min_{\theta \in \Theta'} \text{Cost}(\pi, \theta) = 0$$

• In plaats van een standaard adversariaal beleid (zoals in RARL) dat vaak instabiel is, gebruikt FGE methoden uit online learning (Orabona, 2019).
• Follow-the-Regularized-Leader (FTRL): Het beleid ($\pi$) wordt bijgewerkt met een regularisatie-term om oscillaties te voorkomen.
• Best-Response Adversariaal: De "tegenstander" (die de slechtste parameter $\theta$ kiest) wordt expliciet beperkt tot de geschatte haalbare set $\Theta'$. De tegenstander kiest de parameter die het huidige beleid het minst goed presteert, maar alleen binnen de grenzen van wat de classifier als haalbaar ziet.
• Dit zorgt voor stabiliteit en convergentie naar een zadelpunt (saddle point) in de gemiddelde iteraties.

C. Uitbreiding van de Haalbare Set (Exploration)

Om te voorkomen dat het algoritme vastloopt in een kleine, bekende veilige set, introduceert FGE een explore-distributie.

• De classifier wordt gebruikt om parameters te identificeren die nog niet als haalbaar zijn gemarkeerd (maar ook niet als onmogelijk).
• Via rejection sampling worden deze onzekere parameters actief geselecteerd om het beleid te trainen.
• Als het beleid succesvol een nieuwe parameter veilig maakt, wordt deze toegevoegd aan de haalbare set ($D_f$), waardoor de classifier en het beleid iteratief verbeteren.
• Een rehearsal buffer houdt vast aan moeilijke, maar haalbare parameters die het huidige beleid nog niet goed beheerst, om te voorkomen dat deze vergeten worden.

3. Belangrijkste Bijdragen

1. Formalisatie: Een nieuwe definitie van het robuuste veilige optimalisatieprobleem waarbij de haalbare parameterregio en het veilige beleid gelijktijdig worden geselecteerd.
2. FGE Framework: Een praktisch algoritme dat constraint-driven exploration combineert met saddle-point optimalisatie.
3. Theoretische Inzichten: Bewijzen dat de voorgestelde classifier geen false positives genereert en dat de methode convergeert onder bepaalde aannames (convex-concave structuur), hoewel dit in de praktijk wordt benaderd.
4. Empirische Superioriteit: Resultaten tonen aan dat FGE aanzienlijk grotere veilige sets leert dan bestaande methoden.

4. Resultaten

De methode is getest op een reeks uitdagende omgevingen in de MuJoCo-simulator en andere simulatoren (Dubins, Hopper, HalfCheetah, FixedWing, Lunar Lander).

• Vergelijking: FGE wordt vergeleken met Domain Randomization (DR), Robust Adversarial RL (RARL), Curriculum Learning methoden (VDS, PLR) en Unsupervised Environment Design (UED) methoden (PAIRED, FARR, ACCEL, SFL).
• Performance:
  • FGE leert beleidsregels met meer dan 50% hogere dekking (coverage) van de haalbare parameter ruimte vergeleken met de beste bestaande methoden.
  • Het behaalt de hoogste veiligheidspercentages (Safety Rate) over alle taken.
  • Het is in staat om zeldzame en moeilijke scenario's (zoals een auto die door een smalle opening moet of een hopper die over een kloof moet springen) veilig te maken, terwijl andere methoden hierin falen.
• Ablatie Studies:
  • Het verwijderen van de explore-distributie leidt tot een drastische daling in dekking.
  • Het verwijderen van de rehearsal-buffer leidt tot instabiliteit tijdens het trainen.
  • Het gebruik van een classifier (in plaats van een dichtheidsmodel) presteert significant beter.

5. Significantie en Toekomstperspectief

• Overbrugging van Kieren: FGE lost het fundamentele probleem op dat robuuste RL vaak faalt omdat het uitgaat van een onhaalbare set parameters. Door de haalbaarheid actief te leren, wordt het probleem oplosbaar.
• Scalabiliteit: De methode schaalt goed naar hoge dimensies (zowel in observaties als parameters), inclusief RGB-beeldinvoer.
• Beperkingen: De theoretische convergentiegaranties zijn gebaseerd op aannames (zoals convex-concave objectieven) die in de praktijk niet altijd strikt gelden, maar empirisch werkt de methode wel uitstekend. De methode gaat momenteel uit van deterministische dynamica; uitbreiding naar stochastische dynamica is een toekomstige richting.

Conclusie: FGE biedt een krachtig nieuw paradigma voor veilig Reinforcement Learning, waarbij niet alleen een beleid wordt geleerd, maar ook de grenzen van wat veilig mogelijk is voor een systeem worden ontdekt en uitgebreid.