Technische Samenvatting: SOOPER - Veilige Exploratie via Beleids-priors

Probleemstelling

Reinforcement learning (RL)-agenten moeten het vermogen hebben om online te leren en zich aan te passen in fysieke omgevingen, maar zij worden geconfronteerd met een kritieke uitdaging: veilige exploratie. Agenten moeten optimale gedragingen ontdekken zonder acties te ondernemen die leiden tot catastrofale uitkomsten, zelfs wanneer zij geen volledige kennis van hun omgeving hebben. Hoewel theoretische methoden vaak veiligheidsgaranties bieden, hebben zij moeite met het schalen naar complexe, hoogdimensionale taken. Daarentegen falen schaalbare deep RL-benaderingen vaak in het waarborgen van veiligheid tijdens het leerproces.

Een belangrijke beperking in bestaande benaderingen is de manier waarop zij voorkennis integreren. De meeste methoden gebruiken deze priors primair om veiligheid te handhaven (bijv. via backup-policies), maar falen in het gebruik van deze priors om exploratie actief te sturen naar veelbelovende regio's in de toestandsruimte. Dit artikel adresseert de behoefte aan een algoritme dat suboptimale, doch conservatieve beleidsregels (afgeleid van offline data of simulators) als priors kan gebruiken om veiligheid te garanderen en tegelijkertijd efficiënt, bijna-optimaal leren mogelijk te maken.

Methodologie: SOOPER

De auteurs stellen SOOPER voor (Safe Online Optimism for Pessimistic Expansion in RL), een model-gebaseerd RL-algoritme ontworpen voor Constrained Markov Decision Processes (CMDP's) in continue state-action ruimtes. De kernfilosofie is het gebruik van pessimistische beleids-priors om veiligheid te waarborgen en optimistische planning om exploratie aan te drijven.

1. Kernmechanismen

• Pessimistische Beleids-priors: SOOPER gaat uit van toegang tot een conservatieve beleids-prior $\hat{\pi}$ (bijv. getraind op offline data of een simulator met distributieverschuivingen). Deze prior garandeert dat aan veiligheidsrestricties wordt voldaan onder een set plausibele dynamische modellen $\mathcal{F}_0$.
• Online Kosten-tracking (Veiligheidsgarantie): Tijdens real-world rollouts monitort SOOPER de geaccumuleerde kosten. Het hanteert een schakelmechanisme:
  • Als het huidige beleid $\pi_n$ veilig lijkt op basis van een pessimistische kosten-waardefunctie $Q^{\hat{\pi}}_{c,n}$ (die een onzekerheidsstraf bevat), voert de agent $\pi_n$ uit.
  • Als de voorspelde kosten het veiligheidsbudget $d$ overschrijden, schakelt de agent onmiddellijk over naar de veilige prior $\hat{\pi}$.
  • Dit zorgt ervoor dat de agent met hoge waarschijnlijkheid nooit restricties overtreedt, zelfs wanneer het geleerde dynamische model inaccuraat is.
• Gesimuleerde Exploratie (Optimisme): Om de omgevingdynamiek te leren zonder de veiligheid in gevaar te brengen, construeert SOOPER een "planning MDP" ($\tilde{M}$) gebaseerd op het geleerde wereldmodel.
  • Terminatie: In deze gesimuleerde omgeving worden trajecten die in de echte wereld de veilige prior $\hat{\pi}$ zouden triggeren, beëindigd.
  • Terminale Beloning: Bij terminatie ontvangt de agent een pessimistische beloningswaarde $V^{\hat{\pi}}_r$ (de slechtst denkbare waarde van de prior-policy). Dit stimuleert de agent om trajecten te vinden die de prior overtreffen zonder de veiligheidsschakelaar te activeren.
  • Intrinsieke Beloningen: De objectiefunctie bevat intrinsieke beloningen gebaseerd op modelonzekerheid ($\|\sigma_n\|$) om zowel exploratie (data verzamelen om onzekerheid te verminderen) als expansie (proactief het aantal bekende veilige beleidsregels vergroten) aan te moedigen.

2. Theoretisch Kader

• Regret-analyse: In tegenstelling tot eerdere werken die alleen optimaliteit garanderen aan het einde van de training (simpele regret), stelt SOOPER een grens vast op cumulatieve regret. Dit garandeert dat de prestaties van de agent gedurende het gehele leerproces hoog blijven, niet alleen bij convergentie.
• Convergentie: Er is bewezen dat het algoritme convergeert naar een optimaal beleid door iteratief het dynamische model te verfijnen en de impliciete set van veilige beleidsregels uit te breiden. De cumulatieve regret groeit sublineair met het aantal episodes $N$.

Belangrijkste Bijdragen

1. Algoritmevoorstel: Introductie van SOOPER, een schaalbaar, model-gebaseerd RL-algoritme dat offline of in simulatie getrainde beleidsregels gebruikt als veilige priors voor continue controle-taken.
2. Theoretische Garanties:
   • Veiligheid: Bewijs dat SOOPER tijdens alle leer-episodes met hoge waarschijnlijkheid aan de veiligheidsrestricties voldoet.
   • Regret Bound: Vaststelling van een nieuwe bovengrens op cumulatieve regret, wat goede prestaties tijdens het leren garandeert in plaats van enkel bij de laatste iteratie.
   • Expansie: Demonstratie dat het algoritme impliciet de set van veilige beleidsregels uitbreidt totdat het convergeert naar de feitelijke CMDP.
3. Empirische Validatie: Uitgebreide experimenten op standaard safe RL-benchmarks (RWRL, SafetyGym) en real-world hardware (een op afstand bestuurbare racewagen).

Experimentele Resultaten

De auteurs evalueerden SOOPER tegen state-of-the-art baselines, waaronder SAILR, CRPO en Primal-Dual optimalisatiemethoden.

• Sim-to-Real en Distributieverschuivingen: In taken met dynamische mismatches (bijv. variërende tandwielparameters, stoklengtes), voldeed SOOPER consistent aan de veiligheidsrestricties terwijl het baselines evenaarde of overtrof wat betreft cumulatieve beloning.
• Visuele Controle: De methode schaalde succesvol naar taken met beeldgebaseerde observaties (CartpoleSwingup), waarbij de dynamiek direct werd geleerd van embeddings van een voorgetrainde visuele encoder.
• Offline-naar-Online: Wanneer geïnitialiseerd met policies getraind op grote offline datasets, verbeterde SOOPER de prestaties aanzienlijk terwijl de veiligheid behouden bleef.
• Real-World Hardware: In experimenten met een hoogfrequente (60 Hz) op afstand bestuurbare racewagen, leerde SOOPER om obstakels te ontwijken en doelen te bereiken. Het behaalde ongeveer twee keer de beloning van de initiële prior-policy terwijl het tijdens de hele training strikt aan de veiligheidsrestricties voldeed.
• Ablatie-studies: De auteurs toonden aan dat:
  • Terminaties in de gesimuleerde MDP cruciaal zijn voor het verminderen van de afhankelijkheid van de prior.
  • De methode robuust is tegen variërende niveaus van conservatisme in de prior-policy.
  • De aanpak veilig blijft onder niet-Gaussische, niet-additieve ruisverstoringen.

Betekenis en Claims

Het artikel claimt dat SOOPER een belangrijke stap vormt richting inzetbare RL door de kloof tussen theoretische veiligheidsgaranties en praktische schaalbaarheid te overbruggen.

• Verenigd Doel: Door het veiligheidsprobleem te herformuleren als een onbeperkte MDP met specifieke terminatie- en beloningsstructuren, omzeilt SOOPER de complexiteit van het direct oplossen van CMDP's, waardoor het compatibel is met standaard deep RL-architecturen (zo.v. MBPO).
• Prestaties Tijdens het Leren: De auteurs benadrukken dat hun cumulatieve regret-bound een duidelijke verbetering is ten opzichte van eerdere werken (zoals SAILR of ActSafe) die enkel veiligheid en optimaliteit garanderen aan het einde van de training, vaak ten koste van arbitrair slechte prestaties tijdens de exploratiefase.
• Praktische Bruikbaarheid: De methode is computationeel efficiënt gebleken, met een runtime die vergelijkbaar is met standaard model-gebaseerde RL-baselines, en effectief in real-world scenario's met stochasticiteit en vertragingen.

De auteurs concluderen dat, hoewel er uitdagingen blijven bestaan (zoals het afhandelen van niet-episodische settings of hoog-waarschijnlijkheidsrestricties op specifieke toestanden), SOOPER een robuust kader biedt voor veilige online leerprocessen die theoretische garanties vertalen naar real-world prestaties.