Dyna-Style Safety Augmented Reinforcement Learning: Staying Safe in the Face of Uncertainty

1. Probleemstelling

Versterkingsleren (RL) staat voor een kritieke uitdaging: veilige exploratie tijdens het trainen. Direct leren op fysieke hardware is vaak onpraktisch vanwege het risico op catastrofale storingen. Bestaande aanpakken vallen over het algemeen in twee categorieën met aanzienlijke beperkingen:

• Zachte beperkingen (bijv. Beperkte MDP's): Deze zorgen alleen voor veiligheid in verwachting, en bieden geen harde garanties tegen individuele storingen.
• Veiligheidsfilters uit de besturingstechniek: Methoden zoals Control Barrier Functions (CBF's) of Hamilton-Jacobi-reachability bieden harde veiligheidsgaranties, maar vereisen uitgebreide domeinkennis (bijv. bekende dynamica, invariante verzamelingen) en hebben moeite om te schalen naar hoogdimensionale systemen.
• Op leren gebaseerde filters: Recente pogingen om veiligheidsfilters via RL te leren, vertrouwen vaak op simulatoren of slagen er niet in om effectief te schalen naar complexe, hoogdimensionale omgevingen met onbekende dynamica.

Het kernprobleem is het ontwikkelen van een schaalbare, datagedreven methode die tegelijkertijd een veiligheidsfilter en een besturingsbeleid leert, met minimale domeinkennis (alleen een definitie van "storing" en initiële data), terwijl veiligheid tijdens het trainingsproces wordt gegarandeerd.

2. Methodologie: Dyna-SAuR

De auteurs stellen Dyna-SAuR (Dyna-style Safety Augmented Reinforcement Learning) voor, een Model-Based RL (MBRL)-kader dat iteratief een besturingsbeleid en een veiligheidsfilter leert met behulp van een dynamisch model dat rekening houdt met onzekerheid.

Kernarchitectuur

Het algoritme werkt in een iteratieve lus (Algoritme 1) bestaande uit drie hoofdfasen:

1. Modelleer: Een probabilistisch ensemble-dynamisch model ($\hat{p}$) wordt getraind op verzamelde data. Dit model vangt epistemische onzekerheid (onzekerheid door gebrek aan data) op via ensemble-onenigheid.
2. Veiligheidsfilter leren: Een filterbeleid ($\mu$) wordt uitsluitend getraind op het geleerde model. Het filter projecteert de acties van het besturingsbeleid naar een "haalbare" verzameling om storingen en gebieden met hoge modelonzekerheid te vermijden.
3. Besturingsbeleid leren: Het besturingsbeleid ($\pi$) wordt getraind met zowel interacties met de echte omgeving als modelgebaseerde rollouts, gefilterd door het huidige veiligheidsfilter $\mu$. Nieuwe data wordt verzameld om het dynamisch model te verfijnen, waardoor het "zekere" veilige gebied voor de volgende iteratie wordt uitgebreid.

Belangrijke technische innovaties

A. Haalbaarheid in onzekerheidsbewuste modellen
Het paper breidt het concept van Haalbaarheidstheorie uit naar MBRL. In plaats van alleen storingstoestanden ($S_F$) te vermijden, moet het systeem toestanden vermijden waar het model onzeker is.

• Zekere Veilige Verzameling ($SS(E)$): De verzameling van toestand-actieparen waarbij de toestand veilig is en de voorspellende entropie van het model onder een drempelwaarde ($\lambda_1$) ligt.
• Zeker Haalbaarheidskern ($S_V(E)$): De verzameling toestanden waaruit een beleid bestaat dat het systeem binnen $SS(E)$ houdt voor een eindige horizon met hoge waarschijnlijkheid.
• Het filter wordt getraind om acties te projecteren naar de verzameling beleidsplannen die binnen deze kern blijven.

B. Efficiënte formulering van de actieruimte van het filter
Een belangrijke bijdrage is de herparameterisatie van het veiligheidsfilter. Eerdere methoden leerden direct hypervlakparameters ($w, b$), wat leidde tot een onbegrensde en overgeparameteriseerde zoekruimte.

• Eenhedenhyperbol Actieruimte ($U$): Het filterbeleid $\mu$ voert een vector $u$ uit in een eenheidshyperbol ($0 < \|u\|_2 \leq 1$).
• Bijectieve transformatie ($h$): Een deterministische functie mapt $u$ naar de hypervlakparameters $(w, b)$:
  • $w = u / \|u\|_2$ (Richting van de normaalvector)
  • $b = (2\|u\|_2 - 1)\|w\|_1$ (Offset)
• Betekenis: Dit zorgt ervoor dat het hypervlak altijd de begrenste actieruimte $A = [-1, 1]^{n_A}$ snijdt. De norm $\|u\|_2$ fungeert als een "beperking"-knop: waarden dicht bij 0 zijn permissief, terwijl waarden dicht bij 1 beperkend zijn. Dit creëert een compacte, begrensde zoekruimte voor de RL-agent.

C. Beloningsvorming en dataverdeling
Om het filter effectief te trainen zonder storingen in de echte wereld:

• Beloningsfunctie: Het filter ontvangt een beloning van $+1$ als de volgende toestand binnen $SS(E)$ blijft, en een grote negatieve straf ($-1/(1-\gamma)$) als het deze verlaat, wat effectief de "tijd tot storing" codeert.
• Doel: Maximaliseer de verwachte tijd tot storing terwijl de norm van de filteractie ($\|u\|_2$) wordt geminimaliseerd om te voorkomen dat het gedrag te conservatief wordt.
• Data-vorming: De starttoestandsverdeling voor het trainen van het filter is een mengsel van:
  1. Initiële omgevingsdata.
  2. Toestanden dicht bij storingsgebieden (om te leren hoe men zich moet herstellen/vermijden).
  3. Toestanden met hoge besturingsopbrengsten (om ervoor te zorgen dat het filter geen optimale prestaties blokkeert).

3. Belangrijkste bijdragen

1. Nieuw algoritme: Dyna-SAuR is de eerste schaalbare aanpak om haalbaarheidsgebaseerde veiligheidsfilters te leren voor diverse, hoogdimensionale systemen met minimale domeinkennis (alleen een storingsverzameling en initiële data).
2. Compacte RL-formulering: Het formuleert het leren van veiligheidsfilters als een standaard RL-probleem met een nieuwe, bijectieve parameterisatie van de actieruimte die de schaalbaarheidsproblemen van eerdere hypervlak-leermethoden oplost.
3. Onzekerheidsbewuste haalbaarheid: Het integreert modelonzekerheid direct in de haalbaarheidskern, waardoor het systeem veilig kan exploreren en zijn kennis van de omgeving kan uitbreiden.
4. Iteratieve verbetering: Het kader creëert een positieve feedbacklus waarbij betere modellen de onzekerheid verminderen, waardoor het veiligheidsfilter minder conservatief kan worden en betere besturingsbeleidsplannen mogelijk zijn.

4. Experimentele resultaten

De methode werd geëvalueerd op twee taken:

• Doelbereikende CartPole: Een laagdimensionale taak met positie- en hoekbeperkingen.
• MuJoCo Walker: Een hoogdimensionale (17-toestanden, 6-acties) bipedale wandeltaak met rompbeperkingen.

Prestatiemetingen:

• Veiligheid: Dyna-SAuR verminderde storingen tijdens het trainen met 2 ordes van grootte (100x) in vergelijking met state-of-the-art veilige RL-methoden (PPO-Lagrangian, DH-RL).
• Besturingsprestaties: Het kwam overeen met of overtrof de besturingsprestaties (opbrengst) van bestaande veilige RL-methoden.
• Schaalbaarheid: De methode slaagde erin te schalen naar de hoogdimensionale Walker-omgeving, terwijl andere filterleermethoden worstelden.
• Ablatiestudies: Het verwijderen van de nieuwe actieruimteformulering of de data-vormingsheuristieken leidde tot significante prestatiedegradatie of het falen om een geldig filter te leren, wat de ontwerpkeuzes valideert.

5. Betekenis

Dyna-SAuR vertegenwoordigt een belangrijke stap naar praktisch, veilig RL voor robotica in de echte wereld.

• Overbruggen van de kloof: Het overbrugt de kloof tussen rigoureuze besturingstechniek (haalbaarheid) en datagedreven leren, waardoor de behoefte aan handgemaakte modellen of uitgebreide domeinexpertise wordt weggenomen.
• Toepasbaarheid op hardware: Door storingen tijdens het trainen met ordes van grootte te verminderen, maakt het het vooruitzicht van het trainen van RL-agenten direct op fysieke hardware (of met minimale simulatie-naar-real-overdracht) veel haalbaarder.
• Schaalbaarheid: De voorgestelde parameterisatie van de actieruimte en de onzekerheidsbewuste aanpak bieden een blauwdruk voor het schalen van veilig RL naar complexe, hoogdimensionale systemen waar traditionele methoden falen.

Kortom, Dyna-SAuR biedt een robuust, datagedreven kader dat leert om "veilig te blijven" door te leren wat het niet weet (onzekerheid) en wat het niet kan doen (storing), en het veilige operationele bereik dynamisch uitbreidt naarmate het leert.