Safe-Support Q-Learning: Learning without Unsafe Exploration

1. Probleemstelling

Reinforcement Learning (RL) agenten ontdekken doorgaans optimale beleidsplannen door middel van exploratie, wat inherent het bezoeken van staat-actieparen inhoudt die kunnen leiden tot onveilige of catastrofale uitkomsten. Hoewel bestaande "Safe RL" methoden proberen risico te mitigeren via beperkingen, straffen of risicosensitieve doelstellingen (bijvoorbeeld Conditional Value-at-Risk), elimineren ze over het algemeen niet het bezoeken van onveilige staten tijdens het trainen. Ze vertrouwen vaak op probabilistische grenzen of op verwachtingen gebaseerde beperkingen, wat betekent dat veiligheidsviolaties toch kunnen optreden.

De auteurs adresseren een strengere veiligheidsvereiste: het leerproces mag nooit trajecten produceren die onveilige staten bezoeken. De kernuitdaging is hoe voldoende exploratie en beleidsverbetering mogelijk zijn binnen een beperkte "veilige set" ($S_{safe}$), zonder te vertrouwen op bijna-optimale gedragingen of het riskeren van onveilige overgangen.

2. Methodologie: Safe-Support Q-Learning

Het voorgestelde kader is een op Q-learning gebaseerde aanpak die alle leercomponenten beperkt tot het draagvlak van een veilige set. Het werkt onder de aanname dat er een gedragsbeleid ($\pi_b$) bestaat dat volledig wordt ondersteund op $S_{safe}$ (d.w.z. het bezoekt nooit onveilige staten). Dit beleid hoeft niet optimaal te zijn, maar moet stochastisch zijn om exploratie binnen het veilige gebied mogelijk te maken.

Het kader bestaat uit drie hoofdcomponenten:

A. Constructie van het Gedragsbeleid

De methode maakt gebruik van een gedragsbeleid $\pi_b$ dat wordt ondersteund op $S_{safe}$. Er worden twee instantiatiestrategieën voorgesteld:

1. HC Safe (Hand-Crafted): Gebruikt goed presterende regels of controllers (bijvoorbeeld PID, MPC) die zijn omgezet in stochastische beleidsplannen. In continue ruimten wordt dit geïmplementeerd via Mean-Noise (deterministisch beleid + Gaussisch ruis) of Distributional (staatafhankelijke Gaussische) parametriseringen.
2. DS Safe (Dataset-Based): Traint een beleid via maximum likelihood schatting op een vooraf verzameld dataset dat uitsluitend veilige overgangen bevat. Dit fungeert als een offline RL-opzet waarbij het beleid wordt beperkt tot het draagvlak van de dataset.

B. KL-Regulariseerde Bellman-doelwaarde

Om te voorkomen dat de Q-functie hoge waarden toekent aan Out-of-Distribution (OOD) of onveilige acties, modificeren de auteurs de standaard Bellman-doelwaarde. In plaats van een uniforme prior te gebruiken (zoals in Soft Q-Learning) of een max-operator, introduceren ze een KL-divergentie regularisatie term die de Q-functie afstemt op het gedragsbeleid $\pi_b$.

De veilige doelwaarde $y_k^{safe}$ voor discrete acties wordt gedefinieerd als:
$$y_k^{safe} = r_{k+1} + \mathbb{1}(s_{k+1})\gamma \lambda \ln \left( \sum_{a \in A} \tilde{\pi}_b(a|s_{k+1}) \exp\left(\frac{Q(s_{k+1}, a)}{\lambda}\right) \right)$$
Waarbij:

• $\tilde{\pi}_b$ een gladgemaakte versie is van het gedragsbeleid om strikt positieve kansen te garanderen.
• $\lambda$ een temperatuurparameter is.
• Deze formulering straalt effectief afwijkingen van de veilige gedragsverdeling af, waardoor wordt gegarandeerd dat de Q-functie binnen het draagvlak van veilige acties blijft.

Theoretische Garantie: De auteurs bewijzen dat de resulterende Bellman-operator een contractieafbeelding is, wat een uniek vast punt ($Q^*_\lambda$) garandeert. Het optimale beleid dat door deze Q-functie wordt geïnduceerd, is een KL-regulariseerde softmax over het gedragsbeleid:
$$\pi^*_\lambda(a|s) = \frac{\tilde{\pi}_b(a|s) \exp(Q^*_\lambda(s, a)/\lambda)}{\sum_{a'} \tilde{\pi}_b(a'|s) \exp(Q^*_\lambda(s, a')/\lambda)}$$

C. Beleidsextractie

• Discrete Actieruimten: Het optimale beleid wordt direct afgeleid met behulp van de bovenstaande gesloten-formule softmax-expressie.
• Continue Actieruimten: Aangezien de integraal in de noemer onberekenbaar is, stellen de auteurs een surrogaatbeleid ($\pi_\phi$) voor dat geparametriseerd is als een Gaussische verdeling. Dit surrogaat wordt getraind door de KL-divergentie tussen zichzelf en het theoretisch optimale beleid te minimaliseren, waarbij Monte Carlo-sampling wordt gebruikt om de verwachting te benaderen.

Het kader is verenigd en aanpasbaar aan zowel online als offline settings, evenals discrete en continue actieruimten.

3. Belangrijkste Bijdragen

1. Strikte Veiligheidsgarantie: In tegenstelling tot eerdere Safe RL-methoden die risico begrenzen, dwingt deze aanpak veiligheid af op het traject-draagvlakniveau, waardoor wordt gegarandeerd dat er tijdens het trainen geen onveilige staten worden bezocht.
2. KL-Regulariseerde Q-Learning: Introductie van een nieuwe Bellman-doelwaarde die de Q-functie beperkt tot het draagvlak van een veilig gedragsbeleid via KL-divergentie, ter vervanging van de standaard entropie-regularisatie.
3. Twee-fasen Kader: Een scheiding van Q-functietraining en beleidsextractie, wat stabiel leren mogelijk maakt zelfs wanneer het gedragsbeleid suboptimaal maar veilig is.
4. Gegeneraliseerde Varianten: De methode biedt een enkel kader dat aanpasbaar is aan verschillende scenario's (Discrete/Continue acties, Hand-gemaakte/Dataset-gebaseerde gedragsbeleidsplannen).

4. Experimentele Resultaten

De auteurs hebben de methode geëvalueerd op FrozenLake en CartPole omgevingen, waarbij ze deze vergeleken met standaard Q-learning en state-of-the-art baselines (CQL, BCQ, IQL, TD3+BC, BEAR).

• Stabiliteit en Convergentie: De voorgestelde methode toonde snellere convergentie en lagere variantie in vergelijking met baselines, met name in discrete settings waar andere methoden vaak faalden om effectieve beleidsplannen te leren.
• Waardekalibratie: De Q-waarden die door de voorgestelde methode werden geleerd, waren goed gekalibreerd en kwamen nauw overeen met Monte Carlo-returns. Baselines vertoonden daarentegen problemen zoals waarde-instorting, overschatting (divergentie boven de diagonaal) of excessief conservatisme.
• Veiligheid versus Prestatie:
  • In de CartPole-omgeving bereikte de voorgestelde methode veiliger gedrag (lagere maximale poolhoeken) over vergelijkbare return-niveaus in vergelijking met baselines.
  • Hoewel sommige baselines hoge returns bereikten, gebeurde dit vaak met hogere variantie of onveilige trajecten.
  • De methode toonde een afweging: wanneer het gedragsbeleid imperfect was (bijvoorbeeld in sterk beperkte settings), was de prestatie beperkt, maar werd de veiligheid strikt gehandhaafd.

5. Betekenis

Dit werk vertegenwoordigt een significante verschuiving in Safe RL van risicomitigatie (toestaan van enige onveilige exploratie) naar risico-eliminatie (strikt verbieden van onveilige exploratie). Door te leunen op een gedragsbeleid dat wordt ondersteund op een veilige set en het Q-learning-doel te regulariseren, biedt de methode een principiële manier om optimale beleidsplannen te leren in hoog-risico omgevingen (bijvoorbeeld robotica, autonoom rijden) waar zelfs één onveilige interactie onaanvaardbaar is. De theoretische garantie van een uniek vast punt en het praktische succes in het handhaven van goed gekalibreerde waarde-schattingen maken dit een robuust kader voor veiligheidskritieke toepassingen.