Learning to maintain safety through expert demonstrations in settings with unknown constraints: A Q-learning perspective

Dit artikel introduceert SafeQIL, een algoritme dat via Q-learning en expertdemonstraties een veilig beleid leert in omgevingen met onbekende beperkingen door de kans op veelbelovende trajecten te maximaliseren terwijl de veiligheid gewaarborgd blijft.

De kern

De Kern: Leren van een Meester zonder de Regels te Kennen

Stel je voor dat je een beginnende kok bent die wil leren koken. Je hebt een meesterkok (de expert) die fantastische maaltijden bereidt. Je ziet wat hij doet en hoe het smaakt (de beloning), maar je weet niet precies waarom hij bepaalde dingen doet of welke verborgen regels hij volgt om ervoor te zorgen dat het eten niet giftig is (de onbekende veiligheidsbeperkingen).

De meeste robot-leren methoden proberen de regels van de meester te raden. Als ze die regels verkeerd raden, kan de robot gaan koken met giftige ingrediënten omdat hij dacht dat het veilig was, of hij wordt zo bang dat hij nooit meer iets probeert.

SafeQIL (de nieuwe methode uit dit paper) doet het anders. Het probeert niet de regels te raden, maar leert een gevoel voor veiligheid door te kijken naar de Q-waarden (een soort "toekomstige beloning" in de wereld van AI).

De Analogieën

1. De "Veiligheids-Compass" (De Discriminator)

Stel je voor dat de robot een kompas heeft. Dit kompas wijst niet naar het noorden, maar naar "veilige gebieden".

• Hoe werkt het? De robot kijkt naar de route die de meester heeft gelopen. Als de robot een nieuwe stap zet die lijkt op die van de meester, zegt het kompas: "Goed, dit is veilig."
• Het probleem: Als de robot een stap zet die de meester nooit heeft gedaan (een nieuw gebied), is het kompas onzeker. De robot moet hier heel voorzichtig zijn.

2. De "Onzichtbare Muur" (De Q-waarden)

In de wereld van AI is een Q-waarde een schatting van hoe goed een actie in de toekomst zal zijn.

• De oude manier: Als een robot een nieuwe stap zet, denkt hij vaak: "Dit ziet eruit alsof ik veel punten kan scoren!" en hij springt er direct op af. Hij vergeet dat hij misschien in een valkuil springt.
• De SafeQIL manier: Deze methode zegt: "Wacht even. Als deze stap niet op de route van de meester lijkt, dan is de Q-waarde (de beloning) geforceerd laag."
  • Het is alsof je een onzichtbare muur bouwt rondom de gebieden waar de meester nooit is geweest. Zelfs als er goud (beloning) ligt achter die muur, mag de robot er niet naartoe springen tenzij hij zeker weet dat het veilig is.
  • Als de robot toch per ongeluk in een onbekend gebied terechtkomt, leert hij snel dat hij daar "strafpunten" krijgt (negatieve beloning) en moet hij proberen terug te keren naar een veilig pad.

3. De Balans tussen "Voorzichtig" en "Gierig"

Het grootste probleem bij het leren van robots is de balans:

• Te voorzichtig: De robot doet precies wat de meester deed, maar durft nooit iets nieuws te proberen. Hij blijft steken in een hoekje.
• Te gierig: De robot ziet een hoge beloning, springt erop af en belandt in een gevaarlijke situatie (bijvoorbeeld een auto die tegen een boom rijdt om een snellere route te nemen).

SafeQIL is als een slimme leermeester die zegt: "Je mag nieuwe routes proberen als ze lijken op wat ik deed, maar als je de weg verlaat, moet je eerst bewijzen dat je veilig terug kunt komen voordat ik je beloof dat je punten krijgt."

Wat hebben ze ontdekt?

De onderzoekers hebben SafeQIL getest in virtuele werelden waar robots moesten navigeren tussen obstakels (zoals een auto die moet parkeren zonder andere auto's aan te raken).

• De concurrenten: Andere methoden probeerden de regels van de veiligheid te "ontdekken". Dit werkte vaak slecht: of ze werden te bang en deden niets, of ze deden iets gevaarlijks omdat ze de regels verkeerd hadden begrepen.
• De winnaar (SafeQIL): Deze methode slaagde erin om veel minder ongelukken te veroorzaken dan de andere methoden, terwijl ze toch nog steeds goed werk leverden.
  • In één test (waar een robot een knop moest indrukken) deden andere robots het goed in het scoren, maar botsten ze vaak. SafeQIL botste veel minder, zelfs als dat betekende dat ze iets minder snel waren.
  • Het is alsof SafeQIL de robot leert: "Het is beter om een beetje trager te zijn en veilig te blijven, dan om snel te zijn en te crashen."

Waarom is dit belangrijk?

Vroeger moesten mensen elke mogelijke gevaarlijke situatie voor een robot uitschrijven (bijv. "Rij niet sneller dan 50", "Raak geen mensen aan"). Dat is onmogelijk voor complexe taken.

Met SafeQIL kunnen we robots gewoon laten kijken naar een expert (een mens of een andere robot) en zeggen: "Kijk hoe hij dat doet, en zorg dat je nooit iets doet dat hij nooit zou doen." De robot leert dan vanzelf welke gebieden veilig zijn en welke niet, zonder dat we de regels hoeven te formuleren.

Samengevat:
SafeQIL is een slimme manier om robots veilig te laten leren door te zeggen: "Als je een stap zet die de meester nooit heeft gezet, houd dan je Q-waarde (je verwachting van succes) laag totdat je bewijst dat je veilig terug kunt keren." Dit voorkomt dat robots gevaarlijke gokjes wagen.

Technische samenvatting

Probleemstelling

Het paper adresseert het probleem van het leren van veilige beleidsregels (policies) in een Constraint Markov Decision Process (CMDP) waarbij de beperkingen (constraints) en de bijbehorende kosten (costs) onbekend zijn. De enige beschikbare informatie zijn expert-demonstraties (trajecten) die veilig zijn uitgevoerd, terwijl de beloningen (rewards) wel zichtbaar zijn.

De kernuitdaging ligt in het vinden van een balans tussen:

1. Conservatisme: Het vermijden van toestanden en acties die niet in de demonstraties voorkomen, wat kan leiden tot onderprestatie.
2. Risico: Het maximaliseren van de kans op hoog-rewardende trajecten, wat kan leiden tot het betreden van onzekere (potentieel onveilige) gebieden in de state-space.

Bestaande methoden voor Inverse Constrained Reinforcement Learning (ICRL) proberen vaak de onderliggende constraint-functies te reconstrueren. Dit kan leiden tot te strikte (conservatieve) oplossingen of, als de geschatte constraints onnauwkeurig zijn, tot onveilig gedrag. Het doel van dit paper is een beleid te leren dat de waarschijnlijkheid van de meest veelbelovende (promising) trajecten maximaliseert, gebaseerd op demonstraties, zonder expliciet de constraints te modelleren, maar door de veiligheid van individuele state-action paren te beoordelen.

Methodologie: SafeQIL

De auteurs introduceren SafeQIL (Safe Q-Inverse Constrained Reinforcement Learning), een algoritme dat een Q-learning perspectief toepast op het inverse leerprobleem. De kern van de methode is het mengen van verwachte beloningen en veiligheidsverwachtingen in de Q-waarden.

Belangrijkste technische componenten:

1. Gecombineerde Q-functie:
   De Q-waarde voor een state-action paar $(s, a)$ wordt gedefinieerd als de verwachte som van beloningen, waarbij onderscheid wordt gemaakt tussen:

   • Taak-specifieke beloning ($r_d$): De standaard beloning uit de omgeving.
   • Veiligheidsbeloning ($r_s$): Een bonus of straf die afhangt van de veiligheid van de staat. Als een staat niet in de ondersteuning (support) van de demonstraties ligt, wordt deze als onveilig beschouwd en krijgt een negatieve beloning (straf).
     De totale beloning $R_t$ is een mix: $R_t = I_S(s_t)r_d(s_t, a_t) + (1 - I_S(s_t))r_s(s_t)$, waarbij $I_S$ een indicator is voor veiligheid.

2. Discriminator-functie:
   Een discriminator $\phi_\omega$ wordt getraind om de waarschijnlijkheid te schatten dat een staat $s$ voorkomt in de verdeling van de expert-demonstraties. Dit fungeert als een zachte "gate" voor veiligheid. De veiligheidsbeloning wordt berekend als $r_s(s) = \log(\phi_\omega(s))$, wat resulteert in een negatieve straf voor onbekende (OOD - Out-of-Distribution) staten.

3. Beperking op Q-waarden (Upper Bound Constraint):
   Het centrale idee is dat Q-waarden voor staten buiten de demonstratie-verdeling (OOD) niet optimistisch mogen zijn. Voor een staat $s$ die niet in de demonstraties zit, wordt de Q-waarde begrensd door de Q-waarde van de "dichtstbijzijnde" staat in de demonstraties.

   • Het algoritme zoekt in de demonstratie-buffer ($D$) naar de staat $s^*_D$ die het meest lijkt op de huidige OOD-state $s_B$ (gemeten via cosinus-similariteit).
   • De Q-waarde voor $s_B$ wordt vervolgens beperkt tot een lokale bovengrens gebaseerd op de Q-waarde van $s^*_D$. Dit voorkomt dat het agent onrealistisch hoge waarden toekent aan onbekende gebieden.

4. Leerkern (Backbone):
   SafeQIL bouwt voort op Soft Actor-Critic (SAC). Het gebruikt een actor-critic architectuur met twee critics en een target critic. De loss-functie combineert:

   • De standaard SAC-objectief voor staten binnen de demonstratie-verdeling.
   • Een constraint-term voor staten buiten de verdeling die de Q-waarde forceert om onder de geschatte bovengrens te blijven.
   • Een term die de Q-waarden direct bijwerkt op basis van de demonstraties om een bias naar veilige gedrag te creëren.

Belangrijkste Bijdragen

1. Formulering als Inverse Constrained RL: Het probleem wordt geformuleerd als het maximaliseren van de waarschijnlijkheid van demonstraties via Q-waarden, waarbij veiligheid en beloning worden gemengd in plaats van aparte constraints te leren.
2. SafeQIL Algoritme: Een nieuw, model-vrij algoritme dat een lokale bovengrens op Q-waarden toepast voor OOD-staten, gebaseerd op de dichtstbijzijnde demonstratie, en gebruikmaakt van een discriminator om de veiligheid te schatten.
3. Robuustheid en Prestaties: Het paper toont aan dat SafeQIL beter presteert dan state-of-the-art ICRL-methoden (zoals ICRL en VICRL) en imitatie-leringsmethoden (zoals SAC-GAIL) op uitdagende benchmark-taken, vooral in termen van het verminderen van veiligheidskosten zonder de taakprestatie volledig op te offeren.

Resultaten

De methode is geëvalueerd op vier taken uit Safety-Gymnasium:

• SafetyPointGoal1-v0 (Navigatie met obstakels)
• SafetyPointCircle2-v0 (Navigatie binnen een cirkel)
• SafetyCarButton1-v0 (Interactie met knoppen)
• SafetyCarPush2-v0 (Manipulatie van objecten)

Kernbevindingen:

• Veiligheid: SafeQIL reduceerde de veiligheidskosten (safety violations) significant (tussen 30% en 92%) ten opzichte van een onbeperkte SAC-baseline.
• Vergelijking met ICRL/VICRL: Hoewel VICRL soms lagere kosten boekte, faalde het vaak in complexe taken (zoals SafetyCarPush2) door de taakprestatie volledig te laten instorten (negatieve beloning). SafeQIL behield een beter evenwicht tussen veiligheid en taakprestatie.
• Vergelijking met SAC-GAIL: SafeQIL bood strengere veiligheidsgaranties (lagere worst-case kosten) dan SAC-GAIL, hoewel SAC-GAIL soms iets hogere beloningen boekte.
• Ablatie-studie: De studie bevestigde dat zowel de constraint-term (bovengrens) als de OOD-straf essentieel zijn. Zonder deze componenten werd het gedrag ofwel te risicovol of te conservatief.
• Dataset Grootte: Een interessante bevinding was dat het vergroten van de datasetgrootte (van 1x naar 8x) soms leidde tot een verslechtering van de prestaties bij andere methoden door de inconsistentie in menselijke demonstraties (multi-modale gedrag). SafeQIL bleef hierin robuuster, hoewel ook hier variatie toeneemt bij zeer grote datasets.

Betekenis en Conclusie

SafeQIL biedt een nieuwe benadering voor veilig Reinforcement Learning in onbekende omgevingen. In plaats van te proberen de complexe onderliggende constraints expliciet te modelleren (wat vaak leidt tot over- of onder-constraining), regulariseert SafeQIL direct de waarde-functie.

De methode combineert de voordelen van off-policy actor-critic learning (sample-efficiëntie en stabiliteit van SAC) met een pessimistische instelling voor onbekende staten. Dit stelt agenten in staat om veilig te herstellen naar bekende, veilige staten, zelfs als ze tijdelijk in onzekere gebieden terechtkomen. Het paper demonstreert dat het "pessimistisch" zijn op staten die niet in de data voorkomen, een effectieve strategie is om veiligheid te garanderen zonder de voordelen van maximale entropie RL volledig te verliezen.

Dit werk is significant voor toepassingen waar veiligheid cruciaal is (zoals robotica en autonoom rijden) en waar het definiëren van formele veiligheidsregels moeilijk of onmogelijk is, maar waar wel expert-demonstraties beschikbaar zijn.