Learning Safe Behaviour via Justified Human Preferences and Hypothetical Queries

Technische Samenvatting: Leren van Veilig Gedrag via Gerekende Menselijke Voorkeuren en Hypothetische Queries

Probleemstelling
Traditionele Reinforcement Learning (RL) vertrouwt op exploratie door middel van vallen en opstaan, wat vaak onhaalbaar is in veiligheidskritische domeinen in de echte wereld (bijv. robotica, autonoom rijden) waar één onveilige actie kan leiden tot catastrofale uitkomsten. Hoewel Safe RL probeert dit aan te pakken door restricties in te bouwen, kampt het met het "veiligheidsexploratieprobleem": agenten kunnen niet naïef exploreren om te leren zonder schade te riskeren. Bovendien lijdt traditionele RL vaak aan sample-inefficiëntie en het "beloningsspecificatieprobleem", waarbij ontworpen beloningsfuncties niet overeenstemmen met de menselijke intentie.

Human-in-the-loop benaderingen bieden een oplossing door gebruik te maken van menselijke feedback om het leren te sturen. Bestaande methoden die echter uitsluitend vertrouwen op menselijke voorkeuren (bijv. kiezen tussen twee acties) leggen vaak een hoge last op de mens en slagen er mogelijk nog steeds niet in om onveilige regio's in de toestandsruimte efficiënt in kaart te brengen. De kernuitdaging die in dit werk wordt aangepakt, is hoe men een veilig beleid kan leren met minimale onveilige gebeurtenissen (training deaths) terwijl de tijd en cognitieve belasting voor de menselijke trainer wordt geminimaliseerd.

Methodologie: JPAL-HA
De auteurs stellen JPAL-HA (Justified Human Preferences for Active Learning with Hypothetical Actions) voor, een model dat voortbouwt op de "Parenting"-benadering [11]. In dit paradigma vraagt een ongetrainde agent (kind) een menselijke trainer (ouder) om begeleiding voordat er acties worden ondernomen. JPAL-HA introduceert twee nieuwe mechanismen om veiligheid en efficiëntie te verbeteren:

1. Gerekende Voorkeuren (Justified Preferences):
   In plaats van enkel de mens te vragen om de voorkeur voor de ene actie boven de andere te geven ($P$), vraagt de agent ook om een binaire rechtvaardiging ($J_P$). De mens geeft aan of de voorkeur gepaard gaat met een "waarschuwing" (één actie is onveilig/catastrofaal) of "geen waarschuwing" (beide acties zijn veilig).

   • Mechanisme: Dit binaire signaal stelt de agent in staat om de voorkeur en rechtvaardiging te mappen naar een verfijnd voorkeurslabel ($\mu \in \{0, 0.25, 0.5, 0.75, 1\}$). Een "waarschuwing"-signaal verhoogt de leerdruk op het beleidsmodel aanzienlijk om de catastrofale actie te vermijden, zelfs als de magnitude van de voorkeur klein is.
   • Voordeel: Dit biedt expliciete veiligheidssignalen die de agent helpen om "veilig maar suboptimaal" te onderscheiden van "catastrofaal" effectiever dan alleen voorkeur.

2. Hypothetische Acties (Hypothetical Actions - HAs):
   Wanneer een rechtvaardiging een "waarschuwing" aangeeft (dat wil zeggen, ten minste één gesamplede actie is catastrofaal), activeert de agent een Hypothetical Actions-lus.

   • Mechanisme: In plaats van direct te stoppen of opnieuw te samplen, genereert de agent een set hypothetische acties ($a_{new}$) die vanuit de huidige toestand ondernomen hadden kunnen worden. De agent vraagt de mens om een enkele rechtvaardiging ($J_{anew}$: veilig of waarschuwing) voor deze hypothetische acties.
   • Inferentie: Op basis van de veiligheidsstatus van de nieuwe hypothetische actie kan de agent automatisch de relatieve veiligheid afleiden van combinaties tussen de nieuwe actie en eerder geïdentificeerde veilige/catastrofale acties, en deze aan de trainingsdataset toe te voegen zonder verdere menselijke voorkeursqueries.
   • Deadly Patterns: De agent identificeert en slaat ook "deadly patterns" (combinaties van zetten die leiden tot catastrofe) op om deze in toekomstige toestanden te vermijden zonder de mens opnieuw te bevragen.
   • Voordeel: Dit stelt de agent in staat om de onveilige regio's van de toestandsruimte snel in kaart te brengen met één enkele burst van queries, waardoor de noodzaak voor herhaalde onderbrekingen bij dezelfde toestand wordt verminderd.

Het leerproces maakt gebruik van supervised learning (het minimaliseren van de cross-entropy loss op basis van het Bradley-Terry model) op een dataset van menselijke voorkeuren en rechtvaardigingen. Het algoritme gebruikt ook "After-The-Fact Queries" (ATFQs) om potentieel goede acties te verkennen die niet aanvankelijk zijn gesampled, wat fungeert als een veilig exploratiemechanisme.

Belangrijkste Bijdragen

1. Nieuwe Leersparadigma's: De introductie van Rechtvaardigingen (binaire veiligheidswaarschuwingen naast voorkeuren) en Hypothetische Acties (proactief bevragen van niet-geteste acties bij detectie van gevaar) als generaliseerbare concepten voor veilig leren van menselijke voorkeuren.
2. JPAL-HA Algoritme: Een verenigd algoritme dat deze functies integreert en aantoont dat het de veiligheid tijdens training aanzienlijk verbetert vergeleken met bestaande voorkeursgebaseerde methoden (Parenting, JPAL) en een betere sample-efficiëntie bereikt dan andere safe human-in-the-loop algoritmen.
3. Veiligheid-Menselijke Belasting Afweging: Het artikel biedt een instelbare hyperparameter ($p_{BTFQ}$) waarmee gebruikers de balans kunnen vinden tussen veiligheid (aantal queries) en de menselijke belasting. Het demonstreert dat JPAL-HA bijna nul "training deaths" kan bereiken terwijl de trainingstijd redelijk blijft.
4. Validatie in de Praktijk: De methode werd niet alleen geëvalueerd in simulatie (Island Navigation omgeving), maar ook met een diverse groep menselijke deelnemers die een fysieke Thymio mobiele robot trainden.

Resultaten

• Simulatie-experimenten:

  • Veiligheid: JPAL-HA verminderde het aantal "training deaths" aanzienlijk vergeleken met Q-learning (die gemiddeld ~16,5 deaths ervoer) en de baseline Parenting-benadering. In conservatieve settings bereikte JPAL-HA een gemiddelde van 0,02 deaths per trial, waarbij 98% van de trials nul deaths vertoonde.
  • Efficiëntie: JPAL-HA vond het optimale beleid in minder episodes (gemiddeld 3) vergeleken met Q-learning (22,9).
  • Menselijke Belasting: Hoewel het toevoegen van rechtvaardigingen aanvankelijk het aantal queries verhoogde vergeleken met Parenting, verminderde de toevoeging van Hypothetical Actions in JPAL-HA het totale aantal voorkeursqueries en de totale stappen, wat de extra cognitieve belasting van rechtvaardigingen effectief compenseerde.
  • Statistische Significantie: Niet-parametrische toetsen bevestigden significante verschillen in veiligheid en efficiëntie tussen JPAL-HA en de baseline-methoden.

• Robot-experimenten in de echte wereld:

  • Trainingstijd: Een diverse groep van 40 deelnemers (inclusclusief mensen zonder CS-achtergrond) slaagde erin de robot te trainen. Met initiële oefening waren de trainingstijden voor JPAL en JPAL-HA iets langer dan Parenting (30% meer), maar ze convergeren naar vergelijkbare niveaus (4 minuten) nadat de deelnemers zich aan de interface hadden aangepast.
  • Haalbaarheid: De studie toonde aan dat een diverse groep mensen de training in enkele minuten kon voltooien, en dat het mechanisme voor hypothetische acties de totale trainingstijd niet significant verhoogde ten opzichte van simpelere methoden, waardoor het binnen aanvaardbare grenzen bleef.

Betekenis en Claims
Het artikel beweert dat JPAL-HA een praktische oplossing biedt voor veilig leren in veiligheidskritische omgevingen waar traditionele RL faalt vanwege het risico op catastrofale exploratie. Door menselijke voorkeuren aan te vullen met eenvoudige binaire rechtvaardigingen en hypothetische queries te gebruiken om proactief gevaar in kaart te brengen, bereikt de methode een superieure afweging tussen veiligheid en menselijke inspanning.

De auteurs merken bescheiden op dat hoewel de methode is ontworpen voor discrete actieruimtes, de kernideeën kunnen worden uitgebreid. Ze erkennen ook dat in zeer complexe domeinen (bijv. helikoptervlucht), de afhankelijkheid van menselijke trainers uitgaat van de beschikbaarheid van expertkennis, en dat in continue real-time domeinen (bijv. autonoom rijden), aanvullende fallback-veiligheidsmechanismen naast deze methode vereist kunnen zijn. De primaire bijdrage is de demonstratie dat gerechtvaardigde voorkeuren en hypothetische queries agenten in staat stellen om veilige gedragingen aanzienlijk sneller en veiliger te leren dan bestaande human-in-the-loop benaderingen, zonder dat dit een onhoudbare tijdskost oplegt aan menselijke trainers.