C-STEP: Continuous Space-Time Empowerment for Physics-informed Safe Reinforcement Learning of Mobile Agents

Probleemstelling

Veilig navigeren in complexe, dynamische omgevingen blijft een centrale uitdaging voor Reinforcement Learning (RL) in de robotica. Bestaande methoden voor veilig RL (zoals Control Barrier Functions of risicomijdende strategieën) hebben vaak moeite met continu ruimtetijd-dynamische systemen en onbekende omgevingscondities. Traditionele beloningssystemen (reward functions) focussen vaak op taakvoltooiing en straffen alleen onveilig gedrag (bijv. botsingen) na het feit, wat kan leiden tot policies die risico's nemen zolang ze niet direct worden gestraft. Er is behoefte aan een intrinsieke, interpreteerbare methode om veiligheid te integreren in het leerproces, gebaseerd op de fysica van het systeem zelf.

Methodologie: C-STEP

De auteurs introduceren C-STEP (Continuous Space-Time Empowerment for Physics-informed), een nieuw kader dat "empowerment" (vermogen) aanpast voor deterministische, continue systemen om een veiligheidsmaatstaf te creëren.

1. Herdefinitie van Empowerment:

   • Klassieke empowerment (informatietheoretisch) meet de controle die een agent heeft over toekomstige sensorstaten via conditionele kanaalcapaciteit.
   • Voor deterministische systemen in continue ruimtes is de klassieke definitie problematisch: omdat de overgang voorspelbaar is, wordt de conditionele entropie oneindig, wat empowerment oneindig maakt.
   • Oplossing: De auteurs definiëren empowerment voor deterministische agenten als de maximale differentiaal-entropie van de verdeling van de volgende toestand. Dit komt neer op het logaritme van het volume van de bereikbare set (reachable set) binnen een tijdsbestek $T$, waarbij de agent binnen de veilige configuratieruimte ($X_{free}$) blijft.

2. CST-Empowerment Formule:
   Voor een systeem $\dot{x}(t) = f(x(t), u(t))$ wordt de empowerment $E_T(x)$ gedefinieerd als:
   $$E_T(x) = \log(\lambda(R_{T,free}(x)))$$
   Waarbij $\lambda$ het volume is en $R_{T,free}(x)$ de set van toestanden die binnen tijd $T$ bereikbaar zijn zonder botsing.

3. Nieuwe Beloningsfunctie (Reward Shaping):
   De kern van de methode is het vermenigvuldigen van een bestaande taakbeloning ($r_d$) met de empowerment-maatstaf. De nieuwe "empowered" beloningsfunctie is:
   $$r(x) := r_d(x) \cdot \log(c \cdot \lambda(R_{T,free(x)}))$$
   Waarbij $c$ een veiligheidscoëfficiënt is die de mate van veiligheid kan afstellen.

   • Fysica-informeerd: De berekening gebruikt de interne toestanden (zoals snelheid) en de voorwaartse dynamica van het systeem.
   • Onafhankelijk van de omgeving: Er is geen globale kaart nodig; het systeem moet alleen kunnen simuleren of een traject botst of niet.
   • Interpreteerbaar: Een hoge beloning betekent dat de agent zich in een staat bevindt waaruit veel veilige toekomstopties bestaan.

4. Benoeking (Approximation):
   Omdat het exacte volume van de bereikbare set moeilijk te berekenen is, wordt een sampling-based algoritme gebruikt (Algorithm 1):

   • Er worden $N$ controletrajecten gesampled.
   • De eindpunten worden gesimuleerd.
   • De convexe hull van de veilige eindpunten wordt berekend om het volume te schatten.
   • Trajecten die botsen, worden gescheiden en hun volume wordt afgetrokken.

Belangrijkste Bijdragen

• Nieuwe Definitie: De eerste toepassing van empowerment voor deterministische, continue dynamische systemen, waarbij het probleem van oneindige entropie wordt opgelost door te focussen op het volume van de bereikbare set.
• Intrinsieke Veiligheid: Een beloningsfunctie die veiligheid niet als een harde constraint of een additieve straf introduceert, maar als een intrinsieke motivatie: "maximaliseer je toekomstige manoeuvreerbaarheid".
• Fysica-informeerd Design: De methode integreert interne toestanden (zoals snelheid) en systeemdynamica direct in de veiligheidsmeting, in plaats van alleen externe posities te gebruiken.
• Complementair Kader: C-STEP kan worden gebruikt bovenop bestaande RL-methoden en is compatibel met andere veiligheidsbenaderingen (zoals CBFs), in plaats van ze te vervangen.

Resultaten

De auteurs hebben C-STEP getest in 2D en 3D navigatietaken (een punt-maze en een drone in PyBullet) en vergeleken met een "unempowered" agent (standaard navigatiebeloning).

• Point Maze (2D): De empowered agent koos consequent voor de langere, bredere en veiligere route, terwijl de standaardagent de kortere, riskante route nam en vaker botste.
• Drone Navigatie (3D):
  • Succesratio: De empowered agent (met $c=0.5$) bereikte een succesratio van 99%, vergeleken met 82% voor de baseline.
  • Veiligheidsmarge: Agents met C-STEP brachten aanzienlijk minder tijd door in de buurt van obstakels. Bijvoorbeeld, de agent met $c=1$ bracht 72,61% minder tijd door binnen 0,1m van een obstakel.
  • Efficiëntie: Deze veiligheidsverbetering ging gepaard met slechts een marginale toename in de reistijd (ongeveer 18,4% trager voor de veiligste variant).
  • Invloed van Snelheid: De methode slaagde erin om rekening te houden met de initiële snelheid; agents leerden om bij hoge snelheden ruimere paden te kiezen om de bereikbare set groot te houden.

Betekenis en Conclusie

C-STEP biedt een interpreteerbare, fysica-informeerde aanpak voor veilig RL. In plaats van agents te verbieden bepaalde staten te betreden (zoals bij Control Barrier Functions), wordt de agent gemotiveerd om staten te kiezen die de maximale toekomstige vrijheid van actie bieden. Dit leidt tot emergent veilig gedrag.

De methode vormt een brug tussen model-vrij en model-gebaseerd RL: het vereist een simulator om trajecten te evalueren, maar geen differentieerbare overgangsfuncties of een expliciete definitie van veilige staten. De auteurs concluderen dat C-STEP een krachtig hulpmiddel is om de robuustheid van mobiele robotsystemen te vergroten, met een kleine prijs in reistijd voor een aanzienlijke winst in veiligheid. Toekomstig werk zal zich richten op kwantitatieve vergelijkingen met andere veiligheidsparadigma's en de uitbreiding naar stochastische systemen.