Synthesis and Deployment of Maximal Robust Control Barrier Functions through Adversarial Reinforcement Learning

Dit artikel introduceert een nieuw raamwerk voor robuuste veiligheidscontrole in niet-lineaire systemen met onbekende dynamiek, waarbij adversariele versterkende leer wordt gebruikt om maximale veilige sets te synthetiseren zonder afhankelijk te zijn van expliciete dynamische modellen.

De kern

Stel je voor dat je een zeer dure, complexe robot hond hebt die door een storm loopt. Je wilt dat hij een doel bereikt (bijvoorbeeld naar rechts lopen), maar er zijn onvoorspelbare windstoten (onzekerheid) die hem kunnen laten vallen of tegen een muur kunnen duwen. Als hij valt, is het raak: de robot is kapot.

De vraag is: Hoe zorg je dat de robot veilig blijft, zonder dat hij stopt met lopen of als een robotpop doet?

Dit is het probleem dat deze paper oplost. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het oude probleem: De "Strenge Ouder"

Vroeger hadden robot-ontwerpers een probleem. Om de robot veilig te houden, gebruikten ze wiskundige regels (noem ze "veiligheidsfilters").

• Het probleem: Om deze regels te maken, moesten ze de robot en de wind perfect begrijpen. Ze moesten exact weten hoe de robot beweegt en hoe de wind precies werkt.
• Het gevolg: Omdat ze niet alles perfect wisten, maakten ze de regels veiligheidsmanier. Ze dachten: "Beter te veel dan te weinig."
• De uitkomst: De robot werd als een kleine peuter behandeld. De "veiligheidswacht" (de filter) greep te vaak in. De robot mocht nauwelijks bewegen, of hij bleef staan en trilde alleen maar. Hij was veilig, maar hij kon zijn werk niet doen.

2. De nieuwe oplossing: De "Slimme Verdediger" (Q-CBF)

De auteurs van dit paper hebben een nieuwe manier bedacht die werkt als een slimme verdediger in een videospelletje.

In plaats van te proberen de robot en de wind exact te beschrijven met formules, kijken ze naar de robot als een zwart doosje (black-box). Ze weten niet precies hoe het binnen werkt, maar ze kunnen wel zien wat er gebeurt als je een knop indrukt en er een windstoot komt.

Ze gebruiken een techniek uit kunstmatige intelligentie (Reinforcement Learning), vergelijkbaar met hoe een computer leert schaken of een spelletje spelen:

• Het Spel: Ze laten de robot (de controller) en de wind (de "boze geest" of adversary) tegen elkaar spelen.
• De Leraar: De computer leert een "veiligheidskaart" (een Q-functie). Deze kaart zegt: "Als je hier staat en de wind blaast zo hard, wat is het slechtste scenario dat kan gebeuren?"
• De Leerling: De robot leert niet alleen om te lopen, maar ook om te anticiperen op de ergste windstoot die de "boze geest" kan bedenken.

3. De Magische Vergelijking: De "Onzichtbare Muur"

Stel je voor dat je een bal rolt over een heuvel.

• De oude methode: Je bouwt een hoge muur rond de hele heuvel, omdat je niet weet waar de bal precies heen rolt. De bal kan niet veel bewegen.
• De nieuwe methode (Q-CBF): De computer heeft een "krachtveld" geleerd. Het weet precies waar de randen zijn. Het bouwt geen muur, maar een onzichtbare, flexibele krachtveld.
  • Als de bal veilig is, laat het hem vrij rollen.
  • Als de bal bijna de rand raakt, duwt het hem heel zachtjes terug naar het veilige gebied.
  • Het doet dit zo slim, dat het de maximale ruimte geeft die veilig is. De robot kan dus veel meer doen dan voorheen, zonder ooit te vallen.

4. Wat hebben ze bewezen?

Ze hebben dit getest op twee dingen:

1. Een zwaaiende stok (Inverted Pendulum): Hier bleek dat hun nieuwe methode bijna precies de maximale veilige ruimte vond, terwijl de oude methoden veel te bang waren en de stok te veel beperkten.
2. Een 36-dimensionale robot hond (Quadruped): Dit is een heel complexe robot met 36 bewegende onderdelen. Ze lieten hem lopen in een simulatie met een "boze geest" die willekeurige stoten gaf.
   • Resultaat: De robot met hun nieuwe systeem liep 100% van de tijd veilig en bereikte zijn doel.
   • De robot met de oude methode viel vaak of bleef trillen.
   • De robot zonder filter viel direct.

Samenvattend

Deze paper introduceert een manier om robots veilig te maken zonder dat je de robot tot in de puntjes hoeft te begrijpen. Het is alsof je een robot een intuïtie geeft voor gevaar.

In plaats van een strenge ouder die zegt: "Je mag niet verder dan hier!", leert het systeem de robot: "Ik weet precies hoe ver je kunt gaan voordat je valt, zelfs als de wind tegen je is. Ga maar lekker rennen, ik grijp alleen in op het allerlaatste moment als het echt nodig is."

Dit maakt robots veiliger, maar laat ze ook veel meer doen dan voorheen.

Technische samenvatting

Probleemstelling

Veiligheidskritieke systemen opereren vaak in onzekere omgevingen waar storingen (zoals onbekende modelfouten of externe verstoringen) onvermijdelijk zijn. Een enkele veiligheidsvertraging kan catastrofale gevolgen hebben. Traditionele Robust Control Barrier Functions (CBF's) bieden een mechanisme om veiligheid te garanderen, maar ze hebben aanzienlijke beperkingen:

1. Afhankelijkheid van expliciete modellen: Bestaande methoden vereisen meestal een expliciete, gesloten-formule dynamiek (vaak control-affien) en een gedefinieerde structuur van de onzekerheid.
2. Beperkte schaalbaarheid: Ze zijn moeilijk toe te passen op systemen met "black-box" dynamiek (waar de exacte vergelijkingen onbekend zijn) of hoge dimensies.
3. Conservatisme: Veel methoden garanderen veiligheid alleen voor een conservatief subset van de maximale robuuste veilige set ($\Omega^*$), wat leidt tot onnodig beperkende besturing en slechte taakprestaties.

Het doel van dit onderzoek is een framework te ontwikkelen dat robuuste CBF's kan synthetiseren en inzetten voor algemene niet-lineaire systemen met black-box dynamiek en onbekende onzekerheidsstructuren, zonder conservatisme.

Methodologie

De auteurs introduceren een nieuw framework dat Hamilton-Jacobi-Isaacs (HJI) bereikbaarheidsanalyse combineert met Adversarial Reinforcement Learning (RL).

1. Theoretische Basis: De Veiligheidswaardefunctie als CBF

   • Het probleem wordt geformuleerd als een nul-som spel tussen een controller en een verstoring (adversariaal).
   • De veiligheidswaardefunctie $V(x)$, die de oplossing is van de Isaacs-vergelijking, encodeert de maximale robuuste veilige set $\Omega^*$.
   • De auteurs bewijzen dat deze waardefunctie $V(x)$ op zichzelf een geldige Robust Discrete-Time Control Barrier Function (DCBF) is.
   • In plaats van de dynamiek direct te gebruiken, "liften" ze de waardefunctie naar de ruimte van toestand-actie-storing ($x, u, d$) door een Q-functie (kwaliteitsfunctie) te definiëren: $Q(x, u, d)$.
   • Dit leidt tot een nieuwe Robust Q-CBF-beperking:
     $$\min_{d \in D} Q(x, u, d) \geq \beta(V(x))$$
     Deze beperking vereist geen kennis van de dynamische vergelijkingen $f(x,u,d)$, maar alleen de Q- en V-waardefuncties.

2. Synthese via Adversarial RL

   • Omdat het oplossen van de Isaacs-vergelijking analytisch onmogelijk is voor hoge dimensies, gebruiken ze een game-theoretische RL-benadering.
   • Er wordt een zero-sum spel getraind met drie componenten:
     • Een critic ($Q_\omega$) die de veiligheidswaarde schat.
     • Een controller actor ($\pi_u$) die probeert de veiligheidswaarde te maximaliseren.
     • Een disturbance actor ($\pi_d$) die probeert de veiligheidswaarde te minimaliseren (de "ergste geval"-storing).
   • Er wordt gebruik gemaakt van Gradient Descent-Ascent (GDA) met tijdschaal-separatie: de storing-actor leert sneller dan de controller om een "best-response" op de huidige controller te vinden.
   • Om robuustheid te garanderen voor willekeurige besturingsacties (niet alleen de geoptimaliseerde), wordt de storing-actor getraind op een diverse set van besturingspoliën.

3. Inzet (Deployment)

   • Tijdens de runtime wordt de complexe minimalisatie over $d$ in de Q-CBF-beperking benaderd door de geleerde best-response storing-polie $\pi_d(x, u)$ in te voegen.
   • Dit maakt de evaluatie van de beperking tractabel (een enkele forward pass door het neurale netwerk) zonder geneste optimalisatie.
   • Een safety filter lost dan een Optimal Control Problem (OCP) op om de taak-input ($u_{task}$) zo min mogelijk te wijzigen, terwijl de Q-CBF-beperking wordt gerespecteerd.

Belangrijkste Bijdragen

• Robust Q-CBF Framework: Een nieuw theoretisch kader dat de veiligheidswaardefunctie (oplossing van de Isaacs-vergelijking) bewijst als een geldige robuuste DCBF voor de maximale veilige set.
• Black-Box Compatibiliteit: Het framework vereist geen expliciete dynamische modellen, geen control-affiene aannames en geen vooraf gedefinieerde onzekerheidsstructuren. Het werkt puur op basis van interactie met een simulator of fysiek systeem.
• Schaalbaarheid: Door gebruik te maken van neurale netwerken en adversarial RL, kunnen robuuste veiligheidsfilters worden toegepast op systemen met hoge dimensies (tot 36 dimensies in de experimenten).
• Minimalisatie van Conservatisme: In tegenstelling tot traditionele methoden, certificeert dit framework de volledige maximale robuuste veilige set, wat leidt tot minder beperkende besturing.

Resultaten

De methode is gevalideerd op twee benchmarks:

1. Gestoorde Omgekeerde Slagbuis (Inverted Pendulum):

   • De geleerde Q-CBF herstelt bijna exact de maximale robuuste veilige set ($\Omega^*$).
   • Vergelijking met analytisch ontworpen CBF's en heuristische baselines toont aan dat de Q-CBF aanzienlijk minder conservatief is en een veel groter veilig gebied beslaat.
   • Alle filters behaalden 100% veiligheid in simulaties onder worst-case storingen.

2. 36-Dimensionale Quadruped (Vierpotige Robot):

   • Getest op een Unitree Go2-robot in MuJoCo met black-box dynamiek en willekeurige externe krachten (tot 50 N).
   • Veiligheid: De Q-CBF behaalde een 100% veiligheidspercentage over 50 trials onder agressieve, leerde storingen.
   • Vergelijking:
     • De ongefilterde taakpolitie faalde in 84% van de gevallen (16% veilig).
     • Een bestaande "Least-Restrictive Safety Filter" (LRSF) faalde in 62% van de gevallen (38% veilig) en veroorzaakte onstabiel gedrag (chattering) door frequente schakelingen.
   • Prestatie: De Q-CBF hield de robot stabiel en liet deze vooruit bewegen. De afwijking van de oorspronkelijke taak-input ($\|u_{task} - u_{CBF}\|$) was aanzienlijk kleiner dan bij de LRSF, wat betekent dat de robot zijn taak (lopen) beter kon uitvoeren terwijl hij veilig bleef.

Betekenis en Impact

Dit werk vormt een doorbraak in het veld van veiligheidskritieke besturing. Het lost het fundamentele probleem op van het toepassen van robuuste veiligheidsgaranties op complexe, real-world systemen waar geen exacte wiskundige modellen beschikbaar zijn.

• Praktische Toepasbaarheid: Het biedt een "recept" voor het synthetiseren van certificeerbare veiligheidsfilters voor hoge-dimensionale systemen (zoals autonome voertuigen, drones en robotarmen) die werken in onvoorspelbare omgevingen.
• Balans tussen Veiligheid en Prestatie: Het demonstreert dat het mogelijk is om maximale veiligheid te garanderen zonder de prestaties van de robot onnodig te beperken, wat cruciaal is voor de adoptie van robots in de echte wereld.
• Toekomstige Richting: De auteurs wijzen erop dat de neurale benaderingen kunnen worden versterkt door post-hoc verificatiemethoden (zoals conformal prediction), wat de betrouwbaarheid voor veiligheidskritieke toepassingen verder verhoogt.