Safe Policy Optimization via Control Barrier Function-based Safety Filters

Dit artikel presenteert een beleijs-optimatiekader dat de stabiliteit van door veiligheidsfilters (CBF) beveiligde lineaire systemen verbetert door de nominale regelaar en de filtercomponenten gezamenlijk te optimaliseren onder strikte Lyapunov-stabiliteitsvoorwaarden, waardoor ongewenste evenwichtspunten worden geëlimineerd en de convergentie wordt verbeterd zonder de veiligheid te schenden.

De kern

Stel je voor dat je een zelfrijdende auto bouwt die razendsnel en slim moet zijn, maar bovenal veilig. De auto moet nooit een muur inrijden of van de weg afkomen.

In de wereld van robotica en autonome systemen gebruiken wetenschappers een slimme truc genaamd een "veiligheidsfilter" (Safety Filter). Je kunt dit vergelijken met een strenge, maar slimme instructeur die naast de bestuurder zit.

Hier is hoe het werkt en wat dit nieuwe papier doet, vertaald naar alledaags taal:

1. Het Probleem: De Goede Bestuurder vs. De Strikte Instructeur

Stel je hebt een zeer getalenteerde bestuurder (de "nominale controller"). Hij weet precies hoe hij de auto naar huis moet sturen: rechtuit, snel en soepel. Hij is de beste.

Maar, er is een probleem: de auto moet een veiligheidsgebied blijven (bijvoorbeeld binnen de lijnen van de weg). Als de bestuurder dreigt de weg op te rijden, springt de instructeur in. Hij grijpt in en corrigeert het stuur om de auto veilig te houden.

Het probleem is: Soms is die instructeur zo bang dat hij de auto te hard corrigeert.

• De auto kan gaan wiebelen (limietcycli).
• De auto kan vastlopen op een punt waar hij niet meer verder kan, terwijl hij nog niet thuis is (ongewenste evenwichtspunten).
• De auto kan zelfs uit de hand lopen en onbeheersbaar worden.

De auto is veilig (hij rijdt niet tegen de muur), maar hij rijdt niet meer goed. Hij komt misschien nooit meer thuis.

2. De Oplossing: Samenwerken in plaats van Strijden

De auteurs van dit papier (Yiting Chen en collega's) zeggen: "Waarom laten we de bestuurder en de instructeur niet samenwerken om de beste oplossing te vinden?"

Ze hebben een nieuw systeem bedacht dat beide deeltjes optimaliseert:

1. De Bestuurder: Hij leert hoe hij het beste moet sturen.
2. De Instructeur: Hij leert hoe hij zo min mogelijk ingrijpt, maar wel precies genoeg om veilig te blijven.

Ze gebruiken een soort "trainingscamp" (Policy Optimization). In plaats van dat ze de regels handmatig uitzoeken, laten ze de computer duizenden keren "rollen" (simulaties) om te zien wat er gebeurt. Als de auto vastloopt of gaat wiebelen, past het systeem de regels van de bestuurder en de instructeur een beetje aan.

3. De Magische Regel: "Blijf Altijd Veilig"

Een groot risico bij dit trainen is: wat als de computer tijdens het leren een slechte bestuurder bedenkt die de auto laat crashen? Dat willen we niet.

De auteurs hebben een onbreekbare veiligheidsriem (een wiskundige methode genaamd Robust Safe Gradient Flow) bedacht.

• De Analogie: Stel je voor dat je een bal rolt over een heuvel om de laagste punt te vinden (de beste oplossing). Maar er is een afgrond (instabiliteit).
• Normale methoden zouden de bal soms in de afgrond laten vallen tijdens het zoeken.
• Deze methode zorgt ervoor dat de bal nooit over de rand van de afgrond kan rollen. Zelfs als de computer nog op zoek is naar de perfecte oplossing, blijft de auto altijd stabiel en veilig. Als je het proces halverwege stopt, is de auto nog steeds veilig en stabiel.

4. Wat hebben ze ontdekt? (De Resultaten)

Ze hebben dit getest in simulaties met obstakels (zoals bomen of muren).

• Vóór de training: De auto probeerde een obstakel te ontwijken, maar bleef steken in een punt waar hij vastliep. Hij was veilig, maar kwam nooit aan.
• Na de training: De auto leerde hoe hij het obstakel moeiteloos kon omzeilen en recht naar huis kon rijden. De "vastlopers" waren verdwenen.

Samenvattend in één zin:

Dit papier beschrijft een slimme manier om robots en auto's te leren hoe ze veilig én efficiënt kunnen bewegen, door de "bestuurder" en de "veiligheidscontroleur" samen te laten werken, zonder dat ze ooit tijdens het leren in gevaar komen.

Het is alsof je een beginnende piloot traint om door een storm te vliegen: je zorgt ervoor dat hij de vliegtuigcontroleurs (de veiligheidsfilters) respecteert, maar je leert ze ook hoe ze samenwerken zodat het vliegtuig niet vastloopt in de lucht, maar veilig en snel op zijn bestemming aankomt.

Technische samenvatting

Probleemstelling

In moderne autonome systemen (zoals robotica en vervoer) is het cruciaal om zowel veiligheid als hoge prestaties te garanderen. Veiligheid wordt vaak geformaliseerd als de voorwaartse invariantie van een "veilige" verzameling toestanden, wat wordt afgedwongen met behulp van Control Barrier Functions (CBF). CBF's worden typisch gebruikt als veiligheidsfilters: ze nemen een nominale controller (die stabiliteit garandeert) en minimaliseren de wijziging ervan om aan de veiligheidsvoorwaarde te voldoen.

Het fundamentele probleem dat dit paper adresseert, is dat de interactie tussen een nominale controller en een CBF-gebaseerd veiligheidsfilter de gesloten-lus dynamiek aanzienlijk kan verstoren. Zelfs als de nominale controller de oorsprong globaal asymptotisch stabiel maakt, kan het gefilterde systeem ongewenst gedrag vertonen, zoals:

• Het ontstaan van asymptotisch stabiele ongewenste evenwichtspunten (waarbij systemen vastlopen in plaats van naar het doel te gaan).
• Limietcycli.
• Onbegrensde trajecten.

Bestaande methoden voor het leren van controllers of het stabiliseren van policies adresseren vaak niet deze specifieke interactie tussen de nominale controller en het veiligheidsfilter. Er is dus behoefte aan een systematische methode om de nominale controller en de filterparameters zo te ontwerpen dat de veiligheid behouden blijft, maar de stabiliteit en convergentie van het gefilterde systeem worden geoptimaliseerd.

Methodologie

Het paper stelt een policy-optimatiekader voor dat de nominale controller en de componenten van het veiligheidsfilter gezamenlijk optimaliseert. De aanpak omvat de volgende stappen:

1. Gecombineerde Parametrisatie:
   Voor lineaire systemen met lineaire nominale controllers ($u = -Kx$) worden de volgende parameters gezamenlijk geoptimaliseerd:

   • De feedbackwinst $K$ (nominale controller).
   • De CBF-gerelateerde $K_\infty$-functie ($\alpha$).
   • De wegingsmatrix van het veiligheidsfilter ($G$).
   • De CBF-functie zelf ($h$).

2. Trajectgebaseerde Doelfunctie:
   De optimalisatie minimaliseert een verwachte kostenfunctie $L(\theta)$ die is gebaseerd op gesimuleerde rollouts (trajecten) over een eindige tijdshorizon. Deze kostenfunctie straft afwijkingen van de oorsprong (lopende kosten) en het niet bereiken van de oorsprong op het einde van de horizon (terminale kosten) af.

3. Stabiliteitsbeperkingen (Lyapunov):
   Om te garanderen dat de nominale controller tijdens het hele trainingsproces stabiel blijft, worden Lyapunov-gebaseerde stabiliteitsvoorwaarden opgelegd.

   • Voor lineaire systemen wordt de Hurwitz-eigenschap van de matrix $(A-BK)$ vereist.
   • In plaats van Lineaire Matrix Ongelijkheden (LMI) direct op te lossen (wat lastig is voor gradiëntgebaseerde methoden), worden deze omgezet in gladde scalaire beperkingen door gebruik te maken van de leading principal minors (hoofdminoren) van de Lyapunov-matrix. Een matrix is positief definiet dan en slechts dan als al haar hoofdminoren positief zijn.

4. Robuust Veilig Gradiëntstroom (Robust Safe Gradient Flow - RSGF):
   Om de optimalisatie uit te voeren terwijl de stabiliteitsbeperkingen op elk moment worden gerespecteerd, wordt de RSGF-methode gebruikt.

   • Dit algoritme genereert iteraties die gegarandeerd binnen het gebied van toelaatbare (stabiele) controllers blijven, zelfs als de gradiënt wordt geschat via Monte Carlo-sampling van trajecten.
   • Dit voorkomt instabiliteit tijdens het trainingsproces; als het algoritme vroegtijdig wordt gestopt, is het resultaat nog steeds een stabiele controller.

5. Omgaan met Meerdere Beperkingen:
   Voor omgevingen met meerdere obstakels (meerdere CBF's) wordt een log-sum-exp relaxatie gebruikt. Dit combineert meerdere veiligheidsvoorwaarden tot één gladde beperking, wat de berekening van de gradiënt vereenvoudigt en de noodzaak elimineert om op elk tijdstip een complex kwadratisch programmeringsprobleem (QP) op te lossen.

Belangrijkste Bijdragen

De paper levert vier hoofdbijdragen:

1. Formulering van een optimalisatieprobleem: Een trajectgebaseerd optimalisatiekader waarin de nominale controller, de CBF-functie en de filterweegfactoren gezamenlijk worden geoptimaliseerd om de dynamiek van het gefilterde systeem te vormen.
2. Gladde Stabiliteitsbeperkingen: Een methode om Lyapunov-stabiliteit voor lineaire systemen te coderen als gladde scalaire ongelijkheden (via hoofdminoren), waardoor gradiëntgebaseerde optimalisatie mogelijk wordt zonder de expliciete karakterisering van stabiele controllers te verliezen.
3. Garantie van Stabiliteit tijdens Training: Een trainingsprocedure gebaseerd op RSGF die bewijst dat, mits gestart met een stabiele controller, alle iteraties stabiel blijven. Dit garandeert dat het systeem nooit instabiel wordt tijdens het leren.
4. Numerieke Validatie: Demonstratie van het kader op obstakelvermijdingsproblemen, waarbij wordt aangetoond dat asymptotisch stabiele ongewenste evenwichtspunten kunnen worden verwijderd en de convergentie kan worden verbeterd, terwijl de veiligheid (invariantie van de veilige set) behouden blijft.

Resultaten

Numerieke experimenten op een enkel-integrator systeem in 2D tonen de volgende resultaten:

• Gebonden Veilige Set: In een scenario met een cirkelvormige veilige set had de initiële controller twee ongewenste evenwichtspunten op de rand, waarvan er één asymptotisch stabiel was (waardoor trajecten daar vastliepen). Na training waren deze ongewenste evenwichtspunten verdwenen en convergeerden alle trajecten naar de oorsprong.
• Enkel Obstakel: Bij het vermijden van één cirkelvormig obstakel leidde de initiële controller tot een asymptotisch stabiel ongewenst evenwicht op de rand van het obstakel. Na training was dit evenwicht verdwenen (of onstabiel geworden), en bleven alle trajecten binnen de veilige set terwijl ze naar de oorsprong convergeerden.
• Meerdere Obstakels: In een complex scenario met meerdere ellipsvormige obstakels en box-beperkingen had de initiële controller drie asymptotisch stabiele ongewenste evenwichtspunten. Het geoptimaliseerde systeem elimineerde deze stabiele punten; alle overgebleven ongewenste evenwichtspunten waren onstabiel, en alle geteste trajecten bereikten de oorsprong zonder de veilige set te verlaten.

Betekenis

De betekenis van dit werk ligt in het sluiten van de kloof tussen veiligheid (via CBF's) en stabiliteit/prestaties (via optimalisatie). Traditionele CBF-filters kunnen de stabiliteit van een controller onbedoeld ondermijnen. Dit paper biedt een systematische, wiskundig onderbouwde methode om controllers te ontwerpen die niet alleen veilig zijn, maar ook dynamisch wenselijk gedrag vertonen (zoals het vermijden van lokale minima en snelle convergentie).

De methode is bijzonder waardevol omdat ze veiligheid tijdens het leerproces garandeert. In veel reinforcement learning- of optimalisatiebenaderingen kan het systeem tijdelijk instabiel worden tijdens het zoeken naar een betere oplossing, wat in fysieke systemen catastrofaal kan zijn. Door de stabiliteitsbeperkingen via RSGF te integreren, blijft het systeem altijd stabiel, zelfs als het trainingsproces wordt onderbroken. Dit maakt de aanpak zeer geschikt voor de toepassing in kritieke cyber-fysieke systemen.