⚡ electrical engineering

Robust Koopman Control Barrier Filters for Safe Actor-Critic Reinforcement Learning

Dit artikel introduceert Robust Koopman-CBF SAC, een veilig versterkingsleerframework dat een datagedreven Koopman-predictor leert om versterkte controlebarrière-functiebeperkingen via een kwadratisch programma te construeren en af te dwingen, waardoor nul beperkingsovertredingen in benchmarks worden bereikt terwijl taakprestaties en veiligheid in evenwicht worden gebracht.

Oorspronkelijke auteurs: Dhruv S. Kushwaha, Zoleikha A. Biron

Gepubliceerd 2026-05-27

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dhruv S. Kushwaha, Zoleikha A. Biron

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert lopen of een stok op zijn hoofd in evenwicht houdt. Je wilt dat de robot de taak zeer goed uitvoert (hoge prestaties), maar je moet er ook voor zorgen dat hij nooit omvalt, tegen een muur aanrijdt of zijn eigen gewrichten beschadigt (veiligheid).

Dit artikel presenteert een nieuwe methode genaamd Robust Koopman-CBF SAC die fungeert als een "slimme veiligheidsbewaker" voor robots die leren door middel van trial-and-error. Hieronder wordt uitgelegd hoe dit werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: De "Wilde Verkenner" versus de "Strenge Bewaker"

De Verkenner (De Robot): Om te leren moet een robot nieuwe dingen proberen. Hij kan een gekke beweging proberen die geweldig werkt, of hij kan een beweging proberen die ervoor zorgt dat hij crasht. Standaard leeralgoritmen zijn als wilde verkenners; ze zijn uitstekend in het vinden van de beste manier om een taak uit te voeren, maar ze weten van nature niet hoe ze een crash moeten vermijden.
De Bewaker (Het Veiligheidsfilter): Traditionele veiligheidssystemen zijn als strenge bewakers. Ze kennen de regels (bijvoorbeeld "ga niet voorbij deze lijn") en stoppen de robot als hij probeert ze te overtreden. Deze bewakers hebben echter meestal een perfect handboek nodig over hoe de robot beweegt (een natuurkundig leerboek) om hun werk te doen. Als de robot complex is of de natuurkunde onbekend, raakt de bewaker in de war en stopt hij met werken.

2. De Oplossing: Een "Vertaler" en een "Veiligheidsnet"

De auteurs hebben een systeem ontwikkeld dat het beste van twee werelden combineert met drie hoofdtactieken:

A. De Vertaler (Koopman Lifting)

Robots bewegen vaak op ingewikkelde, niet-lineaire manieren (zoals een slingerende slinger). Het is moeilijk om precies te voorspellen waar ze als volgende naartoe gaan.

De Analogie: Stel je voor dat je probeert het pad van een wervelend blad in de wind te voorspellen. Het is chaotisch. Maar als je die chaotische beweging vertaalt naar een andere "taal" (een hoger-dimensionale ruimte), ziet het pad van het blad plotseling uit als een rechte lijn.
Hoe het werkt: Het systeem gebruikt een wiskundige "vertaler" (Koopman-operator) om de rommelige, real-world bewegingen van de robot om te zetten in een vereenvoudigde, lineaire taal. In deze nieuwe taal is het voorspellen van de toekomst makkelijk, net als het trekken van een rechte lijn op een stuk papier.

B. Het Veiligheidsnet met een "Bufferzone" (Robust CBF)

Zelfs met een vertaler is de voorspelling niet perfect. Er is altijd een beetje "ruis" of fout.

De Analogie: Stel je voor dat een slakkenloopster op een slappe lijn loopt. Als je haar zegt: "Blijf precies op de draad", kan ze vallen als er een klein windvlaagje komt. Maar als je haar zegt: "Blijf binnen dit brede, veilige gebied rond de draad", is ze veel veiliger.
Hoe het werkt: Het systeem gokt niet alleen op de toekomst van de robot; het meet hoe verkeerd zijn voorspellingen in het verleden zijn geweest (de "residu"). Het voegt vervolgens een bufferzone (een foutmarge) toe aan de veiligheidsregels. Als de robot probeert te bewegen, controleert het systeem: "Zelfs als mijn voorspelling iets verkeerd is, is de robot dan nog steeds veilig?" Als het antwoord ja is, laat hij de beweging toe. Als het antwoord nee is, duwt hij de robot zachtjes terug naar veiligheid.

C. De Trainer (Actor-Critic Learning)

De robot leert met een "Trainer"-systeem (Soft Actor-Critic).

De Twist: Normaal gesproken vertelt de trainer de robot wat hij moet doen, en de robot doet het. Maar hier kan de "Veiligheidsbewaker" de actie van de robot veranderen voordat deze plaatsvindt.
De Innovatie: De auteurs hebben ervoor gezorgd dat de Trainer leert van wat de robot echt heeft gedaan (nadat de veiligheidsbewaker het heeft gecorrigeerd), en niet alleen van wat hij wilde doen. Dit voorkomt dat de Trainer in de war raakt en de robot slechte gewoonten leert.

3. Wat Ze Vonden (De Resultaten)

Het team testte dit op twee soorten robots: eenvoudige en complexe, realistisch-achtige robots.

De Eenvoudige Robots (CartPole & Quadrotor):
- Het Resultaat: Het systeem was perfect. Het behaalde nul crashes terwijl het de taak even goed uitvoerde als een onveilige robot.
- Waarom: De "vertaler" werkte geweldig voor deze eenvoudige bewegingen, en de "bufferzone" had precies de juiste grootte. De veiligheidsbewaker hoefde zelden in te grijpen omdat de robot zelf leerde veilig te blijven.
De Complexe Robots (Looprobots zoals HalfCheetah en Walker):
- Het Resultaat: Het systeem hielp crashes te verminderen, maar het was niet perfect. In sommige gevallen kon het de robots niet effectief genoeg tegen vallen beschermen dan andere methoden.
- Waarom: Deze robots hebben "voeten" die de grond raken, waardoor plotselinge, schokkerige bewegingen ontstaan (zoals een auto die een kuil raakt). De "vertaler" kon deze schokkerige bewegingen niet goed genoeg vereenvoudigen. De "bufferzone" werd te groot om nuttig te zijn, of de veiligheidsregels werden onmogelijk te volgen.
- Het Inzicht: De auteurs ontdekten een "waarschuwingslampje". Zelfs voordat ze met de training begonnen, konden ze de "voorspelfout" meten (de ruis in de vertaler). Als deze fout te hoog was, wisten ze dat het veiligheidssysteem niet goed zou werken voor die specifieke robot. Dit is een belangrijke bevinding: Je kunt voorspellen of een veiligheidsfilter zal werken door alleen de wiskunde van tevoren te controleren.

Samenvatting

Dit artikel introduceert een slimme veiligheidslaag voor lerende robots. Het vertaalt complexe bewegingen naar eenvoudige, voegt een veiligheidsbuffer toe om rekening te houden met wiskundige fouten, en leert de robot op basis van zijn daadwerkelijke veilige acties.

Wanneer het werkt: Het is ongelooflijk effectief voor robots met soepele, voorspelbare bewegingen (zoals het in evenwicht houden van een stok), en biedt perfecte veiligheid zonder het leren te vertragen.
Wanneer het worstelt: Het stuit op een muur bij robots met plotselinge, schokkerige impacten (zoals lopen of rennen), omdat de wiskunde moeite heeft om die plotselinge veranderingen te voorspellen.
De Les: De auteurs bieden een hulpmiddel om vooraf te controleren of je veiligheidssysteem zal werken. Als de bewegingen van de robot te chaotisch zijn voor de wiskunde om te vereenvoudigen, is deze specifieke veiligheidsfilter misschien niet het juiste gereedschap voor de klus.

Technische Samenvatting: Robuuste Koopman Control Barrier Filters voor Veilig Actor-Critic Versterkend Leren

Probleemstelling
Veilig versterkend leren (RL) voor robotische systemen staat voor een fundamentele spanning: het verbeteren van taakprestaties terwijl strikt voldaan wordt aan toestands- en invoerbeperkingen tijdens zowel training als inzet. Hoewel Control Barrier Functions (CBF's) een principiële mechanisme bieden om voorwaartse invariantie af te dwingen via minimaal ingrijpende veiligheidsfilters, wordt hun toepassing in modelvrij RL belemmerd door de vereiste van nauwkeurige systeemdynamica en handmatig ontworpen barrièrecertificaten. Bestaande beperkte RL-methoden bieden vaak alleen garanties voor verwachte cumulatieve kosten in plaats van puntsgewijze veiligheid, en beloningsstraffen missen stapsgewijze garanties. De auteurs adresseren de uitdaging om de steekproefefficiëntie van off-policy diep RL te combineren met een datagedreven CBF-veiligheidsfilter dat convex blijft voor niet-lineaire systemen, specifiek rekening houdend met de benaderingsfouten die inherent zijn aan eindig-dimensionale Koopman-modellen.

Methodologie: Robuuste Koopman-CBF SAC
Het artikel stelt Robust Koopman-CBF SAC voor, een veiligheidsgefilterd actor-critic raamwerk dat drie kerncomponenten integreert:

Datagedreven Koopman Lifting: De methode leert een eindig-dimensionale Koopman-predictor uit offline rollout-data met behulp van Extended Dynamic Mode Decomposition (EDMD). Niet-lineaire dynamica worden gelift naar een ruimte van waarneembare grootheden $\psi(x)$ waar de evolutie ongeveer lineair is: $z_{t+1} \approx Az_t + Bu_t$ . De dictionary $\psi$ bevat oorspronkelijke toestandscoördinaten en Radiale Basisfuncties (RBF's) om ervoor te zorgen dat fysische beperkingen kunnen worden weergegeven als affiene functies in de geliftte ruimte.
Robuuste Geliftte CBF-beperkingen: Om de benaderingsfout van het eindig-dimensionale model te hanteren, introduceren de auteurs een geprojecteerde residumarge ( $\rho$ ). In plaats van de volledige residunorm te begrenzen, schatten ze het component van de voorspelfout dat direct van invloed is op de barrière-ongelijkheid ( $|c^\top r|$ ) met behulp van een apart gehouden kalibratieset. Deze marge wordt berekend via empirische of conformale kwantielen. De veiligheidsvoorwaarde wordt aangescherpt tot:
$h_K(Az_t + Bu_t) \geq (1 - \eta)h_K(z_t) + \rho$
Dit resulteert in een affiene beperking op de besturing, waardoor het veiligheidsfilter kan worden geïmplementeerd als een lichtgewicht Kwantitatieve Programmering (QP).
Actor-Critic Integratie: Het raamwerk wijzigt het standaard Soft Actor-Critic (SAC)-algoritme om de discrepantie tussen nominale en uitgevoerde acties op te lossen:
- Critic Training: De critic wordt getraind op de uitgevoerde veilige actie ( $u^{safe}_t$ ) gegenereerd door de QP-filter, zodat waarde-schattingen de daadwerkelijke gesloten-lus dynamiek weerspiegelen.
- Actor Regularisatie: De actor ontvangt een differentieerbare CBF-proposalstraf ( $\ell_{cbf}$ ) die hem aanmoedigt acties voor te stellen die al binnen de haalbare verzameling liggen, waardoor de afhankelijkheid van het filter in de loop van de tijd afneemt.
- Slack Behandeling: De QP bevat slackvariabelen om numerieke haalbaarheid onder actuatorlimieten te behouden, hoewel de auteurs opmerken dat positieve slack formele veiligheidscertificaten verzwakt.

Belangrijkste Bijdragen

Robuuste Filterformulering: Introductie van een robuust Koopman-CBF-veiligheidsfilter voor modelvrij actor-critic RL dat niet-lineaire dynamica lift naar een ongeveer lineair systeem en veiligheid af dwingt via een affiene QP-beperking.
Geprojecteerde Residumarge: Een nieuwe methode voor het schatten van de fout van eindig-dimensionale Koopman-modellen met behulp van een geprojecteerde residumarge afgeleid van kalibratiegegevens, wat leidt tot een direct implementeerbare robuuste discrete-tijd CBF-voorwaarde.
Consistente Actor-Critic Training: Integratie van het filter met SAC met behulp van critic-lering op uitgevoerde acties en een haalbaarheidsstraf aan de actor-zijde, waardoor de gebruikelijke discrepantie wordt geëlimineerd waarbij het beleid optimaliseert voor ongefilterde acties terwijl de omgevingsovergangen worden gegenereerd door gefilterde acties.
Empirische Diagnostiek: Een uitgebreide evaluatie die aantoont dat de geprojecteerde residumarge $\rho$ dient als een voor-training berekenbare diagnostiek voor filtereffectiviteit.

Experimentele Resultaten
De methode werd geëvalueerd op Safe-Control-Gym (CartPole, Quadrotor 2D) en Safety Gymnasium (Walker, HalfCheetah).

Laag-dimensionale Taken (CartPole & Quadrotor): Bij CartPole-stabilisatie en -tracking behaalde Robust Koopman-CBF SAC nul beperkingsovertredingen over alle zaden heen, terwijl het de returns van onbeperkt SAC gelijkdeed of overtrof. Bij Quadrotor 2D-tracking verminderde het overtredingen met 96,8% (van 12,5% naar 0,4%). Deze successen werden toegeschreven aan kleine geprojecteerde residumarges ( $\rho \approx 10^{-3}$ ) en correcte behandeling van het relatieve graad (gebruik van compositiebarrières voor de Quadrotor).
Hoog-dimensionale Locomotie (Walker & HalfCheetah): De resultaten waren gemengd, wat structurele beperkingen blootlegde. Bij Walker werden overtredingen verminderd van 77,8% naar 37,0%, maar de methode werd verslagen door SAC+Lagrangiaan (3,34% overtredingen). Bij HalfCheetah bleven overtredingen hoog (82,8%) met een ernstige prestatiestraf (-70% return).
Foutanalyse: Bij hoog-dimensionale, contactrijke taken was de geprojecteerde residumarge $\rho$ groot (0,698 voor Walker, 1,782 voor HalfCheetah). Deze grote fout veroorzaakte dat de robuuste CBF-beperking ofwel triviaal werd voldaan (wanneer de agent al onveilig was) of onhaalbaar werd onder actuatorlimieten, waardoor het filter ineffectief werd. De auteurs identificeren dat lineaire EDMD-modellen de niet-gladde snelheidsovergangen veroorzaakt door grondcontact niet kunnen vastleggen.

Betekenis en Claims
Het artikel beweert dat Robust Koopman-CBF-filters een veelbelovende brug vormen tussen modelvrij RL en certificeerbare veiligheid, met name voor taken waarbij het geliftte model en de barrière goed aansluiten bij de systeemstructuur. De primaire betekenis ligt in het diagnostisch vermogen van de geprojecteerde residumarge $\rho$ : het is een voor-training maatstaf die voorspelt of een Koopman-CBF-filter effectief zal zijn.

De auteurs zijn bescheiden over de universaliteit van de methode, en stellen expliciet dat de aanpak structurele beperkingen heeft in contactrijke, hoog-dimensionale omgevingen waar eerste-orde lineaire benaderingen falen. Ze verduidelijken dat hoewel de methode puntsgewijze veiligheid biedt wanneer $\rho$ klein is en de QP haalbaar is, het geen veiligheid garandeert wanneer de residufout de barrièremarge domineert of wanneer de relatieve graad van de barrière niet overeenkomt. Het werk benadrukt de behoefte aan hoog-orde of multi-stap Koopman-uitbreidingen om deze beperkingen aan te pakken in complexe locomotietaken.