⚡ electrical engineering

Refining Almost-Safe Value Functions on the Fly

Dit artikel introduceert refineCBF en HJ-Patch, twee methoden die het mogelijk maken om bijna-veilige waardefuncties voor robots in real-time te verfijnen via warm-start Hamilton-Jacobi-reikbaarheid, waardoor formeel gegarandeerde veiligheid ook in dynamische omgevingen en op fysieke hardware behouden blijft.

Oorspronkelijke auteurs: Sander Tonkens, Sosuke Kojima, Chenhao Liu, Judy Masri, Sylvia Herbert

Gepubliceerd 2026-03-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sander Tonkens, Sosuke Kojima, Chenhao Liu, Judy Masri, Sylvia Herbert

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot bestuurt die door een drukke stad moet lopen. De robot heeft een "navigatie-app" (het leerprogramma) die hem vertelt waar hij naartoe moet, en een "veiligheidsagent" (de veiligheidsfilter) die kijkt of hij ergens tegenaan gaat lopen.

Het probleem is: wat als de robot in een nieuwe stad komt, of als er plotseling een boom omvalt op zijn pad? De oude veiligheidsregels werken dan niet meer. De robot zou ofwel vastlopen (te voorzichtig zijn) ofwel tegen de boom aanrijden (te roekeloos).

Dit paper introduceert een slimme oplossing genaamd REFINECBF en HJ-PATCH. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Statische" Kaart

Stel je voor dat je een papieren kaart hebt van een stad. Je hebt er een route op getekend die veilig is.

De oude manier (HJ Reachability): Om een perfecte kaart te maken, moet je elke straat, elke hoek en elk mogelijk scenario uitrekenen. Dit is zo ingewikkeld dat het dagen duurt. Je kunt dit niet doen terwijl je al loopt.
De snelle manier (Leren CBF's): Je gebruikt een AI die een kaart tekent op basis van ervaring. Dit is snel, maar soms maakt de AI fouten. Misschien denkt hij dat er een weg is waar er eigenlijk een muur is.

2. De Oplossing: "Opfrissen" en "Lappen"

De auteurs van dit paper zeggen: "Waarom kiezen? Laten we de snelle kaart gebruiken als startpunt en die terwijl we lopen perfect maken."

Ze hebben twee methoden bedacht:

A. REFINECBF: De "Alles-overzicht" Opfrisser

Stel je voor dat je een schets van een stad hebt. Je ziet dat er een nieuwe brug is gebouwd.

Hoe het werkt: De robot kijkt naar zijn huidige schets. Hij ziet dat er een probleem is (een nieuwe brug of obstakel). In plaats van de hele kaart opnieuw te tekenen (wat te lang duurt), gebruikt hij zijn oude schets als basis en past hij alle regels tegelijk aan om de nieuwe situatie veilig te maken.
Vergelijking: Het is alsof je een oude landkaart neemt en er met een rode stift direct de nieuwe wegen op tekent, terwijl je de oude wegen aanpast zodat ze nog steeds logisch zijn.
Wanneer gebruiken: Als je een krachtige computer hebt (zoals een gaming-PC) en je wilt de hele veiligheidsregels grondig opnieuw berekenen.

B. HJ-PATCH: De "Lokale Lapper"

Soms hoef je niet de hele kaart te herzien. Misschien is er alleen een klein gat in de weg of een nieuw obstakel op één hoek.

Hoe het werkt: In plaats van de hele stad te herschrijven, kijkt de robot alleen naar het kleine stukje waar het probleem zit. Hij "plakt" een nieuwe, veilige oplossing op dat specifieke plekje.
Vergelijking: Het is alsof je een kledingstuk hebt met een klein gat. In plaats van een nieuw pak te kopen (de hele kaart opnieuw maken), naai je gewoon een lapje stof op het gat.
Waarom slim: Dit is extreem snel. Je kunt het doen op een simpele laptop of zelfs in de computer van de robot zelf, zonder dure hardware.

3. Wat gebeurt er in de praktijk?

De auteurs hebben dit getest met echte robots:

De Grondrobot (Jackal): Een robot die door een gang loopt. Plotseling wordt er een blok omvergegooid dat zijn weg blokkeert.
- Zonder deze techniek: De robot botst er tegenaan of stopt en wacht tot iemand helpt.
- Met deze techniek: De robot ziet het blok, past zijn "veiligheidskaart" direct aan (in een fractie van een seconde), en vindt een nieuwe, veilige route om het blok heen.
De Drone: Een drone vliegt door een smalle doorgang met een ventilator die wind veroorzaakt.
- Zonder deze techniek: De wind duwt de drone tegen de muur.
- Met deze techniek: De drone voelt de wind, past zijn veiligheidsregels aan ("Ah, ik moet nu harder duwen om niet weg te waaien") en vliegt veilig door.

4. Waarom is dit belangrijk?

Vroeger moest je kiezen tussen:

Veiligheid: Perfecte regels, maar te traag om te gebruiken in de echte wereld.
Snelheid: Snelle regels, maar niet altijd 100% veilig.

Deze paper combineert het beste van beide werelden. Het zorgt ervoor dat robots formeel veilig zijn (wiskundig bewezen dat ze niet crashen) maar ook snel kunnen aanpassen aan onverwachte situaties, zoals nieuwe obstakels of windstoten.

Kortom: Het is alsof je een robot een "super-intuïtie" geeft die niet alleen weet hoe hij moet rijden, maar ook direct weet hoe hij moet remmen of sturen als de wereld om hem heen verandert, zonder dat hij daarvoor een nieuwe handleiding hoeft te lezen.

Titel: Refining Almost-Safe Value Functions on the Fly

Auteurs: Sander Tonkens, Sosuke Kojima, Chenhao Liu, Judy Masri, en Sylvia Herbert (UC San Diego)

1. Het Probleem

Robots die leren gebruiken voor perceptie en besturing, hebben nieuwe mogelijkheden gecreëerd, maar hun effectiviteit is vaak beperkt tot de trainingsomstandigheden. In dynamische omgevingen kunnen onverwachte veranderingen (zoals nieuwe obstakels of ongemodelleerde verstoringen zoals wind) leiden tot catastrofale fouten.

De huidige aanpak voor veiligheid in de robotica leunt zwaar op Safety Filters die gebaseerd zijn op Control Barrier Functions (CBF). Een CBF is een scalarveld dat de veiligheidsmarge aangeeft en controle-instructies genereert om botsingen te voorkomen. Er zijn echter twee grote uitdagingen bij het ontwerpen van een geldige CBF:

Constructieve methoden (zoals Hamilton-Jacobi Reachability - HJR): Bieden formele veiligheidsgaranties, maar lijden onder de "vloek van de dimensionaliteit". Ze zijn computatie-intensief, werken slecht in hoge dimensies en worden meestal offline uitgevoerd, wat aanpassing in real-time onmogelijk maakt.
Benaderende methoden (zoals Neurale Netwerken): Zijn schaalbaar en snel, maar missen formele garanties en generaliseren vaak slecht naar nieuwe situaties.

Het centrale probleem is het vinden van een methode die de formele garanties van HJR combineert met de schaalbaarheid en aanpasbaarheid van leermethoden, specifiek voor online, real-time aanpassing in veranderende omgevingen.

2. Methodologie

De auteurs introduceren een raamwerk dat de kloof tussen offline synthese en online adaptatie overbrugt door een warm-start strategie te gebruiken. In plaats van een veilige waardefunctie vanaf nul te berekenen, nemen ze een bestaande (ongeveer veilige, geleerde of zelfs onveilige) CBF als startpunt en verfijnen deze iteratief met behulp van HJ Reachability.

Er worden twee algoritmen gepresenteerd:

A. REFINECBF (Global Refinement)

Doel: Een kandidaat-CBF (bijv. een geleerde CBF) verfijnen tot een formeel veilige Control Barrier Value Function (CBVF).
Methode: Het algoritme gebruikt de Hamilton-Jacobi-Isaacs Variational Inequality (HJI-VI) formulering. Het start met een initiële schatting $h_0$ en past iteratief een dynamische programmeringsupdate toe totdat de functie convergeert naar een stationaire oplossing.
Online Adaptatie: Het systeem observeert continu veranderingen in de omgeving (nieuwe obstakels, gewijzigde actuatiegrenzen, verstoringen). Bij detectie van een verandering wordt de waardefunctie direct bijgewerkt en opnieuw geconvergeerd.
Veiligheidsgarantie: Het algoritme garandeert dat de geconvergeerde functie een veilige CBVF is. Voor extra veiligheid tijdens het convergeren wordt een variant genaamd SAFEADAPT-REFINECBF voorgesteld. Deze gebruikt een tweefasenbenadering:
1. Retractie-fase: Gebruikt een contractieve PDE-update om de veilige set te verkleinen tot een gegarandeerd veilige subset (verwijdert "false positives").
2. Verfijn-fase: Schakelt over naar de VI-update om de prestaties te verbeteren door de veilige set weer uit te breiden, zonder de veiligheid te verliezen.

B. HJ-PATCH (Local Patching)

Doel: Een computatie-efficiëntere variant voor situaties waar de initiële CBF "bijna veilig" is en slechts lokale correcties vereist.
Methode: In plaats van de hele state-space grid te updaten, onderhoudt dit algoritme een actieve set ( $R$ ) van toestanden die direct invloed hebben op de invariantheid van de veilige set (voornamelijk nabij de grens waar de waarde daalt).
Efficiëntie: Alleen toestanden in deze actieve set worden bijgewerkt. Als de omgeving verandert (bijv. nieuwe obstakels), wordt de actieve set lokaal uitgebreid of gereset.
Garantie: Het convergeert naar de viability kernel van de initiële schatting, wat betekent dat het de grootste mogelijke veilige subset binnen de oorspronkelijke schatting vindt.

3. Belangrijkste Bijdragen

Theoretische Uitbreiding: Een formele garantie voor veiligheid voor systemen met onbekende maar begrenste externe verstoringen, gebaseerd op de REFINECBF-methode.
Unificatie van Offline en Online: Een raamwerk dat zowel offline verfijning als "in-the-loop" (real-time) adaptatie mogelijk maakt, met theoretische analyse voor online inzet.
Vergelijkende Analyse: Een rigoureuze vergelijking met bestaande CBF-aanpakken (zoals disjoint CBFs en backup CBFs), die aantoont dat online verfijning superieur is in realistische scenario's.
Hardware Validatie: Uitgebreide experimenten op fysieke robots (een Jackal-grondvoertuig en een quadcopter) die aantonen dat het systeem succesvol reageert op plotselinge obstakels en ongemodelleerde windverstoringen.

4. Resultaten

De auteurs hebben hun methode getest in simulaties en op hardware:

Grondrobot (Jackal):
- In een omgeving met meerdere obstakels faalden traditionele methoden (zoals het simpelweg combineren van individuele CBFs of het opnieuw berekenen van HJR vanaf nul) door botsingen of computatie-intensiteit.
- REFINECBF (op GPU) en HJ-PATCH (op CPU) slaagden erin om veilig te navigeren. HJ-PATCH bleek bijzonder efficiënt op CPU's, wat het geschikt maakt voor platforms zonder GPU-acceleratie.
Quadcopter (Drone):
- Obstakel-detectie: In een scenario waar een drone een doelwit moest bereiken achter een obstakel, bleek een traditionele "Backup CBF" (gebaseerd op een vast noodplan) vast te lopen (deadlock). REFINECBF kon echter de veilige set online uitbreiden naarmate er nieuwe vrije ruimte zichtbaar werd, waardoor de drone een nieuw pad kon vinden.
- Onverwachte Verstoringen: In een experiment met een ventilator die sterke wind veroorzaakte, faalde een niet-adaptieve controller door de drone tegen de muur te duwen. De adaptieve REFINECBF detecteerde de verstoring, passte de waardefunctie aan en slaagde erin om de passage veilig te doorkruisen in 9 van de 10 trials.

Kernresultaat: Beide algoritmen konden binnen enkele iteraties (en seconden) convergeren naar een nieuwe veilige strategie na een verandering in de omgeving, wat essentieel is voor real-time veiligheid.

5. Betekenis en Toekomstperspectief

Dit werk is significant omdat het de theoretische garanties van Hamilton-Jacobi Reachability (die vaak als te traag voor real-time gebruik worden beschouwd) praktisch toepasbaar maakt voor dynamische robotica.

Brug tussen Theorie en Praktijk: Het toont aan dat formele veiligheidsgaranties niet hoeven te worden opgeofferd voor snelheid of schaalbaarheid, mits men gebruikmaakt van warm-starting en lokale updates.
Robuustheid: Het biedt een oplossing voor het "sim-to-real" probleem en onverwachte omgevingen, wat cruciaal is voor toepassingen zoals zoek- en reddingsoperaties, autonome logistiek en langdurige inzet van mobiele robots.
Beperkingen en Toekomst: De huidige methode vereist nog steeds een redelijk nauwkeurig dynamisch model en werkt op een gediscretiseerde grid (beperkt tot ~4 dimensies voor real-time). Toekomstig werk richt zich op het integreren van ruwe sensor-data (om onzekerheid te modelleren) en het combineren van deze technieken met diepe leermethoden voor nog complexere systemen (zoals mensachtige robots).

Kortom, de paper presenteert een praktische route naar het inzetten van formeel gegarandeerde veiligheid in de echte wereld, waar omgevingen continu veranderen.