⚡ electrical engineering

Robust Verification of Controllers under State Uncertainty via Hamilton-Jacobi Reachability Analysis

Dit artikel introduceert RoVer-CoRe, een nieuw raamwerk dat Hamilton-Jacobi-reikwijdteanalyse toepast om de veiligheid van waarnemingsgebaseerde besturingssystemen onder onzekerheid formeel te verifiëren en robuuste controllers te ontwerpen.

Oorspronkelijke auteurs: Albert Lin, Alessandro Pinto, Somil Bansal

Gepubliceerd 2026-04-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Albert Lin, Alessandro Pinto, Somil Bansal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zelfrijdende auto of een rover op Mars hebt. Deze machines zijn slim: ze kijken om zich heen met camera's, verwerken beelden en beslissen waar ze moeten rijden. Maar net als wij mensen, kunnen ze zich vergissen. Misschien is het mistig, misschien is de camera vies, of misschien heeft het algoritme dat de beelden interpreteert een kleine foutje gemaakt. Dit noemen we perceptie-onzekerheid.

De grote vraag is: Hoe kunnen we zeker weten dat deze machines veilig blijven, zelfs als ze zich vergissen?

Dit artikel introduceert een nieuwe manier om dat te controleren, genaamd RoVer-CoRe. Laten we het uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Blindvliegende" Piloot

Stel je een piloot voor die vliegt in een zware mist. Hij ziet de grond niet goed, dus hij moet vertrouwen op zijn instrumenten. Maar wat als die instrumenten een beetje vals spelen?
Tot nu toe hebben wetenschappers geprobeerd om te controleren of zo'n piloot veilig blijft door te "schatten" waar hij zou kunnen zijn. Ze tekenden een grote, onzekerheidsbol om de piloot heen. Het probleem is dat deze bollen vaak te groot worden. Ze zeggen: "Als de piloot hier in deze enorme bol zit, is het misschien veilig, maar we durven het niet te garanderen." Het resultaat is dat ze vaak zeggen: "Nee, dit is te gevaarlijk," terwijl het in werkelijkheid misschien wel veilig was. Ze zijn te voorzichtig (conservatief).

2. De Oplossing: De Perfecte Voorspeller (Hamilton-Jacobi)

De auteurs van dit artikel gebruiken een wiskundige techniek genaamd Hamilton-Jacobi (HJ) bereikbaarheidsanalyse.
Stel je voor dat je niet schat waar de piloot misschien is, maar dat je een perfecte, onfeilbare voorspeller hebt. Deze voorspeller rekent uit: "Als de piloot hier begint, en de ergste denkbare fouten en windstoten optreden, welke paden kan hij dan nemen?"

In plaats van een grote, wazige bol te tekenen, tekent deze voorspeller een exacte, strakke grens. Alles binnen die grens is veilig; alles daarbuiten is gevaarlijk. Dit is veel nauwkeuriger dan de oude methoden.

3. De Magische Truc: Het Samenvoegen van Deeljes

Het moeilijke deel is dat de "piloot" (de controller) vaak een complex neurale netwerken is (een soort AI) die niet makkelijk te begrijpen is voor wiskundige formules. Hoe kun je een AI in een strakke formule gieten?

De auteurs hebben een slimme truc bedacht. Ze zeggen:
"Laten we de camera, de rekenmachine die de beelden interpreteert, en de piloot zelf niet als drie aparte dingen zien, maar als één grote, samengevoegde machine."

Ze plakken deze drie onderdelen aan elkaar tot één enkel systeem. Nu kunnen ze de bekende "perfecte voorspeller" (HJ-analyse) op deze hele machine toepassen, alsof het één simpele robot is. Het is alsof je een ingewikkeld uurwerk uit elkaar haalt, de tandwielen in één blok giet, en dan pas meet hoe snel dat blok draait.

4. Twee Manieren om het te Berekenen

Afhankelijk van hoe complex de "piloot" is, gebruiken ze twee strategieën:

De Exacte Weg: Als de piloot een simpele regel volgt (bijvoorbeeld: "draai links als je rechts ziet"), kunnen ze de wiskunde exact oplossen. Ze weten dan 100% zeker wat er gebeurt.
De "Veilige Omhulling" (Lower Bound): Als de piloot een complexe AI is die we niet helemaal kunnen doorgronden, maken ze een veilige schatting. Ze zeggen: "We weten niet precies wat de AI doet, maar we weten zeker dat hij nooit harder dan X of zachter dan Y zal reageren." Ze tekenen dan een veilige omhulling om de AI heen. Dit is iets minder precies dan de exacte weg, maar het is nog steeds 100% veilig. Als het systeem binnen deze omhulling veilig is, dan is het echt veilig.

5. Wat levert dit op? (De Case Studies)

De auteurs hebben dit getest op twee echte situaties:

Een vliegtuig dat op de grond rijdt (Taxiën):
Ze keken naar een vliegtuig dat met camera's de landingsbaan volgt. Ze ontdekten dat de huidige instellingen van de AI soms gevaarlijk waren als de camera's een beetje mistig waren. Maar door hun methode te gebruiken, konden ze de instellingen van de AI zo aanpassen dat het vliegtuig altijd veilig bleef, zelfs als de camera's flink vergisten. Het is alsof je de piloot een nieuwe, veiligere instructiekaart geeft.
Een Rover op de Maan (in het donker):
Stel je een rover voor die 's nachts op de maan rijdt. Hij heeft lichten nodig om te zien, maar lichten kosten veel batterij. Als hij de lichten uitschakelt om energie te besparen, wordt zijn zicht wazig (onzekerheid groeit).
Met RoVer-CoRe konden ze precies berekenen: "Je mag de lichten 3 minuten uit laten, maar daarna moet je ze weer aan doen, anders loop je tegen een rots." Ze maakten een slim beleid dat de lichten alleen aandoet als het echt nodig is voor de veiligheid. Dit bespaart batterij, maar garandeert dat de rover nooit vastloopt.

Conclusie

Kortom, RoVer-CoRe is een nieuwe, super-accurate manier om te controleren of slimme robots veilig zijn, zelfs als ze zich vergissen.

Het is niet gebaseerd op gokken of ruwe schattingen.
Het is niet te voorzichtig (zoals de oude methoden).
Het helpt engineers om beter en veiliger robots te bouwen die zelfs in de ergste omstandigheden (mist, fouten, donker) niet crashen.

Het is alsof je voor een auto niet alleen een remtest doet, maar een simulatie draait van elke mogelijke regenbui, ijslaagje en remstoring die er ooit kan zijn, en dan garandeert dat de auto nooit de weg verliest.

Titel: Robuuste verificatie van controllers onder toestandsonzekerheid via Hamilton-Jacobi bereikbaarheidsanalyse

Auteurs: Albert Lin, Alessandro Pinto, Somil Bansal (Stanford University & NASA JPL)
Context: 8th Annual Conference on Learning for Dynamics and Control (L4DC)

1. Het Probleem

Autonome systemen maken steeds vaker gebruik van perceptie-gedreven controllers (bijv. gebaseerd op neurale netwerken) om beslissingen te nemen op basis van sensorinvoer. Een groot probleem bij de implementatie van deze systemen is perceptuele onzekerheid. Deze onzekerheid ontstaat door:

Ruis in sensoren.
Leerfouten in machine learning-modules.
Omgevingsfactoren (bijv. GPS-verlies in tunnels).

Het is cruciaal om de veiligheid en prestaties van deze systemen formeel te verifiëren, zelfs onder de slechtst mogelijke perceptiefouten. Bestaande verificatiemethoden hebben echter beperkingen:

Ze zijn vaak te conservatief (ze melden onveiligheid waar het systeem veilig is), wat leidt tot het afkeuren van bruikbare systemen.
Ze zijn beperkt tot specifieke klassen van systemen of controllers.
Ze gebruiken vaak benaderde bereikbaarheidsmethodes (zoals hyper-rectangles of zonotopen) die de werkelijke dynamiek niet nauwkeurig genoeg modelleren.

De kernvraag is: Hoe kunnen we formeel garanderen dat een systeem veilig blijft, zelfs als de controller werkt op basis van een onnauwkeurige schatting van de toestand ( $\hat{x}$ ) in plaats van de ware toestand ( $x$ )?

2. Methodologie: RoVer-CoRe

De auteurs introduceren RoVer-CoRe (Robust Verification of Controllers via HJ Reachability), het eerste framework dat Hamilton-Jacobi (HJ) bereikbaarheidsanalyse toepast op perceptie-gedreven systemen.

Kerninzicht: Gesloten-lus Abstractie

Traditionele HJ-analyse gaat ervan uit dat de controller de ware toestand kent. Bij perceptie-onzekerheid is dit niet het geval. RoVer-CoRe lost dit op door de volgende componenten te combineren tot één equivalente gesloten-lus dynamiek:

De controller ( $\pi$ ).
De observatiefunctie ( $p$ , bijv. camera-beeld).
De toestands-schatter ( $q$ , bijv. een neurale net of filter).

Deze worden samengevoegd tot een nieuwe dynamiek $h(x, d, e)$ , waarbij de enige externe invoer de stoornis ( $d$ ) en de perceptiefout ( $e$ ) zijn. Hierdoor kan het probleem worden gemodelleerd als een standaard HJ-bereikbaarheidsprobleem, waarbij de perceptiefout wordt behandeld als een adversarische stoornis.

De Uitdaging: De Hamiltoniaan

De grootste technische uitdaging is het berekenen van de gesloten-lus Hamiltoniaan:
$H(x, t, \nabla V) = \min_{d \in D, e \in E} \nabla V \cdot h(x, d, e)$
Vanwege de complexiteit van neurale netwerken en niet-lineaire functies is deze optimalisatie vaak niet convex en moeilijk op te lossen.

Oplossingsstrategieën

RoVer-CoRe biedt twee methoden om de Hamiltoniaan te behandelen, afhankelijk van de controller:

Exacte Berekening: Voor eenvoudige of op een rooster gebaseerde controllers (zoals MPC op een rooster) kan de optimalisatie exact worden opgelost. Dit levert geen conservatisme op en genereert concrete tegenvoorbeelden bij falen.
Onderschatting (Lower Bounding): Voor complexe controllers (zoals diep neurale netwerken) wordt een ondergrens berekend voor de controller-output.
- Men schat de output van de controller binnen een hyper-rechthoek $\mathcal{U}(x)$ op basis van de perceptie-onzekerheid.
- Deze grenzen worden berekend met geavanceerde NN-verificatietools (zoals $\alpha,\beta$ -CROWN).
- Door de Hamiltoniaan te minimaliseren over deze bounds, krijgt men een conservatieve maar sound (veilige) verificatie. Als het systeem veilig is onder deze "slechtste geval" bounds, is het systeem veilig in de realiteit.

Robuuste Controller Ontwerp

Het framework wordt niet alleen gebruikt voor verificatie, maar ook voor ontwerp. Door de hyperparameters van een controllerfamilie te variëren en de bijbehorende veiligheidsmarges (via de waarde-functie $V$ ) te evalueren, kunnen auteurs de meest robuuste controller selecteren.

3. Belangrijkste Bijdragen

RoVer-CoRe Framework: Het eerste HJ-bereikbaarheidsframework specifiek ontworpen voor de verificatie van perceptie-gedreven systemen onder onzekerheid.
Nieuwe Methodologie: Een abstractie die perceptie, schatting en controle verenigt, waardoor HJ-tools direct toepasbaar zijn.
Verificatie- en Ontwerpmethoden: Technieken voor zowel exacte als conservatieve verificatie, en een aanpak voor veiligheidsgeleide hyperparameter-optimalisatie.
Validatie: Uitgebreide case studies die aantonen dat de methode striktere (minder conservatieve) garanties biedt dan bestaande set-gebaseerde methoden.

4. Resultaten en Case Studies

De auteurs testen het framework op twee scenario's:

A. Vliegtuig Taxiën (Aircraft Taxiing)

Scenario: Een vliegtuig volgt een baan op basis van camera-beelden verwerkt door een Deep Neural Network (DNN).
Resultaat: RoVer-CoRe kon de veiligheid formeel verifiëren tot een perceptie-onzekerheidsdekking van 99,68%.
Inzicht: Het framework identificeerde specifieke falingsmodi (bijv. te hoge gains die leiden tot overcorrectie) en stelde in staat om een veiligere controller te ontwerpen binnen de parameter-ruimte.

B. Rover Navigatie (NASA Endurance Concept)

Scenario: Een rover navigeert in het donker (maannacht) met visuele odometrie. De onzekerheid groeit naarmate de lichten uit staan.
Vergelijking: Ze vergeleken een expert MPC (Model Predictive Control) met een neurale net die de MPC imiteert.
Resultaten:
- De BRT (Backward Reachable Tube) voor de NN was conservatiever dan voor de MPC (door imitatiefouten en de bounds van de NN-verificatie), maar bood nog steeds een geldige veiligheidsgarantie.
- Efficiëntie: RoVer-CoRe was veel nauwkeuriger dan een Monte Carlo-baseline, die veel onveilige staten miste.
- Toepassing: Het framework werd gebruikt om een lichtbeleid te ontwerpen: de lichten gaan alleen aan wanneer de onzekerheid een kritieke drempel bereikt, wat energie bespaart terwijl de veiligheid gewaarborgd blijft.

5. Betekenis en Conclusie

RoVer-CoRe is een doorbraak in het veld van formele verificatie voor autonome systemen.

Minder Conservatisme: In vergelijking met bestaande set-gebaseerde methoden (zoals NNV 2.0) biedt HJ-analyse veel nauwere en realistischere bereikbaarheidssets.
Algemene Toepasbaarheid: Het werkt voor niet-lineaire systemen en complexe, leer-gebaseerde controllers.
Praktische Impact: Het gaat verder dan alleen "ja/nee" verificatie; het biedt inzicht in waarom een systeem faalt en biedt een route om robuustere controllers te ontwerpen.

De auteurs maken de code open-source beschikbaar, wat de adoptie en verdere ontwikkeling van deze methode in de gemeenschap voor autonome systemen en robotica zal stimuleren.