⚡ electrical engineering

Robust Verification of Controllers under State Uncertainty via Hamilton-Jacobi Reachability Analysis

Dieses Paper stellt RoVer-CoRe vor, ein Framework zur robusten Verifikation von wahrnehmungsbasierten Reglern unter Zustandsunsicherheit mittels Hamilton-Jacobi-Erreichbarkeitsanalyse, das durch die Verkettung von Regler, Beobachtungsfunktion und Zustandsabschätzung erstmals eine formale Sicherheitsverifikation und robuste Reglerentwurf für nichtlineare, lernbasierte Systeme ermöglicht.

Ursprüngliche Autoren: Albert Lin, Alessandro Pinto, Somil Bansal

Veröffentlicht 2026-04-16

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Albert Lin, Alessandro Pinto, Somil Bansal

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du fährst mit einem hochmodernen, autonomen Auto durch eine dichte Nebelwand. Das Auto hat Kameras und Sensoren, die versuchen, die Welt zu sehen. Aber der Nebel ist nicht perfekt; manchmal sieht das Auto einen Baum, wo eigentlich nichts ist, oder es übersieht eine scharfe Kurve. Das ist perzeptive Unsicherheit – das Auto ist sich nicht zu 100 % sicher, wo es ist.

Das Problem: Wie können wir garantieren, dass das Auto nicht gegen eine Mauer fährt, auch wenn seine "Augen" lügen?

Bisherige Methoden waren wie ein sehr ängstlicher Sicherheitsingenieur: Sie sagten oft "Das ist zu gefährlich, wir können es nicht berechnen" oder "Wir nehmen an, das Auto ist überall gleichzeitig", was zu sehr vorsichtigen und ungenauen Ergebnissen führte.

Diese neue Arbeit von Albert Lin, Alessandro Pinto und Somil Bansal stellt eine Lösung namens RoVer-CoRe vor. Hier ist die Idee, einfach erklärt:

1. Der große Trick: Alles zu einem einzigen "Monster" zusammenfassen

Stell dir vor, das autonome System besteht aus drei Teilen:

Die Augen (Kameras/Sensoren, die das Bild sehen).
Das Gehirn (ein KI-Modell, das das Bild interpretiert und sagt: "Da ist eine Kurve").
Die Hände (der Controller, der das Lenkrad dreht).

Normalerweise betrachtet man diese Teile getrennt. RoVer-CoRe macht etwas Cleveres: Es klebt diese drei Teile mit starkem Kleber zusammen zu einem einzigen, riesigen mathematischen "Monster". Dieses Monster hat nur einen einzigen Feind: den Nebel (die Unsicherheit).

Indem sie alles zu einem System verbinden, können sie eine alte, bewährte mathematische Methode namens Hamilton-Jacobi (HJ) Reachability anwenden. Stell dir diese Methode wie einen extrem präzisen Wettervorhersage-Algorithmus vor, der nicht nur sagt, ob es regnet, sondern genau berechnet, welche Gebiete garantiert trocken bleiben, egal wie stark der Sturm wird.

2. Das "Sicherheitsnetz" berechnen

Die Forscher nutzen dieses "Monster", um eine Rückwärts-Reichweite (Backward Reachable Tube) zu berechnen.

Einfache Analogie: Stell dir vor, du bist auf einem Eisfeld und willst nicht ins kalte Wasser fallen. Du möchtest wissen: "Von welchen Stellen aus kann ich garantiert nicht ins Wasser rutschen, selbst wenn ich ausrutsche?"
RoVer-CoRe berechnet genau diese "sicheren Zonen" (blau in den Diagrammen). Wenn das Auto außerhalb dieser Zone startet, ist es sicher. Wenn es hineingerät, ist ein Unfall unvermeidbar – egal wie gut die KI lenkt.

3. Was passiert, wenn die KI zu komplex ist?

Manchmal ist das "Gehirn" (die KI) so komplex, dass man nicht genau berechnen kann, wie es reagiert.

Die Lösung: Die Forscher sagen: "Okay, wir wissen nicht genau, was die KI tut, aber wir wissen, dass sie sich irgendwo zwischen einem Minimum und einem Maximum bewegt."
Sie bauen ein Sicherheitsgitter um die KI. Sie nehmen das Schlimmstmögliche an (das "Worst-Case-Szenario"). Wenn das System selbst unter diesen extremen Bedingungen sicher bleibt, dann ist es auch bei normalen Fehlern sicher. Das ist wie ein Sicherheitsgurt, der auch dann hält, wenn man mit 200 km/h gegen eine Wand fährt.

4. Warum ist das so cool? (Die Beispiele)

Die Autoren testen ihre Methode an zwei Szenarien:

Das Flugzeug auf dem Rollfeld: Ein Flugzeug muss auf einer Landebahn bleiben. Die KI schaut auf Bilder der Straße. Wenn die KI die Position falsch einschätzt, könnte das Flugzeug auf die falsche Seite rollen. RoVer-CoRe zeigt genau, wie viel "Fehler" die KI machen darf, bevor das Flugzeug abstürzt. Noch besser: Sie nutzen die Methode, um die KI so einzustellen (die "Hebel" zu justieren), dass sie selbst bei starkem Nebel sicher bleibt.
Der Mars-Rover im Dunkeln: Stell dir einen Rover vor, der auf dem Mond nachts fährt. Seine Sensoren werden im Dunkeln ungenau. Er kann die Scheinwerfer anmachen, aber das kostet wertvolle Energie. RoVer-CoRe berechnet genau: "Du kannst 5 Minuten im Dunkeln fahren, aber ab Minute 5 musst du die Lichter anmachen, sonst fährst du gegen einen Felsen." Das spart Energie, ohne das Leben zu riskieren.

Zusammenfassung

Früher war es wie ein blindes Glücksspiel: "Wir hoffen, die KI macht keine Fehler."
Mit RoVer-CoRe ist es wie ein mathematischer Beweis: "Wir haben berechnet, dass das System selbst dann sicher ist, wenn die KI die Hälfte der Zeit lügt."

Es ist der erste Schritt, um autonome Systeme nicht nur zu testen, sondern ihre Sicherheit mathematisch zu beweisen, selbst wenn ihre Sinne getrübt sind. Das ist ein riesiger Schritt für die Zukunft von Robotern, Autos und Raumfahrzeugen.

1. Problemstellung

Autonome Systeme nutzen zunehmend controller, die auf Wahrnehmungsdaten (z. B. Kamerabilder) basieren und oft durch neuronale Netze (NN) implementiert werden. Diese Systeme sind jedoch anfällig für perzeptive Unsicherheiten (z. B. Sensorrauschen, Lernfehler in NN-Modulen oder Umwelteinflüsse wie GPS-Ausfall).

Das zentrale Problem besteht darin, die Sicherheit und Leistung solcher Systeme formal zu verifizieren, selbst unter worst-case-perzeptiven Fehlern.

Herausforderung: Herkömmliche Verifikationsmethoden für NN-gesteuerte Systeme basieren oft auf approximativen Reachability-Methoden (z. B. Hyperrechtecke, Zonotope). Diese Methoden sind jedoch häufig zu konservativ, was dazu führt, dass sichere Systeme fälschlicherweise als unsicher eingestuft werden, oder sie sind auf bestimmte Systemklassen beschränkt.
Lücke: Die Hamilton-Jacobi (HJ) Reachability-Analyse ist ein leistungsfähiges Werkzeug für nichtlineare Systeme, das optimale erreichbare Mengen unter worst-case-Störungen berechnet. Bisher wurde sie jedoch kaum auf Systeme angewendet, bei denen der Controller auf geschätzten Zuständen (und nicht auf dem wahren Zustand) basiert, da die Standard-HJ-Formulierung perfekte Zustandsinformation voraussetzt.

2. Methodik: RoVer-CoRe Framework

Die Autoren stellen RoVer-CoRe (Robust Verification of Controllers via HJ Reachability) vor, ein Framework, das HJ-Reachability-Analyse für Systeme mit perzeptiver Unsicherheit nutzbar macht.

A. Closed-Loop-System-Abstraktion

Der Kernansatz besteht darin, den System-Controller, die Beobachtungsfunktion und das Zustands-Schätzmodul zu einem äquivalenten geschlossenen Regelkreis zu verketten.

Das System wird durch die Dynamik $h(x, d, e) = f(x, \pi(q(p(x), e)), d)$ beschrieben.
Hier ist $x$ der wahre Zustand, $d$ die externe Störung, $e$ das perzeptive Fehler-Signal, $p$ die Beobachtung, $q$ der Schätzer und $\pi$ der Controller.
Durch diese Abstraktion wird die perzeptive Unsicherheit $e$ als adversarielle Eingabe behandelt, ähnlich wie externe Störungen $d$ . Dies ermöglicht die Anwendung bestehender HJ-Werkzeuge, da die Schnittstelle nun der traditionellen Formulierung entspricht.

B. Berechnung und Schätzung des Hamiltonians

Die größte technische Hürde ist die Berechnung des geschlossenen Regelkreis-Hamiltonians, da dieser aufgrund der Komplexität von $\pi$ , $p$ und $q$ oft nicht-konvex und schwer zu optimieren ist. RoVer-CoRe bietet zwei Ansätze:

Exakte Berechnung: Wenn der Controller einfach strukturiert ist (z. B. linear oder auf einem Gitter definiert), kann das Optimierungsproblem für den Hamiltonian exakt gelöst werden. Dies liefert keine Konservativität und konkrete Gegenbeispiele (worst-case-Signale).
Untere Schranke (Lower Bounding): Für komplexe Controller (z. B. tiefe neuronale Netze) wird der Hamiltonian durch eine untere Schranke approximiert.
- Es werden elementweise untere und obere Schranken $[\underline{U}(x), \overline{U}(x)]$ für die Controller-Ausgabe unter Unsicherheit berechnet (z. B. mittels NN-Verifikations-Tools wie $\alpha,\beta$ -CROWN).
- Der Hamiltonian wird dann über diesen Bereich minimiert: $H \geq \min_{d, u \in \underline{U}(x)} \nabla V \cdot f(x, u, d)$ .
- Dies führt zu einer konservativen, aber sicheren (sound) Verifikation. Je enger die Schranken, desto weniger konservativ ist das Ergebnis.

C. Robustes Controller-Design

Das Framework wird nicht nur zur Verifikation, sondern auch zur Verbesserung von Controllern genutzt. Durch die Analyse der Wertefunktion $V_\alpha$ über einen Raum von Hyperparametern $\alpha$ können Controller so optimiert werden, dass sie maximale Sicherheitsmargen bieten.

3. Wichtige Beiträge

Erstes HJ-Framework für perzeptive Unsicherheit: RoVer-CoRe ist laut Autoren das erste Framework, das HJ-Reachability zur formalen Verifikation von Systemen unter perzeptiver Unsicherheit nutzt.
Neue Abstraktion: Die Verknüpfung von Wahrnehmung, Schätzung und Steuerung zu einem einzigen geschlossenen System, das mit HJ-Methoden kompatibel ist.
Flexible Hamiltonian-Behandlung: Entwicklung von Methoden zur exakten Berechnung oder zur konservativen Schätzung des Hamiltonians, abhängig vom Controller-Typ.
Open Source: Bereitstellung des Codes und Anwendung auf reale Szenarien.

4. Ergebnisse und Fallstudien

Die Wirksamkeit wurde in zwei Fallstudien demonstriert:

A. Flugzeug-Taxiing (Aircraft Taxiing)

Szenario: Ein Flugzeug folgt einer Landebahn basierend auf Kamerabildern, die von einem DNN verarbeitet werden.
Ergebnis: RoVer-CoRe konnte die Sicherheit des Systems bis zu einer Fehlerabdeckung von 99,68 % formal verifizieren.
Design-Optimierung: Das Framework identifizierte unsichere Controller-Konfigurationen (z. B. zu hohe Verstärkung bei Querabweichung) und half, robuste Parameter zu finden, die auch unter worst-case-Wahrnehmungsfehlern sicher bleiben.

B. Rover-Navigation (NN-basiert)

Szenario: Ein Rover navigiert bei Dunkelheit mit visuellen Odometrie-Daten. Die Unsicherheit wächst linear mit der Zeit, wenn keine Scheinwerfer eingeschaltet sind.
Vergleich: Ein NN-Controller (nachgeahmter MPC) wurde mit einem klassischen Gitter-basierten MPC verglichen.
Ergebnisse:
- Die von RoVer-CoRe berechneten „Backward Reachable Tubes" (BRT) für den NN waren konservativer als für den MPC (aufgrund von Nachahmungsfehlern und der NN-Verifikation), aber dennoch sicher.
- Im Vergleich zu einer Monte-Carlo-Simulation und dem Tool NNV 2.0 zeigte RoVer-CoRe eine deutlich höhere Genauigkeit und weniger falsche Positive (zu konservative Ergebnisse).
- Anwendung: Das Framework wurde genutzt, um eine Strategie zur Lichtaktivierung zu entwickeln: Die Scheinwerfer werden nur dann eingeschaltet, wenn die wachsende Unsicherheit die Sicherheit gefährdet. Dies spart Energie, garantiert aber Sicherheit.

5. Bedeutung und Fazit

RoVer-CoRe adressiert eine kritische Lücke in der Sicherheitsverifikation autonomer Systeme. Indem es die Hamilton-Jacobi-Reachability-Analyse auf Systeme mit geschätzten Zuständen anwendet, bietet es:

Formale Garantien: Mathematisch beweisbare Sicherheitsschranken unter worst-case-Bedingungen.
Geringere Konservativität: Im Vergleich zu set-basierten Approximationsmethoden (wie NNV) liefert es engere und damit praktischere Sicherheitsgrenzen.
Diagnosefähigkeit: Es kann spezifische Fehlermodi aufdecken, die durch perzeptive Unsicherheiten entstehen.
Entwurfshilfe: Es ermöglicht die Synthese robuster Controller und Strategien (z. B. Energie-Management) direkt auf Basis der Verifikationsergebnisse.

Das Paper unterstreicht, dass HJ-Reachability, oft als zu rechenintensiv für komplexe NN-Systeme angesehen, durch geschickte Abstraktion und Schätzung des Hamiltonians zu einem mächtigen Werkzeug für die robuste Verifikation moderner autonomer Systeme wird.