⚡ electrical engineering

Parallel Differentiable Reachability for Learning and Planning with Certified Neural Dynamics and Controllers

Dieser Beitrag stellt ein in JAX implementierbares, differenzierbares Erreichbarkeitsframework vor, das Taylor-Modell-Flussröhren mit CROWN-artiger Schrankenfortpflanzung kombiniert, um zertifiziertes Training und gradientenbasierte Planung für neuronale Netzwerkdynamiken und -regler unter Unsicherheit zu ermöglichen.

Ursprüngliche Autoren: Keyi Shen, Glen Chou

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Keyi Shen, Glen Chou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter eine heikle Aufgabe, wie das Verschieben eines T-förmigen Objekts über einen Tisch oder das Fliegen einer Drohne durch eine schmale Lücke. Sie verwenden ein „Gehirn" (ein neuronales Netz), um dem Roboter zu helfen, herauszufinden, wie er sich bewegen soll. Dieses Gehirn ist unglaublich gut darin, basierend auf vergangenen Erfahrungen zu erraten, was als Nächstes passieren wird.

Allerdings gibt es ein großes Problem: Was ist, wenn der Roboter leicht falsch liegt? Vielleicht ist der Boden rutschig, oder ein Sensor hat die Distanz um ein winziges Stück falsch gemessen. In der realen Welt können sich diese kleinen Fehler lawinenartig aufschaukeln. Ein winziger Fehler im ersten Schritt kann zu einem Absturz im zehnten Schritt führen.

Traditionell haben Ingenieure zwei Möglichkeiten:

Dem Roboter vollständig vertrauen: Dies ist schnell und funktioniert die meiste Zeit gut, aber wenn etwas schiefgeht, könnte der Roboter abstürzen, weil er die „Was-wäre-wenn"-Szenarien nicht berücksichtigt hat.
Die Mathematik formal überprüfen: Dies garantiert die Sicherheit, indem jedes mögliche Ergebnis berechnet wird, aber es ist so langsam und kompliziert, dass es nicht verwendet werden kann, während sich der Roboter tatsächlich bewegt oder lernt.

Diese Arbeit stellt ein neues Werkzeug namens DiffReach vor, das wie ein „ultraschneller Sicherheitsrechner" funktioniert, der in Echtzeit laufen kann. So funktioniert es, unter Verwendung einiger alltäglicher Analogien:

1. Die „Schatten"-Analogie (Erreichbarkeit)

Stellen Sie sich vor, der Roboter ist eine Person, die in einem nebligen Wald wandert. Sie wissen nicht genau, wo sie sich befindet, sondern nur, dass sie sich irgendwo innerhalb eines kleinen Kreises um einen bekannten Punkt befindet.

Der alte Weg: Um sicher zu sein, zeichnen Sie vielleicht eine riesige, verschwommene Wolke um die Person, die mit jedem Schritt größer wird und schließlich den ganzen Wald bedeckt. Das ist sicher, aber es ist zu beängstigend zu verwenden, weil es sagt: „Sie könnten einen Baum treffen", selbst wenn sie weit entfernt sind.
Der Weg der Arbeit: DiffReach zeichnet einen straffen, flexiblen Schatten um den Roboter. Während sich der Roboter bewegt, dehnt und verdreht sich dieser Schatten, um dem Pfad des Roboters genau zu folgen, wird aber nie größer als notwendig. Es sagt Ihnen: „Wenn der Roboter hier startet, könnte er irgendwo innerhalb dieser spezifischen Form landen, aber nirgendwo anders."

2. Die „Fließband"-Analogie (Parallel und Differenzierbar)

Normalerweise ist das Berechnen dieser Schatten wie eine einzelne Person, die eine Matheaufgabe auf einem Blatt Papier löst. Es dauert ewig.

Die Innovation: Die Autoren haben dieses Werkzeug mit JAX (einer leistungsstarken Recheneinheit) gebaut. Stellen Sie sich vor, anstatt einer Person haben Sie eine Fabrik mit Tausenden von Arbeitern (GPUs), die die Mathematik gleichzeitig durchführen.
Differenzierbar: Dies ist der magische Teil. Normalerweise sind Sicherheitsprüfungen wie ein „Stoppschild" – Sie prüfen, und wenn es unsicher ist, stoppen Sie. Sie können das Stoppschild nicht verwenden, um dem Roboter beizubringen, besser zu fahren. DiffReach ist wie eine glatte, rutschende Rampe. Da die Mathematik „differenzierbar" ist, kann der Roboter den Schatten betrachten, sehen, wo er zu breit wird, und sofort sein Gehirn (neuronales Netz) anpassen, um den Schatten enger zu machen. Es verwandelt Sicherheit von einem „Stoppschild" in ein „Lenkrad".

3. Der Zweiteil-Engine

Die Arbeit kombiniert zwei verschiedene mathematische Techniken zu einer nahtlosen Maschine:

Taylor-Modelle (Der analytische Teil): Für Teile des Roboters, die wir mit Physik verstehen (wie die Aerodynamik einer Drohne), verwenden sie eine Methode, die den Pfad wie eine glatte Kurve vorhersagt.
CROWN (Der neuronale Teil): Für die „Gehirn"-Teile (die neuronalen Netze) verwenden sie eine Technik, die die Grenzen der Vorhersagen der KI überprüft.
Die Vereinheitlichung: Sie schufen eine universelle Sprache (eine „Unified TM-CROWN-Schnittstelle"), damit diese beiden verschiedenen Methoden miteinander sprechen können, ohne an Präzision zu verlieren. Es ist wie das Übersetzen eines Gesprächs zwischen einem Physiker und einem KI-Experten, ohne dass Details in der Übersetzung verloren gehen.

4. Was sie tatsächlich getan haben (Die Ergebnisse)

Die Autoren haben nicht nur das Werkzeug gebaut; sie haben es verwendet, um zwei spezifische Dinge zu tun:

Zertifiziertes Training: Sie lehrten das Gehirn des Roboters, „sicherheitsbewusst" zu sein. Anstatt nur zu lernen, ein Ziel zu treffen, lernte das Gehirn, seinen „Schatten" klein zu halten. Wenn der Schatten zu groß wird (was bedeutet, dass der Roboter unsicher ist), wird das Training bestraft. Das Ergebnis? Roboter, die genauso gut in ihrer Arbeit sind, aber viel sicherer, wenn etwas schiefgeht.
Sichere Planung (MPC): Sie verwendeten das Werkzeug, um Pfade in Echtzeit zu planen.
- In der Simulation: Sie testeten dies an einem Roboterarm und einem Drohnenschwarm (bis zu 72 Bewegungsdimensionen!). Das Werkzeug war 100-mal schneller als frühere Methoden, während es die Sicherheitsgrenzen eng hielt.
- In der realen Welt: Sie testeten es an einem echten Roboterarm, der ein T-förmiges Objekt verschiebt. Der Roboter plante seine Bewegungen erfolgreich und vermied Hindernisse, selbst als die Umgebung leicht unvorhersehbar war.

Das Fazit

Diese Arbeit stellt eine Möglichkeit vor, Roboter gleichzeitig intelligent und sicher zu machen. Indem sie den Sicherheitscheck schnell genug machen, um auf einer Videokarte (GPU) zu laufen, und flexibel genug, um Teil des Lernprozesses zu sein, ermöglichen sie Robotern, aus Erfahrung zu lernen, ohne zu vergessen, auf die „Was-wäre-wenn"-Szenarien zu achten.

Was sie NICHT behauptet haben:

Sie haben nicht behauptet, dass dies bereits für medizinische Operationen oder autonomes Fahren auf öffentlichen Straßen funktioniert.
Sie haben nicht behauptet, dass es alle Sicherheitsprobleme löst (sie geben zu, dass es immer noch mit sehr langen Zeithorizonten oder komplexen physikalischen Kontakten wie abprallenden Bällen zu kämpfen hat).
Sie konzentrierten sich streng auf Roboteraufgaben wie das Verschieben von Objekten und das Fliegen von Drohnen.

Technische Zusammenfassung: Parallele differenzierbare Erreichbarkeitsanalyse für Lernen und Planung mit zertifizierten neuronalen Dynamiken und Reglern

Problemstellung

Neuronale Netzwerk (NN)-Dynamikmodelle und Regelungsstrategien haben in der Robotik, insbesondere in komplexen Umgebungen, in denen eine analytische Modellierung nicht durchführbar ist, eine starke empirische Leistungsfähigkeit bewiesen. Die Bereitstellung robuster Sicherheitsgarantien für geschlossene NN-Systeme unter Unsicherheit bleibt jedoch eine erhebliche Herausforderung. Klassische Erreichbarkeitsanalysen bieten formale Garantien durch Überapproximationen erreichbarer Mengen, skalieren jedoch oft schlecht, haben Schwierigkeiten mit NN-Komponenten und produzieren übermäßig konservative Schranken. Im Gegensatz dazu skalieren moderne Methoden zur Verifikation neuronaler Netze (NNV) wie CROWN gut auf große Netzwerke, sind jedoch primär für statische Verifikation konzipiert, bieten keine Unterstützung für kontinuierliche Dynamiken und sind im Allgemeinen nicht differenzierbar.

Folglich ist die Erreichbarkeitsanalyse typischerweise auf eine nachträgliche Zertifizierung beschränkt, was kostspielige Zyklen aus nicht-zertifiziertem Training, fehlgeschlagener Verifikation und Neutrainieren nach sich zieht. Es besteht ein kritischer Bedarf an einem Rahmenwerk, das zertifizierte Erreichbarkeitsanalyse direkt in Roboter-Lern- und Online-Planungspipelines integriert, sowohl kontinuierliche als auch diskrete Zeit-Systeme mit analytischen und NN-basierten Komponenten unterstützt und dabei differenzierbar und effizient bleibt.

Methodik

Die Autoren schlagen DiffReach vor, ein parallelisierbares, differenzierbares Erreichbarkeits-Framework, das in JAX implementiert ist. Die Kerninnovation ist eine einheitliche Darstellung, die Taylor-Modell (TM)-Flussrohr-Konstruktion für analytische Dynamiken mit CROWN-artiger linearer Schrankenpropagation für neuronale Komponenten kombiniert.

1. Einheitliche Darstellung (Taylor-CROWN-Schnittstelle)

Um GPU-gestützte Batch-Berechnungen und automatische Differentiation zu ermöglichen, adoptiert das Framework eine Darstellung mit fester Form für Taylor-Modelle. Anstelle von variablen Polynomen werden erreichbare Mengen dargestellt als:
$F(z) = c + Az \oplus I \quad \text{oder} \quad F(z) = c + Az + B \tau z \oplus I$
wobei $z$ den Zustand um die Zeit erweitert, $c$ eine Konstante ist, $A$ und $B$ Matrizen sind, die affine und quasi-quadratische Abhängigkeiten erfassen, und $I$ ein Intervallrest ist. Diese Darstellung erhält affine Abhängigkeiten ohne intermediate Intervallrelaxation.

Neuronale Komponenten: Das Framework nutzt CROWN (via jax_verify), um affine Schranken für neuronale Netze zu berechnen. Ein wesentlicher Beitrag ist die Durchsetzung einer gemeinsame-Steigung-Bedingung in CROWN, die sicherstellt, dass die untere und obere Schranke denselben linearen Term teilen. Dies ermöglicht es, die Ausgaben neuronaler Netze als lineare Taylor-Modelle darzustellen und die Kompatibilität mit der analytischen Dynamik-Pipeline aufrechtzuerhalten.
Kontinuierliche Zeit (CT)-Systeme: Für CT-Systeme mit NN-Rückkopplungsregelung wechselt das Framework zwischen:
1. Regler-Zertifizierung: Verwendung der TM-CROWN-Schnittstelle, um die Ausgabe des neuronalen Reglers basierend auf der TM-Einhüllung des aktuellen Zustands zu zertifizieren.
2. Dynamikpropagation: Propagation der Systemdynamik (analytische oder neuronale ODE) unter Verwendung von TM-Flussrohren unter einer Null-Halter-Politik für den Regelungsinput.
Diskrete Zeit (DT)-Systeme: Die Erreichbarkeitsanalyse reduziert sich auf eine schrittweise Propagation, wobei die TM-CROWN-Schnittstelle die Ein-Schritt-Abbildung zu jedem Zeitpunkt zertifiziert.

2. DiffReach-Robotik-Anwendungen

Aufbauend auf der DiffReach-Engine entwickeln die Autoren zwei robotikfokussierte Methoden:

Zertifiziertes Training: Eine Trainingsmethode für neuronale Dynamiken und Regler, die Standard-Vorhersage- oder Verfolgungsverluste um einen erreichbarkeitsbewussten Regularisierungsterm erweitert. Dieser Term bestraft das Volumenwachstum zertifizierter erreichbarer Mengen unter begrenzter Unsicherheit. Zur Stabilisierung des Trainings wird eine Curriculum-Learning-Strategie eingesetzt, die den Rollout-Horizont schrittweise erhöht und den Perturbationsradius verringert.
Erreichbarkeitsbewusste MPC: Ein sampling-basiertes Modellprädiktives Regelungs (MPC)-Schema, das zertifizierte erreichbare Mengen in die Online-Planung integriert. Der Planer optimiert eine Kostenfunktion, die das Aufgabenziel und eine Strafe für unsichere Trajektorien oder große erreichbare Mengen umfasst. Parallelisierung ermöglicht eine effiziente Bewertung vieler Kandidatentrajektorien, wobei eine gradientenbasierte Verfeinerung auf die besten Kandidaten angewendet wird, um die Konservativität weiter zu reduzieren.

Hauptbeiträge

Paralleles differenzierbares Erreichbarkeits-Framework: Eine einheitliche, auf JAX basierende Darstellung, die Taylor-Modell-Flussrohre und CROWN-artige Schrankenpropagation für kontinuierliche und diskrete Zeit-Systeme mit analytischen und NN-basierten Dynamiken/Reglern kombiniert.
Zertifizierte Trainingsmethode: Ein Lernansatz, der differenzierbare Zielgrößen für erreichbare Mengen nutzt, um die Robustheit neuronaler Komponenten unter Unsicherheit zu verbessern und „erreichbarkeitsfreundliche" Modelle zu fördern.
Erreichbarkeitsbewusste MPC: Ein Online-Planungsschema, das zertifizierte erreichbare Mengen in sampling-basierte MPC mit gradientenbasierter Verfeinerung integriert und eine „durch Konstruktion verifizierte" Planung ermöglicht.
Experimentelle Validierung: Umfassende Evaluation bei nicht-greifender Manipulation (T-Schieben) und Quadrotor-Aufgaben, einschließlich Hardware-Experimenten und hochdimensionaler Evaluationen (bis zu 72D), die eine praktische Online-Planung mit zertifizierten Garantien demonstrieren.

Ergebnisse

Das Framework wurde auf einer RTX 4090 GPU über mehrere Dimensionen hinweg evaluiert:

Effizienz und Tightness: Im Vergleich zu State-of-the-Art-DT (CROWN) und CT (immrax) Baselines erreicht DiffReach vergleichbare Tightness erreichbarer Mengen und ist dabei für DT-Systeme etwa 100× schneller als CROWN. Für CT-Systeme erzeugt es erheblich engere erreichbare Mengen als immrax, das häufig unter numerischem Überlauf und Rohren mit unendlichem Volumen leidet.
Skalierbarkeit: Das Framework skaliert effektiv auf höherdimensionale Systeme, einschließlich eines 6-Quadrotor-Schwarms (72D-Zustand) und eines 10-Gelenk-planaren Arms (40D-Zustand). Während der Speicherbedarf als $O(n^2)$ skaliert, skaliert die Laufzeit aufgrund von GPU-parallelen Matrixoperationen günstig.
Zertifiziertes Training: Modelle, die mit Erreichbarkeits-Regularisierung trainiert wurden, erzielten eine nominale Leistung, die mit Standardtraining vergleichbar war, produzierten jedoch erheblich engere erreichbare Mengen. Diese Mengen entsprachen eng den gesampelten Untergrenzen-Volumina, während nicht-zertifizierte Modelle lockere, weniger verifizierbare Vorhersagen lieferten.
Robuste Planung: In MPC-Experimenten unter begrenzten Störungen behielt der erreichbarkeitsbewusste Planer hohe Erfolgsraten bei und erfüllte die Constraints, während eine herkömmliche MPC mit nicht-zertifizierten Modellen bei größeren Störungen (z. B. unbeabsichtigter Kontakt bei T-Schieben-Aufgaben) signifikant versagte.
Hardware-Einsatz: Das System wurde auf einer Kuka iiwa-Plattform für T-Schieben eingesetzt und lief online mit etwa 10 Hz (5 Hz mit Verfeinerung), was die Machbarkeit der Integration differenzierbarer Erreichbarkeitsanalyse in die Echtzeit-Roboterregelung demonstriert.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass DiffReach die Lücke zwischen formaler Verifikation und Roboterlernen schließt, indem es eine differenzierbare, GPU-beschleunigte Erreichbarkeits-Primitive bereitstellt. Im Gegensatz zu früheren Methoden, die auf Offline-Verifikation beschränkt waren, ermöglicht dieses Framework, dass Zielgrößen für erreichbare Mengen das Training neuronaler Dynamiken und Regler sowie die Ausführung der Online-Planung direkt informieren.

Die Autoren betonen, dass ihr Ansatz „durch Konstruktion verifiziertes" Lernen und Planen ermöglicht und die Abhängigkeit von kostspieligen nachträglichen Zertifizierungszylklen reduziert. Durch die Vereinheitlichung von Taylor-Modellen und CROWN innerhalb eines einzigen Berechnungsgraphen erhält die Methode affine Abhängigkeiten und unterstützt sowohl kontinuierliche als auch diskrete Zeit-Systeme, wodurch eine kritische Einschränkung aktueller NN-in-the-Loop-Analysetools adressiert wird.

Die Arbeit schließt mit der Anerkennung aktueller Einschränkungen, wie Herausforderungen bei der Konservativität über lange Horizonte und hybriden/kontaktreichen Dynamiken, postuliert jedoch, dass dieses Framework zukünftige Forschung zu skalierbarer differenzierbarer Erreichbarkeitsanalyse und einer engeren Integration zwischen formaler Verifikation, Roboterlernen und Regelung motiviert.