⚡ electrical engineering

Parallel Differentiable Reachability for Learning and Planning with Certified Neural Dynamics and Controllers

Dit artikel introduceert een paralleliseerbaar, differentieerbaar bereikbaarheidskader in JAX dat Taylor-model flowpipes combineert met CROWN-stijl grensvoortplanting om gecertificeerde training en op gradiënten gebaseerde planning voor neurale netwerkdynamica en controllers onder onzekerheid mogelijk te maken.

Oorspronkelijke auteurs: Keyi Shen, Glen Chou

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Keyi Shen, Glen Chou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert een delicate taak uitvoeren, zoals het duwen van een T-vormig object over een tafel of het vliegen van een drone door een smalle opening. Je gebruikt een "hersenen" (een neurale netwerk) om de robot te helpen begrijpen hoe hij moet bewegen. Deze hersenen zijn ongelooflijk goed in het voorspellen van wat er als volgt zal gebeuren, gebaseerd op eerdere ervaring.

Echter, er is een groot probleem: Wat als de robot iets verkeerd heeft? Misschien is de vloer glad, of heeft een sensor de afstand een heel klein beetje verkeerd gemeten. In de echte wereld kunnen deze kleine fouten uitdijen. Een kleine fout in stap één kan leiden tot een crash in stap tien.

Traditioneel hebben ingenieurs twee keuzes:

De robot volledig vertrouwen: Dit is snel en werkt de meeste keren goed, maar als er iets misgaat, kan de robot crashen omdat het geen rekening hield met de "wat als"-scenario's.
De wiskunde formeel controleren: Dit garandeert veiligheid door elke mogelijke uitkomst te berekenen, maar het is zo traag en ingewikkeld dat het niet kan worden gebruikt terwijl de robot zich eigenlijk verplaatst of leert.

Dit artikel introduceert een nieuw hulpmiddel genaamd DiffReach dat fungeert als een "supersnelle veiligheidsrekenmachine" die in real-time kan draaien. Hier is hoe het werkt, met behulp van alledaagse analogieën:

1. De "Schaduw"-analogie (Bereikbaarheid)

Stel je voor dat de robot een persoon is die door een mistig bos loopt. Je weet niet precies waar ze zijn, alleen dat ze ergens binnen een kleine cirkel rond een bekend punt zitten.

Oude manier: Om veilig te zijn, zou je een gigantische, wazige wolk om de persoon kunnen tekenen die met elke stap groter en groter wordt, en uiteindelijk het hele bos bedekt. Dit is veilig, maar het is te eng om te gebruiken omdat het zegt "ze kunnen tegen een boom aanlopen" zelfs als ze ver weg zijn.
De manier van dit artikel: DiffReach tekent een strakke, flexibele schaduw om de robot. Naarmate de robot beweegt, rekt en draait deze schaduw om het pad van de robot exact te volgen, maar het wordt nooit groter dan nodig. Het zegt je: "Als de robot hier begint, kan hij eindigen binnen deze specifieke vorm, maar nergens anders."

2. De "Assemblagelijn"-analogie (Parallel en Differentieerbaar)

Meestal is het berekenen van deze schaduwen als een enkele persoon die een wiskundig probleem op een stuk papier oplost. Het duurt eeuwen.

De innovatie: De auteurs hebben dit hulpmiddel gebouwd met JAX (een krachtige rekenengine). Stel je in plaats van één persoon een fabriek voor met duizenden werknemers (GPU's) die tegelijkertijd de wiskunde doen.
Differentieerbaar: Dit is het magische deel. Meestal zijn veiligheidscontroles als een "stopbord" - je controleert, en als het onveilig is, stop je. Je kunt het stopbord niet gebruiken om de robot te leren beter te rijden. DiffReach is als een gladde, glijdende helling. Omdat de wiskunde "differentieerbaar" is, kan de robot naar de schaduw kijken, zien waar deze te breed wordt, en direct zijn hersenen (neurale netwerk) aanpassen om de schaduw strakker te maken. Het verandert veiligheid van een "stopbord" in een "stuurwiel".

3. De Twee-Delige Motor

Het artikel combineert twee verschillende wiskundige technieken in één naadloze machine:

Taylor-modellen (Het analytische deel): Voor delen van de robot die we begrijpen met natuurkunde (zoals de aerodynamica van een drone), gebruiken ze een methode die het pad voorspelt als een gladde curve.
CROWN (Het neurale deel): Voor de "hersenen"-delen (de neurale netwerken) gebruiken ze een techniek die de grenzen van de gissingen van de AI controleert.
De unificatie: Ze creëerden een universele taal (een "Unified TM-CROWN Interface") zodat deze twee verschillende methoden met elkaar kunnen praten zonder precisie te verliezen. Het is alsof je een gesprek vertaalt tussen een natuurkundige en een AI-expert zonder details te verliezen in de vertaling.

4. Wat ze daadwerkelijk deden (De resultaten)

De auteurs bouwden niet alleen het hulpmiddel; ze gebruikten het om twee specifieke dingen te doen:

Gecertificeerd trainen: Ze leerden de hersenen van de robot om "veiligheidsbewust" te zijn. In plaats van alleen te leren een doel te raken, leerde de hersenen om zijn "schaduw" klein te houden. Als de schaduw te groot wordt (wat betekent dat de robot onzeker is), krijgt het trainingsproces een straf. Het resultaat? Robots die net zo goed zijn in hun werk, maar veel veiliger wanneer er iets misgaat.
Veilig plannen (MPC): Ze gebruikten het hulpmiddel om paden in real-time te plannen.
- In simulatie: Ze testten dit op een robotarm en een zwerm drones (tot 72 dimensies van beweging!). Het hulpmiddel was 100 keer sneller dan eerdere methoden, terwijl het de veiligheidsgrenzen strak hield.
- In de echte wereld: Ze testten het op een echte robotarm die een T-vormig object duwt. De robot plande succesvol zijn bewegingen terwijl het obstakels vermijdde, zelfs toen de omgeving iets onvoorspelbaar was.

De conclusie

Dit artikel presenteert een manier om robots tegelijkertijd slim en veilig te maken. Door de veiligheidscontrole snel genoeg te maken om op een videokaart (GPU) te draaien en flexibel genoeg om deel uit te maken van het leerproces, laten ze robots leren van ervaring zonder te vergeten uit te kijken naar de "wat als"-scenario's.

Wat ze NIET beweerden:

Ze beweerden niet dat dit werkt voor medische chirurgie of autonoom rijden op openbare wegen.
Ze beweerden niet dat het alle veiligheidsproblemen oplost (ze erkennen dat het nog steeds worstelt met zeer lange tijdshorizonten of complexe fysieke contacten, zoals stuiterende ballen).
Ze richtten zich strikt op robotica-taken zoals het duwen van objecten en het vliegen van drones.

Technische Samenvatting: Parallelle Differentieerbare Bereikbaarheid voor Leren en Plannen met Gecertificeerde Neuronale Dynamica en Controllers

Probleemstelling

Neuronale netwerken (NN) als dynamische modellen en controlestrategieën hebben sterke empirische prestaties aangetoond in de robotica, met name in complexe omgevingen waar analytische modellering niet haalbaar is. Het bieden van robuuste veiligheidsgaranties voor gesloten-lus NN-systemen onder onzekerheid blijft echter een aanzienlijke uitdaging. Klassieke bereikbaarheidsanalyse biedt formele garanties via over-approximaties van bereikbare verzamelingen, maar schaalt vaak slecht, heeft moeite met NN-componenten en levert te conservatieve grenzen op. Daarentegen schalen moderne methoden voor neurale netwerkverificatie (NNV), zoals CROWN, goed tot grote netwerken, maar zijn ze primair ontworpen voor statische verificatie, missen ze ondersteuning voor continue-tijds dynamica en zijn ze over het algemeen niet differentieerbaar.

Bijgevolg is bereikbaarheidsanalyse doorgaans beperkt tot post-hoc certificering, wat leidt tot kostbare cycli van niet-gecertificeerd trainen, mislukte verificatie en hertrainen. Er is een kritieke behoefte aan een raamwerk dat gecertificeerde bereikbaarheid direct integreert in robotleer- en online-planningspijplijnen, met ondersteuning voor zowel continue- als discrete-tijdsystemen met analytische en NN-gebaseerde componenten, terwijl het differentieerbaar en efficiënt blijft.

Methodologie

De auteurs stellen DiffReach voor, een paralleliseerbaar, differentieerbaar bereikbaarheidsraamwerk geïmplementeerd in JAX. De kerninnovatie is een uniforme representatie die Taylor-model (TM) flowpipe-construktie voor analytische dynamica combineert met CROWN-stijl lineaire grenspropagatie voor neuronale componenten.

1. Uniforme Representatie (Taylor-CROWN Interface)

Om GPU-batchberekening en automatische differentiatie mogelijk te maken, adopteert het raamwerk een vaste-vorm Taylor-modelrepresentatie. In plaats van variabele-grootte polynomen worden bereikbare verzamelingen weergegeven als:
$F(z) = c + Az \oplus I \quad \text{of} \quad F(z) = c + Az + B \tau z \oplus I$
waarbij $z$ de toestand aanvult met tijd, $c$ een constante is, $A$ en $B$ matrices zijn die affiene en quasi-kwadratische afhankelijkheden vastleggen, en $I$ een intervalrest is. Deze representatie behoudt affiene afhankelijkheden zonder tussentijdse intervalrelaxatie.

Neuronale Componenten: Het raamwerk maakt gebruik van CROWN (via jax_verify) om affiene grenzen voor neurale netwerken te berekenen. Een belangrijke bijdrage is het opleggen van een gedeelde-hellingbeperking in CROWN, zodat de onder- en bovengrens dezelfde lineaire term delen. Dit maakt het mogelijk om uitgangen van neurale netwerken te representeren als lineaire TMs, waardoor compatibiliteit met de analytische dynamica-pijplijn wordt behouden.
Continue-Tijds (CT) Systemen: Voor CT-systemen met NN-feedbackcontrole wisselt het raamwerk af tussen:
1. Controller Certificering: Het gebruik van de TM-CROWN-interface om de uitgang van de neuronale controller te certificeren op basis van de TM-omhulling van de huidige toestand.
2. Dynamica Propagatie: Het propageren van de systeemdynamica (analytisch of neuronale ODE) met behulp van TM-flowpipes onder een zero-order hold-beleid voor de controle-invoer.
Discrete-Tijds (DT) Systemen: Bereikbaarheid reduceert tot stapsgewijze propagatie waarbij de TM-CROWN-interface de één-stapskaart bij elke tijdstap certificeert.

2. DiffReach-Robotica-toepassingen

Op basis van de DiffReach-engine ontwikkelen de auteurs twee op robotica gerichte methoden:

Gecertificeerd Trainen: Een trainingsmethode voor neuronale dynamica en controllers die standaard voorspellings- of trackingverliezen aanvult met een bereikbaarheidsbewust regularisatieterm. Deze term straft de volumegroei van gecertificeerde bereikbare verzamelingen onder gebonden onzekerheid af. Om het trainen te stabiliseren, wordt een curriculumleerstrategie toegepast, waarbij de rollouthorizon progressief wordt vergroot en de verstooringsstraal wordt verkleind.
Bereikbaarheidsbewuste MPC: Een op sampling gebaseerde Model Predictive Control (MPC)-schema dat gecertificeerde bereikbare verzamelingen integreert in online planning. De planner optimaliseert een kostfunctie die bestaat uit de taakdoelstelling en een straf voor onveilige trajecten of grote bereikbare verzamelingen. Parallelisatie maakt efficiënte evaluatie van veel kandidaat-trajecten mogelijk, waarbij op gradiënt gebaseerde verfijning wordt toegepast op de beste kandidaten om conservatisme verder te verminderen.

Belangrijkste Bijdragen

Parallel Differentieerbaar Bereikbaarheidsraamwerk: Een uniforme op JAX gebaseerde representatie die Taylor-model flowpipes en CROWN-stijl grenspropagatie combineert voor zowel continue- als discrete-tijdsystemen met analytische en NN-gebaseerde dynamica/controllers.
Gecertificeerde Trainingsmethode: Een leeraanpak die differentieerbare doelstellingen voor bereikbare verzamelingen gebruikt om de robuustheid van neuronale componenten onder onzekerheid te verbeteren, waardoor "bereikbaarheidsvriendelijke" modellen worden aangemoedigd.
Bereikbaarheidsbewuste MPC: Een online planningschema dat gecertificeerde bereikbare verzamelingen integreert in op sampling gebaseerde MPC met op gradiënt gebaseerde verfijning, waardoor "verificatie door constructie" mogelijk wordt.
Experimentele Validatie: Uitgebreide evaluatie op niet-grepende manipulatie (T-pushen) en quadrotor-taken, inclusief hardware-experimenten en evaluaties met hoge dimensionaliteit (tot 72D), wat praktische online planning met gecertificeerde garanties aantoont.

Resultaten

Het raamwerk werd geëvalueerd op een RTX 4090 GPU over verschillende dimensies:

Efficiëntie en Nauwkeurigheid: Vergelijkbaar met geavanceerde DT (CROWN) en CT (immrax) baselines, bereikt DiffReach vergelijkbare nauwkeurigheid van bereikbare verzamelingen, terwijl het ongeveer 100× sneller is dan CROWN voor DT-systemen. Voor CT-systemen produceert het aanzienlijk nauwkeurigere bereikbare verzamelingen dan immrax, dat vaak lijdt aan numerieke overflow en buizen met oneindig volume.
Schaalbaarheid: Het raamwerk schaalt effectief tot systemen met hogere dimensionaliteit, waaronder een zwerm van 6 quadrotors (72D toestand) en een planaire arm met 10 gewrichten (40D toestand). Hoewel het geheugen schaalt als $O(n^2)$ , schaalt de runtime gunstig door GPU-parallelle matrixbewerkingen.
Gecertificeerd Trainen: Modellen die met bereikbaarheidsregularisatie zijn getraind, behaalden nominale prestaties die vergelijkbaar waren met standaard training, maar produceerden aanzienlijk nauwkeurigere bereikbare verzamelingen. Deze verzamelingen kwamen nauw overeen met bemonsterde ondergrensvolumes, terwijl niet-gecertificeerde modellen losse, minder verifieerbare voorspellingen opleverden.
Robuuste Planning: In MPC-experimenten onder gebonden verstoringen behield de bereikbaarheidsbewuste planner hoge successpercentages en voldeden aan beperkingen, terwijl standaard MPC met niet-gecertificeerde modellen significant faalde bij grotere verstoringen (bijvoorbeeld onbedoeld contact bij T-push-taken).
Hardware-implementatie: Het systeem werd ingezet op een Kuka iiwa-platform voor T-pushen, draaiend online met ongeveer 10 Hz (5 Hz met verfijning), wat de haalbaarheid aantoont van het integreren van differentieerbare bereikbaarheid in realtime robotcontrole.

Betekenis en Beweringen

Het artikel beweert dat DiffReach de kloof tussen formele verificatie en robotleren overbrugt door een differentieerbare, GPU-versnelde bereikbaarheidsprimitief te bieden. In tegenstelling tot eerdere methoden die beperkt zijn tot offline verificatie, stelt dit raamwerk bereikbaarheidsdoelstellingen in staat om direct het trainen van neuronale dynamica en controllers en de uitvoering van online planning te informeren.

De auteurs benadrukken dat hun aanpak "verificatie door constructie" mogelijk maakt voor leren en plannen, waardoor de afhankelijkheid van kostbare post-hoc certificeringscycli wordt verminderd. Door Taylor-modellen en CROWN te verenigen binnen één berekeningstafel, behoudt de methode affiene afhankelijkheden en ondersteunt het zowel continue- als discrete-tijdsystemen, waarmee een kritieke beperking in huidige NN-in-the-loop-analyse-tools wordt aangepakt.

Het werk sluit af met de erkenning van huidige beperkingen, zoals uitdagingen met conservatisme op lange horizon en hybride/contactrijke dynamica, maar stelt dat dit raamwerk toekomstig onderzoek motiveert naar schaalbare differentieerbare bereikbaarheid en een hechtere integratie tussen formele verificatie, robotleren en controle.