⚡ electrical engineering

Pixels to Proofs: Probabilistically-Safe Latent World Model Control via Parallel Conformal Robust MPC

Het artikel introduceert SLS², een raamwerk dat actie-geconditioneerde latente wereldmodellen combineert met conformal prediction-verbeterde robuuste model voorspellende regeling om veilige, visuele bewegingsplanning met probabilistische veiligheidsgaranties mogelijk te maken.

Oorspronkelijke auteurs: Devesh Nath, Anutam Srinivasan, Haoran Yin, Ruitong Jiang, Jeffrey Fang, Glen Chou

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Devesh Nath, Anutam Srinivasan, Haoran Yin, Ruitong Jiang, Jeffrey Fang, Glen Chou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een delicate taak uit te voeren, zoals het leggen van een knoop in een touw of het stapelen van een blok, maar de robot heeft alleen een camera. Hij kan niet de "werkelijke" staat van de wereld zien (zoals exacte hoeken of afstanden); hij ziet alleen een stroom ruwe beelden.

Het artikel presenteert een nieuwe methode genaamd SLS2 (Safe Latent Space System Level Synthesis) die robots helpt om veilige bewegingen te plannen direct vanuit deze camerabeelden, zelfs wanneer de interne "gok" van de robot over hoe de wereld werkt imperfect is.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten en analogieën:

1. De "Droomwereld" (Latent World Model)

Robots hebben meestal een perfecte kaart van de wereld nodig om te kunnen plannen. Maar in de echte wereld is het moeilijk om zo'n kaart te verkrijgen.

De Analogie: Stel je voor dat de robot zijn ogen sluit en begint te "dromen" over een vereenvoudigde versie van de wereld. In plaats van miljoenen pixels te verwerken, creëert hij een compacte, abstracte "droomstaat" (een latente ruimte) die de essentie van de afbeelding vangt.
Wat het artikel doet: Ze trainen de robot om deze droomwereld te leren. Ze leren de robot te voorspellen hoe de volgende "droom" eruit zal zien nadat hij een beweging heeft gemaakt. Hierdoor kan de robot duizenden toekomstige scenario's in zijn hoofd simuleren op een zeer hoge snelheid, zonder dat de robot daadwerkelijk hoeft te bewegen.

2. De "Imperfecte Dromer" (Prediction Errors)

Het probleem is dat de droom van de robot niet perfect is. Soms voorspelt hij dat het blok naar links beweegt, terwijl het in werkelijkheid naar rechts beweegt.

De Analogie: Het is als een weervoorspeller die meestal gelijk heeft, maar af en toe de windrichting verkeerd inschat. Als je een picknick plant op basis van alleen hun voorspelling, kun je natgeregend worden.
De Oplossing uit het Artikel: In plaats van deze fouten te negeren, geeft SLS2 ze toe. Het gebruikt een statistisch hulpmiddel genaamd Conformal Prediction om een "veiligheidsbubbel" rond de voorspellingen van de robot te tekenen.
- Denk aan deze bubbel als een mist van onzekerheid. De robot weet: "Ik denk dat het blok hier is, maar omdat ik het mis zou kunnen hebben, zou het blok overal binnen deze mistige bubbel kunnen zijn."

3. De "Veiligheidsbubbel" (Robust Planning)

De meeste planningsmethoden proberen het perfecte pad te vinden door de droomwereld. SLS2 doet iets slimmers: het vindt een pad dat veilig blijft, zelfs als de droom van de robot een beetje afwijkt.

De Analogie: Stel je voor dat je een auto rijdt door een dikke mist. Een normale bestuurder rijdt misschien dicht bij de middenlijn, in de hoop dat hij gelijk heeft. Een SLS2-bestuurder rijdt in het midden van de rijstrook, maar houdt een brede bufferzone aan beide kanten aan. Zelfs als de auto een beetje afwijkt (door de mist/fout), zal hij de wand niet raken.
Hoe het werkt: Het systeem berekent "bereikbare buizen" (reachable tubes). Dit zijn 3D-tunnels die alle plaatsen vertegenwoordigen waar de robot zou kunnen eindigen, gegeven zijn onzekerheid. De planner zorgt ervoor dat de gehele tunnel binnen de "veilige zone" blijft en "obstakelzones" (zoals het raken van een muur of het laten vallen van een blok) vermijdt.

4. De "Veiligheidsinspecteur" (Conformal Obstacle Checker)

De robot moet ook weten hoe een "obstakel" eruitziet in zijn droomwereld.

De Analogie: Stel je een uitsmijter voor bij een club. In de echte wereld controleert de uitsmijter ID-bewijzen. In de droomwereld van de robot controleert de uitsmijter de "droomstaat".
De Oplossing uit het Artikel: Ze trainen een speciale "uitsmijter" (een neuraal netwerk) die naar de droomstaat kijkt en zegt: "Veilig" of "Onveilig". Cruciaal is dat ze dezelfde statistische "mist"-methode gebruiken om deze uitsmijter te kalibreren. Dit zorgt ervoor dat de uitsmijter niet te laks wordt; als er een kans van 99% is dat een staat onveilig is, behandelt de uitsmijter het ook als onveilig.

5. De "Super-Snelheid Planner" (GPU Acceleration)

Het berekenen van al deze veiligheidsbubbels en tunnels voor een hoogdimensionale droomwereld is meestal erg traag.

De Analogie: Het is alsoals proberen de trajecten van een miljoen verschillende auto's tegelijkertijd te berekenen. Eén voor één doen zou eeuwen duren.
De Oplossing uit het Artikel: Ze gebruiken System Level Synthesis (SLS), een wiskundige truc die het mogelijk maakt om deze berekeningen parallel uit te voeren op een krachtige computerchip (GPU). Dit is als het hebben van een miljoen rekenmachines die tegelijkertijd werken, waardoor het plannen snel genoeg gebeurt om in real-time te kunnen werken.

Waar ze het op hebben getest

De auteurs hebben dit systeem getest op verschillende taken, waarbij ze lieten zien dat het beter werkt dan eerdere methoden:

De Reacher: Een robotarm die een doel probeert aan te raken zonder de gewrichten te ver te buigen (een veiligheidsbeperking).
De Cube: Een robotarm die een kubus oppakt en verplaatst zonder deze te hoog te tillen (wat onveilig zou zijn).
De Rope: Een complexe taak waarbij twee robotarmen een slap touw manipuleren. Dit is erg moeilijk omdat een touw zich in oneindig veel richtingen kan draaien en vervormen.
Hardware: Ze hebben het zelfs getest op een echte robotarm in het lab, waarbij het succesvol een touw van een startpositie naar een doelpositie strekt.

De Kernboodschap

SLS2 is een framework dat robots in staat stelt om veilige, complexe bewegingen te plannen direct vanuit camerabeelden. Dit doen ze door:

Een vereenvoudigde "droom" van de wereld te leren.
Precies te berekenen hoe fout die droom kan zijn (de "mist").
Een pad te plannen dat veilig blijft, zelfs als de droom fout is (de "veiligheidsbubbel").
Dit alles snel genoeg te doen om op echte robots te kunnen draaien.

Het resultaat is een robot die veel minder snel tegen iets aanrijdt of dingen beschadigt, zelfs wanneer hij niet over perfecte informatie over de wereld beschikt.

Technische Samenvatting: SLS2 – Probabilistisch Veilige Latente Wereldmodelcontrole

Probleemstelling

Het artikel behandelt de uitdaging van veilige feedback bewegingsplanning voor robots die direct opereren vanuit ruwe pixelobservaties (bijv. RGB-beelden) in open-wereld omgevingen. Traditionele veiligheidskritische controlemethoden vertrouwen op goed gedefinieerde, laagdimensionale toestandsrepresentaties en bekende dynamica, die vaak niet beschikbaar zijn of moeilijk te schatten zijn voor vervormbare objecten en complexe visuele taken. Hoewel recente latente wereldmodellen (bijv. JEPA-architecturen) compacte latente toestandsrepresentaties en dynamica direct uit afbeeldingen kunnen afleiden, introduceren zij aanzienlijke veiligheidsrisico's:

Onvolmaakte Dynamica: Geleerde latente dynamica zijn benaderingen en kunnen onnauwkeurig zijn over meerstaps-rollouts.
Constraint Translatie: Fysieke veiligheidsbeperkingen (bijv. obstakelvermijding, gewrichtslimieten) moeten worden vertaald naar de latente ruimte, waar de relatie tot fysieke veiligheid niet gegarandeerd is.
Gebrek aan Kalibratie: Bestaande latente veiligheidsmethoden vertrouwen vaak op heuristische benaderingen of missen formele, gekalibreerde garanties dat de ware fysieke toestand binnen veilige grenzen blijft ondanks voorspellingsfouten.

Het kernprobleet is het synthetiseren van een control policy die plant in een geleerde latente ruimte, terwijl er probabilistische veiligheidsgaranties worden geboden voor het ware fysieke systeem, rekening houdend met zowel modelvoorspellingsfouten als distributionele verschuivingen.

Methodologie: SLS2 (Safe Latent Space System Level Synthesis)

De auteurs stellen SLS2 voor, een framework dat geleerde latente wereldmodellen combineert met System Level Synthesis (SLS) robuuste Model Predictive Control (MPC) en Conformal Prediction (CP). De pijplijn bestaat uit drie hoofdfasen:

1. Training van een Gradiënt-vriendelijk Latent Wereldmodel

Het systeem leert een compacte, Markoviaanse latente representatie van een offline dataset van beeldtransities $\mathcal{D} = \{(o_t, u_t, o_{t+1})\}$ .

Architectuur: Een actie-geconditioneerde joint-embedding predictive architectuur (vergelijkbaar met Le-WM). Een Vision Transformer (ViT) encoder brengt afbeeldingen in kaart naar latente embeddings $z_t$ .
Markov Toestand Constructie: Om te garanderen dat de latente toestand aan de Markov-eigenschap voldoet voor meerstaps-voorspelling, wordt de toestand uitgebreid met eindige-verschil kenmerken: $s^z_t = [z_t, \Delta z_t, \dots, \Delta^K z_t]$ .
Dynamica Leren: Een MLP-voorspeller $f_\phi$ leert de transitie $s^z_{t+1} = f_\phi(s^z_t, u_t)$ .
Trainingsdoelstellingen: Het model wordt getraind met een multi-step latente voorspellingsverlies, een SIGReg-verlies om representatieve instorting te voorkomen, en een temporal straightening loss om gladde latente trajecten te stimuleren. Dit ontwerp faciliteert efficiënte gradiënt-gebaseerde trajectoptimalisatie (bijv. iLQR).

2. Conformal Onzekerheidskwantificatie

Om de onnauwkeurigheden van de geleerde dynamica en de latente constraint checker op te vangen, gebruiken de auteurs Split Conformal Prediction (CP) om onzekerheidssets te kalibreren met statistische garanties.

Latente Dynamica Fout: Een covariantie model $\Sigma_\psi$ wordt getraind om de vorm van de foutdistributie te voorspellen. CP wordt gebruikt om een schalingsfactor $q$ (een kwantiel van non-conformity scores) te berekenen, zodat de ware voorspellingsfout $e_t$ binnen een ellipsoïdale set $E(s, u)$ ligt met een waarschijnlijkheid van $1-\delta$ .
Latente Constraint Checker: Een latente obstakel classifier $c_\psi$ wordt getraind om veiligheid te scoren. CP wordt gebruikt om een drempelwaarde $\eta$ te bepalen zodat de classifier veilige/onveilige regio's met een hoge waarschijnlijkheid correct identificeert.
In-Domain Support: Een in-domain set $\mathcal{I}$ wordt gedefinieerd als een gekalibreerde Gaussische sublevel set om te voorkomen dat de planner opereert in regio's die ver buiten de trainingsdistributie liggen.

3. Robuuste MPC via System Level Synthesis (SLS)

De kern van de control loop gebruikt System Level Synthesis (SLS) om een robuust MPC-probleem in de latente ruimte op te lossen.

Formulering: In plaats van direct feedback gains te optimaliseren, optimaliseert SLS over closed-loop systeem responsen (matrices $\Phi_s, \Phi_u$ ) die verstoringen in kaart brengen naar toestand/controle afwijkingen.
Robuustheid: De door CP gekalibreerde ellipsoïdale foutsets $E(s, u)$ worden geïnjecteerd als verstoring sets in de SLS-formulering. De optimizer propageert deze onzekerheden over de planning horizon om bereikbare tubes ( $R^s_k, R^u_k$ ) te construeren.
Constraints: De optimalisatie dwingt af dat de gehele bereikbare tube binnen de veilige latente set (gedefinieerd door de gekalibreerde constraint checker) en de in-domain set blijft. Dit resulteert in "constraint tightening", waarbij het nominale traject wordt aangepast om te garanderen dat zelfs onder worst-case begrensde fouten het ware systeem veilig blijft.
Implementatie: De aanpak maakt gebruik van GPU-acceleratie om de hoogdimensionale latente toestanden en de computationele last van het propageren van onzekerheidstubes efficiënt te verwerken.

Belangrijkste Bijdragen

Latent Wereldmodel voor Planning: De auteurs tonen aan dat het trainen van compacte, Markoviaanse latente modellen met specifieke regularisatie (SIGReg, temporal straightening) nauwkeurige multi-step rollouts en efficiënte gradiënt-gebaseerde optimalisatie direct vanuit pixels mogelijk maakt.
Conformalized Onzekerheidssets: Het artikel introduceert een methode om zowel latente dynamica-fouten als latente veiligheidsclassifier-fouten te kalibreren met behulp van Conformal Prediction, wat statistisch geldige onzekerheidssets biedt voor robuuste planning.
Schaalbare Robuuste MPC: De integratie van CP-gekalibreerde onzekerheid in GPU-versnelde System Level Synthesis maakt reachability-constrained robuuste MPC in hoogdimensionale latente ruimtes mogelijk, een taak die voorheen als computationeel onhaalbaar werd beschouwd.
Empirische Validatie: De methode wordt gevalideerd op diverse visuele taken (navigatie, pick-and-place, manipulatie van vervormbare objecten) in zowel simulatie als echte hardware, waarbij superieure veiligheid en doelbereikingsprestaties worden getoond ten opzichte van baselines.

Experimentele Resultaten

De auteurs evalueerden SLS2 op vier taken: Reacher, OGBench Cube, Push-T, en een Bimanual Rope manipulatie taak.

Nominale Planning Prestaties:
- De nominale planner van SLS2 (gebruikmakend van iLQR op het geleerde model) presteerde aanzienlijk beter dan de baselines (Le-WM, DINO-WM, PLDM) in succesratio's.
- Reacher: 83,5% succes (tegenover 17–40% voor baselines).
- Rope: 93,75% succes (tegenover 7–25% voor baselines).
- Ablatie studies bevestigden dat de Markoviaanse toestandrepresentatie en multi-step trainingsverliezen cruciaal waren voor de prestaties.
Robuuste Veiligheid Prestaties:
- In geconstreinde taken (bijv. gewrichtshoeklimieten, hoogte drempels, obstakelvermijding), behaalde SLS2 100% veiligheidsratio's in simulatie en hardware, terwijl niet-robuuste geconstreinde iLQR en andere veiligheidsfilters (HJ-filtered, LPB) regelmatig constraints overtraden.
- Robuust Succes: SLS2 behield hoge taakvoltooide ratio's (bijv. 88,57% op Rope, 94,29% op Cube) terwijl strikt aan de veiligheidsconstraints werd voldaan.
- Hardware: De methode werd succesvol ingezet op echte KUKA iiwa armen voor rope manipulatie, waarbij convergentie naar de doeltoestand direct vanuit pixels werd aangetoond zonder expliciete toestandsschatting.

Betekenis en Claims

Het artikel claimt dat SLS2 de kloof overbrugt tussen de flexibiliteit van geleerde wereldmodellen en de strengheid die vereist is voor veiligheidskritische controle. Door conformal prediction te combineren voor statistische kalibratie en system level synthesis voor schaalbare robuuste optimalisatie, biedt de methode probabilistische garanties dat de ware systeemtoestand binnen veilige grenzen blijft, zelfs bij het opereren in een hoogdimensionale latente ruimte met imperfecte dynamica.

De auteurs benadrukken dat hun aanpak geen handmatig ontworpen toestandrepresentaties of bekende dynamica vereist, waardoor het toepasbaar is op complexe, vervormbare en visueel rijke taken. Zij merken op dat hoewel de methode de veiligheid en succesratio's aanzienlijk verbetert, het leunt op de aanname dat closed-loop residual scores uitwisselbaar zijn met kalibratiescores, en dat de prestaties een bottleneck kunnen krijgen door de aanname van isotrope latente representaties in taken die complexe sequentiële manoeuvres vereisen (zoals Push-T).