⚡ electrical engineering

VISION-SLS: Safe Perception-Based Control from Learned Visual Representations via System Level Synthesis

Het artikel introduceert VISION-SLS, een schaalbaar raamwerk dat geleerde laagdimensionale visuele representaties combineert met System Level Synthesis om veilige, robuuste en real-time niet-lineaire output-feedbackregeling vanuit hoogresolutieafbeeldingen mogelijk te maken, waarbij partiële waarneembaarheid en sensorgeruis effectief worden verwerkt terwijl tegelijkertijd de voldoening aan beperkingen wordt gegarandeerd in zowel simulatie- als hardware-experimenten.

Oorspronkelijke auteurs: Antoine P. Leeman, Shuyu Zhan, Melanie N. Zeilinger, Glen Chou

Gepubliceerd 2026-04-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Antoine P. Leeman, Shuyu Zhan, Melanie N. Zeilinger, Glen Chou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren een auto te besturen of een drone te vliegen, uitsluitend met behulp van een camera. De robot ziet de wereld door een lens, maar die lens is niet perfect. De beelden zijn enorm (miljoenen pixels), de robot kan niet alles zien (het heeft "dode hoeken") en de camera wordt soms wazig of in de war gebracht door schaduwen.

Het probleem is: Hoe zorg je dat de robot veilig beweegt als het geen perfect beeld van de werkelijkheid heeft?

Als je de robot simpelweg zegt "ga rechtdoor", kan het crashen omdat het een afstand verkeerd inschat. Als je probeert elke mogelijke manier waarop de wereld eruit zou kunnen zien te berekenen, wordt de wiskunde zo zwaar dat het brein van de robot bevriest.

Dit artikel introduceert een nieuwe methode genaamd VISION-SLS. Denk hierbij aan een "veiligheidsnet" dat het mogelijk maakt dat een robot leert van rommelige camera-beelden, terwijl gegarandeerd wordt dat het niet crashen. Hieronder wordt uitgelegd hoe dit werkt, opgesplitst in eenvoudige concepten:

1. De "Samenvatter" (Het verminderen van ruis)

Stel je voor dat je kijkt naar een foto in hoge definitie van een parkeerterrein. Deze bevat miljoenen pixels. Als je probeerde een auto te besturen door elk afzonderlijk pixel te analyseren, zou je overweldigd raken.

Wat het artikel doet: Het maakt gebruik van een "Samenvatter". In plaats van naar elk pixel te kijken, gebruikt de robot een vooraf getrainde AI (zoals een slimme assistent die miljoenen foto's heeft gezien) om de belangrijke details te extraheren.
De Analogie: Het is alsof je een samenvatting van een boek leest in plaats van de hele roman. De robot comprimeert het enorme beeld tot een klein, hanteerbaar lijstje met getallen (bijvoorbeeld: "auto is 5 meter weg", "obstakel is links").
De Veiligheidscontrole: De auteurs vertrouwen niet zomaar op deze samenvatting. Ze berekenen ook een "marge van fout". Ze zeggen: "De samenvatting zegt dat de auto 5 meter weg is, maar het kan eigenlijk tussen de 4,8 en 5,2 meter zijn." Dit creëert een veiligheidsbel rond het begrip van de wereld door de robot.

2. Het "Dubbelcheck"-systeem (System Level Synthesis)

Zodra de robot zijn samenvatting en zijn veiligheidsbel heeft, moet het beslissen hoe het zich moet bewegen.

De Oude Manier: Veel robots gebruiken een "Scheidingsprincipe". Ze gokken eerst waar ze zijn, en beslissen dan waar ze naartoe moeten. Als de gok verkeerd is, faalt het plan.
De VISION-SLS Manier: Deze methode combineert gokken en plannen in één stap. Het maakt gebruik van een wiskundig raamwerk genaamd System Level Synthesis (SLS).
De Analogie: Stel je een slakkenbaanloper voor.
- Oude Methode: De wandelaar kijkt naar beneden, gokt waar de wind vandaan komt, en probeert dan in evenwicht te blijven. Als de wind verandert, vallen ze.
- VISION-SLS: De wandelaar houdt een lange, flexibele pool vast die reageert op de wind voordat de wandelaar het zelfs maar voelt. Het systeem plant een pad dat rekening houdt met elke mogelijke windvlaag binnen de veiligheidsbel. Het hoopt niet op het beste; het plant voor het worst-case scenario binnen de bekende grenzen.

3. De "Nieuwsgierigheids"-factor (Informatieverzameling)

Soms wordt de "veiligheidsbel" van de robot te groot omdat het zich in een donker of mistig gebied bevindt.

Wat het artikel doet: De robot leert zich te bewegen op een manier die die bel verkleint.
De Analogie: Stel je voor dat je door een mistig bos loopt. Een naïeve robot zou gewoon rechtdoor naar de uitgang lopen, in de hoop dat het niet tegen een boom botst. De VISION-SLS-robot realiseert zich: "Ik kan hier niet goed zien." Dus, het kan een iets langere route nemen naar een plek waar de zon schijnt, waardoor het de bomen duidelijk kan zien. Het zoekt actief naar betere informatie om zijn veiligheidsbel kleiner te maken. Dit wordt informatieverhalend gedrag genoemd.

4. De "Snelle Rekenmachine" (De Oplosser)

Het uitvoeren van al deze complexe berekeningen duurt meestal te lang.

De Innovatie: De auteurs hebben een speciale, supersnelle rekenmachine (een solver) gebouwd die gebruik maakt van een wiskundige truc genaamd Riccati-recursies.
De Analogie: Het is alsof je een GPS hebt die niet alleen één route berekent, maar direct duizenden "wat-als"-scenario's berekent voor elke mogelijke file, en binnen milliseconden de veiligste kiest. Dit stelt de methode in staat om te werken op complexe robots zoals een humanoid met 59 gewrichten (een robot die op een mens lijkt) of een drone, en niet alleen op simpele speelgoedauto's.

Wat hebben ze bewezen?

De auteurs hebben deze methode getest op verschillende dingen:

Een Virtuele Auto: Rijden door een parkeerterrein met zware visuele "mist" (occlusie). De robot slaagde erin crashes te voorkomen door naar helderdere plekken te bewegen.
Een Virtuele Drone: Vliegen door een rommelige 3D-ruimte. Andere methoden crashten; deze bleef veilig.
Een Humanoid Robot: Een complexe robot met 59 toestanden die een achterwaartse salto maakt. Zelfs zonder camera (alleen met behulp van gewrichtssensoren) hield de wiskunde het ervan om om te vallen.
Echte Hardware: Ze hebben het op een echte TurtleBot-robot in een kantoor geplaatst. De robot gebruikte zijn ingebouwde camera om rond meubels te navigeren zonder iets aan te raken, en presteerde beter dan andere veiligheidsmethoden.

De Conclusie

VISION-SLS is een manier om robots de wereld te laten "zien" via camera's, zelfs als het zicht wazig of onvolledig is. Dit doet het door:

Het beeld te samenvatten tot eenvoudige data.
Een strikte "veiligheidsbel" voor die data te berekenen.
Een pad te plannen dat binnen die bel blijft, zelfs als de gok van de robot iets verkeerd is.
Zich te bewegen op een manier die helpt dat de robot beter ziet als het in de war raakt.

Het resultaat is een robot die kan leren van beelden in hoge definitie, maar toch garandeert dat het niet crashen, waardoor het veilig genoeg is voor gebruik in de echte wereld.

1. Probleemstelling

Het artikel adresseert de uitdaging van veilige, niet-lineaire output-feedback regeling voor robots die opereren onder partiële waarneembaarheid en hoogdimensionale visuele input (bijv. RGB-afbeeldingen).

Kernmoeilijkheid: Robots moeten niet-lineaire dynamica stabiliseren en veiligheidsbeperkingen (bijv. botsingsvermijding) naleven met behulp van uitsluitend ruwe, hoogdimensionale sensordata.
Beperkingen van Bestaande Methoden:
- Versterkingsleren (RL): Schaalt naar hoge dimensies maar mist veiligheidsgaranties en interpreteerbaarheid.
- Modelgebaseerde Regeling (MPC, SOS): Biedt veiligheidsgaranties maar vertrouwt doorgaans op het scheidingsprincipe (schatting en regeling zijn ontkoppeld). Dit voorkomt "informatieverzamelend" gedrag (actieve waarneming) waarbij de robot beweegt om onzekerheid te verminderen, wat cruciaal is voor robuustheid tegen occlusies.
- Planering in Belief-Ruimte: Handelt onzekerheid af maar is vaak onberekenbaar voor hoogdimensionale systemen of faalt in het afdwingen van harde beperkingen onder niet-lineaire dynamica.

Het doel is het ontwikkelen van een schaalbaar kader dat waarneming en regeling koppelt om robuuste nalevingsgaranties te bieden terwijl informatieverzamelend gedrag mogelijk wordt gemaakt, direct vanuit ruwe pixels.

2. Methodologie: VISION-SLS

De voorgestelde methode, VISION-SLS, integreert geleerde visuele representaties met System Level Synthesis (SLS). Het vermijdt het scheidingsprincipe door gezamenlijk een nominale trajectorie en een feedbackbeleid te optimaliseren dat actief de statonzekerheid vermindert.

A. Kerncomponenten

Geleerde Laagdimensionale Observatiekaart:
- In plaats van te plannen in pixelruimte ( $10^5+$ dimensies), mapt de methode hoogdimensionale afbeeldingen naar een laagdimensionale gereduceerde observatieruimte ( $y_r$ ).
- Architectuur: Gebruikt features van voorgeöorde DINO (zelftoezicht visueel fundamenteel model), gevolgd door een geleerd projectienetwerk $p(\cdot)$ .
- Trainingsdoel: Minimaliseert de fout tussen de geprojecteerde features en een op staat gebaseerd gereduceerd model $h_r(x)$ terwijl de waarneembaarheid van de onderliggende staat wordt gemaximaliseerd (zorgend dat de gereduceerde features controle-relevante informatie bevatten).
- Kalibratie: Een staat-afhankelijke foutgrens (overbound) wordt empirisch gekalibreerd om de residu-fout tussen de geleerde kaart en de ware staat te begrenzen. Dit stelt het systeem in staat de waarnemingsfout te behandelen als een begrenste verstoring.
Niet-Lineaire System Level Synthesis (SLS):
- Het regelpolitiek wordt geparametriseerd als een causaal affien tijd-variërend output-feedback beleid rondom een gezamenlijk geoptimaliseerde nominale trajectorie $(z, v)$ .
- SLS-Parametrizatie: In plaats van feedbackversterkingen direct te optimaliseren, optimaliseert SLS de gesloten-lus responskaarten ( $\Phi$ ) die verstoringen (procesruis, meetruis en waarnemingsfout) afbeelden op stat- en invoerafwijkingen.
- Robuuste Naleving van Beperkingen: De methode dwingt "buis-verstrakking" af. Het garandeert dat voor alle mogelijke verstoringen binnen de gekalibreerde grenzen, de werkelijke trajectorie binnen een "bereikbare buis" blijft die veiligheidsbeperkingen naleeft. Dit wordt bereikt door de beperkingen op de nominale trajectorie te verstrakken op basis van de worst-case propagatie van fouten.
Efficiënte Oplosser (Dubbel-Riccati + SCP):
- Het resulterende optimalisatieprobleem is niet-convex vanwege niet-lineaire dynamica en de koppeling van trajectorie en regelaar.
- Sequential Convex Programming (SCP): Het probleem wordt iteratief opgelost door dynamica te lineariseren en beperkingen te convexificeren rondom de huidige nominale trajectorie.
- Dubbel-Riccati Structuur: Een belangrijke theoretische bijdrage is het aantonen dat het onbeperkte subprobleem (LQG in SLS-vorm) een dubbel-Riccati oplossing toestaat. Dit stelt de oplosser in staat de optimale gesloten-lus responsen te berekenen met parallelle achterwaartse Riccati-recursies (voor regeling) en Kalman-recursies (voor schatting), gevolgd door voorwaartse passes. Deze structuur maakt de oplosser aanzienlijk sneller dan generieke convexe oplossers, schalend naar grote systemen.

3. Belangrijkste Bijdragen

Novel Controller Parametrizatie: De eerste methode die niet-lineaire trajectorie-optimalisatie koppelt aan output-feedback SLS voor niet-lineaire systemen, wat robuuste informatieverzamelende regeling met veiligheidsgaranties mogelijk maakt.
Dynamica-bewuste Visuele Abstractie: Een methode om laagdimensionale observatiekaarten te leren van features van fundamentele modellen (DINO) die geoptimaliseerd zijn voor controle-waarneembaarheid, vergezeld van een gekalibreerde, staat-afhankelijke foutgrens.
Efficiënte Oplosser: De afleiding van een dubbel-Riccati oplossing voor onbeperkte output-feedback SLS, wat een schaalbare oplosser mogelijk maakt die gebruikmaakt van parallelle recursies om hoogdimensionale robotica-problemen aan te pakken.
Empirische Validatie: Succesvolle implementatie op diverse systemen, waaronder een 4D-auto, een 10D-quadcopter, een 59D-humanoid en een fysieke TurtleBot, allemaal met behulp van hoogresolutie RGB-afbeeldingen.

4. Resultaten

De methode werd geëvalueerd op vier gesimuleerde taken en één hardware-experiment, vergeleken met Certainty Equivalent (CE) en Non-Robust (NR) baselines.

Prestatiemetingen:
- Succespercentage (SR): VISION-SLS behaalde 100% succespercentage over alle gesimuleerde taken (Light-Dark, 4D Auto, Quadcopter, Humanoid).
- Beperkingsschendingpercentage (CVR): VISION-SLS behield 0% (of bijna 0%) beperkingsschendingen. In tegenstelling hiermee faalden baselines significant:
  - 4D Auto: Baselines hadden schendingpercentages van 6,5%–55%.
  - Quadcopter: Non-robuste baseline had een schendingpercentage van 92,8%.
  - Humanoid: Non-robuste baseline had een schendingpercentage van 98%.
Informatieverzameling: In de "Light-Dark" en "Occluded Parking Lot" scenario's stuurde VISION-SLS de robot actief naar gebieden met lagere waarnemingsonzekerheid (bijv. zware occlusie vermijden) om de grootte van de bereikbare buizen te verkleinen, terwijl CE-baselines door gebieden met hoge onzekerheid gingen, wat leidde tot grotere buizen en beperkingsschendingen.
Schaalbaarheid & Snelheid:
- De methode controleerde succesvol een 59-staatse humanoid (Unitree G1) die een backflip uitvoerde.
- De oplosser was aanzienlijk sneller dan generieke SLS-oplossers (bijv. MOSEK) vanwege de dubbel-Riccati structuur, wat planningshorizonten van 30–60 stappen in seconden mogelijk maakte.
Hardware Validatie: De methode werd ingezet op een TurtleBot met aan boord camera's, die succesvol een kantoormilieu navigeerde en obstakels vermijdde, presterend beter dan baselines in veiligheid en oplostijden.

5. Betekenis

Brug tussen Leren en Regeling: VISION-SLS demonstreert dat geleerde visuele abstracties strikt kunnen worden gekoppeld aan modelgebaseerde regeling om harde veiligheidsgaranties te bieden, verder gaand dan de "black box" aard van puur RL.
Actieve Waarneming: Door het scheidingsprincipe te verwerpen, stelt de methode robots in staat beslissingen te nemen die hun eigen stat-schatting verbeteren (informatie verzamelen), een kritieke capaciteit voor robuuste operatie in real-world, partiële waarneembare omgevingen.
Schaalbaarheid: Het gebruik van de dubbel-Riccati structuur binnen een SCP-kader maakt veilige, niet-lineaire, visiegebaseerde regeling praktisch voor hoogdimensionale systemen (bijv. humanoids) die voorheen onberekenbaar waren voor rigoureuze veiligheidsgecertificeerde regeling.
Praktijktoepasbaarheid: De succesvolle hardware-implementatie bewijst dat de theoretische garanties standhouden in aanwezigheid van real-world ruis, latentie en niet-gemodelleerde dynamica.

Kortom, VISION-SLS biedt een schaalbaar, theoretisch onderbouwd proces voor veilige visuo-motorische regeling, effectief afhandelend de afweging tussen de complexiteit van hoogdimensionale waarneming en de strikte eisen van veiligheidskritische robotica.