🤖 machine learning

Deterministic World Models for Verification of Closed-loop Vision-based Systems

Deze paper introduceert een deterministisch wereldmodel dat latentvariabelen elimineert en via een dubbel-objectiefverlies en conformale voorspelling wordt gebruikt om de verificatie van gesloten-lus visuele besturingssystemen te verbeteren door nauwkeurigere bereikbare verzamelingen te genereren.

Oorspronkelijke auteurs: Yuang Geng, Zhuoyang Zhou, Zhongzheng Zhang, Siyuan Pan, Hoang-Dung Tran, Ivan Ruchkin

Gepubliceerd 2026-04-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yuang Geng, Zhuoyang Zhou, Zhongzheng Zhang, Siyuan Pan, Hoang-Dung Tran, Ivan Ruchkin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zelfrijdende auto hebt die alleen maar door zijn camera's "kijkt" om te sturen. Hij ziet een beeld, en direct daarop reageert hij: remmen, sturen of gas geven. Dit is een End-to-End Vision-based Controller. Het is slim, maar het is ook een beetje een "black box" (een doos waar we niet in kunnen kijken).

De grote vraag voor veiligheidsinspecteurs is: "Zal deze auto altijd veilig blijven, zelfs als de camera een rare hoek ziet of als het licht verandert?"

Het probleem is dat het bewijzen van deze veiligheid heel moeilijk is. Waarom? Omdat camera's hoge-resolutie foto's maken. Het is als proberen te voorspellen hoe een wolk eruitziet op basis van een wiskundige formule; dat lukt niet goed. Als je probeert alle mogelijke beelden te berekenen, wordt de berekening zo groot dat de computer "ontploft" van de onzekerheid.

De auteurs van dit paper hebben een slimme oplossing bedacht, die ze het Deterministische Wereldmodel (DWM) noemen. Laten we dit uitleggen met een paar analogieën.

1. Het Probleem: De "Gokkast" vs. De "Recept"

Vroeger probeerden onderzoekers een computermodel te maken dat beelden kon genereren, net als een camera. Maar ze gebruikten een trucje: ze voegden een willekeurige factor toe (een "latente variabele").

De analogie: Stel je voor dat je een bakker wilt nabootsen die brood maakt. De oude methode was: "Geef de bakker de instructies (de staat van de auto) én gooi een dobbelsteen. Als je een 6 gooit, maakt hij een klein brood, bij een 1 een groot brood."
Het probleem: Voor een veiligheidscontrole is dit rampzalig. De controleur moet nu rekening houden met alle mogelijke dobbelsteenworpen. Het resultaat is een enorme berg aan mogelijke broden (beelden), waarvan de meeste nooit echt gemaakt worden. De berekening wordt zo groot dat je niets meer kunt bewijzen.

2. De Oplossing: Het DWM (De Perfecte Receptboek)

De auteurs zeggen: "Laten we die dobbelsteen weggooien."
Hun Deterministische Wereldmodel (DWM) is een AI die leert: "Als de auto op positie X is, ziet de camera er exact zo uit." Geen gokken, geen willekeur.

De analogie: In plaats van een gokkast, hebben ze een perfect receptboek gemaakt. Als je zegt "Ik wil een brood met 500 gram meel", krijg je altijd exact dat ene brood. Geen verrassingen.
Het voordeel: Omdat er geen willekeurige factor is, is de "berg aan mogelijke beelden" veel kleiner en preciezer. De computer kan nu echt berekenen wat er gebeurt, zonder dat het uit de hand loopt.

3. De Twee Delen van de Training (Het "Oog" en het "Gedrag")

Ze trainen deze AI met twee soorten beloningen (verliezen):

Het Oog (Pixel-perfect): De AI moet een foto maken die er visueel precies hetzelfde uitziet als de echte camera.
Het Gedrag (Bestuurder-vriendelijk): Dit is het slimme deel. Stel, de AI maakt een foto die er bijna hetzelfde uitziet, maar de auto staat net een millimeter scheef. Een mens ziet dat niet, maar de bestuurder van de auto (de controller) zou misschien plotseling hard remmen.
- De AI krijgt een straf als de foto, ondanks dat hij mooi is, de bestuurder een verkeerde actie laat uitvoeren.
- Analogie: Het is alsof je een toneelspeler traint. Het is niet genoeg dat hij eruitziet als de koning (visueel mooi); hij moet ook gedragen als de koning, zodat de andere acteurs niet in paniek raken.

4. De Veiligheidsnet: Conformal Prediction

Nu hebben ze een heel nauwkeurig model, maar het is nog steeds een model. Wat als het model net een klein beetje fout zit?
Om dit op te lossen, gebruiken ze een statistische techniek genaamd Conformal Prediction.

De analogie: Stel je voor dat je een boogschutter bent die zijn model heeft getraind. Je weet dat hij 95% van de tijd raak schiet. Maar je wilt 100% zekerheid dat hij de doelwit niet mist.
- In plaats van te zeggen "Hij schiet precies in het midden", zeg je: "Hij schiet in het midden, maar we voegen een veiligheidsmarge toe."
- Ze meten hoeveel de AI soms afwijkt van de echte camera. Dan maken ze hun berekende veiligheidsgebied (de "reachable set") net iets groter, precies groot genoeg om die fouten op te vangen.
- Het resultaat: Ze kunnen nu met 95% zekerheid zeggen: "Zelfs als onze AI een klein beetje fout zit, zal de echte auto binnen deze veilige zone blijven."

Samenvatting in één zin

De auteurs hebben een slimme "virtuele camera" gebouwd die geen gokken gebruikt, maar exact weet hoe de wereld eruitziet op basis van de positie van de auto, en ze hebben een statistisch veiligheidsnet eromheen gelegd om te garanderen dat de echte auto nooit in gevaar komt.

Waarom is dit belangrijk?
Het maakt het mogelijk om zelfrijdende auto's en robots niet alleen te testen (wat veel tijd kost en geen garantie geeft), maar ze wiskundig te bewijzen dat ze veilig zijn, zelfs als ze alleen maar naar beelden kijken.

Titel: Deterministische Wereldmodellen voor Gesloten-lus Verificatie van End-to-End Vision-based Controllers

1. Het Probleem

End-to-end vision-based controllers (die ruwe cameraframes direct omzetten in besturingsacties) worden steeds vaker ingezet in veiligheidskritieke systemen zoals autonome voertuigen en robots. Het formeel verifiëren van het gedrag van deze systemen in een gesloten lus is echter een groot uitdaging vanwege twee fundamentele obstakels:

Gebrek aan een state-to-image model: Voor fysieke dynamica bestaan er wiskundige vergelijkingen, maar er is geen gesloten wiskundige vorm die een fysieke toestand (bijv. positie, snelheid) omzet in een pixelbeeld. Zonder deze mapping kan de verificatielus niet worden gesloten.
Exponentiële groei van overbenadering (Overapproximation): Zelfs als een mapping bestaat, leidt het doorgeven van sets van beelden door diepe convolutionele netwerken tot cumulatieve fouten. Bij bestaande methoden die gebruikmaken van generatieve modellen (zoals cGANs) worden vaak stochastische latente variabelen gebruikt om beelddiversiteit te creëren. Deze variabelen hebben geen fysieke betekenis, waardoor ze zeer conservatieve (brede) grenzen vereisen. Dit zorgt ervoor dat de bereikbare verzamelingen (reachable sets) zo groot worden dat veilige trajecten onterecht als onveilig worden gemarkeerd.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat bestaat uit drie kerncomponenten:

A. Deterministisch Wereldmodel (DWM)
In plaats van een generatief model met stochastische latente variabelen, introduceren de auteurs een Deterministisch Wereldmodel (DWM).

Architectuur: Een neurale decoder die fysieke toestanden (bijv. positie en snelheid) direct afbeeldt op synthetische camera-beelden. Er zijn geen latente variabelen; de variatie in beelden komt uitsluitend voort uit de onzekerheid in de fysieke toestanden.
Training met Dual Loss: Het model wordt getraind met een combinatie van twee verliesfuncties:
1. Pixel-level reconstructie loss: Zorgt voor visuele nauwkeurigheid, met extra gewicht op voor besturing relevante gebieden (bijv. de auto of de paal).
2. Control-consistent loss: Straft afwijkingen in de besturingsacties af die voortvloeien uit het gegenereerde beeld ten opzichte van het echte beeld. Dit zorgt ervoor dat het model niet alleen visueel correct is, maar ook gedragsmatig consistent met de echte controller.

B. Star-based Gesloten-lus Verificatie
Het getrainde DWM wordt geïntegreerd in een verificatiepiplijn gebaseerd op Star sets (een representatie voor verzamelingen van toestanden).

Het proces doorloopt de lus: Toestand $\to$ DWM (beeldgeneratie) $\to$ CNN-controller $\to$ Plant-dynamica $\to$ Volgende toestand.
Lineaire lagen worden exact verwerkt, terwijl niet-lineaire lagen (zoals ReLU) worden benaderd met sound over-approximation technieken (via de StarV toolbox).

C. Conformal Prediction (CP) voor Real-System Garantie
Omdat het DWM een gesurrogeerd model is, is er een discrepantie met het echte systeem. Om dit op te lossen, gebruiken de auteurs Conformal Prediction:

Ze meten de maximale afwijking (in $L_1$ -norm) tussen trajecten van het DWM en het echte systeem over een kalibratiedataset.
Op basis hiervan wordt een statistische bovengrens ( $\Delta_{1-\alpha}$ ) berekend.
De bereikbare verzamelingen van het DWM worden "opgeblazen" (inflated) met deze grens. Hierdoor wordt een statistisch gegarandeerde omhulling gecreëerd die met een waarschijnlijkheid van $1-\alpha$ de echte systeemtrajecten bevat.

3. Belangrijkste Bijdragen

Deterministische Wereldmodellering: Een nieuwe aanpak die stochastische latente variabelen verwijdert, waardoor verifieerbare generatieve surrogaten voor camerasensoren ontstaan.
Uitbreiding van Star-based Reachability: De eerste toepassing van Star-set analyse voor de gesloten-lus verificatie van vision-based systemen.
Realistische Garantieën via Conformal Prediction: Een methode om de verificatieresultaten van het wereldmodel statistisch te vertalen naar garanties voor het echte fysieke systeem.
Dual-Loss Training: Een trainingsstrategie die visuele nauwkeurigheid combineert met besturingsconsistentie om de modelleringfout te minimaliseren.

4. Resultaten

De methode is getest op vier benchmarks: CartPole, MountainCar, Pendulum en een Remsysteem (Braking System).

Vergelijking met cGAN: Het DWM presteert aanzienlijk beter dan een Conditional GAN (cGAN) baseline. De cGAN leidt door de latente variabelen tot enorme overbenadering (vaak een True Negative Rate van 0, wat betekent dat alles als onveilig wordt gemarkeerd).
F1-Scores: Het DWM bereikt hoge F1-scores (bijv. 0.9817 voor MountainCar en 0.9842 voor het Braking System), wat aangeeft dat het zowel veilig als onveilig gedrag nauwkeurig kan onderscheiden.
Invloed van Control-Consistent Loss: Het toevoegen van de control-consistent loss verlaagt de conformal prediction grens ( $\Delta_{0.95}$ ) aanzienlijk (bijv. van 0.111 naar 0.093 voor CartPole), wat resulteert in strakkere bereikbare verzamelingen.
Real-System Garantie: Na toepassing van Conformal Prediction blijven de resultaten robuust. Hoewel de recall voor zeer gevoelige systemen (zoals CartPole) iets daalt door de strikte veiligheidsmarges, blijft de precisie 100% (elk als veilig gemarkeerd traject is inderdaad veilig).

5. Betekenis en Conclusie

Dit artikel biedt een doorbraak in het formeel verifiëren van vision-based controllers. De kerninzicht is dat voor verificatie determinisme en fysieke interpretatie belangrijker zijn dan generatieve diversiteit. Door latente variabelen te elimineren en de modellering te koppelen aan de fysieke toestand, wordt de "explosie" van overbenadering voorkomen.

De combinatie van een deterministisch wereldmodel met Conformal Prediction biedt een praktische oplossing: het combineert de rekenkracht van gesurrogeerde modellen met statistische garanties die gelden voor het echte systeem. Dit maakt het mogelijk om veiligheidskritieke systemen met camera's formeel te verifiëren zonder onrealistisch conservatieve resultaten.

Beperkingen en Toekomst:
De huidige decoder worstelt nog met zeer complexe scènes (bijv. rommelige achtergronden, meerdere bewegende objecten). De rekentijd voor verificatie is nog steeds hoog (bijv. 13,5 uur voor 10 stappen in het Braking System), wat aandacht vereist voor optimalisatie, bijvoorbeeld door zich te richten op veiligheidskritieke pixels via salience maps.