💻 computer science

How Safe Will I Be Given What I Saw? Calibrated Prediction of Safety Chances for Image-Controlled Autonomy

Deze paper introduceert een framework voor gekalibreerde veiligheidsvoorspelling in beeldgestuurde autonome systemen dat wereldmodellen, variatiele auto-encoders en onbewaakte domeinadaptatie combineert om betrouwbare risico-inschattingen te garanderen onder omstandigheden met distributieverandering en gedeeltelijke waarneembaarheid.

Oorspronkelijke auteurs: Zhenjiang Mao, Mrinall Eashaan Umasudhan, Ivan Ruchkin

Gepubliceerd 2026-03-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhenjiang Mao, Mrinall Eashaan Umasudhan, Ivan Ruchkin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zelfrijdende auto hebt die alleen maar door zijn camera's "kijkt" om te rijden. Hij ziet de weg, de bomen en andere auto's, maar hij heeft geen ingebouwd GPS-systeem of een kaart van de wereld. Hij leert puur door te kijken en te doen, net als een baby die leert lopen.

Het probleem is: Hoe weten we of deze auto veilig blijft rijden als hij over een uur nog steeds op de weg is?

Dit is precies wat dit onderzoek van de Universiteit van Florida (Florida) probeert op te lossen. Ze hebben een slim systeem bedacht dat niet alleen voorspelt of de auto veilig is, maar ook hoe zeker die voorspelling is.

Hier is de uitleg in simpele taal, met wat creatieve vergelijkingen:

1. Het Probleem: De "Blindeman" met een Camera

Normaal gesproken weten robots hun eigen positie heel precies (zoals "ik ben 5 meter van de muur verwijderd"). Maar moderne zelfrijdende auto's werken vaak "end-to-end": ze kijken naar een beeld en sturen direct het stuur. Ze hebben geen bewustzijn van hun eigen snelheid of positie in cijfers.

Als je vraagt: "Zal ik over 100 beelden nog op de weg zijn?", is dat heel lastig te voorspellen.

De analogie: Stel je voor dat je een film kijkt en je moet raden hoe het verhaal 100 minuten later afloopt. Als je alleen naar het huidige beeld kijkt, raak je snel de draad kwijt. Elke kleine fout in je voorspelling van de volgende seconde, stapelt zich op. Na een tijdje is je voorspelling compleet verkeerd, maar de computer denkt nog steeds dat hij het perfect weet. Dit noemen ze miscalibratie: de computer is te zelfverzekerd terwijl hij het eigenlijk niet weet.

2. De Oplossing: De "Droomwereld" (World Models)

De auteurs bouwen een systeem dat werkt als een droommachine.

In plaats van direct te raden of de auto veilig is, laat het systeem de auto eerst "dromen" over wat er gaat gebeuren.

Hoe werkt het? Het systeem kijkt naar de afgelopen beelden en probeert een latente ruimte (een soort samenvatting of "geest" van de beelden) te maken.
De analogie: Denk aan een regisseur die een film script. Hij schrijft niet elke pixel van de film op, maar hij schrijft het scenario: "De auto draait links, de weg wordt smaller." Dit script is veel eenvoudiger dan de hele film.
Het systeem voorspelt dan dit script voor de toekomst. Vervolgens kijkt een "veiligheidscontroleur" naar dit script en zegt: "Dit scenario lijkt gevaarlijk."

3. Twee Manieren om te Voorspellen

Het papier vergelijkt twee manieren om dit te doen:

De "Monolithische" methode (De Alles-in-één): Een enorme neurale netwerk probeert direct van het beeld naar het antwoord te gaan. Dit werkt goed voor korte termijn, maar als je verder in de toekomst kijkt, raakt het de draad kwijt. Het is alsof je probeert een heel boek uit je hoofd te vertellen zonder te lezen; na een paar zinnen begin je te verzinnen.
De "Composiete" methode (De Teamwerk-methode): Dit is wat ze voorstellen. Eerst een model dat het script schrijft (voorspelt de toekomst), en daarna een aparte controleur die het script leest. Dit werkt veel beter voor lange termijn, omdat de taken gescheiden zijn.

4. Het Grote Probleem: De "Droom" Verschilt van de "Realiteit"

Als het systeem lang in de toekomst kijkt, beginnen de voorspellingen (de dromen) er anders uit te zien dan de beelden waarop het is getraind.

De analogie: Stel je voor dat je een schilderij maakt van een landschap. Als je het schilderij weer gebruikt als inspiratie om een nieuw schilderij te maken, en dat weer... na een paar keer ziet het landschap eruit als een abstracte vlek. De controleur, die getraind is op echte foto's, begrijpt deze vlekken niet meer en raakt in paniek.

5. De Magische Truc: Zelflerende Aanpassing (UDA)

Om dit op te lossen, gebruiken ze een techniek genaamd Unsupervised Domain Adaptation.

Hoe werkt het? De controleur krijgt tijdens het rijden een soort "spiegel". Hij ziet dat de beelden (of de dromen) veranderen. Hij past zichzelf dan een klein beetje aan, zonder dat iemand hem nieuwe antwoorden hoeft te geven.
De analogie: Het is alsof je een bril opzet die zich automatisch aanpast aan het licht. Als je van binnen naar buiten loopt, past de bril zich aan zodat je scherp blijft zien, zonder dat je zelf hoeft te knipperen of te zoeken. Hierdoor blijft de controleur betrouwbaar, zelfs als de "droom" van de auto verandert.

6. De "Zekerheidsmeter" (Calibratie)

Het allerbelangrijkste deel is dat het systeem niet alleen zegt: "Ik ben veilig", maar ook: "Ik ben 80% zeker dat ik veilig ben."

Ze gebruiken een wiskundige methode (Conformal Prediction) om een marge van fout toe te voegen.
De analogie: Stel je voor dat een weerman zegt: "Morgen regent het." Dat is onzeker. Maar als hij zegt: "Morgen regent het, en ik ben 95% zeker dat het tussen 10% en 30% kans ligt," dan kun je daar echt op bouwen.
Als het systeem merkt dat het te onzeker is (bijvoorbeeld omdat de weg heel raar is), geeft het een breed interval: "Ik weet het niet precies, maar het kan tussen 20% en 80% veilig zijn." Dit waarschuwt de bestuurder (of de computer) om voorzichtig te zijn.

Samenvatting in één zin

De onderzoekers hebben een systeem gebouwd dat zelfrijdende auto's een "droommachine" geeft om de toekomst te simuleren, een "spiegel" om zich aan te passen aan nieuwe situaties, en een "zekerheidsmeter" om eerlijk te zeggen hoe zeker ze zijn, zodat we kunnen vertrouwen op robots die alleen door hun ogen kijken.

Dit maakt zelfrijdende auto's veiliger, omdat we niet alleen weten wat ze gaan doen, maar ook hoe goed ze dat weten.

Titel: Hoe veilig ben ik gezien wat ik heb gezien? Gecalibreerde veiligheidsvoorspelling voor beeldgestuurde autonomie

Auteurs: Zhenjiang Mao, Mrinall Eashaan Umasudhan en Ivan Ruchkin (Trustworthy Engineered Autonomy Lab, University of Florida)

1. Het Probleem

Autonome robots vertrouwen steeds vaker op end-to-end deep learning controllers die rechtstreeks werken met hoogwaardige sensorinvoer (zoals camera's), zonder tussenkomst van handmatig ontworpen toestandsmodellen (zoals positie en snelheid). Hoewel deze systemen effectief zijn, vormen ze een kritieke uitdaging voor veiligheidsvoorspelling om de volgende redenen:

Gebrek aan transparantie en toestandsinformatie: Traditionele verificatietechnieken vereisen lage-dimensionale toestandsmodellen, die bij beeldgestuurde systemen niet beschikbaar zijn.
Deelobservatie en distributieshift: Robots opereren in onvolledig waarneembare omgevingen. Bij langere voorspellingshorizonten (long-horizon) stapelen voorspelfouten zich op, waardoor de voorspelde beelden afwijken van de trainingsverdeling (distributieshift).
Onbetrouwbare onzekerheidsschatting: Bestaande deep learning-modellen zijn vaak overmoedig (overconfident) of slecht gecalibreerd. Dit betekent dat de voorspelde waarschijnlijkheid van een veiligheidsincident niet overeenkomt met de werkelijke frequentie van die incidenten, wat leidt tot onveilig gedrag of onnodige ingrepen.
Beperkingen van bestaande methoden: Model-gebaseerde verificatie schaalt slecht naar beeldsystemen, en model-vrije statistische methoden missen vaak garanties voor betrouwbaarheid.

Doel: Het ontwikkelen van een raamwerk voor gecalibreerde veiligheidsvoorspelling in end-to-end beeldgestuurde systemen, waarbij noch het dynamische model noch het waarnemingsmodel bekend is. Het systeem moet de waarschijnlijkheid van veiligheid voorspellen met statistische garanties voor de nauwkeurigheid van die voorspelling.

2. Methodologie

De auteurs introduceren een modulair raamwerk dat bestaat uit vier kerncomponenten:

A. Modulaire Voorspellingspipelines

Het artikel onderscheidt twee architecturale benaderingen:

Monolithische Predictors: Een enkel netwerk dat een beeldreeks direct omzet in een veiligheidslabel of -kans. Dit is efficiënt maar leert geen onderliggende dynamica.
Composite (Samengestelde) Predictors: Deze splitsen het probleem op in drie fasen:
- Encoder: Een Variational Autoencoder (VAE) of VQ-VAE comprimeert ruwe beelden naar een compacte, latente representatie.
- Forecaster: Een recurrente (LSTM) of attention-based (Transformer) module voorspelt de toekomstige trajecten in de latente ruimte (of beeldruimte).
- Evaluator: Een module beoordeelt de voorspelde toekomstige toestanden op veiligheid.
- Voordeel: Door de dynamica en de veiligheidsbeoordeling te scheiden, wordt het probleem tracteren (oplosbaar) en verbetert de prestatie op lange termijn.

B. Unsupervised Domain Adaptation (UDA)

Om het probleem van distributieshift op te lossen (waarbij voorspelde beelden afwijken van de trainingsdata), gebruiken de auteurs Marginal Entropy Minimization (MEMO) tijdens de testfase.

Het systeem genereert stochastische augmentaties van de invoer (bijv. rotatie, ruis).
De evaluator wordt online aangepast om consistente en zelfverzekerde voorspellingen te maken over deze augmentaties, zonder extra labels te vereisen.
Dit zorgt ervoor dat de evaluator robuust blijft tegen visuele vervormingen die ontstaan door het voorspellen van toekomstige frames.

C. Conformal Calibration (Post-hoc Calibratie)

Om statistische garanties te bieden, gebruiken de auteurs Conformal Prediction.

In plaats van alleen een binaire label (veilig/ongevaarlijk) te voorspellen, schat het systeem een veiligheidskans (probability).
Door middel van adaptieve binning en conformal prediction wordt een foutmarge ( $c$ ) berekend.
Het resultaat is een interval $[p - c, p + c]$ dat de ware waarschijnlijkheid van veiligheid bevat met een vooraf gedefinieerd betrouwbaarheidsniveau ( $1-\alpha$ ). Dit biedt wiskundige garanties voor de nauwkeurigheid van de voorspelling.

3. Belangrijkste Bijdragen

Een familie van modulaire pipelines: Een nieuwe architectuur voor veiligheidsvoorspelling in beeldgestuurde robots die werkt zonder lage-dimensionale toestandsmodellen.
Conformale post-hoc calibratie: Een techniek die ruwe scores omzet in betrouwbare waarschijnlijkheidsintervallen met statistische garanties, zelfs voor langere voorspellingshorizonten.
Robuustheid via UDA: Een methode om evaluatoren aan te passen aan veranderende omstandigheden en voorspelfouten zonder handmatige herlabeling.
Uitgebreide experimentele evaluatie: Validatie op drie benchmarks (raceauto, cart-pole, en fysieke Donkey Cars) die de superioriteit van composite pipelines en de noodzaak van calibratie aantonen.

4. Resultaten

De experimenten werden uitgevoerd op drie benchmarks: gesimuleerde raceauto's, cart-pole systemen en fysieke Donkey Cars.

Composite vs. Monolithisch: Composite predictors (met world models) presteerden aanzienlijk beter dan monolithische modellen, vooral bij langere voorspellingshorizonten. Monolithische modellen degradeerden snel naarmate de horizon groeide.
Attention Mechanismen: Het gebruik van Transformers (attention) in de forecaster verbeterde de F1-score en verlaagde de False Positive Rate (FPR) aanzienlijk ten opzichte van recurrente netwerken (LSTM/GRU).
Latente Evaluators: Evaluators die werken in de latente ruimte (na compressie door VAE) waren robuuster en nauwkeuriger dan evaluatoren die direct op ruwe beelden werkten, omdat ze ruis filteren en temporale relaties beter vastleggen.
Effectiviteit van UDA: De UDA-module verhoogde de nauwkeurigheid van evaluatoren op Out-of-Distribution (OOD) data (situaties die afwijken van de training) aanzienlijk, terwijl de prestatie op normale data behouden bleef.
Calibratie: Na toepassing van conformal calibration daalde de Expected Calibration Error (ECE) drastisch. De voorspelde intervallen bevatten de werkelijke veiligheidskansen in meer dan 95% van de gevallen (voor $\alpha=0.05$ ), wat de betrouwbaarheid van de systemen bevestigt.

5. Betekenis en Conclusie

Dit onderzoek biedt een cruciale stap naar de veilige implementatie van autonome systemen die volledig op camera's vertrouwen.

Vertrouwen in AI: Door statistische garanties te bieden voor veiligheidsvoorspellingen, helpt dit raamwerk om het "black box"-probleem van deep learning aan te pakken en publiek vertrouwen te winnen.
Praktische Toepasbaarheid: De methode vereist geen kennis van het onderliggende fysieke model van de robot, wat het toepasbaar maakt voor complexe, real-world scenario's waar dergelijke modellen ontbreken.
Toekomstige Richting: Het werk legt de basis voor het integreren van fysieke beperkingen in latente ruimtes en het gebruik van vision-language modellen voor automatische veiligheidslabeling.

Kortom, het artikel bewijst dat het voorspellen van gecalibreerde veiligheidskansen (in plaats van alleen binaire labels) een haalbare en noodzakelijke aanpak is voor het garanderen van de veiligheid van autonome robots in onvoorspelbare omgevingen.