🤖 AI

Contextual Safety Reasoning and Grounding for Open-World Robots

Dit paper introduceert CORE, een veiligheidsframework dat robots in open werelden toestaat om via visueel-taalmodellen contextafhankelijke veiligheidsregels online te redeneren en af te dwingen zonder voorafgaande kennis van de omgeving.

Oorspronkelijke auteurs: Zachary Ravichandran, David Snyder, Alexander Robey, Hamed Hassani, Vijay Kumar, George J. Pappas

Gepubliceerd 2026-02-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zachary Ravichandran, David Snyder, Alexander Robey, Hamed Hassani, Vijay Kumar, George J. Pappas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot hebt die net als een nieuw kind in een onbekende stad wordt losgelaten. Het kind weet niet waar de gevaarlijke straten zijn, waar je niet mag lopen, en wat de sociale regels zijn. Als je het kind alleen een strakke lijst met regels geeft ("loop nooit op gras", "loop nooit op de stoep"), faalt het zodra het een situatie tegenkomt die niet op die lijst staat.

Dit is precies het probleem dat robots in de echte wereld hebben. Ze zijn vaak "blind" voor context. Een nat vloerbordje is voor een traditionele robot gewoon een object dat ze moeten omzeilen, maar voor een mens is het een waarschuwing: "De vloer hier is glad, blijf er ver vandaan!"

Deze paper introduceert CORE (Contextual Safety Reasoning and Enforcement). Je kunt CORE zien als het slimme, waakzame brein dat een robot geeft, zodat deze niet alleen naar de fysieke wereld kijkt, maar ook begrijpt wat hij ziet en waarom het veilig of onveilig is.

Hier is hoe CORE werkt, vertaald naar alledaagse taal:

1. Het Waarnemende Oog: De "Visuele Vertaler" (VLM)

Stel je voor dat de robot een camera heeft die is gekoppeld aan een zeer slimme, belezen vertaler (een Vision-Language Model of VLM).

Hoe het werkt: De robot kijkt naar een beeld. In plaats van alleen te zeggen "daar is een rood object", zegt deze vertaler: "Ah, dat is een 'natte vloer'-bordje. Dat betekent dat de hele omgeving eromheen gevaarlijk is, niet alleen het bordje zelf."
De analogie: Het is alsof je een robot een boek leert lezen terwijl hij loopt. Hij ziet een bordje met een driehoek en een uitroepteken en begrijpt direct: "Oeps, hier kan ik uitglijden, ik moet hier omheen lopen." Hij hoeft niet van tevoren te weten dat er een bordje staat; hij leert het op het moment zelf.

2. Het Kaarten van de Veiligheid: "De Onzichtbare Muur" (Grounding)

Zodra de robot begrijpt wat er aan de hand is, moet hij dit vertalen naar een fysieke grens.

Hoe het werkt: De robot neemt de tekstuele waarschuwing ("Pas op rondom het bordje") en zet dit om in een onzichtbare, virtuele muur in zijn hoofd.
De analogie: Stel je voor dat je een kind in een zwembad zet. Je zegt niet alleen "niet naar de rand toe", maar je plaatst een onzichtbare, zachte ballonmuur rondom het gevaarlijke gebied. Als de robot deze muur aanraakt, weet hij: "Stop! Hier mag ik niet komen." Deze muur wordt dynamisch gemaakt: als de robot een nieuwe hoek om draait en een nieuwe gevaarlijke situatie ziet, bouwt hij direct een nieuwe muur.

3. De Onwrikbare Regisseur: De "Veiligheidsdrukker" (CBF)

Nu heeft de robot een plan om ergens naartoe te gaan (bijvoorbeeld: "ga naar de keuken"), maar hij heeft ook die onzichtbare muren. Wat als zijn plan hem dwars door een muur stuurt?

Hoe het werkt: CORE gebruikt een wiskundige "veiligheidsdrukker" (Control Barrier Function). Dit is als een zeer strenge, maar slimme regisseur die de robot bestuurt.
De analogie: Stel je voor dat de robot een auto is die door een regisseur wordt bestuurd. De regisseur laat de auto hard rijden (het normale plan), maar als de auto dreigt tegen een onzichtbare muur (een gevaar) te rijden, grijpt de regisseur direct in en stuurt de auto zachtjes de andere kant op. De robot doet precies wat hij wilde, tenzij het gevaarlijk is. Dan wordt hij zachtjes maar vastberaden gestopt of omgeleid.

Waarom is dit zo speciaal?

Vroeger moesten mensen voor elke mogelijke situatie een regel programmeren. Als je een robot in een kantoor zette, moest je zeggen: "Vermijd stoelen", "Vermijd mensen", "Vermijd potten". Maar wat als er een natte vloer is? Of een verkeerskegels die een pad blokkeren? Traditionele robots zagen dit niet als gevaar, maar gewoon als obstakels.

CORE verandert dit:

Hij denkt mee: Hij begrijpt dat een verkeerskegel alleen gevaarlijk is als er een rij van staat (een "BETWEEN"-regel), maar dat een losse kegel misschien gewoon een obstakel is.
Hij is flexibel: Hij werkt in een volledig nieuwe omgeving zonder dat iemand hem eerst een kaart heeft gegeven. Hij leert op het moment zelf.
Hij is veilig: Zelfs als de robot niet 100% zeker is van wat hij ziet (bijvoorbeeld door slecht licht), houdt hij rekening met die onzekerheid en is hij extra voorzichtig.

Samenvattend

CORE is als het geven van gezond verstand aan een robot. Het zorgt ervoor dat de robot niet alleen "niet tegen muren loopt", maar ook begrijpt: "Ik moet niet op het gras lopen omdat dat niet de bedoeling is," of "Ik moet niet te dicht bij die persoon komen omdat dat onbeleefd is."

Het is een stap in de richting van robots die niet alleen machines zijn, maar echte partners die veilig en slim kunnen bewegen in onze chaotische, onvoorspelbare wereld.

Titel: Contextual Safety Reasoning and Grounding for Open-World Robots (CORE)

Auteurs: Zachary Ravichandran et al. (Universiteit van Pennsylvania & Carnegie Mellon University)

1. Probleemstelling

Robotica-systemen opereren steeds vaker in open-wereldomgevingen (zoals huizen, kantoren en magazijnen) waar veiligheid niet statisch is, maar contextafhankelijk.

De uitdaging: Traditionele veiligheidsbenaderingen vertrouwen op vaste, vooraf gedefinieerde constraints (bijv. "vermijd obstakels"). Dit werkt niet goed in dynamische omgevingen waar dezelfde ruimte verschillende veiligheidsregels vereist afhankelijk van de context (bijv. een natte vloer is een gevaar, een drukke gang vereist sociale afstand, en een rij verkeerskegels markeert een verboden zone).
Het gat: Bestaande methoden vereisen dat een expert vooraf specifieke veiligheidsregels definieert voor de omgeving. Robots kunnen niet zelf redeneren over nieuwe, onbekende contexten die ze tegenkomen. Er is een behoefte aan een systeem dat veiligheidsregels kan infereren uit visuele waarnemingen en deze direct kan toepassen zonder voorafgaande kennis van de kaart of de regels.

2. Methodologie: Het CORE Framework

De auteurs introduceren CORE (Contextual Safety Reasoning and Enforcement), een drie-staps framework dat robots in staat stelt om veilig te opereren in onbekende omgevingen zonder vooraf gedefinieerde veiligheidspecificaties.

Het framework bestaat uit drie kernmodules:

A. Contextuele Veiligheidsredenering (Contextual Safety Reasoning)

Technologie: Gebruik van een Vision-Language Model (VLM).
Functie: De robot analyseert visuele waarnemingen (via een RGB-D camera) en gebruikt de VLM om contextuele veiligheidsregels af te leiden.
Structuur: De VLM wordt geprompt met een gestructureerde logica om objecten te categoriseren in:
- Metric Obstacles: Fysieke blokkades.
- Hazard Indicators: Objecten die een gevaarlijke omgeving aangeven (bijv. een "natte vloer"-bord).
- Socially Restricted Zones: Gebieden waar sociale normen gelden (bijv. niet te dicht bij mensen komen).
- Semantic Barriers: Objecten die een verboden zone markeren (bijv. een rij kegels).
Output: De VLM genereert een JSON-structuur met predikaten die veilig en onveilig gebied definiëren, ondersteund door een "Chain-of-Thought" (CoT) rechtvaardiging.

B. Semantische Grounding (Semantic Grounding)

Functie: Het vertalen van de natuurlijke taal-regels van de VLM naar fysieke, ruimtelijke "veilige sets" in de omgeving van de robot.
Proces:
1. Segmentatie: Een open-vocabulary segmentatiemodel (zoals SAM3) lokaliseert de objecten in de afbeelding.
2. Ruimtelijke Operatoren: De VLM-predikaten worden vertaald naar pixelsets met behulp van operatoren:
  - ON: Bevat begaanbare oppervlakken (veilig).
  - NEAR: Bevat fysieke obstakels (onveilig).
  - AROUND: Creëert een buffer rond gevaarlijke objecten of sociale zones (onveilig).
  - BETWEEN: Definieert gebieden tussen objecten die een barrière vormen (onveilig).
3. Projectie: De 2D-beeldruimte wordt geprojecteerd naar een 3D-puntenwolk en vervolgens naar een 2D-ruimtelijk rooster (costmap) in de fysieke wereld.
4. Barrière Functie: Er wordt een Control Barrier Function (CBF) $h(x)$ geconstrueerd die de afstand tot de grens van de veilige set weergeeft.

C. Probabilistische Handhaving (Probabilistic Enforcement)

Functie: Het garanderen van veilige controleacties ondanks waarnemingsonzekerheid (de VLM kan fouten maken of de dieptewaarneming kan ruis bevatten).
Methode: De robot lost een optimalisatieprobleem op om een veilig besturingsinput ( $u_{safe}$ ) te vinden dat zo dicht mogelijk bij de nominale besturing ( $u_{nom}$ ) ligt, maar voldoet aan de CBF-beperking:
$\langle \nabla h(x), f(x) + g(x)u \rangle \geq -\alpha(h(x))$
Zekerheid: De auteurs bieden probabilistische veiligheidsgaranties. Ze modelleren de onzekerheid van de detectie en bewijzen dat de robot met een hoge waarschijnlijkheid ( $1-\delta$ ) binnen de veilige set blijft, zelfs als de perceptie imperfect is.

3. Belangrijkste Bijdragen

VLM-gebaseerde Redenering: Een module die contextuele veiligheidsbeperkingen inferreert uit visuele data zonder voorafgaande kennis van de omgeving.
Grounding Methode: Een techniek om natuurlijke taal-veiligheidsregels om te zetten in ruimtelijk gedefinieerde veilige sets die direct door de controller kunnen worden gebruikt.
Probabilistische CBF-Handhaving: Een controlemechanisme dat rekening houdt met perceptieonzekerheid en formele, probabilistische garanties biedt voor veilige navigatie.
Validatie: Uitgebreide simulatie- en hardware-experimenten die aantonen dat CORE presteert op het niveau van een "orakel" (dat de waarheid kent) en aanzienlijk beter is dan bestaande methoden zonder contextueel redeneren.

4. Resultaten

De auteurs hebben CORE getest in simulatie (NVIDIA Isaac Sim) en op echte hardware (Boston Dynamics Spot robot).

Prestaties:
- CORE bereikte een succescijfer van 96,6% voor veilige taken en 93,3% voor onveilige taken (waar de robot moet stoppen).
- Dit presteert bijna gelijk aan een "Oracle"-baseline (die vooraf de juiste regels kent).
- Vergelijking:
  - Geen Context (No Context): Slechts 16,6% van de onveilige taken voorkomen (faalt omdat het geen online redenering heeft).
  - Geometrisch (Geometric): 0% van de onveilige taken voorkomen (kan geen semantische gevaarzones zoals "natte vloer" begrijpen).
Ablatie Studies:
- Het gebruik van Chain-of-Thought (CoT) redenering in de VLM was cruciaal; zonder CoT daalde de nauwkeurigheid drastisch (van 91% naar 61% voor veilige regio's).
- De keuze van het VLM-model (Gemma 3 27B) bleek het beste evenwicht tussen snelheid en nauwkeurigheid.
Hardware: Op de Boston Dynamics Spot robot slaagde CORE erin om contextuele regels (zoals het respecteren van sociale afstand en het vermijden van verboden zones gemarkeerd met kegels) in real-time toe te passen.

5. Betekenis en Impact

Dit paper is een belangrijke stap vooruit in de ontwikkeling van autonome robots voor open-wereldtoepassingen.

Van Statisch naar Dynamisch: Het verschuift het paradigma van statische, vooraf geprogrammeerde veiligheidsregels naar dynamische, contextbewuste redenering.
Veiligheid in Onbekende Gebieden: Het maakt het mogelijk voor robots om veilig te opereren in omgevingen waar ze nog nooit zijn geweest, zolang ze maar visuele aanwijzingen kunnen interpreteren.
Theoretische Garantie: Door probabilistische garanties te bieden ondanks perceptieonzekerheid, lost het een van de grootste uitdagingen op bij het integreren van AI-modellen (zoals VLM's) in veiligheidskritieke systemen.

Kortom, CORE toont aan dat robots niet alleen "zien" wat er in de weg staat, maar ook "begrijpen" wat het betekent en hoe ze zich daar veilig en sociaal verantwoord omheen moeten bewegen.