⚡ electrical engineering

Towards General Language-Conditioned Latent Safety Filters

Dit artikel stelt een taalgeconditioneerd veiligheidsfilteringsframework voor met behulp van Hamilton-Jacobi acteurs en critics om dynamisch diverse veiligheidsbeperkingen af te dwingen over verschillende robotica-taken, waarbij minder schendingen en een gedeeltelijke transfer naar ongeziene beperkingsinstanties worden aangetoond.

Oorspronkelijke auteurs: Ihab Tabbara, Yuxuan Yang, Hussein Sibai

Gepubliceerd 2026-08-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ihab Tabbara, Yuxuan Yang, Hussein Sibai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots niet alleen lompe machines zijn die geprogrammeerd zijn voor één specifieke taak, zoals een broodrooster die alleen brood roostert. Stel je in plaats daarvan een robot voor die je kan begrijpen als een behulpzame vriend. Je zou kunnen zeggen: "Ruim de tafel alsjeblieft op," of "Bouw een toren met deze blokken," en de robot zou uitzoeken hoe hij dat moet doen. Dit is de opwindende grens van "generieke" robotlering, waarbij kunstmatige intelligentie combineert wat het ziet (visie) met wat je zegt (taal) om te beslissen wat het moet doen (actie). Maar hier is de crux: alleen omdat een robot slim genoeg is om je verzoek te begrijpen, betekent dat niet dat hij ook slim genoeg is om te weten wat hij niet moet doen. Als je hem vraagt een tafel af te ruimen, kan hij per ongeluk een kostbare vaas omverwerpen of een glas melk morsen.

Om robots veilig te houden, gebruiken wetenschappers iets dat een "veiligheidsfilter" wordt genoemd. Denk aan dit filter als een strikte, onzichtbare beschermengel die direct naast het brein van de robot staat. Voordat de robot zijn arm beweegt, controleert de bewaker het plan. Als het plan eruitziet alsof het een vaas zou kunnen raken, grijpt de bewaker in, neemt de controle over en stuurt de robot weg van het gevaar. Traditioneel waren deze bewakers erg rigide; je moest ze specifiek leren over vazen, en dan apart over wijnglazen, en dan weer apart over hete koffie. Als je wilde dat de robot iets nieuws vermeed, moest je de bewaker vanaf nul opnieuw trainen. De grote vraag die onderzoekers stellen is: Kunnen we de bewaker van een robot leren om elke veiligheidsregel te begrijpen door simpelweg naar ons te luisteren, zodat hij zich direct kan aanpassen aan nieuwe situaties zonder een totale reboot nodig te hebben?

Dit artikel, getiteld "Towards General Language-Conditioned Latent Safety Filters," verkent precies dat idee. De auteurs, Ihab Tabbara, Yuxuan Yang en Hussein Sibai, stellen een nieuw soort veiligheidsfilter voor dat niet voor elke nieuwe regel opnieuw getraind hoeft te worden. In plaats daarvan hebben ze een systeem gebouwd waarbij de bewaker een instructie in natuurlijke taal kan begrijpen — zoals "raak de melkpak niet aan" — en deze regel direct kan toepassen op de acties van de robot. Ze testten dit op robots die taken uitvoerden zoals het oppakken van blokken, het afnemen van tafels en het stapelen van objecten.

De onderzoekers ontdekten dat dit "taal-geconditioneerde" filter verrassend goed werkt. In hun experimenten voorkwam het nieuwe filter succesvol dat de robot tegen specifieke objecten botste wanneer de robot werd verteld deze te vermijden, zelfs wanneer het oorspronkelijke plan van de robot was om er recht tegenaan te botsen. Bijvoorbeeld, in een taak waarbij een robot gekleurde blokken in een specifieke volgorde moest stapelen, hielp het filter de robot om de instructies in ongeveer 80% van de gevallen correct op te volgen, zelfs wanneer de instructies veranderden. Het filter was ook in zekere mate in staat tot generalisatie; toen ze het testten op objecten of kleuren die het nog nooit eerder had gezien (zoals een geel boek in plaats van een rood exemplaar), slaagde het er nog steeds in om de regels beter te volgen dan bij een willekeurige gok, hoewel het niet perfect was.

Het artikel is echter voorzichtig om dit geen perfecte oplossing te noemen. De auteurs laten zien dat hoewel het filter een enorme stap voorwaarts is, het nog steeds fouten maakt, vooral wanneer de robot de wereld bekijkt via een camera (visie) in plaats van de exacte positie van elk object te weten (wat als een superkracht is die de robot eigenlijk niet heeft). Ze testten ook geavanceerde AI-modellen om als de "ogen" te fungeren die de filter vertellen wat gevaarlijk is, maar ontdekten dat zelfs de slimste huidige modellen niet betrouwbaar genoeg zijn om op zichzelf de enige rechter over veiligheid te zijn.

De studie suggereert dat we bewegen naar een toekomst waarin we één algemeen veiligheidsfilter kunnen hebben dat leert om veel verschillende regels te begrijpen door ze simpelweg te lezen, in plaats van dat er voor elk object in een kamer een uniek filter nodig is. Hoewel de huidige versie niet vlekkeloos is en nog steeds worstelt met volledig nieuwe scenario's, suggereren de resultaten dat deze aanpak een veelbelovende weg voorwaarts is. Het wijst op een toekomst waarin robots on-the-fly complexe, veranderende veiligheidsinstructies kunnen krijgen, wat ze veiliger en nuttiger maakt in onze huizen en werkplekken zonder dat er telkens een team van ingenieurs nodig is om ze te herprogrammeren wanneer we een meubelstuk verplaatsen.

Technische Samenvatting: Naar Algemene Taal-geconditioneerde Latente Veiligheidsfilters

Probleemstelling

Terwijl roboticapolicies evolueren van taakspecifieke controllers naar algemene Vision-Language-Action (VLA) modellen die in staat zijn om diverse natuurlijke taalinstructies uit te voeren, blijft het waarborgen van veilige inzet een kritieke uitdaging. Veiligheidseisen variëren aanzienlijk tussen gebruikers, omgevingen en toepassingen, zelfs voor identieke taken. Bestaande veiligheidsfilters zijn grotendeels beperkt tot specifieke restricties; ze vertrouwen op vaste definities van veiligheid (bijv. forward invariance tegen een vooraf gedefinieerde foutset) en vereisen herontwerp of hertraining wanneer de veiligheidsspecificaties veranderen. Bovendien slagen huidige VLA-policies er vaak niet in om veiligheid impliciet te leren uit trainingsdata of om betrouwbaar te reageren op expliciete taalgebaseerde veiligheidsprompts. Dit artikel onderzoekt taal-geconditioneerde veiligheidsfiltering, met als doel een enkel, geleerd veiligheidsfilter te creëren dat kan adapteren aan veiligheidseisen tijdens de inzet die worden uitgedrukt via natuurlijke taal, om zo de veilige inzet van algemene robotica-policies te ondersteunen.

Methodologie

De auteurs stellen een framework voor dat Hamilton–Jacobi (HJ) reachability-analyse uitbreidt om te conditioneren op door taal gespecificeerde restricties. De kernaanpak omvat het leren van een taal-geconditioneerde veiligheidsactor en -critic die opereren als een runtime-filter voor een nominale policy.

1. Formulering

Het systeem werkt op elk tijdstip $t$ met een observatie $o_t$ , een taakinstructie $\tau$ , en een natuurlijke taal veiligheidsrestrictie $c$ (bijv. "vermijd de melkdoos"). Een nominale policy $\pi_{nom}$ stelt een actie $a^{nom}_t$ voor. Het veiligheidsfilter evalueert deze actie met behulp van een geleerde HJ-critic $Q_\theta(z_t, a_t)$ , waarbij de staat-representatie $z_t$ zowel de visuele observatie als de taalrestrictie codeert.

Critic: Schat de gedisconteerde worst-case veiligheidswaarde van het uitvoeren van $a^{nom}_t$ gevolgd door de optimale veiligheidspolicy.
Actor: Een geleerde policy die getraind is om veiligheid te maximaliseren.
Filtering Logica: Als $Q_\theta(z_t, a^{nom}_t) \geq \epsilon$ (waarbij $\epsilon$ een veiligheidsmarge is), wordt de nominale actie uitgevoerd. Zo niet, dan grijpt het filter in door kandidaat-acties te samplen uit de HJ-actor en perturbaties van de nominale actie, waarbij de dichtstbijzijnde veilige actie wordt geselecteerd die aan de restrictie voldoet.

2. Representaties en Codering

Het artikel evalueert twee input-representaties voor de HJ actor/critic:

Privileged Oracle (Ground Truth): Gebruikt de volledige systeemstaat $s_t$ (objectposities, robotstaat) en een multi-hot codering van de restrictie. Dit dient als een bovengrens om de effectiviteit van de HJ-formulering te testen zonder perceptiefouten.
Vision-Language (VL): Gebruikt ruwe RGB-observaties (third-person en wrist-mounted views), robot-proprioceptie en de taalrestrictie. Om deze te coderen, maken de auteurs gebruik van de $\pi0.5$ VLA-backbone, die multi-view observaties en taal verwerkt via een gedeelde transformer. De resulterende token-sequentie wordt geaggregeerd via mean pooling om de latente representatie $z_t$ te vormen.

3. Foutfuncties

Een cruciaal onderdeel is de foutfunctie $h(z_t)$ , die de grens van de onveilige set definieert.

Geometrische Restricties: Voor taken zoals botsingsvermijding wordt $h$ gedefinieerd door afstandscriteria (bijv. afstand tot een obstakel minus een drempelwaarde).
Semantische Restricties: Voor complexe semantische fouten (bijv. het omverwerpen van een object) verkennen de auteurs het gebruik van Vision-Language Models (VLMs) als fout-oracles. Ze bevragen 11 verschillende VLMs om te bepalen of een staat een restrictie schendt, waarbij de output wordt gemapt naar een positieve of negatieve constante. Ze stellen echter vast dat huidige VLMs niet betrouwbaar genoeg zijn voor direct runtime-gebruik als fout-oracles vanwege hoge false-negative rates bij veiligheidsschendingen.

4. Training

De HJ critic en actor worden getraind met Soft Actor-Critic (SAC) om de Bellman error loss te minimaliseren, waarbij de optimale waardefunctie voor het vermijden van de restrictie-gedefinieerde foutset wordt benaderd. De trainingsdata bevat 5.000 manipulatie-trajecten (afgeleid van aangepaste LIBERO-taken), die bewust zijn verrijkt met veiligheidsschendingen (ongeveer 90%).

Belangrijkste Bijdragen

Formulering: Het artikel formuleert taal-geconditioneerde veiligheidsfiltering door HJ reachability uit te breiden naar conditionering op natuurlijke taal-restricties in plaats van vaste foutsets.
Evaluatie: Uitgebreide evaluatie over drie manipulatietaken (Safe Grab, Safe Wipe, Stack Blocks) waarbij gekeken wordt naar restrictie-naleving, out-of-distribution (OOD) generalisatie, en de afweging tussen veiligheid, taaksucces en interventierates.
Vergelijkende Analyse: Een vergelijking tussen het voorgestelde algemene taal-geconditioneerde filter en gespecialiseerde, niet-taal-geconditioneerde filters die per restrictie zijn getraind.
VLM Benchmarking: Een evaluatie van 11 VLMs als potentiële foutfuncties voor robotmanipulatie, waarbij hun huidige beperkingen in betrouwbaarheid worden belicht.
Dataset Release: De auteurs verbinden zich aan het vrijgeven van een dataset van 5.000 LIBERO-stijl manipulatie-trajecten met veiligheidsschendingen.

Experimentele Resultaten

De experimenten werden uitgevoerd in RoboSuite-omgevingen met zowel Ground Truth (GT) als Vision-Language (VL) observatie-modaliteiten.

Veiligheid vs. Taaksucces: Zowel de algemene (taal-geconditioneerde) als de specifieke (restrictie-specifieke) filters verminderden de botsingspercentages aanzienlijk vergeleken met de ongefilterde nominale policy. In GT-settings behielden de filters de taakprestaties goed. In VL-settings bleven de botsingspercentages hoger, wat wordt toegeschreven aan het verlies van ruimtelijke kenmerken tijdens token-aggregatie (mean pooling).
Algemeen vs. Gespecialiseerd Filter:
- In Stack Blocks (sequentiële restricties) presteerde het algemene filter beter dan de specifieke filters op het gebied van Order-Correctness (OC), wat suggereert dat het delen van een filter kennisoverdracht mogelijk maakt tussen gerelateerde restricties (bijv. "pak rood" versus "pak blauw").
- In Safe Grab en Safe Wipe (botsingsvermijding) waren de resultaten gemengd. Het algemene filter bereikte lagere botsingspercentages dan de specifieke filters in de VL-setting, maar soms ten koste van lagere taaksuccespercentages. In GT-settings vereiste het algemene filter aanzienlijk minder interventies (lagere IR) dan de specifieke filters, terwijl het vergelijkbare veiligheid behield.
Restrictie-specificiteit: Het algemene filter toonde het vermogen om onderscheid te maken tussen gespecificeerde obstakels en onschuldige objecten. In scènes met twee objecten greep het filter in om het genoemde obstakel te vermijden, terwijl het interactie met het ongenoemde object toestond, wat bewijst dat het niet willekeurig alle objecten vermijdt.
Out-of-Distribution (OOD) Generalisatie: Het algemene filter vertoonde gedeeltelijke transfer naar ongeziene restricties:
- Safe Grab/Wipe: De prestaties verslechterden bij testen op ongeziene objecttypen (bijv. mokapot, geel boek), waarbij de botsingspercentages toenamen.
- Stack Blocks: Het filter generaliseerde goed naar ongeziene kleuren (Color-Only shift), maar de prestaties daalden wanneer zowel vorm als kleur onbekend waren. Analyse suggereerde dat het filter steunt op zowel kleur- als vormkenmerken; wanneer de prompt een vorm specificeerde die afwezig was in de scène (bijv. "kubus" terwijl alleen cilinders aanwezig waren), kon het filter het doelwit nog steeds identificeren op basis van kleur, zij het met verminderde nauwkeurigheid.
VLM Betrouwbaarheid: De evaluatie van 11 VLMs als fout-oracles onthulde dat hoewel sommige modellen (bijv. Gemini Robotics-ER 1.6) een hoge nauwkeurigheid voor 'geen fout' behaalden, ze vaak faalden in het detecteren van werkelijke veiligheidsschendingen (lage fout-nauwkeurigheid). Dit geeft aan dat huidige VLMs nog niet betrouwbaar genoeg zijn om direct als runtime-fout-oracles te dienen, maar wel als zwakke annotatoren voor het trainen van geleerde foutfuncties kunnen fungeren.

Betekenis en Claims

Het artikel claimt aan te tonen dat er een pad is naar algemene veiligheidsfilters die kunnen adapteren aan diverse, via taal gespecificeerde veiligheidseisen zonder dat er een aparte model nodig is voor elke specificatie. De auteurs stellen dat een enkel geleerd veiligheidscritic meerdere restricties kan vertegenwoordigen, actieve restricties kan samenstellen uit een enkele instructie, en kan generaliseren naar ongeziene restrictie-instanties binnen een familie.

Het werk suggereert dat veiligheidsfilters een vergelijkbare transitie kunnen ondergaan als algemene VLA-policies: van vaste, specificatie-specifieke monitors naar algemene, specificatie-geconditioneerde handhavingsmechanismen. Dit zou het mogelijk maken om veiligheidsfilters op schaal te trainen en aan te passen voor downstream-taken, analoog aan de ontwikkeling van algemene policies.

De auteurs blijven echter bescheiden over de huidige staat van de technologie. Zij erkennen dat:

Het algemene filter geen garantie biedt op restrictie-naleving, vooral onder OOD-condities.
Prestaties verslechteren wanneer restricties niet tijdens de training zijn gezien.
De huidige aanpak beperkt is tot specifieke soorten restricties (vermijden/benaderen) en nog geen complexe temporele logica of volledig willekeurige veiligheidsspecificaties afhandelt.
Huidige VLMs onvoldoende zijn als directe runtime-oracles voor het definiëren van foutsets.

Het artikel concludeert dat hoewel het voorgestelde framework veelbelovend is voor partiële transfer en generalisatie, verder onderzoek nodig is om token-aggregatiestrategieën te verbeteren, VLA-backbones gezamenlijk te finetunen met veiligheidscritics, en robuustere methoden te ontwikkelen voor het afhandelen van ambigue of complexe taalrestricties.