💻 computer science

ContactGuard: Pre-Contact Execution Monitoring with Action-Conditioned Latent World Models

ContactGuard is een systeem voor monitoring van executie vóór contact dat gebruikmaakt van een actie-geconditioneerd latent wereldmodel, getraind op ongelabelde data, om visuele gevolgen op de korte termijn van geplande acties te voorspellen, wat realtime detectie van fouten en afbreeksignalen mogelijk maakt voor contactrijke manipulatietaken zonder de onderliggende policy aan te passen.

Oorspronkelijke auteurs: Gehan Zheng, Matthew Johnson-Roberson, Weiming Zhi

Gepubliceerd 2026-08-14

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gehan Zheng, Matthew Johnson-Roberson, Weiming Zhi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots leren om huishoudelijke taken uit te voeren, maar ze zijn nog een beetje onhandig, zoals een peuter die probeert blokken te stapelen. In het vakgebied van de robotica, specif %specifiek "manipulatie", is het doel om machines objecten te laten grijpen, verplaatsen en ordenen, precies zoals mensen dat doen. De grote uitdaging is niet alleen het bewegen van de arm; het is het moment waarop de hand van de robot het object daadwerkelijk aanraakt. Dit wordt "contact" genoemd. Als een robot een beker benadert onder de verkeerde hoek, kan hij de beker omver stoten, eraf glijden of de beker wegduwen voordat hij zelfs maar probeert hem op te tillen. Zodra die onhandige botsing plaatsvindt, is de scène verpest en moet de robot opnieuw beginnen.

Om dit op te lossen, gebruiken wetenschappers "visuele motorische beleidsregels" (visuomotor policies). Denk aan deze als het brein en het zenuwstelsel van de robot gecombineerd. Ze kijken naar de camerabeelden (visie) en beslissen wat de motoren vervolgens moeten doen (motorische controle). Moderne robots bewegen vaak in "chunks", wat betekent dat ze een hele reeks bewegingen tegelijk plannen — zoals "reiken, vingers sluiten, tillen" — in plaats van elke kleine beweging één voor één te beslissen. Het probleem is dat tegen de tijd dat de robot doorheeft dat hij een fout gaat maken, het vaak al te laat is om te stoppen. Het papier dat we nu gaan verkennen stelt een eenvoudige maar krachtige vraag: Kunnen we een "veiligheidsnet" bouwen dat naar de geplande bewegingen van de robot kijkt en voorspelt of deze zullen mislukken voordat de robot het object daadwerkelijk aanraakt?

Maak kennis met ContactGuard: De Kristallen Bol van de Robot

De onderzoekers achter dit artikel, Gehan Zheng en collega's, hebben een systeem gebouwd genaamd ContactGuard. Je kunt dit zien als een superintelligente, onzichtbare co-piloot die naast het brein van de robot zit. Zijn enige taak is om naar de komende "chunk" aan acties van de robot te kijken en "STOP!" te roepen als hij een ramp ziet aankomen.

Zo werkt het, met een leuke analogie: Stel je voor dat je een videogame speelt waarin je over een kuil moet springen. Je drukt op een knop om te springen. Een normale robot zou gewoon springen en hopen op het beste. Als hij mist, valt hij in de kuil. ContactGuard is als een vriend met een kristallen bol. Voordat je zelfs de springknop indrukt, kijkt je vriend in de kristallen bol, ziet de sprong die je van plan bent te maken, en zegt: "Wacht even, die sprong is te kort! Je gaat vallen!" Omdat je vriend de val voorspelde voordat je bewoog, kun je ervoor kiezen om niet te springen, en blijf je veilig.

De Magie van het "Latente Wereldmodel"
Hoe werkt deze kristallen bol? Het artikel gebruikt iets dat een "Latent World Model" wordt genoemd. In het verleden betekende het voorspellen van de toekomst voor een robot het genereren van een perfecte, fotorealistische video van hoe de volgende seconde eruit zou zien. Dat is ongelooflijk moeilijk en traag, alsovergelijk met het schilderen van een meesterwerk in een fractie van een seconde.

In plaats daarvan gebruikt ContactGuard een kortere route. Het probeert niet de afbeelding te schilderen; het probeert het verhaal van de afbeelding te begrijpen. Het vertaalt de camerabeelden naar een compacte "samenvatting" (een latente embedding). Het leert hoe deze samenvattingen veranderen wanneer de robot beweegt. Dus in plaats van te voorspellen "een wazige beker zal vallen", voorspelt het "de samenvatting van de scène zal veranderen op een manier die meestal op falen duidt". Dit is veel sneller en slimmer.

De "Pre-Contact" Superkracht
Het coolste deel van ContactGuard is de timing. Het wacht niet tot de robot de beker al aanraakt. Het kijkt naar het plan vlak voordat de grijper sluit.

Het Plan: Het hoofdbrein van de robot zegt: "Ik ga mijn grijper over 0,5 seconde sluiten."
De Controle: ContactGuard neemt dat plan en voert een snelle simulatie in zijn hoofd uit (een "rollout"). Het vraagt: "Als de robot precies dit doet, hoe ziet de wereld er dan 0,5 seconde later uit?"
Het Verdict: Het controleert het resultaat. Als de simulatie laat zien dat de beker glijdt of dat de grijper de beker mist, stuurt het een signaal om de actie af te breken. De robot stopt, opent zijn hand en probeert het opnieuw, zonder de beker ooit echt geraakt te hebben.

Wat de Experimenten Lieten Zien
Het team testte dit op een echte robot met een arm van 14 gewrichten en drie camera's. Ze probeerden vier verschillende taken: het oppakken van een beker, een doos, een potlood en het vouwen van een handdoek. Dit zijn lastige taken omdat de objecten klein, glad of zacht zijn.

De resultaten waren indrukwekkend. ContactGuard was veel beter in het opsporen van fouten dan andere methoden:

Beter dan "Huidig Zicht": Als je alleen naar het huidige beeld van de robot kijkt zonder de toekomst te verbeelden, mis je veel gevaren. De "verbeelding" van ContactGuard gaf het een enorme voorsprong.
Beter dan "Slechte Gissingen": Ze testten wat er gebeurt als ze het systeem een verkeerd actieplan geven (zoals het door elkaar halen van de volgorde van bewegingen). De voorspelling van het systeem daalde naar bijna willekeurig gokken, wat bewees dat het systeem echt het specifieke actieplan gebruikte om zijn beslissing te nemen, en niet alleen naar de achtergrond keek.
Snelheid: Het was snel genoeg om in real-time te draaien. Op een krachtige computer duurde het minder dan 20 milliseconden om het plan te controleren en een beslissing te nemen. Dat is sneller dan een menselijke knipoog, dus het vertraagt de robot niet.

Wat het (nog) niet kan
Het artikel is zeer eerlijk over de beperkingen. ContactGuard is een "veto"-systeem, geen "fix-het"-systeem. Als het "Stop" zegt, stopt de robot. Maar ContactGuard weet niet hoe het het probleem moet oplossen of hoe het op een andere manier een object moet pakken. Het zegt alleen: "Doe die specifieke beweging niet." De robot heeft een apart systeem nodig om te bepalen wat hij daarna moet doen. Bovendien werkt het alleen voor korte acties (zoals een enkele greep), niet voor lange, complexe taken die minuten aan planning vereisen.

Waarom dit ertoe doet
Dit onderzoek suggereert dat we niet het volledige robotbrein hoeven te herbouwen om het veiliger te maken. We kunnen er gewoon een "bewaker"-laag bovenop bestaande robots plaatsen. Deze bewaker gebruikt een slimme, snelle manier om de toekomst te verbeelden en de robot te stoppen voordat hij een rommel maakt. Het suggere heeft dat door robots te leren om "vooruit te denken" op een compacte, samenvattende manier, we ze veel betrouwbaarder kunnen maken in de echte wereld, waardoor die frustrerende momenten worden voorkomen waarop een robot een glas water omver stoot omdat hij met de verkeerde kant naar toe kwam.

=== TECHNISCHE SAMENVATTING ===

Technische Samenvatting: ContactGuard

Probleemstelling

In contact-rijke robotische manipulatie treden fouten vaak op door kleine afwijkingen nabij het moment van contact (bijv. uit het midden benaderen, objecten een duwtje geven of voortijdige grijper sluiting). Deze fouten zijn moeilijk te vermijden voor visuomotorische policies onder omstandigheden van occlusie, rommel of distributieverschuivingen. Cruciaal is dat tegen de tijd dat conventionele detectoren een fout identificeren, de robot vaak al aan het contact gebonden is, wat correctie moeilijk of onmogelijk maakt. Dit is bijzonder beperkend in setups met een polscamera, waarbij nauwe beelden helpen bij de observatie, maar slechte benaderingsbanen de scène al kunnen verstoren voordat detectie plaatsvindt.

Huidige methoden voor executiebewaking vertrouwen vaak op het detecteren van fouten nadat ze zijn opgetreden of vereisen gezamenlijke training met de policy. Er is behoefte aan een pre-contact executiebewaker die de waarschijnlijke consequentie van een naderende actie-chunk kan evalueren voordat fysiek contact plaatsvindt, waardoor het systeem een slechte interactie kan afbreken zonder de onderliggende policy aan te passen.

Methodologie: ContactGuard

ContactGuard is een pre-contact executiebewaker ontworpen voor chunked visuomotorische policies. Het werkt als een policy-ontkoppelde predictieve verifieerder die meeloopt met een bestaande "black-box" policy. Het systeem bestaat uit drie hoofdonderdelen:

1. Actie-geconditioneerd Latent Wereldmodel

In plaats van fotorealistische toekomstige frames te genereren (wat computationeel duur en ambigu is), leert ContactGuard een compacte representatie van toekomstige uitkomsten.

Architectuur: Gebaseerd op het Joint-Embedding Predictive Architecture (JEPA) principe, specifiek aangepast aan het LeWorldModel (LeWM) framework. Het gebruikt een gedeelde multi-view visuele encoder (ViT-Tiny) om gesynchroniseerde camerabeelden naar een latente ruimte te mappen.
Voorspelling: Een causale Transformer-predictor, geconditioneerd op de geplande actie-chunk van de robot, voorspelt de evolutie van deze latente embeddings. Het voorspelt hoe de visuele staat-embedding zal veranderen onder de specifieke acties die door de policy worden voorgesteld.
Training: Het wereldmodel wordt getraind op ongelabelde robottrajecten met behulp van next-latent regressie met een SIGReg anti-collapse regularisator. Dit stelt het model in staat om taak-agnostische visuele dynamiek te leren zonder dat er succes/fout-labels nodig zijn.

2. Lichtgewicht Failure Probe

Zodra het wereldmodel is getraind en bevroren, wordt een lichtgewicht classifier getraind om de voorspelde toekomstige latents te interpreteren.

Input: De probe neemt de voorspelde latente embedding ( $\hat{z}_{t+K}$ ) die voortkomt uit het uitrollen van het model $K$ stappen onder de geplande actie-chunk.
Training: Een eenvoudige logistische regressie-probe wordt getraind op een kleine, gelabelde set pre-contact clips (binaire succes/fout). Het brengt de voorspelde toekomstige latent in kaart naar een foutkans $P(\text{fail})$ .
Ontkoppeling: Dit scheidt het leren van visuele dynamiek (ongelabeld, grote hoeveelheid data) van de uitkomst-supervisie (gelabeld, kleine hoeveelheid data).

3. Online Pre-Contact Monitoring Loop

Tijdens de uitvoering werkt ContactGuard in realtime samen met de visuomotorische policy (bijv. ACT):

Trigger: Het systeem scant de aankomende actie-chunk op een naderend contactevent (bijv. het sluiten van de grijper).
Anchor: Wanneer het contactevent binnen een vooraf gedefinieerde horizon ( $k_{pre}$ ) valt, wordt de monitor geactiveerd.
Rollout: Het bevroren wereldmodel wordt $K$ stappen vooruit gerold met de geplande acties van de policy om een voorspelde post-contact latent te generen.
Verificatie: De bevroren probe scoort deze latent. Als $P(\text{fail}) > \tau$ (een taakspecifieke drempelwaarde), breekt het systeem de uitvoering af voordat de grijper sluit. Zo niet, dan gaat de policy ongewijzigd door.

Belangrijkste Bijdragen

Formulering van Pre-Contact Monitoring: Het artikel formuleert het probleem van het evalueren van de consequentie van een naderend contact-actie voordat de toezegging plaatsvindt, specifiek voor chunked visuomotorische policies.
Actie-geconditioneerde Latente Monitor: Introductie van ContactGuard, dat een latent wereldmodel gebruikt om compacte multi-view visuele embeddings uit te rollen onder geplande acties, waarbij pixel-niveau videovoorspelling wordt vermeden.
Demonstratie van de Nut van Toekomstige Latents: Door middel van ablatie-studies tonen de auteurs aan dat voorspelde toekomstige latents informatie bevatten over fouten die niet beschikbaar is in de huidige observaties of de ruwe geplande acties alleen.
Policy-Ontkoppelde Implementatie: Het systeem maakt live real-robot pre-contact afbrekingen mogelijk zonder de onderliggende policy te wijzigen, naar alternatieve acties te zoeken of pixel-niveau video's te genereren.

Experimentele Resultaten

De auteurs evalueerden ContactGuard op vier real-world contact-rijke manipulatietaken (Pick-and-place met bekers/dozen, Pencil-and-notebook, Towel-fold) met behulp van een 14-DoF dual-arm robot.

Prestaties vs. Baselines: ContactGuard presteerde significant beter dan:
- Direct-linear: Een baseline die fouten voorspelt direct vanuit de huidige staat en acties zonder verbeelding.
- LeWM: Een single-view wereldmodel baseline.
- Current Latent: Een ablatie waarbij de probe de huidige latent gebruikt in plaats van de voorspelde toekomstige latent.
- Externe Detectoren: Gevestigde runtime foutdetectoren zoals FAIL-Detect, RND en SAFE.
Belangrijkste Metrieken: ContactGuard behaalde de hoogste Balanced Accuracy en ROC AUC over alle taken. Bijvoorbeeld, op de "Cup" taak behaalde het 0.940 Balanced Accuracy vergeleken met 0.780 voor LeWM en 0.580 voor Direct-linear.
Informatiebron: Ablatie-studies bevestigden dat het signaal voortkomt uit de verbeelde consequentie van de specifieke voorgestelde actie. Het husselen van actie-chunks of het gebruiken van gecorrumpeerde acties zorgde ervoor dat de prestaties daalden tot bijna toevalsniveau, wat bewijst dat de monitor gevoelig is voor het specifieke actieplan, en niet alleen voor de visuele staat.
Runtime: Het systeem draait efficiënt op een NVIDIA RTX 5090, waarbij volledige inferentie (encode + rollout + probe) ongeveer 19 ms duurt voor een horizon van 1 seconde, ruim binnen de pre-contact tijdbudget.
Proprioceptie: Interessant genoeg zorgde het toevoegen van proprioceptieve staat (gewrichtsposities/krachten) aan het single-view model voor een afname in prestaties in hun kleine-data regime, wat suggereert dat eenvoudige staat-fusie kan fungeren als een domeinspecifieke shortcut die relevante visuele dynamica voor de grip verdringt.

Betekenis en Claims

Het artikel claimt dat actie-geconditioneerde latente verbeelding dient als een praktische basis voor het voorkomen van waarschijnlijke fouten voordat fysiek contact plaatsvindt.

Pre-emptief vs. Reactief: In tegenstelling tot methoden die fouten detecteren nadat contact de scène heeft verstoord, grijpt ContactGuard in voordat de scène verandert.
Modulariteit: Het behandelt de visuomotorische policy als een black box, wat geen gezamenlijke training of toegang tot de interne werking van de policy vereist. Dit maakt het een aan te sluitbare veiligheidslaag voor bestaande systemen.
Efficiëntie: Door in de latente ruimte te opereren in plaats van in de pixelruimte, bereikt het een hoge nauwkeurigheid met een lage computationele overhead die geschikt is voor real-time controle.
Beperkingen: De auteurs merken bescheiden op dat ContactGuard fouten voorkomt door zich te onthouden (af te breken), maar niet inherent herstelt van deze fouten of de taak na een afbreking voltooit. Toekomstig werk zou het koppelen van de monitor aan herstelmodules of multi-sample policies kunnen vereisen om alternatieve acties te selecteren.

Samenvattend demonstreert ContactGuard dat het voorspellen van de kortetermijnconsequenties van geplande acties in een compacte latente ruimte een robuuste, policy-agnostische methie biedt voor het waarborgen van veiligheid in contact-rijke robotische manipulatie.