🤖 AI

WatchAct: A Benchmark for Behavior-Grounded Robot Manipulation

Dit artikel introduceert WatchAct, een uitgebreide benchmark bestaande uit 3.000 langetermijninstanties die het vermogen van robotmanipulatiesystemen evalueert om door middel van video's te redeneren over waargenomen menselijk gedrag, waarbij wordt onthuld dat huidige state-of-the-art modellen aanzienlijk moeite hebben met taken die vragen om event grounding, procedurele redenering, intentie-inferentie en episodische tracking.

Oorspronkelijke auteurs: Baiqi Li, Ce Zhang, Yu Fang, Yue Yang, Shangzhe Li, Mingyu Ding, Gedas Bertasius

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Baiqi Li, Ce Zhang, Yu Fang, Yue Yang, Shangzhe Li, Mingyu Ding, Gedas Bertasius

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een keuken binnenloopt en een rommel ziet: een persoon heeft een lade geopend, drie kruidenpotjes tevoorschijn gehaald om te koken, en ze verspreid op het aanrecht achtergelaten. Je zegt tegen een robot: "Leg alles terug waar het vandaan kwam."

Voor een mens is dit eenvoudig. Je herinnert je wat er is gebeurd (de potjes kwamen uit de lade), in welke volgorde (ze werden één voor één gepakt) en waarom (om te koken). Je gebruikt de video van de acties van de persoon in je geest om de oplossing te bedenken.

Voor de robots van vandaag is dit een nachtmerrie. De meeste robotbenchmarks laten de robot slechts één statische foto zien van het rommelige aanrecht en vragen de robot om de boel op te ruimen. Ze geven de robot niet de "film" van hoe de rommel is ontstaan. Zonder die context is de robot aan het gokken.

WatchAct is een nieuwe test (een benchmark) ontworpen om te zien of robots daadwerkelijk een video van een mens kunnen bekijken, kunnen begrijpen wat diegene heeft gedaan, en vervolgens de taak kunnen opruimen of voortzetten op basis van dat geheugen.

Hier is een uitsplitsing van hoe het werkt, met behulp van eenvoudige analogieën:

1. De Test: "De Detective en de Acteur"

Denk aan de robot als een detective en de video als politielint bij een plaats delict.

De Input: De robot krijgt een video van een mens die iets doet (zoals een kom verplaatsen) en een tekstuele instructie (zoals "Zet de kom terug").
Het Doel: De robot moet het verborgen verhaal ontrafelen. Verplaatste de mens de kom omdat hij honger had? Verplaatste hij de kom naar links of naar rechts? Waar kwam het oorspronkelijk vandaan?
De Schaal: De test bevat 3.000 verschillende scenario's (zoals een enorme bibliotheek van korte films) verdeeld over 14 verschillende soorten uitdagingen.

2. De Vier "Breinskills" die worden Getest

De onderzoekers hebben de taken onderverdeeld in vier categorieën, die als verschillende niveaus van detectivewerk fungeren:

Event Grounding (Sporen opsporen): Kan de robot een video bekijken en zeggen: "Ah, op 3 seconden pakte de mens de rode beker op"? Het is alsof je het specifieke moment in een film vindt dat ertoe doet.
Procedural Reasoning (Het recept begrijpen): Kan de robot de volgorde van gebeurtenissen begrijpen? Als een mens een boek in een plank heeft gezet en daarna een kopje op tafel, moet de robot die sequentie kennen om deze te kunnen omkeren of voort te zetten.
Implicit Intent Inference (Gedachten lezen): Soms zeggen mensen niet expliciet wat ze willen; ze maken alleen een gebaar. Als een mens vaag naar een potje wijst, kan de robot dan raden: "Oh, ze willen dat ik die openmaak"?
Episodic Reasoning (De Geheugentest): Kan de robot onthouden hoe de scène veranderde? Als een mens een stoel van de hoek naar het midden heeft verplaatst, moet de robot weten wat de "oorspronkelijke plek" van de stoel was om deze terug te zetten.

3. Hoe ze de Robots Testten

De onderzoekers vroegen de robot niet alleen om "het te doen". Ze braken het brein van de robot in twee delen om te zien waar het misgaat:

De Planner (Het Brein): Kan de robot de video bekijken en een stapsgewijs plan schrijven? (bijv. "1. Pak potje op. 2. Beweeg naar plank.")
De Doer (De Handen): Als je de robot een perfect plan geeft, kan de robot dan daadwerkelijk zijn armen bewegen om het uit te voeren?

Ze testten dit in een computersimulatie en op een echte robotarm (een Franka Research 3).

4. De Resultaten: "De Robots zijn Nog Aan het Leren"

De resultaten waren nederig. Zelfs de slimste AI-modellen van vandaag hadden grote moeite.

Het "Brein" Faalde: Wanneer gevraagd werd om een video te bekijken en een plan te schrijven, kreeg de beste AI (Gemini-3.1-Pro) slechts 36,8% goed. Mensen haalden 97,1%. De AI is in feite bij meer dan de helft van de taken aan het gokken.
De "Handen" Faalden: Zelfs toen de onderzoekers de robot een perfect plan gaven (zodat het "brein"-gedeelte geen probleem was), slaagde de "handen" van de robot (het beleid/policy) slechts 21,5% van de tijd. Het is alsof je een perfect recept hebt, maar de taart laat aanbranden omdat je niet weet hoe je de oven moet gebruiken.
De Werkelijkheid is Moeilijker: Toen ze dit op een echte robotarm probeerden, daalde het succespercentage zelfs verder naar 14,0%.

5. Waarom Falen Ze?

Het onderzoek vond drie hoofdoorzaken voor het falen van de robots:

Lange Verhalen: Als de video lang is en veel stappen bevat (zoals een kookproces van 6 stappen), raakt de robot in de war en vergeet hij het begin tegen de tijd dat hij bij het einde is.
Perspectiefproblemen: Als de video vanuit een vreemde hoek is gefilmd (bijvoorbeeld van achter de mens gezien) of als de instructies zeggen "naar de linker van de mens", raakt de robot de weg kwijt. Hij kan "links van de mens" niet vertalen naar "links van de robot".
Nieuwe Objecten: Als de robot een object ziet dat hij nog niet eerder heeft gezien (zoals een nieuw type doos), bevriest hij. Hij kan zijn kennis niet generaliseren.

De Kern van het Verhaal

WatchAct is een reality check. Het laat zien dat hoewel robots goed worden in het verplaatsen van dingen in een statische kamer, ze verschrikkelijk zijn in het bekijken van mensen, het begrijpen van het verhaal achter de rommel en het uitzoeken wat de volgende stap is.

Het paper concludeert dat we nog ver verwijderd zijn van robots die echt naast ons kunnen werken in een huis, omdat ze nog steeds niet kunnen "kijken en leren" zoals mensen dat doen. Ze moeten veel beter worden in het leggen van de verbanden in een video voordat ze ons in de keuken kunnen helpen.

Technische Samenvatting: WatchAct – Een Benchmark voor Gedrag-Gegronde Robotmanipulatie

Probleemstelling

Robots die opereren in gedeelde menselijke omgevingen moeten niet alleen redeneren over de huidige staat van een scène, maar ook over de geschiedenis van menselijke acties, de sequentie van gebeurtenissen en de onuitgesproken intenties daarachter. Hoewel taal instructies biedt, laat het vaak cruciale ruimtelijke lay-outs, objectgeschiedenissen en procedurele aanwijzingen ondergespecificeerd. Video vangt deze elementen daarentegen van nature wel op. Bestaande manipulatie-benchmarks koppelen echter doorgaans een taalinstructie aan een enkele statische afbeelding of behandelen video enkel als een demonstratie om te imiteren. Er is een gebrek aan evaluatiekaders die van een robot vereisen dat hij redeneert over geobserveerd menselijk gedrag om taakrelevante gebeurtenissen, procedurele structuren en episodische veranderingen af te leiden voordat hij een manipulatietaak uitvoert.

Methodologie

De WatchAct Benchmark

WatchAct is een benchmark bestaande uit 3.000 langlopende instanties verspreid over 14 verschillende taken, georganiseerd in vier capaciteitsdomeinen afgeleid van de cognitieve eisen bij het observeren van een andere agent:

Event Grounding (Gebeurtenis-verankering): Het identificeren van taakrelevante acties, staten of momenten (bijv. Fine-Grained Action, Count, Ordinal, State Change, Moment).
Procedural Reasoning (Procedureel Redeneren): Het herstellen van de temporele structuur van actiesequenties (bijv. Imitation, Reversal, Temporal Sort).
Implicit Intent Inference (Impliciete Intentie-inferentie): Het afleiden van onuitgesproken doelen uit nonverbale signalen of ambigue referenties (bijv. Nonverbal Cue, Reference Disambiguation).
Episodic Reasoning (Episodisch Redeneren): Het volgen van scèneveranderingen om hogere-orde planning te ondersteunen (bijv. Restore Previous State, Task Continuation, Error Correction, Conditional Execution).

Constructie-pipeline:
Elke instantie koppelt een real-world menselijke actievideo aan een taalinstructie en een overeenkomstige, uitvoerbare simulator-taak in LIBERO. Het constructieproces omvat:

Schema Generatie: Het gebruik van een frontier LLM (GPT-5.1) om filmrichtlijnen en bijbehorende BDDL-taakdefinities te genereren.
Data Constructie: Het opnemen van menselijke demonstranten die de richtlijnen volgen en het instantiëren van overeenkomstige LIBERO-taken.
Alignment (Afstemming): Het waarborgen van consistentie tussen de video en de simulator wat betreft executiestaat, scène (objectcategorieën, aantallen, lay-outs via gedeelde benoemde regio's) en doelen.
Verificatie: Een vierstaps kwaliteitscontrole (Taakvaliditeit, Simulator Uitvoerbaarheid, Oracle-Plan Correctheid en Video-Simulator Afstemming) zorgt ervoor dat alleen geldige instanties worden behouden.

Ruimtelijke Variatie:
Om ruimtelijke generalisatie te testen, varieert de benchmark camerastandpunten (frontaal, zijdelings, schuin) en taalreferentiekaders (mens-gecentreerd versus camera-gecentreerd).

Evaluatieprotocol

WatchAct introduceert een ontkoppeld evaluatieprotocol om foutmodi in de perceptie-naar-actie keten te isoleren:

Video-naar-Plan Redeneren: Meet het vermogen van Vision-Language Models (VLMs) om een hoog-niveau plan te genereren vanuit de video en instructie. Succes wordt gemeten door een symbolische executor die controleert of het plan voldoet aan de succesvoorwaarden van de taak (Plan SR).
Policy Execution (Oracle Plannen): Meet het vermogen van laag-niveau policies om een ground-truth hoog-niveau plan uit te voeren zonder planningsfouten (Task SR).
Geïntegreerde Pipeline: Meet de end-to-end prestaties waarbij een VLM een plan genereert en een policy dit uitvoert.

Belangrijkste Bijdragen

Benchmark: WatchAct is de eerste benchmark die robotmanipulatie evalueert die gegrond is in geobserveerd menselijk gedrag, met 3.000 instanties over 14 taken in vier cognitief gemotiveerde domeinen.
Ontkoppelde Evaluatie: Een protocol dat apart de prestaties van VLM-redenering, policy-executie onder oracle plannen en geïntegreerde pipeline-prestaties meet, waardoor expliciet wordt blootgelegd waar fouten ontstaan.
Empirische Bevindingen: Een evaluatie van 9 VLMs en 4 policies in simulatie en op een echte Franka Research 3 robot, waarbij specifieke knelpunten in huidige systemen zijn geïdentificeerd.

Resultaten

Prestaties in Simulatie

Video-naar-Plan Redeneren: Huidige VLMs worstelen aanzienlijk. Het beste model, Gemini-3.1-Pro, bereikt slechts 36,8% Plan SR, een gat van 60,3 punten vergeleken met menselijke annotatoren (97,1%). Open-source modellen presteren nog lager (bijv. Qwen3-VL-235B-Thinking met 18,4%).
Policy Execution: Zelfs met oracle plannen slagen policies er niet in om langlopende taken betrouwbaar uit te voeren. De beste policy, $\pi0.5$ , bereikt slechts 21,5% Task SR. Andere policies (OpenVLA, UniVLA, LingBot-VA) vallen onder de 2%.
Geïntegreerde Pipeline: Fouten stapelen zich op in de volledige pipeline. Het beste geïntegreerde systeem (Gemini-3.1-Pro + $\pi0.5$ ) bereikt slechts een 16,3% Success Rate (SR).

Diagnostische Analyse

Long-Horizon Scaling: Prestaties nemen scherp af naarmate de planlengte toeneemt. Voor GPT-5.4 daalt de Plan SR van 36,7% (2 acties) naar 7,2% (6 acties).
Ruimtelijk Redeneren: Mens-gecentreerde referentiekaders verslechteren de prestaties aanzienlijk (bijv. een daling van 19,5 punten voor GPT-5.4) vergeleken met camera-gecentreerde kaders.
Generalisatie: Policies die zijn gefinetuned op LIBERO-data generaliseren slecht naar out-of-domain scenario's (nieuwe objecten/instructies). $\pi0.5$ daalt van 47,1% Task SR (in-domain) naar 10,6% (out-of-domain).

Real-Robot Experimenten

Experimenten op een Franka Research 3 robot met een Robotiq-2F85 gripper bevestigden de trends in simulatie. De geïntegreerde pipeline bereikte slechts een 14,0% SR. De generalisatiekloof bleef bestaan, waarbij $\pi0.5$ onder oracle plannen daalde van 44,0% (in-domain) naar 8,0% (out-of-domain).

Betekenis en Claims

De auteurs stellen dat WatchAct dient als een kritieke testomgeving voor de redeneer- en controlecapaciteiten die vereist zijn voor robots die naast mensen werken. Het artikel stelt dat:

Huidige systemen "ver van het oplossen zijn" van gedrag-gegronde manipulatie.
De primaire bronnen van falen mens-gecentreerd ruimtelijk redeneren, long-horizon planning en de betrouwbaarheid van fysieke executie zijn.
Het ontkoppelde protocol onthult dat noch de planningsfase (VLMs), noch de executiefase (policies) momenteel robuust genoeg is voor deze taakklasse.

Het artikel concludeert door te wijzen op beperkingen, waaronder de abstractie van contactdynamica in simulatie (hoewel real-robot trends overeenkwamen), de gestructureerde aard van de menselijke video's en de beperkte high-level actieruimte, wat wijst op toekomstig onderzoek.