🤖 AI

WatchAct: A Benchmark for Behavior-Grounded Robot Manipulation

Questo articolo introduce WatchAct, un benchmark completo composto da 3.000 istanze a lungo termine che valuta la capacità dei sistemi di manipolazione robotica di ragionare sul comportamento umano osservato attraverso i video, rivelando che gli attuali modelli allo stato dell'arte faticano significativamente in compiti che richiedono l'ancoraggio degli eventi, il ragionamento procedurale, l'inferenza dell'intento e il tracciamento episodico.

Autori originali: Baiqi Li, Ce Zhang, Yu Fang, Yue Yang, Shangzhe Li, Mingyu Ding, Gedas Bertasius

Pubblicato 2026-06-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Baiqi Li, Ce Zhang, Yu Fang, Yue Yang, Shangzhe Li, Mingyu Ding, Gedas Bertasius

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di entrare in una cucina e vedere un disordine: una persona ha aperto un cassetto, ha preso tre barattoli di spezie per cucinare e li ha lasciati sparsi sul bancone. Dici a un robot: "Rimetti tutto dove era prima".

Per un essere umano, questo è facile. Ricordi cosa è successo (i barattoli venivano dal cassetto), in che ordine (sono stati presi uno alla volta) e perché (per cucinare). Usi il "filmato" delle azioni della persona nella tua mente per capire la soluzione.

Per i robot di oggi, questo è un incubo. La maggior parte dei benchmark per robot mostra al robot solo una singola foto statica del bancone disordinato e gli chiede di pulire. Non forniscono al robot il "film" di come è stato creato il disordine. Senza questo contesto, il robot sta tirando a indovinare.

WatchAct è un nuovo test (un benchmark) progettato per vedere se i robot sono effettivamente in grado di guardare un video di un essere umano, capire cosa ha fatto e poi pulire o continuare il compito basandosi su quel ricordo.

Ecco una scomposizione di come funziona, usando analogie semplici:

1. Il Test: "Il Detective e l'Attore"

Pensa al robot come a un detective e al video come al nastro della scena del crimine.

L'Input: Il robot riceve un video di un essere umano che fa qualcosa (come spostare una ciotola) e un'istruzione testuale (come "Rimetti la ciotola a posto").
L'Obiettivo: Il robot deve scoprire la storia nascosta. L'essere umano ha spostato la ciotola perché aveva fame? L'ha spostata a sinistra o a destra? Da dove proveniva originariamente?
La Scala: Il test include 3.000 scenari diversi (come una vastissima biblioteca di brevi filmati) che coprono 14 diversi tipi di sfide.

2. Le Quattro "Abilità Cerebrali" Testate

I ricercatori hanno organizzato i compiti in quattro categorie, che sono come diversi livelli di lavoro investigativo:

Event Grounding (Individuare l'Indizio): Il robot è in grado di guardare un video e dire: "Ah, al secondo 3, l'essere umano ha preso la tazza rossa"? È come trovare il momento specifico in un film che conta.
Procedural Reasoning (Comprendere la Ricetta): Il robot è in grado di capire l'ordine degli eventi? Se un essere umano ha messo un libro su uno scaffale e poi una tazza sul tavolo, il robot deve conoscere quella sequenza per invertirla o continuarla.
Implicit Intent Inference (Leggere la Mente): A volte gli esseri umani non dicono ciò che vogliono; semplicemente gesticolano. Se un essere umano indica vagamente un barattolo, il robot può intuire: "Oh, vuole che io lo apra"?
Episodic Reasoning (Il Test della Memoria): Il robot può ricordare come la scena è cambiata? Se un essere umano ha spostato una sedia dall'angolo al centro, il robot deve sapere qual era la "casa originale" della sedia per rimetterla a posto.

3. Come Hanno Testato i Robot

I ricercatori non si sono limitati a chiedere al robot di "farlo". Hanno diviso il "cervello" del robot in due parti per vedere dove fallisce:

Il Planner (Il Cervello): Il robot è in grado di guardare il video e scrivere un piano passo dopo passo? (es. "1. Prendi il barattolo. 2. Spostalo sullo scaffale.")
Il Doer (Le Mani): Se dai al robot un piano perfetto, riesce effettivamente a muovere le braccia per farlo?

Hanno testato questo in una simulazione al computer e su un vero braccio robotico (un Franka Research 3).

4. I Risultati: "I Robot Stanno Ancora Imparando"

I risultati sono stati umilianti. Anche i modelli di IA più avanzati disponibili oggi hanno faticato enormemente.

Il "Cervello" è Fallito: Quando gli è stato chiesto di guardare un video e scrivere un piano, la migliore IA (Gemini-1.5-Pro) ha avuto successo solo nel 36,8% dei casi. Gli umani hanno ottenuto il 97,1%. L'IA sta essenzialmente tirando a indovinare in più della metà dei compiti.
Le "Mani" sono Fallite: Anche quando i ricercatori hanno fornito al robot un piano perfetto (così che la parte del "cervello" non fosse il problema), le "mani" del robot (la policy) hanno avuto successo solo nel 21,5% dei casi. È come avere una ricetta perfetta ma bruciare la torta perché non sai usare il forno.
Il Mondo Reale è Più Difficile: Quando hanno provato questo su un vero braccio robotico, il tasso di successo è sceso ulteriormente al 14,0%.

5. Perché Falliscono?

La ricerca ha scoperto tre ragioni principali per cui i robot stanno fallendo:

Storie Lunghe: Se il video è lungo e ha molti passaggi (come un processo di cucina in 6 fasi), il robot si confonde e dimentica l'inizio quando arriva alla fine.
Problemi di Prospettiva: Se il video è filmato da un'angolazione strana (come da dietro l'essere umano) o se le istruzioni dicono "alla sinistra dell'essere umano", il robot si perde. Non riesce a tradurre "sinistra dell'umano" in "sinistra del robot".
Nuove Cose: Se il robot vede un oggetto che non ha mai visto prima (come un nuovo tipo di scatola), si blocca. Non riesce a generalizzare la sua conoscenza.

Il Punto Fondamentale

WatchAct è un bagno di realtà. Dimostra che mentre i robot stanno diventando bravi a spostare le cose in una stanza statica, sono terribili nel guardare le persone, capire la storia dietro il disordine e capire cosa fare dopo.

Il documento conclude che siamo lontani dall'avere robot che possano davvero lavorare accanto a noi in una casa, perché non sono ancora in grado di "osservare e imparare" come fanno gli esseri umani. Devono diventare molto più bravi a collegare i puntini in un video prima di poter essere affidati per aiutarci in cucina.

Riepilogo Tecnico: WatchAct – Un Benchmark per la Manipolazione Robotica Fondata sul Comportamento

Definizione del Problema

I robot che operano in ambienti condivisi con gli esseri umani devono ragionare non solo sullo stato attuale di una scena, ma anche sulla cronologia delle azioni umane, sulla sequenza degli eventi e sulle intenzioni non esplicitate che li sottendono. Sebbene il linguaggio fornisca istruzioni, spesso lascia sottospecificati aspetti critici come la disposizione spaziale, la storia degli oggetti e i segnali procedurali. Il video, al contrario, cattura naturalmente questi elementi. Tuttavia, gli attuali benchmark di manipolazione accoppiano tipicamente un'istruzione linguistica a una singola immagine statica o trattano il video meramente come una dimostrazione da imitare. Manca un framework di valutazione che richieda a un robot di ragionare sul comportamento umano osservato per inferire eventi rilevanti ai fini del compito, strutture procedurali e cambiamenti episodici prima di eseguire un compito di manipolazione.

Metodologia

Il Benchmark WatchAct

WatchAct è un benchmark composto da 3.000 istanze a lungo orizzonte distribuite su 14 compiti distinti, organizzati in quattro domini di capacità derivati dalle richieste cognitive dell'osservazione di un altro agente:

Grounding degli Eventi: Identificazione di azioni, stati o momenti rilevanti per il compito (es. Azione Fine-Grained, Conteggio, Ordinale, Cambiamento di Stato, Momento).
Ragionamento Procedurale: Recupero della struttura temporale delle sequenze di azione (es. Imitazione, Inversione, Ordinamento Temporale).
Inferenza dell'Intento Implicito: Inferenza di obiettivi non dichiarati da segnali non verbali o riferimenti ambigui (es. Segnale Non Verbale, Disambiguazione del Riferimento).
Ragionamento Episodico: Tracciamento dei cambiamenti della scena per supportare una pianificazione di alto livello (es. Ripristino dello Stato Precedente, Continuazione del Compito, Correzione dell'Errore, Esecuzione Condizionale).

Pipeline di Costruzione:
Ogni istanza accoppia un video di un'azione umana reale con un'istruzione linguistica e un compito simulato eseguibile e allineato in LIBERO. Il processo di costruzione prevede:

Generazione dello Schema: Utilizzo di un LLM all'avanguardia (GPT-5.1) per generare guide di ripresa e le corrispondenti definizioni di task in BDDL.
Costruzione dei Dati: Registrazione di dimostratori umani che seguono le guide e istanziazione dei corrispondenti compiti in LIBERO.
Allineamento: Assicurazione della coerenza tra il video e il simulatore in termini di stato di esecuzione, scena (categorie di oggetti, conteggi, layout tramite regioni nominate condivise) e obiettivi.
Verifica: Un controllo di qualità in quattro fasi (Validità del Compito, Eseguibilità nel Simulatore, Correttezza del Piano Oracle, e Allineamento Video-Simulatore) garantisce che vengano mantenute solo istanze valide.

Variazione Spaziale:
Per testare la generalizzazione spaziale, il benchmark varia i punti di vista della telecamera (frontale, laterale, obliquo) e i sistemi di riferimento linguistici (centrati sull'uomo vs centrati sulla telecamera).

Protocollo di Valutazione

WatchAct introduce un protocollo di valutazione disgiunto per isolare le modalità di errore nella catena percezione-azione:

Ragionamento Video-to-Plan: Misura la capacità dei modelli visivo-linguistici (VLM) di generare un piano di alto livello dalla video e dall'istruzione. Il successo è misurato da un esecutore simbolico che verifica se il piano soddisfa le condizioni di successo del compito (Plan SR).
Esecuzione della Policy (Piani Oracle): Misura la capacità di policy di basso livello di eseguire un piano di alto livello veritiero senza errori di pianificazione (Task SR).
Pipeline Integrata: Misura le prestazioni end-to-end dove un VLM genera un piano e una policy lo esegue.

Contributi Chiave

Benchmark: WatchAct è il primo benchmark che valuta la manipolazione robotica fondata sull'osservazione del comportamento umano, con 3.000 istanze attraverso 14 compiti in quattro domini motivati cognitivamente.
Valutazione Disgiunta: Un protocollo che misura separatamente il ragionamento dei VLM, l'esecuzione della policy sotto piani oracle e le prestazioni della pipeline integrata, esponendo esplicitamente dove si originano gli errori.
Risultati Empirici: Una valutazione di 9 VLM e 4 policy in simulazione e su un robot reale Franka Research 3, identificando colli di bottiglia specifici nei sistemi attuali.

Risultati

Prestazioni in Simulazione

Ragionamento Video-to-Plan: Gli attuali VLM faticano significativamente. Il miglior modello, Gemini-3.1-Pro, raggiunge solo il 36,8% di Plan SR, un divario di 60,3 punti rispetto agli annotatori umani (97,1%). I modelli open-source performano ancora peggio (es. Qwen3-VL-235B-Thinking al 18,4%).
Esecuzione della Policy: Anche con piani oracle, le policy non riescono a eseguire in modo affidabile compiti a lungo orizzonte. La migliore policy, $\pi0.5$ , raggiunge solo il 21,5% di Task SR. Altre policy (OpenVLA, UniVLA, LingBot-VA) scendono sotto il 2%.
Pipeline Integrata: Gli errori si cumulano nella pipeline completa. Il miglior sistema integrato (Gemini-3.1-Pro + $\pi0.5$ ) raggiunge solo il 16,3% di Success Rate (SR).

Analisi Diagnostica

Scalabilità a Lungo Orizzonte: Le prestazioni degradano drasticamente all'aumentare della lunghezza del piano. Per GPT-5.4, il Plan SR scende dal 36,7% (2 azioni) al 7,2% (6 azioni).
Ragionamento Spaziale: I sistemi di riferimento centrati sull'uomo degradano significativamente le prestazioni (es. un calo di 19,5 punti per GPT-5.4) rispetto ai sistemi centrati sulla telecamera.
Generalizzazione: Le policy affinate sui dati LIBERO generalizzano scarsamente verso scenari fuori dominio (nuovi oggetti/istruzioni). $\pi0.5$ scende dal 47,1% di Task SR (in-domain) al 10,6% (out-of-domain).

Esperimenti su Robot Reale

Gli esperimenti su un robot Franka Research 3 con una pinza Robotiq-2F85 hanno confermato le tendenze della simulazione. La pipeline integrata ha raggiunto solo il 14,0% di SR. Il divario di generalizzazione è persistito, con $\pi0.5$ che scende dal 44,0% (in-domain) all'8,0% (out-of-domain) sotto piani oracle.

Significato e Rivendicazioni

Gli autori affermano che WatchAct serve come un banco di prova critico per le capacità di ragionamento e controllo richieste per i robot che lavorano accanto alle persone. L'articolo sostiene che:

Gli attuali sistemi sono "lontani dal risolvere" la manipolazione fondata sul comportamento.
Le principali fonti di fallimento sono il ragionamento spaziale centrato sull'uomo, la pianificazione a lungo orizzonte e l'affidabilità dell'esecuzione fisica.
Il protocollo disgiunto rivela che né la fase di pianificazione (VLM) né la fase di esecuzione (policy) sono attualmente abbastanza robuste per questa classe di compiti.

L'articolo conclude notando limitazioni, tra cui l'astrazione della dinamica di contatto nella simulazione (sebbene i trend del robot reale fossero coerenti), la natura strutturata dei video umani e lo spazio di azione di alto livello ristretto, suggerendo questi come direzioni per il lavoro futuro.