🤖 AI

WatchAct: A Benchmark for Behavior-Grounded Robot Manipulation

Este artículo presenta WatchAct, un benchmark exhaustivo que comprende 3,000 instancias de largo horizonte que evalúa la capacidad de los sistemas de manipulación robótica para razonar sobre el comportamiento humano observado a través de videos, revelando que los modelos actuales de vanguardia tienen dificultades significativas con tareas que requieren fundamentación de eventos, razonamiento procedimental, inferencia de intención y seguimiento episódico.

Autores originales: Baiqi Li, Ce Zhang, Yu Fang, Yue Yang, Shangzhe Li, Mingyu Ding, Gedas Bertasius

Publicado 2026-06-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Baiqi Li, Ce Zhang, Yu Fang, Yue Yang, Shangzhe Li, Mingyu Ding, Gedas Bertasius

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que entras en una cocina y ves un desorden: una persona abrió un cajón, sacó tres frascos de especias para cocinar y los dejó esparcidos sobre la encimera. Le dices a un robot: "Pon todo de vuelta donde estaba".

Para un humano, esto es fácil. Recuerdas qué pasó (los frascos venían del cajón), en qué orden (fueron sacados uno por uno) y por qué (para cocinar). Utilizas el video de las acciones de la persona en tu mente para deducir la solución.

Para los robots de hoy, esto es una pesadilla. La mayoría de los entornos de prueba (benchmarks) para robots solo le muestran al robot una foto estática de la encimera desordenada y le piden que limpie. No le dan al robot la "película" de cómo se creó el desorden. Sin ese contexto, el robot está adivinando.

WatchAct es una nueva prueba (un benchmark) diseñada para ver si los robots pueden realmente observar un video de un humano, entender qué hizo y luego limpiar o continuar la tarea basándose en esa memoria.

Aquí tienes un desglose de cómo funciona, utilizando analogías sencillas:

1. La prueba: "El detective y el actor"

Piensa en el robot como un detective y en el video como la cinta de una escena del crimen.

La entrada (Input): El robot recibe un video de un humano haciendo algo (como mover un tazón) y una instrucción de texto (como "Pon el tazón de vuelta").
El objetivo: El robot debe descubrir la historia oculta. ¿Movió el humano el tazón porque tenía hambre? ¿Lo movió hacia la izquierda o hacia la derecha? ¿De dónde vino originalmente?
La escala: La prueba incluye 3,000 escenarios diferentes (como una enorme biblioteca de películas cortas) que cubren 14 tipos diferentes de desafíos.

2. Las cuatro "habilidades cerebrales" evaluadas

Los investigadores organizaron las tareas en cuatro categorías, que son como diferentes niveles de trabajo detectivesco:

Localización de eventos (Detectar la pista): ¿Puede el robot observar un video y decir: "Ah, en el segundo 3, el humano tomó la taza roja"? Es como encontrar el momento específico en una película que importa.
Razonamiento procedimental (Entender la receta): ¿Puede el robot entender el orden de los eventos? Si un humano puso un libro en un estante y luego una taza sobre la mesa, el robot necesita saber esa secuencia para revertirla o continuarla.
Inferencia de intención implícita (Leer la mente): A veces los humanos no dicen lo que quieren; simplemente gesticulan. Si un humano señala vagamente un frasco, ¿puede el robot adivinar: "Oh, quiere que abra eso"?
Razonamiento episódico (La prueba de memoria): ¿Puede el robot recordar cómo cambió la escena? Si un humano movió una silla desde la esquina hasta el medio, el robot necesita saber cuál era el "hogar original" de la silla para ponerla de vuelta.

3. Cómo probaron a los robots

Los investigadores no se limitaron a pedirle al robot que "lo hiciera". Dividieron el cerebro del robot en dos partes para ver dónde falla:

El Planificador (El Cerebro): ¿Puede el robot observar el video y escribir un plan paso a paso? (ej. "1. Tomar el frasco. 2. Mover al estante").
El Ejecutor (Las Manos): Si le das al robot un plan perfecto, ¿puede realmente mover sus brazos para hacerlo?

Probaron esto en una simulación por computadora y en un brazo robótico real (un Franka Research 3).

4. Los resultados: "Los robots aún están aprendiendo"

Los resultados fueron humildes. Incluso los modelos de IA más inteligentes disponibles hoy en día tuvieron serias dificultades.

El "Cerebro" falló: Cuando se les pidió observar un video y escribir un plan, la mejor IA (Gemini-3.1-Pro) solo acertó el 36.8% de las veces. Los humanos acertaron el 97.1%. La IA está esencialmente adivinando en más de la mitad de las tareas.
Las "Manos" fallaron: Incluso cuando los investigadores le dieron al robot un plan perfecto (de modo que la parte del "cerebro" no fuera el problema), las "manos" del robot (la política) tuvieron éxito solo el 21.5% de las veces. Es como tener una receta perfecta pero quemar el pastel porque no sabes cómo usar el horno.
El mundo real es más difícil: Cuando intentaron esto con un brazo robótico real, la tasa de éxito cayó aún más al 14.0%.

5. ¿Por qué fallan?

El artículo encontró tres razones principales por las que los robots están fallando:

Historias largas: Si el video es largo y tiene muchos pasos (como un proceso de cocina de 6 pasos), el robot se confunde y olvida el principio para cuando llega al final.
Problemas de perspectiva: Si el video está filmado desde un ángulo extraño (como desde detrás del humano) o las instrucciones dicen "a la izquierda del humano", el robot se pierde. No puede traducir "izquierda del humano" a "izquierda del robot".
Cosas nuevas: Si el robot ve un objeto que no ha visto antes (como un tipo de caja nuevo), se queda bloqueado. No puede generalizar su conocimiento.

La conclusión fundamental

WatchAct es un baño de realidad. Demuestra que, aunque los robots se están volviendo buenos moviendo cosas en una habitación estática, son terribles al observar a las personas, entender la historia detrás del desorden y decidir qué hacer a continuación.

El artículo concluye que estamos lejos de tener robots que puedan trabajar verdaderamente junto a nosotros en un hogar, porque todavía no pueden "observar y aprender" de la misma manera que lo hacemos los humanos. Necesitan mejorar mucho en la conexión de los puntos en un video antes de que se pueda confiar en ellos para ayudarnos en la cocina.

Resumen Técnico: WatchAct – Un Benchmark para la Manipulación Robótica Basada en el Comportamiento

Declaración del Problema

Los robots que operan en entornos compartidos con humanos deben razonar no solo sobre el estado actual de una escena, sino también sobre la historia de las acciones humanas, la secuencia de eventos y las intenciones no declaradas detrás de ellos. Si bien el lenguaje proporciona instrucciones, a menudo deja subespecificados aspectos críticos como la disposición espacial, la historia de los objetos y las claves procedimentales. El video, por el contrario, captura naturalmente estos elementos. Sin embargo, los benchmarks de manipulación existentes suelen emparejar una instrucción de lenguaje con una única imagen estática o tratan el video meramente como una demostración para ser imitada. Existe una falta de marcos de evaluación que requieran que un robot razone sobre el comportamiento humano observado para inferir eventos relevantes para la tarea, estructuras procedimentales y cambios episódicos antes de ejecutar una tarea de manipulación.

Metodología

El Benchmark WatchAct

WatchAct es un benchmark que comprende 3,000 instancias de largo horizonte a través de 14 tareas distintas organizadas en cuatro dominios de capacidad derivados de las demandas cognitivas de observar a otro agente:

Anclaje de Eventos (Event Grounding): Identificación de acciones, estados o momentos relevantes para la tarea (p. ej., Acción de Grano Fino, Contar, Ordinal, Cambio de Estado, Momento).
Razonamiento Procedimental: Recuperación de la estructura temporal de las secuencias de acción (p. ej., Imitación, Reversión, Ordenamiento Temporal).
Inferencia de Intención Implícita: Inferencia de metas no declaradas a partir de señales no verbales o referencias ambiguas (p. ej., Señal No Verbal, Desambiguación de Referencia).
Razonamiento Episódico: Seguimiento de los cambios en la escena para apoyar la planificación de alto nivel (p. ej., Restaurar Estado Previo, Continuación de Tarea, Corrección de Errores, Ejecución Condicional).

Pipeline de Construcción:
Cada instancia empareja un video de acción humana en el mundo real con una instrucción de lenguaje y una tarea de simulador alineada y ejecutable en LIBERO. El proceso de construcción involucra:

Generación de Esquemas: Uso de un LLM de frontera (GPT-5.1) para generar guías de filmación y las correspondientes definiciones de tareas BDDL.
Construcción de Datos: Grabación de demostradores humanos siguiendo las guías e instanciación de tareas de LIBERO coincidentes.
Alineación: Garantizar la consistencia entre el video y el simulador en términos de estado de ejecución, escena (categorías de objetos, conteos, disposiciones mediante regiones nombradas compartidas) y metas.
Verificación: Un control de calidad de cuatro pasos (Validez de la Tarea, Ejecutabilidad del Simulador, Corrección del Plan Oráculo y Alineación Video-Simulador) asegura que solo se retengan instancias válidas.

Variación Espacial:
Para probar la generalización espacial, el benchmark varía los puntos de vista de la cámara (frontal, lateral, oblicuo) y los marcos de referencia de lenguaje (centrados en el humano frente a centrados en la cámara).

Protocolo de Evaluación

WatchAct introduce un protocolo de evaluación desentrelazado para aislar los modos de falla en la cadena de percepción a acción:

Razonamiento de Video-a-Plan: Mide la capacidad de los Modelos de Lenguaje-Visión (VLMs) para generar un plan de alto nivel a partir del video y la instrucción. El éxito se mide mediante un ejecutor simbólico que verifica si el plan satisface las condiciones de éxito de la tarea (Plan SR).
Ejecución de Política (Planes Oráculo): Mide la capacidad de las políticas de bajo nivel para ejecutar un plan de alto nivel de verdad fundamental sin errores de planificación (Task SR).
Pipeline Integrado: Mide el rendimiento de extremo a extremo donde un VLM genera un plan y una política lo ejecuta.

Contribuciones Clave

Benchmark: WatchAct es el primer benchmark que evalúa la manipulación robótica anclada en el comportamiento observado, presentando 3,000 instancias a través de 14 tareas en cuatro dominios motivados cognitivamente.
Evaluación Desentrelazada: Un protocolo que mide por separado el razonamiento de los VLM, la ejecución de la política bajo planes oráculo y el rendimiento del pipeline integrado, exponiendo explícitamente dónde se originan los errores.
Hallazgos Empíricos: Una evaluación de 9 VLMs y 4 políticas en simulación y en un robot real Franka Research 3, identificando cuellos de botella específicos en los sistemas actuales.

Resultados

Rendimiento en Simulación

Razonamiento de Video-a-Plan: Los VLMs actuales tienen dificultades significativas. El mejor modelo, Gemini-3.1-Pro, logra solo un 36.8% de Plan SR, una brecha de 60.3 puntos respecto a los anotadores humanos (97.1%). Los modelos de código abierto rinden aún más bajo (p. ej., Qwen3-VL-235B-Thinking con 18.4%).
Ejecución de Política: Incluso con planes oráculo, las políticas fallan al ejecutar de manera confiable tareas de largo horizonte. La mejor política, $\pi0.5$ , logra solo un 21.5% de Task SR. Otras políticas (OpenVLA, UniVLA, LingBot-VA) caen por debajo del 2%.
Pipeline Integrado: Los errores se acumulan en el pipeline completo. El mejor sistema integrado (Gemini-3.1-Pro + $\pi0.5$ ) alcanza solo un 16.3% de Tasa de Éxito (SR).

Análisis Diagnóstico

Escalado de Largo Horizonte: El rendimiento se degrada drásticamente a medida que aumenta la longitud del plan. Para GPT-5.4, el Plan SR cae del 36.7% (2 acciones) al 7.2% (6 acciones).
Razonamiento Espacial: Los marcos de referencia centrados en el humano degradan significamente el rendimiento (p. ej., una caída de 19.5 puntos para GPT-5.4) en comparación con los marcos centrados en la cámara.
Generalización: Las políticas ajustadas con datos de LIBERO generalizan mal a escenarios fuera del dominio (nuevos objetos/instrucciones). $\pi0.5$ cae del 47.1% de Task SR (dentro del dominio) al 10.6% (fuera del dominio).

Experimentos con Robot Real

Experimentos en un robot Franka Research 3 con una pinza Robotiq-2F85 confirmaron las tendencias de la simulación. El pipeline integrado logró solo un 14.0% de SR. La brecha de generalización persistió, con $\pi0.5$ cayendo del 44.0% (dentro del dominio) al 8.0% (fuera del dominio) bajo planes oráculo.

Significancia y Reivindicaciones

Los autores afirman que WatchAct sirve como un banco de pruebas crítico para las capacidades de razonamiento y control requeridas para robots que trabajan junto a personas. El artículo sostiene que:

Los sistemas actuales están "lejos de resolver" la manipulación basada en el comportamiento.
Las principales fuentes de falla son el razonamiento espacial centrado en el humano, la planificación de largo horizonte y la fiabilidad de la ejecución física.
El protocolo desentrelazado revela que ni la etapa de planificación (VLMs) ni la etapa de ejecución (políticas) son actualmente lo suficientemente robustas para esta clase de tarea.

El artículo concluye señalando limitaciones, incluyendo la abstracción de la dinámica de contacto en simulación (aunque las tendencias del robot real coincidieron), la naturaleza estructurada de los videos humanos y el espacio de acción de alto nivel restringido, sugiriendo estas como direcciones para el trabajo futuro.