🤖 AI

WatchAct: A Benchmark for Behavior-Grounded Robot Manipulation

Este artigo apresenta o WatchAct, um benchmark abrangente composto por 3.000 instâncias de longo horizonte que avalia a capacidade dos sistemas de manipulação robótica de raciocinar sobre o comportamento humano observado através de vídeos, revelando que os modelos de estado da arte atuais têm dificuldades significativas em tarefas que exigem fundamentação de eventos, raciocínio procedimental, inferência de intenção e rastreamento episódico.

Autores originais: Baiqi Li, Ce Zhang, Yu Fang, Yue Yang, Shangzhe Li, Mingyu Ding, Gedas Bertasius

Publicado 2026-06-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Baiqi Li, Ce Zhang, Yu Fang, Yue Yang, Shangzhe Li, Mingyu Ding, Gedas Bertasius

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você entra em uma cozinha e vê uma bagunça: uma pessoa abriu uma gaveta, pegou três potes de tempero para cozinhar e os deixou espalhados sobre o balcão. Você diz a um robô: "Coloque tudo de volta onde estava".

Para um humano, isso é fácil. Você se lembra do que aconteceu (os potes vieram da gaveta), de em que ordem (foram retirados um por um) e do porquê (para cozinhar). Você usa o "filme" das ações da pessoa em sua mente para deduzir a solução.

Para os robôs de hoje, isso é um pesadelo. A maioria dos testes de desempenho para robôs mostra ao robô apenas uma foto estática e única do balcão bagunçado e pede que ele limpe a área. Eles não fornecem ao robô o "filme" de como a bagunça foi feita. Sem esse contexto, o rob em está apenas adivinhando.

WatchAct é um novo teste (um benchmark) projetado para ver se os robôs conseguem realmente assistir a um vídeo de um humano, entender o que ele fez e, então, limpar ou continuar a tarefa com base nessa memória.

Aqui está uma análise de como ele funciona, usando analogias simples:

1. O Teste: "O Detetive e o Ator"

Pense no robô como um detetive e no vídeo como uma fita de isolamento de cena de crime.

A Entrada: O robô recebe um vídeo de um humano fazendo algo (como mover uma tigela) e uma instrução de texto (como "Coloque a tigela de volta").
O Objetivo: O robô deve descobrir a história oculta. O humano moveu a tigela porque estava com fome? Ele a moveu para a esquerda ou para a direita? De onde ela veio originalmente?
A Escala: O teste inclui 3.000 cenários diferentes (como uma enorme biblioteca de filmes curtos) abrangendo 14 tipos diferentes de desafios.

2. As Quatro "Habilidades Cerebrais" Testadas

Os pesquisadores organizaram as tarefas em quatro categorias, que são como diferentes níveis de trabalho de detetive:

Fundamentação de Eventos (Localizando a Pista): O robô consegue assistir a um vídeo e dizer: "Ah, aos 3 segundos, o humano pegou a xícara vermelha"? É como encontrar o momento específico em um filme que importa.
Raciocínio Procedural (Entendendo a Receita): O robô consegue entender a ordem dos eventos? Se um humano colocou um livro em uma prateleira e depois uma xícara na mesa, o robô precisa saber essa sequência para revertê-la ou continuá-la.
Inferência de Intenção Implícita (Lendo a Mente): Às vezes, os humanos não dizem o que querem; eles apenas gesticulam. Se um humano aponta vagamente para um pote, o robô consegue adivinhar: "Ah, eles querem que eu abra isso"?
Raciocínio Episódico (O Teste de Memória): O robô consegue se lembrar de como a cena mudou? Se um humano moveu uma cadeira do canto para o meio, o robô precisa saber qual era a "casa original" da cadeira para colocá-la de volta.

3. Como Eles Testaram os Robôs

Os pesquisadores não apenas pediram ao robô para "fazer isso". Eles dividiram o cérebro do robô em duas partes para ver onde ele falha:

O Planejador (O Cérebro): O robô consegue assistir ao vídeo e escrever um plano passo a passo? (ex: "1. Pegar o pote. 2. Levar para a prateleira.")
O Executor (As Mãos): Se você der ao robô um plano perfeito, ele consegue mover seus braços para executá-lo?

Eles testaram isso em uma simulação de computador e em um braço robótico real (um Franka Research 3).

4. Os Resultados: "Os Robôs Ainda Estão Aprendendo"

Os resultados foram humildes. Mesmo os modelos de IA mais inteligentes disponíveis hoje tiveram muita dificuldade.

O "Cérebro" Falhou: Quando questionada para assistir a um vídeo e escrever um plano, a melhor IA (Gemini-3.1-Pro) acertou apenas 36,8% das vezes. Os humanos acertaram 97,1%. A IA está essencialmente adivinhando em mais da metade das tarefas.
As "Mãos" Falharam: Mesmo quando os pesquisadores deram ao robô um plano perfeito (para que a parte do "cérebro" não fosse o problema), as "mãos" do robô (a política de controle) tiveram sucesso apenas 21,5% das vezes. É como ter uma receita perfeita, mas queimar o bolo porque você não sabe usar o forno.
O Mundo Real é Mais Difícil: Quando tentaram isso em um braço robótico real, a taxa de sucesso caiu ainda mais para 14,0%.

5. Por Que Eles Falham?

O artigo descobriu três razões principais pelas quais os robôs estão falhando:

Histórias Longas: Se o vídeo é longo e possui muitas etapas (como um processo de cozimento de 6 passos), o robô fica confuso e esquece o início quando chega ao fim.
Problemas de Perspectiva: Se o vídeo é filmado de um ângulo estranho (como por trás do humano) ou se as instruções dizem "à esquerda do humano", o robô se perde. Ele não consegue traduzir "esquerda do humano" para "esquerda do robô".
Coisas Novas: Se o robô vê um objeto que nunca viu antes (como um tipo novo de caixa), ele trava. Ele não consegue generalizar seu conhecimento.

A Conclusão Final

WatchAct é um choque de realidade. Ele mostra que, embora os robôs estejam ficando bons em mover coisas em uma sala estática, eles são terríveis em assistir pessoas, entender a história por trás da bagunça e descobrir o que fazer a seguir.

O artigo conclui que estamos longe de ter robôs que possam realmente trabalhar ao nosso lado em uma casa, porque eles ainda não conseguem "observar e aprender" da mesma forma que os humanos. Eles precisam melhorar muito em conectar os pontos em um vídeo antes que possam ser confiáveis para nos ajudar na cozinha.

Resumo Técnico: WatchAct – Um Benchmark para Manipulação Robótica Baseada em Comportamento

Declaração do Problema

Robôs que operam em ambientes compartilhados com humanos devem raciocinar não apenas sobre o estado atual de uma cena, mas também sobre o histórico de ações humanas, a sequência de eventos e as intenções não declaradas por trás deles. Embora a linguagem forneça instruções, ela frequentemente deixa lacunas em layouts espaciais críticos, históricos de objetos e pistas procedimentais. O vídeo, por outro lado, captura naturalmente esses elementos. No entanto, os benchmarks de manipulação existentes tipicamente pareiam uma instrução de linguagem com uma única imagem estática ou tratam o vídeo meramente como uma demonstração a ser imitada. Há uma falta de frameworks de avaliação que exijam que um robô raciocine sobre o comportamento humano observado para inferir eventos relevantes à tarefa, estruturas procedimentais e mudanças episódicas antes de executar uma tarefa de manipulação.

Metodologia

O Benchmark WatchAct

O WatchAct é um benchmark composto por 3.000 instâncias de longo horizonte distribuídas em 14 tarefas distintas, organizadas em quatro domínios de capacidade derivados das demandas cognitivas de observar outro agente:

Fundamentação de Eventos (Event Grounding): Identificação de ações, estados ou momentos relevantes para a tarefa (ex: Ação de Grão Fino, Contagem, Ordinal, Mudança de Estado, Momento).
Raciocínio Procedimental (Procedural Reasoning): Recuperação da estrutura temporal de sequências de ação (ex: Imitação, Reversão, Ordenação Temporal).
Inferência de Intenção Implícita (Implicit Intent Inference): Inferência de objetivos não declarados a partir de pistas não verbais ou referências ambíguas (ex: Pista Não Verbal, Desambiguação de Referência).
Raciocínio Episódico (Episodic Reasoning): Rastreamento de mudanças na cena para apoiar o planejamento de alto nível (ex: Restaurar Estado Anterior, Continuação de Tarefa, Correção de Erro, Execução Condicional).

Pipeline de Construção:
Cada instância pareia um vídeo de ação humana do mundo real com uma instrução de linguagem e uma tarefa de simulador executável e alinhada no LIBERO. O processo de construção envolve:

Geração de Esquema: Uso de um LLM de fronteira (GPT-5.1) para gerar guias de filmagem e definições de tarefas BDDL correspondentes.
Construção de Dados: Gravação de demonstradores humanos seguindo os guias e instanciação de tarefas LIBERO correspondentes.
Alinhamento: Garantia de consistência entre o vídeo e o simulador em termos de estado de execução, cena (categorias de objetos, contagens, layouts via regiões nomeadas compartilhadas) e objetivos.
Verificação: Uma verificação de qualidade de quatro etapas (Validade da Tarefa, Executabilidade do Simulador, Correção do Plano Oráculo e Alinhamento Vídeo-Simulador) garante que apenas instâncias válidas sejam retidas.

Variação Espacial:
Para testar a generalização espacial, o benchmark varia os pontos de vista da câmera (frontal, lateral, oblíqua) e os referenciais de linguagem (centrados no humano vs. centrados na câmera).

Protocolo de Avaliação

O WatchAct introduz um protocolo de avaliação desmembrado para isolar modos de falha na cadeia de percepção-para-ação:

Raciocínio Vídeo-para-Plano: Mede a capacidade de Modelos de Linguagem de Visão (VLMs) de gerar um plano de alto nível a partir do vídeo e da instrução. O sucesso é medido por um executor simbólico que verifica se o plano satisfaz as condições de sucesso da tarefa (Plan SR).
Execução de Política (Planos Oráculo): Mede a capacidade de políticas de baixo nível de executar um plano de alto nível de verdade fundamental sem erros de planejamento (Task SR).
Pipeline Integrado: Mede o desempenho de ponta a ponta, onde um VLM gera um plano e uma política o executa.

Principais Contribuições

Benchmark: O WatchAct é o primeiro benchmark a avaliar a manipulação robótica fundamentada na observação do comportamento humano, apresentando 3.000 instâncias em 14 tarefas em quatro domínios motivados cognitivamente.
Avaliação Desmembrada: Um protocolo que mede separadamente o raciocínio de VLM, a execução de política sob planos oráculo e o desempenho do pipeline integrado, expondo explicitamente onde os erros se originam.
Achados Empíricos: Uma avaliação de 9 VLMs e 4 políticas em simulação e em um robô Franka Research 3 real, identificando gargalos específicos nos sistemas atuais.

Resultados

Desempenho em Simulação

Raciocínio Vídeo-para-Plano: Os VLMs atuais têm dificuldades significativas. O melhor modelo, Gemini-3.1-Pro, atinge apenas 36,8% de Plan SR, uma lacuna de 60,3 pontos em relação aos anotadores humanos (97,1%). Modelos de código aberto apresentam desempenho ainda menor (ex: Qwen3-VL-235B-Thinking com 18,4%).
Execução de Política: Mesmo com planos oráculo, as políticas falham em executar tarefas de longo horizonte de forma confiável. A melhor política, $\pi0.5$ , atinge apenas 21,5% de Task SR. Outras políticas (OpenVLA, UniVLA, LingBot-VA) ficam abaixo de 2%.
Pipeline Integrado: Os erros se acumulam no pipeline completo. O melhor sistema integrado (Gemini-3.1-Pro + $\pi0.5$ ) atinge apenas 16,3% de Taxa de Sucesso (SR).

Análise Diagnóstica

Escalabilidade de Longo Horizonte: O desempenho degrada drasticamente conforme o comprimento do plano aumenta. Para o GPT-5.4, o Plan SR cai de 36,7% (2 ações) para 7,2% (6 ações).
Raciocínio Espacial: Referenciais centrados no humano degradam significamente o desempenho (ex: uma queda de 19,5 pontos para o GPT-5.4) em comparação com referenciais centrados na câmera.
Generalização: Políticas ajustadas (fine-tuned) em dados do LIBERO generalizam mal para cenários fora do domínio (novos objetos/instruções). A $\pi0.5$ cai de 47,1% de Task SR (dentro do domínio) para 10,6% (fora do domínio).

Experimentos com Robô Real

Experimentos em um robô Franka Research 3 com uma garra Robotiq-2F85 confirmaram as tendências da simulação. O pipeline integrado alcançou apenas 14,0% de SR. A lacuna de generalização persistiu, com a $\pi0.5$ caindo de 44,0% (dentro do domínio) para 8,0% (fora do domínio) sob planos oráculo.

Significância e Alegações

Os autores afirmam que o WatchAct serve como um teste crítico para as capacidades de raciocínio e controle necessárias para robôs que trabalham ao lado de pessoas. O artigo afirma que:

Os sistemas atuais estão "longe de resolver" a manipulação baseada em comportamento.
As principais fontes de falha são o raciocínio espacial centrado no humano, o planejamento de longo horizonte e a confiabilidade da execução física.
O protocolo desmembrado revela que nem a etapa de planejamento (VLMs) nem a etapa de execução (políticas) são robustas o suficiente para esta classe de tarefa atualmente.

O artigo conclui observando limitações, incluindo a abstração da dinâmica de contato em simulação (embora as tendências do robô real tenham coincidido), a natureza estruturada dos vídeos humanos e o espaço de ação de alto nível restrito, sugerindo estas como direções para trabalhos futuros.