🤖 AI

WatchAct: A Benchmark for Behavior-Grounded Robot Manipulation

이 논문은 로봇 조작 시스템이 비디오를 통해 관찰된 인간의 행동을 추론하는 능력을 평가하는 3,000개의 장기적(long-horizon) 인스턴스로 구성된 포괄적인 벤치마크인 WatchAct를 소개하며, 현재의 최첨단 모델들이 이벤트 그라운딩(event grounding), 절차적 추론(procedural reasoning), 의도 추론(intent inference), 그리고 에피소드 추적(episodic tracking)을 요구하는 작업에서 크게 어려움을 겪고 있음을 밝힙니다.

원저자: Baiqi Li, Ce Zhang, Yu Fang, Yue Yang, Shangzhe Li, Mingyu Ding, Gedas Bertasius

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Baiqi Li, Ce Zhang, Yu Fang, Yue Yang, Shangzhe Li, Mingyu Ding, Gedas Bertasius

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 주방에 들어갔는데 엉망진창인 모습을 목격했다고 상상해 보세요. 어떤 사람이 서랍을 열어 요리를 하기 위해 향신료 병 세 개를 꺼냈고, 그것들을 조리대 위에 어지럽게 늘어놓았습니다. 당신은 로봇에게 "원래 있던 곳으로 다 돌려놔"라고 말합니다.

사람에게는 이 일이 쉽습니다. 당신은 무엇이 일어났는지(향신료 병들이 서랍에서 나왔다는 것), 어떤 순서로 일어났는지(하나씩 차례대로 꺼내졌다는 것), 그리고 왜 그랬는지(요리를 하기 위해서라는 것)를 기억합니다. 당신은 머릿속에 그려지는 사람의 행동 영상을 통해 해결책을 찾아냅니다.

하지만 오늘날의 로봇에게 이것은 악몽입니다. 대부분의 로봇 벤치마크는 로봇에게 엉망이 된 조리대의 정적인 사진 한 장만을 보여주고 이를 치우라고 요구합니다. 그들은 로봇에게 그 난장판이 어떻게 만들어졌는지에 대한 '영화(과정)'를 제공하지 않습니다. 이러한 맥락이 없다면 로봇은 추측할 뿐입니다.

WatchAct는 로봇이 실제로 인간의 영상을 보고, 무엇을 했는지 이해하며, 그 기억을 바탕으로 정리하거나 작업을 계속할 수 있는지 확인하기 위해 설계된 새로운 테스트(벤치마크)입니다.

다음은 쉬운 비유를 사용한 이 기술의 작동 방식에 대한 설명입니다.

1. 테스트: "탐정과 배우"

로봇을 탐정으로, 영상을 범죄 현장 테이프로 생각해 보세요.

입력: 로봇은 인간이 무언가(예: 그릇을 움직이는 것)를 하는 영상과 텍스트 지시문(예: "그릇을 제자리에 놓아라")을 받습니다.
목표: 로브은 숨겨진 이야기를 파악해야 합니다. 인간은 배가 고파서 그릇을 옮겼을까요? 그릇을 왼쪽으로 옮겼을까요, 오른쪽으로 옮겼을까요? 원래 어디에서 왔을까요?
규모: 이 테스트에는 14가지 유형의 서로 다른 도전 과제를 아우르는 3,000개의 다양한 시나리오(마치 짧은 영화들의 거대한 도서관처럼)가 포함됩니다.

2. 네 가지 "두뇌 기술" 테스트

연구진은 이 작업들을 네 가지 카테고리로 분류했는데, 이는 마치 서로 다른 단계의 탐정 업무와 같습니다.

이벤트 그라운딩 (단서 포착하기): 로봇이 영상을 보고 "아, 3초 지점에서 인간이 빨간 컵을 집었다"라고 말할 수 있습니까? 이는 영화에서 중요한 특정 순간을 찾아내는 것과 같습니다.
절차적 추론 (레시피 이해하기): 로봇이 사건의 순서를 이해할 수 있습니까? 만약 인간이 선반에 책을 놓은 다음 테이블에 컵을 놓았다면, 로봇은 이를 역순으로 수행하거나 계속 진행하기 위해 그 순서를 알아야 합니다.
암묵적 의도 추론 (마음 읽기): 때때로 인간은 말로 표현하지 않고 몸짓으로 나타냅니다. 만약 인간이 병을 향해 막연하게 가리킨다면, 로봇은 "아, 저걸 열고 싶어 하는구나"라고 추측할 수 있습니까?
에피소드 추론 (기억력 테스트): 로봇이 장면이 어떻게 변했는지 기억할 수 있습니까? 만약 인간이 의자를 구석에서 가운데로 옮겼다면, 로봇은 그것을 다시 제자리에 두기 위해 의자의 "원래 집"이 어디였는지 알아야 합니다.

3. 로봇을 테스트하는 방법

연구진은 단순히 로봇에게 "해봐"라고 시키는 것이 아니라, 로봇의 뇌를 두 부분으로 나누어 어디에서 실패하는지 확인했습니다.

플래너 (두뇌): 로봇이 영상을 보고 단계별 계획을 세울 수 있습니까? (예: "1. 병을 집는다. 2. 선반으로 이동한다.")
수행자 (손): 만약 당신이 로봇에게 완벽한 계획을 준다면, 로봇이 실제로 팔을 움직여 이를 수행할 수 있습니까?

이들은 컴퓨터 시뮬레이션과 실제 로봇 팔(Franka Research 3)을 사용하여 이를 테스트했습니다.

4. 결과: "로봇은 여전히 배우는 중입니다"

결과는 겸허했습니다. 현재 사용 가능한 가장 똑똑한 AI 모델들도 매우 힘겨워했습니다.

"두뇌"의 실패: 영상을 보고 계획을 세우라는 요청에 대해, 가장 뛰어난 AI(Gemini-3.1-Pro)는 단 **36.8%**의 성공률을 보였습니다. 인간은 **97.1%**를 기록했습니다. AI는 기본적으로 절반 이상의 작업에서 추측을 하고 있는 셈입니다.
"손"의 실패: 연구진이 로봇에게 완벽한 계획을 주었을 때(즉, "두뇌" 부분이 문제가 아니었을 때), 로봇의 "손"(정책)은 단 **21.5%**의 성공률만을 보였습니다. 이는 완벽한 레시피를 가지고 있음에도 오븐 사용법을 몰라 케이크를 태워 먹는 것과 같습니다.
현실 세계는 더 어렵다: 실제 로봇 팔에 이 테스트를 적용했을 때, 성공률은 **14.0%**로 더욱 떨어졌습니다.

5. 왜 실패하는가?

연구진은 로봇이 실패하는 세 가지 주요 원인을 발견했습니다.

긴 이야기: 영상이 길거나 단계가 많으면(예: 6단계 요리 과정), 로봇은 혼란을 느끼고 끝에 도달할 때쯤 시작 부분을 잊어버립니다.
관점 문제: 영상이 이상한 각도(예: 인간의 뒤쪽)에서 촬영되었거나, 지시문에 "인간의 왼쪽"이라는 표현이 있으면 로봇은 길을 잃습니다. 로봇은 "인간의 왼쪽"을 "로봇의 왼쪽"으로 번역하지 못합니다.
새로운 물체: 로로봇이 본 적 없는 물체(예: 새로운 형태의 상자)를 보면 얼어붙습니다. 자신의 지식을 일반화하지 못하는 것입니다.

결론

WatchAct는 현실을 직시하게 해주는 지표입니다. 이는 로봇이 정적인 방 안에서 물건을 옮기는 데는 능숙할지 몰라도, 사람을 관찰하고, 난장판 뒤에 숨겨진 이야기를 이해하며, 다음에 무엇을 해야 할지 파악하는 데는 형편없다는 것을 보여줍니다.

논문은 우리가 집에서 로봇과 함께 진정으로 협력하며 살기에는 아직 멀었다고 결론짓습니다. 왜냐로 로봇은 아직 인간처럼 "보고 배우는" 능력이 부족하기 때문입니다. 로봇이 우리를 도와주기 위해 주방에서 신뢰를 얻으려면, 영상 속의 점들을 연결하는 능력을 훨씬 더 발전시켜야 합니다.

기술 요약: WatchAct – 행동 기반 로봇 조작을 위한 벤치마크

문제 정의

인간과 공유하는 환경에서 작동하는 로봇은 현재 장면의 상태뿐만 아니라 인간 행동의 이력, 사건의 순서, 그리고 그 이면에 숨겨된 의도에 대해서도 추론할 수 있어야 합니다. 언어는 지침을 제공하지만, 종종 중요한 공간적 배치, 객체의 이력, 절차적 단서들을 불충분하게 명시합니다. 반면, 비디오는 이러한 요소들을 자연스럽게 포착합니다. 그러나 기존의 조작 벤치마크들은 대개 언어 지침을 단일 정적 이미지와 결합하거나, 비디오를 단순히 모방해야 할 시연(demonstration)으로만 취급합니다. 로봇이 조작 작업을 수행하기 전, 관찰된 인간의 행동으로부터 작업 관련 사건, 절차적 구조, 에피소드적 변화를 추론하도록 요구하는 평가 프레임워크가 부족한 실정입니다.

방법론

WatchAct 벤치마크

WatchAct는 타 에이전트를 관찰할 때 발생하는 인지적 요구 사항에서 도출된 4가지 능력 도메인에 걸쳐 14개의 뚜렷한 작업으로 구성된 3,000개의 장기 계획(long-horizon) 인스턴스를 포함하는 벤치마크입니다.

이벤트 그라운딩(Event Grounding): 작업 관련 행동, 상태 또는 순간 식별 (예: 미세 동작(Fine-Grained Action), 개수 세기(Count), 순서(Ordinal), 상태 변화(State Change), 순간(Moment)).
절차적 추론(Procedural Reasoning): 행동 시퀀스의 시간적 구조 복구 (예: 모방(Imitation), 역순(Reversal), 시간적 정렬(Temporal Sort)).
암묵적 의도 추론(Implicit Intent Inference): 비언어적 단서나 모호한 참조로부터 명시되지 않은 목표 추론 (예: 비언어적 단서(Nonverbal Cue), 참조 모호성 해소(Reference Disambiguation)).
에피소드적 추론(Episodic Reasoning): 상위 수준의 계획을 지원하기 위해 장면 변화 추적 (예: 이전 상태 복구(Restore Previous State), 작업 지속(Task Continuation), 오류 수정(Error Correction), 조건부 실행(Conditional Execution)).

구축 파이프라인:
각 인스턴스는 실제 세계의 인간 행동 비디오와 언어 지침, 그리고 이와 정렬된 실행 가능한 LIBERO 시뮬레이터 작업을 쌍으로 결집합니다. 구축 과정은 다음과 같습니다:

스키마 생성: 프런티어 LLM(GPT-5.1)을 사용하여 촬영 가이드와 그에 대응하는 BDDL 작업 정의를 생성합니다.
데이터 구축: 가이드에 따라 인간 시연자를 녹화하고 이에 매칭되는 LIBERO 작업을 인스턴스화합니다.
정렬: 실행 상태, 장면(객체 카테고리, 개수, 공유된 명명된 영역을 통한 레이아웃) 및 목표 측면에서 비디오와 시뮬레이터 간의 일관성을 보장합니다.
검증: 4단계 품질 체크(작업 유효성, 시뮬레이터 실행 가능성, 오라클 플랜 정답성, 비디오-시뮬레이터 정렬)를 통해 유효한 인스턴스만을 선별합니다.

공간적 변이:
공간적 일반화를 테스트하기 위해, 벤치마크는 카메라 뷰포인트(정면, 측면, 사선)와 언어 참조 프레임(인간 중심 vs 카메라 중심)을 변화시킵니다.

평가 프로토콜

WatchAct는 인지-실행 체인에서의 실패 모드를 격리하기 위해 **분리된 평가 프로토콜(disentangled evaluation protocol)**을 도입합니다.

비디오-플랜 추론(Video-to-Plan Reasoning): 비디오와 지침으로부터 고수준의 계획을 생성하는 VLM의 능력을 측정합니다. 성공 여부는 계획이 작업의 성공 조건을 충족하는지 확인하는 기호적 실행기(symbolic executor)에 의해 측정됩니다 (Plan SR).
정책 실행 (오라클 플랜 사용) (Policy Execution (Oracle Plans)): 저수준 정책이 계획 오류 없이 정답(ground-truth) 고수준 계획을 실행하는 능력을 측정합니다 (Task SR).
통합 파이프라인 (Integrated Pipeline): VLM이 계획을 생성하고 정책이 이를 실행하는 엔드 투 엔드 성능을 측정합니다.

주요 기여

벤치마크: WatchAct는 관찰된 인간 행동에 근거한 로봇 조작을 평가하는 최초의 벤치마크로, 인지적으로 동기화된 4가지 도메인의 14개 작업에 걸친 3,000개의 인스턴스를 특징으로 합니다.
분리된 평가: VLM 추론, 오라클 플랜 하의 정책 실행, 통합 파이프라인 성능을 각각 측정하여 오류의 근원을 명확히 드러내는 프로토콜을 제공합니다.
실증적 결과: 시뮬레이션 및 실제 Franka Research 3 로봇에서의 9개 VLM과 4개 정책에 대한 평가를 통해 현재 시스템의 구체적인 병목 구간을 식별했습니다.

결과

시뮬레이션 내 성능

비디오-플랜 추론: 현재 VLM들은 크게 고전하고 있습니다. 최상위 모델인 Gemini-3.1-Pro는 **36.8%**의 Plan SR을 달성했으며, 이는 인간 주석가(97.1%)와 60.3포인트의 격차를 보입니다. 오픈 소스 모델들의 성능은 이보다 더 낮습니다 (예: Qwen3-VL-235B-Thinking은 18.4%).
정책 실행: 오라클 플랜을 사용하더라도 정책들은 장기 계획 작업을 안정적으로 실행하지 못합니다. 최상위 정책인 $\pi0.5$ 는 단 **21.5%**의 Task SR만을 달성했습니다. 다른 정책들(OpenVLA, UniVLA, LingBot-VA)은 2% 미만에 머물렀습니다.
통합 파이프라인: 전체 파이프라인에서는 오류가 누적됩니다. 최상위 통합 시스템(Gemini-3.1-Pro + $\pi0.5$ )은 단 **16.3%**의 성공률(SR)에 도달했습니다.

진단 분석

장기 계획 스케일링(Long-Horizon Scaling): 계획의 길이가 길어질수록 성능이 급격히 저하됩니다. GPT-5.4의 경우, Plan SR은 2개 동작 시 36.7%에서 6개 동작 시 7.2%로 떨어집니다.
공간 추론: 인간 중심의 참조 프레임은 카메라 중심 프레임에 비해 성능을 크게 저하시킵니다 (예: GPT-5.4의 경우 19.5포인트 하락).
일반화: LIBERO 데이터로 미세 조정된 정책들은 도메인 외(out-of-domain) 시나리오(새로운 객체/지침)에서 일반화 능력이 떨어집니다. $\pi0.5$ 는 인도메인(in-domain)에서의 47.1% Task SR에서 도메인 외에서는 10.6%로 급감합니다.

실제 로봇 실험

Franka Research 3 로봇과 Robotiq-2F85 그리퍼를 이용한 실험은 시뮬레이션의 경향성을 확인해 주었습니다. 통합 파이프라인은 단 **14.0%**의 SR을 기록했습니다. 일반화 격차 또한 지속되었으며, 오라클 플랜 하에서 $\pi0.5$ 는 인도메인(44.0%)에서 도메인 외(8.0%)로 급감했습니다.

의의 및 주장

저자들은 WatchAct가 인간과 함께 작업하는 로봇에게 필요한 추론 및 제어 능력을 테스트하는 핵심 시험대 역할을 한다고 주장합니다. 논문은 다음과 같이 명시합니다:

현재 시스템은 행동 기반 조작을 해결하기에는 "거리가 멀다".
주요 실패 원인은 인간 중심의 공간 추론, 장기 계획, 그리고 물리적 실행의 신뢰성이다.
분리된 프로토콜은 계획 단계(VLM)와 실행 단계(정책) 모두가 현재 이 작업 클래스에 대해 충분히 견고하지 않음을 드러낸다.

결론적으로, 논문은 시뮬레이션에서의 접촉 역학(contact dynamics) 추상화(단, 실제 로봇의 경향성이 일치함), 인간 비디오의 구조적 특성, 제한된 고수준 행동 공간 등을 한계점으로 언급하며, 이를 향후 연구 방향으로 제시합니다.