💻 computer science

Masked Visual Actions for Unified World Modeling

이 논문은 행동을 시각적 장면 내 엔티티의 부분적으로 드러난 궤적으로 표현함으로써, 비디오 모델을 활용하여 로봇 조작을 위한 순방향 역학 예측과 역방향 계획을 모두 수행하는 통합된 픽셀 공간 제어 인터페이스인 Masked Visual Actions를 소개한다.

원저자: Hadi Alzayer, Wenlong Huang, Haonan Chen, Christopher Luey, Lvmin Zhang, Maneesh Agrawala, Gordon Wetzstein, Li Fei-Fei, Yilun Du, Jiajun Wu, Jia-Bin Huang

게시일 2026-07-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hadi Alzayer, Wenlong Huang, Haonan Chen, Christopher Luey, Lvmin Zhang, Maneesh Agrawala, Gordon Wetzstein, Li Fei-Fei, Yilun Du, Jiajun Wu, Jia-Bin Huang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 샌드위치를 만들거나 냉장고를 여는 것과 같은 새로운 작업을 가르치려 한다고 상상해 보십시오. 과거에 과학자들은 로봇의 언어, 즉 관절이 어떻게 움직여야 하는지를 알려주는 혼란스러운 숫자 목록을 사용해야 했습니다. 그것은 마치 배우들에게 좌표가 적힌 스프레드시트만을 보내서 영화를 연출하려는 것과 같았습니다. 하지만 최근, 새로운 종류의 "슈퍼 관찰자"가 등장했습니다: 바로 비디오 모델입니다. 이들은 수백만 시간의 비디오를 학습한 AI 시스템으로, 세상이 어떻게 돌아가는지에 대한 놀랍고도 거의 마법 같은 직관을 가지고 있습니다. 그들은 컵을 밀면 미끄러지고, 달걀을 떨어뜨리면 깨지며, 손을 흔들면 공기가 움직인다는 것을 알고 있습니다. 그들은 우리에게 주어진 그 어떤 도구보다 시각적인 세상의 물리 법칙을 더 잘 이해하고 있습니다. 연구자들이 던진 핵심적인 질문은 이것입니다: 우리가 이 "슈пер 관찰자"를 단순히 세상을 관찰하는 데 그치지 않고, 세상을 제어하는 데 사용할 수 있을까? 숫자가 아닌 그림으로 대화하며, 미래를 상상하고 우리에게 무엇을 해야 할지 말하게 할 수 있을까?

이것이 바로 "Masked Visual Actions for Unified World Modeling"이라는 논문이 탐구하는 내용입니다. 스탠포드와 하버드 같은 일류 대학의 연구진인 이들은 "마스크된 시각적 행동(Masked Visual Actions)"이라고 부르는 방법을 통해 비디오 모델과 대화하는 영리한 방법을 개발했습니다. 이것은 마치 "빈칸 채우기" 게임이나 카드 덱을 이용한 마술과 같습니다. 보통 비디오 모델에게 다음에 무슨 일이 일어날지 보여달라고 하고 싶을 때, 우리는 시작 이미지를 주고 "다음에 무슨 일이 일어날까?"라고 묻습니다. 하지만 여기서 연구자들은 모델에게 특별한 지시를 내립니다: "여기 시작 이미지가 있고, 여기 움직이는 로봇 팔의 유령 같은 반투명한 윤곽선이 있다. 이제 나머지 장면을 채워라."

이 마술이 일어나는 이유는 모델이 사물 간의 상호작용을 이해하는 능력이 매우 뛰어나서, 하나의 뇌로 두 가지 서로 다른 역할을 수행할 수 있기 때문입니다. 첫째, 모델은 순방향 모델(Forward Model) 역할을 합니다. 만약 당신이 로봇이 움직이는 모습을 보여준다면, 모델은 세상의 나머지 부분이 어떻게 반응할지를 정확하게 예측합니다. 이는 마치 감독에게 스턴트맨이 점프하는 스토리보드를 보여주면, AI가 스턴트맨이 자동차를 들이받았기 때문에 발생하는 자동차 충돌 영상을 즉석에서 생성하는 것과 같습니다. 이를 통해 로봇은 실제로 행동하기 전에 미래를 "상상"할 수 있으며, 현실 세계의 물건을 부수지 않고도 움직임을 계획할 수 있습니다.

둘째, 아마도 훨씬 더 놀라운 점은 모델이 역방향 모델(Inverse Model) 역할을 할 수 있다는 것입니다. 이것은 역방향의 마술입니다. 로봇이 움직이는 것을 보여주는 대신, 당신은 원하는 '결과'를 보여줍니다. 예를 들어 컵이 테이블 위를 미끄러져 특정 위치에 도달하는 모습입니다. 당신이 AI에게 "컵이 여기에 도착하게 하고 싶어"라고 말하면, 모델은 그렇게 만들기 위해 필요한 로봇의 움직임을 계산해 냅니다. 이는 마치 요리사에게 "완벽하게 익은 스테이크를 원해"라고 요청했을 때, 요리사가 설령 그 특정 스테이크를 요리해 본 적이 없더라도 즉석에서 정확한 레시피와 조리 단계를 적어 내려가는 것과 같습니다.

연구팀은 놀라울 정도로 적은 양의 데이터, 즉 실제 로봇과 컴퓨터 시뮬레이션에서 얻은 단 15시간의 비디오 클립을 사용하여 이 아이디어를 테스트했습니다. 그들은 거대한 사전 학습된 비디오 모델을 가져와서, 이 새로운 소통 방식을 배우도록 빠른 "미세 조정(finetuning)" 세션(LoRA 파인튜닝이라 불리는 과정)을 거쳤습니다. 결과는 인상적이었습니다. 테스트에서 모델은 주방에서 로봇이 물체와 상호작용하는 방식을 높은 정확도로 예측할 수 있었습니다. 모델은 미래를 "상상"하는 능력이 매우 뛰어났으며, 이를 통해 로봇의 움직임을 계획했을 때의 성공률은 단순히 추측했을 때보다 때로는 최대 **26%**까지 크게 향상되었습니다.

이들의 발견 중 가장 흥ло로운 부분 중 하나는 본 적 없는 로봇에 대해서도 얼마나 잘 작동하는가 하는 점입니다. 대부분의 로봇 컨트롤러는 맞춤 제작된 열쇠와 같아서, 오직 하나의 특정 자물쇠(특정 로봇)에만 맞습니다. 로봇의 모양이나 크기가 바뀌면 컨트롤러는 고장 납니다. 하지만 이 새로운 방법은 "숫자"가 아닌 "그림"으로 대화하기 때문에, 마치 만능 열쇠와 같습니다. 그들이 학습 데이터에 없었던 완전히 다른 유형의 로봇(R1-Pro라는 이름의 양팔 로봇)에 대해 테스트했을 때, 모델은 혼란을 느끼거나 환각 현상을 일으키지 않았습니다. 모델은 다른 방식들이 완전히 실패했던 상황에서도, 새로운 로봇을 조작하여 냉장고를 열거나 전자레인지를 닫는 법을 우아하게 알아냈습니다.

또한 연구진은 이 "상상"이 얼마나 신뢰할 수 있는지 보여주었습니다. 모델에게 블록을 쌓거나 서랍을 여는 로봇의 결과를 예측하도록 요청했을 때, "상상된" 성공률은 실제 세계의 성공률과 거의 완벽하게 일치했습니다(상관관계 0.982). 이는 모델이 신뢰할 수 있는 시뮬레이터임을 의미합니다. 로봇이 근육 하나 움직이기도 전에 로봇의 계획이 성공할지 평가하는 데 사용될 수 있으며, 이는 시간 낭비와 충돌을 방지합니다.

요약하자면, 이 논문은 인간의 직관과 로봇의 행동 사이의 간극을 메우는 새로운 방법을 제시합니다. 로봇의 움직임을 AI가 해결할 수 있는 시각적 퍼즐로 다룸으로써, 연구진은 유연하고 효율적이며 물리적 세상을 놀라울 정도로 잘 이해하는 시스템을 만들어냈습니다. 이것은 단순히 로봇을 움직이게 하는 것이 아니라, 로봇에게 자신의 행동에 따른 결과를 "꿈꾸는" 방법을 가르쳐줌으로써 더 빠르고 안전하게 학습하도록 돕는 것입니다. 모델이 완벽하지는 않으며 여전히 기반이 되는 비디오 모델의 한계에 의존하고 있지만, 이는 로봇이 우리처럼 영상을 보고 마음속으로 계획하며 배울 수 있는 미래로 가는 문을 열어줍니다.

기술 요약: 통합된 월드 모델링을 위한 마스크 기반 시각적 행동 (Masked Visual Actions)

문제 정의

로봇 월드 모델링에는 에이전트의 행동에 따른 감각적 결과(sensory consequences)를 예측하는 **순방향 추론(forward reasoning)**과, 원하는 상태를 달려하기 위해 필요한 행동을 복구하는 **역방향 추론(inverse reasoning)**을 모두 지원하는 프레임워크가 필요합니다. 최근의 대규모 비디오 모델들은 움직임, 접촉, 물리적 상호작용에 관한 풍부한 사전 지식(priors)을 축적해 왔으나, 현재는 주로 수동적인 관찰자로서 기능하고 있습니다. 이러한 모델들을 제어하기 위해 기존에 사용되는 신호들은 종종 희소(sparse)하거나, 특정 형태(embodiment)에 종속적이며(예: 관절 각도, 말단 장치 포즈), 모델이 사전 학습된 시각적 공간과 일치하지 않는 경우가 많습니다. 이러한 불일치는 보지 못한 로봇 형태(unseen embodiment)로의 일반화를 저해하며, 단일 모델을 순방향 역학(forward dynamics)과 역방향 계획(inverse planning) 모두에 사용하는 능력을 제한합니다.

방법론: 마스크 기반 시각적 행동 (Masked Visual Actions)

저자들은 로봇의 행동을 비디오 내의 부분적으로 드러난 시공간적 궤적(spatiotemporal trajectories)으로 재구성하는 픽셀 공간 제어 인터페이스인 마스크 기반 시각적 행동을 소개합니다.

핵심 메커니즘

이 방법은 사전 학습된 비디오 모델(특히 Wan-Fun-Control 2.2 14B)을 활용하며, 장면 내 엔티티(entity)의 마스크된 궤적에 조건화(condition)되도록 미세 조정(fine-tuning)합니다.

표현(Representation): 행동은 저차원 벡터가 아니라, 비디오 텐서에 적용되는 이진 마스크( $M$ )로 표현됩니다. 이 마스크는 특정 엔티티(조건부 엔티티)의 픽셀은 드러내고 나머지는 숨깁니다.
통합된 순방향/역방향 모델링: 모델의 동작은 마스크에서 어떤 엔티티가 드러나는지에 따라 결정됩니다:
- 순방향 모델(Forward Model): 로봇(활성 엔티티)이 드러나면, 모델은 나머지 장면(수동 엔티티)의 반응을 예측하여 로봇의 움직임에 따른 물리적 결과를 시뮬레이션합니다.
- 역방향 모델(Inverse Model): 물체 또는 원하는 물체의 움직임(수동 엔티티)이 드러나면, 모델은 해당 결과를 달성하기 위해 필요한 로봇의 움직임(활성 엔티티)을 예측합니다.
학습 전략: 모델은 오직 15시간의 데이터로 구성된 데이터셋을 사용하여 LoRA(Low-Rank Adaptation) 방식으로 미세 조정됩니다. 이 데이터셋은 다음과 같이 구축되었습니다:
1. 실제 세계 비디오 (DROID): SegmentAnything을 사용하여 로봇 팔을 마스크 영역으로 분리했습니다.
2. 시뮬레이션 데이터 (Robocasa): 카메라 외적(extrinsics)과 정렬된 로봇 메쉬(폐쇄 문제를 피하기 위해 반투명한 몸체와 밝은 빨간색 그리퍼 사용)를 렌더링하여 마스크된 조건부 신호를 생성했습니다.
3. 데이터 구성: 학습에는 성공 및 실패 궤적이 모두 포함됩니다. 모델은 조건부 분포 $p(\text{unmasked entities} | \text{masked entities}, \text{initial frame})$ 를 학습합니다.

주요 차이점

희소한 신호(스켈레톤, 키포인트)나 모달리티 채널(비디오와 행동 벡터를 분리)에 조건화하는 기존 방식과 달리, 마스크 기반 시각적 행동은 동일한 픽셀 캔버스 위에서 작동합니다. 이를 통해 모델은 활성 엔티티와 수동 엔티티를 동일한 상호작용 사전 지식에 대한 상보적인 쿼리로 취급할 수 있으며, 재학습 없이도 보지 못한 로봇 형태에 대한 제로샷 일반화(zero-shot generalization)를 가능하게 합니다.

주요 기여

픽셀 공간 제어 인터페이스: 로봇 행동을 밀집된 이미지 정렬 마스크 궤적으로 표현하여 사전 학습된 비디오 모델의 직접적인 조건화를 가능하게 하는 마스크 기반 시각적 행동을 도입했습니다.
통합된 순방향/역방향 프레임워크: 마스크에서 드러나는 엔티티를 변경하는 것만으로 동일한 모델 체크포인트가 순방향 역학과 역방향 역학을 모두 해결할 수 있음을 입증하였으며, 별도의 아키텍처나 헤드가 필요하지 않음을 보여주었습니다.
효율적인 적응: 다양한 장면과 여러 로봇 형태에 대해 단 15시간의 혼합 실제/시뮬레이션 데이터로 미세 조정된 단일 모델 체크포인트가 강력한 시각적 충실도와 제어 가능성을 달성함을 검증했습니다.

실험 결과

본 프레임워크는 시뮬레이션(Robocasa)과 실제 환경 모두에서 세 가지 주요 애플리케이션을 통해 평가되었습니다.

1. 제어 가능한 비디오 생성 및 일반화

충실도(Fidelity): DROID 데이터셋에서, 본 모델은 Ctrl-World 및 Wan-move와 같은 베이스라인보다 우수한 시각적 지표(LPIPS: 0.0945, SSIM: 0.887)를 달성했습니다.
일반화: 보지 못한 로봇 형태(예: BEHAVIOR 데이터셋의 양팔 R1-Pro 로봇 또는 커스텀 3D 프린팅 엔드 이펙터를 가진 Franka 암)에 대해 테스트했을 때, 스켈레톤이나 말단 장치 포즈에 의존하는 베이스라인들은 학습 도메인의 로봇을 환각하거나 장면을 왜곡하며 실패했습니다. 반면, 마스크 기반 시각적 행동은 새로운 형태와 올바르게 상호작용하며 유연하게 일반화되었습니다.

2. 모델 기반 계획 (Model-Based Planning)

방법: 저자들은 비디오 모델을 사용하여 확률적 정책(Diffusion Policy)에 의해 생성된 여러 후보 궤적을 시뮬레이션("롤아웃")했습니다. 이후 시각-언어 모델(VLM) 판별기가 이 상상된 롤아웃들을 평가하여 최적의 행동 시퀀스를 선택했습니다.
결과: 이 "Best-of-N" 계획 방식은 기본 정책 단독 사용 시와 비교하여 작업 성공률(예: 전자레인지 열기 +24%, 서랍 열기 +26%)에서 일관된 향상을 가져왔으며, 이는 모델이 반사실적 미래(counterfactual futures)를 평가할 수 있는 능력을 보여줍니다.

3. 정책 평가

상관관계: 비디오 모델 내에서 평가된 정책의 성공률은 실제 세계의 실행 성공률과 높은 상관관계( $r = 0.982$ )를 보였습니다.
편향(Bias): 모델이 작업 진행에 대해 약간의 긍정적 편향(성공을 약간 과대평가)을 보였으나, 시뮬레이션된 진행 분포는 실제 결과와 밀접하게 일치하여 실제 테스트의 대리 도구(proxy)로서의 유용성을 입증했습니다.

4. 역방향 모델링 및 행동 추출

제로샷 역전(Zero-Shot Inversion): 명시적인 역방향 모델링 미세 조정 없이도, 원하는 물체 움직임이 주어졌을 때 로봇 비디오를 성공적으로 합성했습니다.
추출: 학습된 역방향 역학 모델을 통해 이러한 합성된 비디오로부터 실행 가능한 저수준 행동을 추출했습니다.
성능: COFFEESERVE MUG 작업에서, 이 파이프라인은 100개의 시연 데이터를 학습한 표준 모방 학습 베이스라인(Diffusion Policy, ACT, SmolVLA)보다 뛰어난 90%의 성공률을 기록했습니다. 이는 비디오 모델이 해당 특정 작업을 학습 중에 전혀 본 적이 없음에도 불구하고 달성한 성과입니다.

의의 및 주장

본 논문은 마스크 기반 시각적 행동이 로봇 월드 모델링을 위한 통합적이고, 형태(embodiment)에 구애받지 않으며, 효율적인 접근 방식이라고 주장합니다. 행동을 비디오 모델이 사전 지식을 학습하는 시각적 공간에서 직접 표현함으로써, 이 방법은 생성형 비디오 모델과 로봇 제어 사이의 간극을 메웁니다.

저자들은 이 방식이 단일 모델을 순방향 시뮬레이터(계획 및 평가용)와 역방향 솔버(정책 합성을 위한 용도) 모두로 사용할 수 있게 하여 적응에 필요한 데이터 요구량을 크게 낮춘다는 점을 강조합니다. 또한, 모델이 인과 관계보다는 상관 관계를 학습하며, 베이스 비디오 모델의 추론 속도와 표현력에 제약을 받는다는 한계를 인정하면서도, 이 프레임워크가 광범위한 형태별 재학습 없이도 강력한 시뮬레이션과 계획을 가능하게 함으로써 로봇 시스템 개발 비용을 낮출 수 있다고 주장합니다.