💻 computer science

EgoWAM: World Action Models Beyond Pixels with In-the-Wild Egocentric Human Data

EgoWAM은 야생의 1인칭 시점 인간 데이터를 사용하여 월드 액션 모델(World Action Models)로 로봇 정책을 학습시키는 것이 DINO 피처 및 3D 모션 플로우와 같은 추상적 세계 표현을 활용함으로써, 전이 가능한 물리적 효과를 전이 불가능한 인간 고유의 요소로부터 더 잘 분리해내어 전통적인 행동 복제(behavior cloning)보다 성능이 현저히 뛰어남을 입증한다.

원저자: Baoyu Li, Xinchen Yin, Mengying Lin, Yixin Zhang, Danfei Xu

게시일 2026-07-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Baoyu Li, Xinchen Yin, Mengying Lin, Yixin Zhang, Danfei Xu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 서투른 로봇에게 옷을 접거나 컵을 옮기는 것과 같은 집안일을 가르치고 싶다고 상상해 보세요. 당신에게는 인간이 이 작업들을 완벽하게 수행하는 영상 데이터가 산더로 있습니다. 이것은 황금 티켓처럼 보일 것입니다. 그냥 인간을 따라 하면 되는 것 아닐까요?

하지만 그렇게 쉽지 않습니다. EGOWAM 논문은 만약 당신이 단순히 인간의 움직임을 복제하려고 시도한다면(이를 "행동 복제(Behavior Cloning)"라고 부릅니다), 오히려 상황을 악화시킬 수도 있다고 주장합니다.

문제는 이렇습니다. 인간과 로봇은 구조가 다릅니다. 인간은 유연한 척추를 가지고 있고, 두 팔은 자유롭게 흔들리며, 머리는 위아 ac흔들거리며 움직입니다. 반면 로봇은 딱딱하고, 머리에 고정된 카메라가 있으며, 기계적인 정밀함으로 움직입니다. 만약 당신이 로봇에게 인간의 팔 휘두름을 똑같이 흉내 내라고 강요한다면, 로봇은 물리적으로 불가능한 방식으로 몸을 비틀려고 할 것입니다. 이는 마치 펭귄에게 독수리의 영상을 보여주며 나는 법을 가르치는 것과 같습니다. 펭귄은 그저 날개를 퍼덕이다가 넘어질 뿐일 것입니다.

저자들은 이러한 "움직임 복제" 방식이 자주 실패하는 이유가, 로봇을 작업 자체에는 중요하지 않은 인간 특유의 요소들(예: 머리의 흔들림이나 체형 등)로 혼란스럽게 만들기 때문이라는 것을 발견했습니다.

마법의 스위치: 동작이 아닌 미래를 예측하기

단순히 로봇에게 "팔을 여기로 움직여"라고 말하는 대신, 연구진은 다른 기술을 시도했습니다. 그들은 로봇에게 **세계 행동 모델(World Action Model)**을 가르쳤습니다.

이것을 다음과 같이 생각해 보세요:

기존 방식 (행동 복제): 당신은 로봇에게 "내 손 동작을 똑같이 따라 해"라고 말합니다. 로봇은 당신의 손이 자신의 그리퍼와 다르게 움직이기 때문에 혼란에 빠집니다.
새로운 방식 (EGOWAM): 당신은 로봇에게 "내가 손을 움직일 때 컵에 어떤 일이 일어나는지 봐"라고 말합니다.

로봇은 인간의 몸짓을 복제하는 것이 아니라, 세계가 어떻게 변하는지(컵이 움직이거나, 옷이 접히는 것 등)를 예측하는 법을 배웁니다. 이는 학생에게 공을 차는 사람의 정확한 근육 움직임을 암기시키는 것이 아니라, 공이 언덕 아래로 굴러 내려가는 물리학을 이해하도록 가르치는 것과 같습니다. 공이 굴러가는 물리 법칙은 그것을 움직이는 주체가 인간이든 로봇이든 동일하기 때문에, 로봇은 인간의 체형 때문에 혼란을 겪지 않고 인간의 영상으로부터 배울 수 있습니다.

"세계"가 중요하다: 로봇은 무엇을 예측해야 하는가?

연구진은 로봇이 미래의 세계를 "보는" 세 가지 다른 방법을 테스트했습니다. 그들은 로봇의 뇌를 "다음 질문은 무엇을 예측해야 하는가?"라는 문제를 푸는 학생처럼 취급했습니다.

"픽셀" 테스트 (재구성): 로봇이 다음 장면의 이미지를 픽셀 단위로 정확하게 예측하려고 시도합니다.
- 결과: 이는 실패였습니다. 로봇은 옷의 정확한 색상이나 방의 조명을 기억하는 데 매몰되었습니다. 로봇은 "컵이 움직이는 것"과 "카메라가 흔들리는 것"을 구분하지 못했습니다. 이는 도로 위의 모래알 하나하나를 다 외우려고 운전을 배우는 것과 같습니다. 결국 큰 그림을 놓치게 됩니다.
"DINO" 테스트 (의미론): 로봇이 장면의 의미를 예측합니다. 로봇은 정확한 파란색의 색조나 조명에 신경 쓰는 대신, "저것은 컵이다" 또는 "저것은 가방이다"라는 것을 인식하는 법을 배웁니다.
- 결과: 이는 새로운 것을 보는 데 있어 엄청난 승리였습니다. 로봇이 처음 보는 컵을 마주하거나 다른 배경의 방에 처했을 때, 기존 방식보다 4배 더 나은 성과를 보였습니다. 로봇은 사진 자체가 아니라 사물의 개념을 배운 것입니다.
"3D Flow" 테스트 (모션): 로봇이 카메라의 흔들림을 무시하고 사물이 3D 공간에서 어떻게 움직이는지를 정확하게 예측합니다. 이는 인간의 머리 움직임을 걸러내고 오직 물체의 움직임에만 집중합니다.
- 결과: 이는 정밀도 면에서 챔피언이었습니다. 로봇이 익숙한 방 안의 특정 위치에 컵을 놓아야 할 때, 성공률이 20~30% 향상되었습니다. 로봇은 움직임의 정확한 기하학적 구조를 학습했습니다.

핵심 요약

이 논문은 인간의 영상을 단순히 쏟아붓는다고 해서 로봇이 작동할 것이라 기대해서는 안 된다는 것을 보여줍니다. 우리는 로봇이 그 영상으로부터 무엇을 배우는지에 대해 영리해져야 합니다.

제외된 것: 단순히 인간의 움직임을 복제하는 것(행동 복제)이나 정확한 픽셀 이미지를 예측하려고 하는 것(Pixel VAE)은 약한 방법입니다. 이러한 방식은 종종 로봇이 로봇 데이터만으로 학습했을 때보다 성능을 떨어뜨립니다.
발견된 것: 의미(DINO)나 3D 움직임(3D Flow)에 집중하는 "세계 행동 모델"을 사용함으로써, 로봇은 방대하고 무질서한 실제 인간 데이터로부터 성공적으로 배울 수 있습니다.

저자들은 컵을 받침대에 놓거나, 옷을 접거나, 식료품 봉투를 담는 등의 작업을 수행하는 양팔 로봇을 이용한 실제 환경 테스트를 통해 이 수치들에 대해 매우 확신하고 있습니다. 그들은 "3D Flow" 방식이 익숙한 환경에서 과업을 완수하는 데 가장 뛰어났으며, "DINO" 방식은 완전히 새로운 물체와 방을 다루는 데 가장 적합했다는 것을 발견했습니다.

요약하자면, 로봇에게 인간처럼 춤추는 법을 가르치지 마세요. 대신 세상이 어떻게 움직이는지를 이해하도록 가르치고, 로봇 스스로 자신만의 춤 동작을 찾아내게 하세요.

기술 요약: EGOWAM: 픽셀을 넘어 세계적 행동 모델로 - 야생의 에고센트릭 인간 데이터를 활용한 접근

문제 정의

에고센트릭(Egocentric) 인간 데이터는 로봇 조작을 위한 확장 가능한 감독(supervision) 소스를 제공하며, 로봇에서 수집하기에는 비용이 너무 많이 드는 다양한 객체, 장면, 행동을 제공합니다. 그러나 표준적인 행동 복제(Behavior Cloning, BC) 공동 학습은 이 데이터를 효과적으로 활용하는 데 어려움을 겪습니다. BC는 전이 가능한 콘텐츠(객체, 장면, 작업 의미론)와 인간의 신체 구조(형태, 머리 움직임, 행동 스타일)에 특화된 전이 불가능한 요소들을 서로 뒤섞어 버립니다. 인간의 행동 레이블이 로봇으로 리타겟팅될 때, 공유된 행동 디코더는 정책이 실행 불가능한 인간 같은 동작을 학습하도록 강제하여 다운스트림 성능을 저하시킵니다. 이러한 "신체 격차(embodiment gap)"는 행동 수준의 감독이 유일한 채널일 때 작업 관련 역학(dynamics)의 전이를 가로막습니다.

본 논문은 **세계 행동 모델(World Action Models, WAMs)**이 '장면이 어떻게 진화하는지'를 예측하는 두 번째 감독 채널을 도입함으로써 해결책을 제시한다고 주장합니다. 핵심 연구 질문은 다음과 같습니다: WAM 공동 학습 하에서 인간-로봇 전이를 가장 잘 가능하게 하는 세계 표현(world representation)은 무엇인가? 저자들은 효과적인 세계 타겟이 외관을 추상화하고, 에이전트 불변의 물리적 효과를 포착하며, 카메라 움직임과 환경 변화를 분리해야 한다고 가설을 세웁니다.

방법론: EGOWAM 프레임워크

저자들은 정책 백본, 액션 헤드, 데이터 혼합을 일정하게 유지하면서 세계 표현의 효과를 격리하여 분석할 수 있도록 설계된 제어된 인간-로봇 공동 학습 프레임워크인 EGOWAM을 소개합니다.

1. 아키텍처

EGOWAM은 이종 사전 학습 트랜스포머(Heterogeneous Pretrained Transformer, HPT) 백본을 기반으로 구축되었습니다.

공유 트렁크(Shared Trunk): 단일 트랜스포머 트렁크가 인간과 로봇 데이터의 토큰을 모두 처리합니다.
이중 헤드(Dual Heads):
- 액션 헤드(Action Head): 액션 청크(action chunks)를 예측하는 플로우 매칭(flow-matching) 디코더입니다. 이는 추론 시 사용되는 유일한 채널입니다.
- 월드 모델 헤드(World-Model Head): 현재 잠재 상태 $z_t$ 가 주어졌을 때 미래 상태 $s_{t+T}$ 를 예측하는 교체 가능한 헤드입니다. 이 헤드는 액션 헤드와 함께 공동으로 학습되지만, 추론 시에는 폐기됩니다.
학습 목적 함수: 모델은 다음과 같은 결합 손실 함수로 엔드투엔드 학습됩니다:
$L_{EGOWAM} = L_{action} + \lambda L_{world}$
여기서 $L_{action}$ 은 교차 신체 행동 복제 손실이며, $L_{world}$ 는 세계 예측 손실입니다. 이를 통해 인간 데이터는 행동 레이블이 충실하게 전이되지 않더라도 미래 장면 예측을 통해 공유된 트렁크 표현을 형성할 수 있습니다.

2. 제어 변수 및 세계 표현

최적의 세계 표현을 결정하기 위해, EGOWAM은 세 가지 타겟을 세 가지 요구 사항에 대해 비교합니다: (D1) 외관 추상화, (D2) 교차 신체 일관성, (D3) 에고 모션 분리(Ego-Motion Factoring).

Pixel VAE (재구성 베이스라인): 사전 학습된 비디오 VAE의 잠재 공간에서 미래의 에고 프레임을 예측합니다.
- 분석: 세 가지 요구 사항을 모두 위반합니다. 움직임과 외관을 뒤섞으며 에고 모션을 분리하지 못해 전이 성능이 약합니다.
DINO 특징 (의미론적 추상화): 미래 프레임의 DINO 패치 특징을 예측합니다.
- 분석: D1(추상화)을 만족하고 의미론적 사전 지식을 사용하여 D2(일관성)를 부분적으로 만족합니다. 그러나 여전히 이미지 그리드 상에 공간적으로 인덱싱되어 있어, 에고 모션 분리(D3) 측면에서는 부분적입니다.
3D Flow (공간적 추상화): 카메라가 안정화된 프레임 내의 조밀한 3D 모션 필드를 예측합니다.
- 분석: 구조적으로 세 가지 요구 사항을 모두 만족합니다. VIO 카메라 포즈를 사용하여 흐름(flow)을 안정화함으로써 머리 회전을 분리(D3)하고, 외관을 추상화(D1)하며, 신체 간에 일관된 물리적 변위를 표현(D2)합니다.

3. 데이터 및 정렬

로봇 데이터: 헤드 장착 카메라와 손목 장착 카메라를 갖춘 양팔 원격 조종(ARX5 암) 데이터입니다.
인간 데이터: Project Aria 글래스를 통해 수집된 야생의 에고센트릭 데이터입니다입니다.
액션 정렬: 액션은 14차원 말단 장치(end-effector) 공간으로 통합됩니다. 속도 및 작업 공간의 불일치를 완화하기 위해 저자들은 신체별 시간 윈도우와 분위수 정규화(quantile normalization)를 사용합니다. 결정적으로, 인간의 액션은 리타겟팅 전 에고 모션을 분리하기 위해 즉각적인 장치 프레임(instantaneous device frame)으로 재표현됩니다.

주요 기여

WAM 연구를 위한 제어된 프레임워크: EGOWAM은 교체 가능한 월드 모델 헤드를 가진 단일 백본을 제공하여, 동일한 액션 감독 및 데이터 혼합 하에서 세계 표현을 "일대일(apples-to-apples)"로 비교할 수 있게 합니다.
역학을 통한 스케일링 증거: 본 연구는 WAM 공동 학습이 대규모 자연 에고센트릭 인간 데이터로부터 BC 공동 학습보다 더 일관되게 스케일링되고 전이됨을 입증합니다. 이는 미래 역학 감독이 액션 전용 감독이 포화되는 지점에서 누락된 채널임을 확인시켜 줍니다.
핵심 축으로서의 세계 표현: 본 논문은 세계 표현의 선택이 매우 중요함을 식별합니다. 픽셀 기반 예측은 전이가 약한 반면, DINO 특징과 3D Flow는 상당한 이득을 제공하며 서로 보완적인 강점을 가집니다.

실험 결과

프레임워크는 세 가지 실제 양팔 작업에 대해 평가되었습니다: 컵과 받침대(강체 객체), 옷 접기(변형 가능한 객체), 장바구니 담기(장기 호라이즌 시퀀싱).

WAM vs. BC: WAM 공동 학습은 BC를 일관되게 능가합니다. 많은 경우, BC에 인간 데이터를 추가하면 오히려 성능이 저하(부정적 전이)되는 반면, WAM은 동일한 데이터를 신뢰할 수 있는 이득으로 전환합니다.
표현 성능:
- DINO 특징: 가장 강력한 분포 외(OOD) 일반화 성능을 보였으며, 미학습 객체 및 장면에 대해 베이스라인 대비 최대 4배까지 성능을 향상시켰습니다.
- 3D Flow: 가장 강력한 분포 내(ID) 공간 일반화 성능을 보였으며, 성공률을 20~30% 향상시켰습니다. 기하학적 근거(geometric grounding)가 중요한 정밀한 공간 작업(예: 컵 배치)에서 탁월한 성능을 보였습니다.
- Pixel VAE: 환각(hallucination)과 기하학적 혼란(예: 보이지 않는 객체를 잡으려 하거나 접기 동작을 완료하지 못함)으로 인해 성능이 저조했습니다.
불일치에 대한 강건성: 의도적으로 정렬되지 않은 인간 데이터(인간의 액션이 로봇이 실행할 수 없는 경우)로 테스트했을 때, BC는 로봇 전용 베이스라인 미만으로 무너졌습니다. 반면, 3D-flow WAM은 강건함을 유지하여, 액션 레이블이 전이될 수 없을 때도 역학 감독은 전이될 수 있음을 증로했습니다.
시뮬레이션 검증: 결과는 RoboTwin 2.0 시뮬레이션 환경의 여러 로봇 신체에서 재현되었으며, 월드 모델 헤드가 단순히 액션 공간이 아닌 교차 신체 전이를 주도함을 확인했습니다.

의의 및 주장

본 논문은 EGOWAM을 확정적인 최종 해결책이 아니라, 로봇 조작을 오픈 월드 일반화로 확장하기 위한 "출발점"으로 규정합니다.

"플라이휠(Flywheel)" 효과: 저자들은 "세계가 어떻게 진화하는가"와 "각 신체가 어떻게 행동하는가"를 분리함으로써 WAM이 더 공유 가능한 표현을 유도한다고 주장합니다. 이는 인간 데이터를 로봇 학습을 위한 확장 가능한 "플라이휠"로 위치시키며, 완벽한 액션 정렬 없이도 방대한 야생 데이터로부터 작업 관련 역학을 배울 수 있게 합니다.
설계 축: 본 연구는 외관을 추상화하고, 교차 신체 일관성을 보장하며, 에고 모션을 분리하는 것이 미래 월드 모델을 위한 핵심 설계 축임을 확립합니다.
한계점: 저자들은 EGOWAM이 컨텍스트 수준의 전이는 개선하지만, 아직 인간 데이터로부터 새로운 동작 프리미티브(기술)를 학습하는 것은 불가능하다고 겸허히 언급합니다. 또한, 매우 미세한 조작(센티미터 미만의 정밀도)은 최상의 성능을 보이는 WAM에게도 여전히 병목 구간으로 남아 있습니다.

요약하자면, 본 논문은 세계 표현이 신체 특유의 노이즈를 추상화하도록 신중하게 선택된다면, **세계 행동 모델(World Action Models)**이 야생의 인간 데이터를 로보틱스로 끌어들이는 필수적인 인터페이스라고 주장합니다.