🤖 AI

World Models for Learning Dexterous Hand-Object Interactions from Human Videos

이 논문은 인간 시점 비디오의 손 관절점을 활용하여 방대한 데이터로 학습된 'DexWM'이라는 정교한 손-물체 상호작용 세계 모델을 제안함으로써, 미세한 손동작을 정밀하게 예측하고 다양한 작업에서 기존 방법론을 압도하는 제로샷 전이 능력을 입증합니다.

원저자: Raktim Gautam Goswami, Amir Bar, David Fan, Tsung-Yen Yang, Gaoyue Zhou, Prashanth Krishnamurthy, Michael Rabbat, Farshad Khorrami, Yann LeCun

게시일 2026-03-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Raktim Gautam Goswami, Amir Bar, David Fan, Tsung-Yen Yang, Gaoyue Zhou, Prashanth Krishnamurthy, Michael Rabbat, Farshad Khorrami, Yann LeCun

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

손재주 있는 로봇을 위한 '예측 능력' 훈련: DexWM 소개

이 논문은 **"로봇이 인간의 손처럼 정교하게 물건을 다룰 수 있게 하려면 어떻게 해야 할까?"**라는 질문에 대한 새로운 해법을 제시합니다. 연구팀은 이를 위해 **'DexWM(데스-WM)'**이라는 새로운 인공지능 모델을 개발했습니다.

이 모델을 이해하기 쉽게 일상적인 비유로 설명해 드릴게요.

1. 문제: 로봇은 왜 손이 서툴까?

기존의 로봇들은 주로 '집게'처럼 생긴 손가락 두 개로 물건을 잡습니다. 하지만 인간은 5 개의 손가락을 이용해 사과를 껍질을 벗기거나, 컵을 들어 올리고, 악기를 연주할 수 있죠. 이를 **'손재주 (Dexterity)'**라고 합니다.

기존의 AI 는 로봇이 어떻게 움직일지 예측하는 '세상 모델 (World Model)'을 만들 때, 너무 거친 명령만 받았습니다. 예를 들어 "앞으로 가", "잡아" 같은 큰 명령만 주어졌죠. 하지만 손가락 하나하나의 미세한 움직임이 물체에 어떤 영향을 미치는지까지 예측하려면, 훨씬 더 정교한 이해가 필요합니다.

2. 해결책: 인간의 눈을 빌리다 (DexWM)

연구팀은 로봇이 직접 수천 시간의 데이터를 모으는 대신, **사람들이 찍은 '1 인칭 시점 (자신이 보는 관점) 의 동영상'**을 학습시켰습니다.

비유: 로봇이 직접 요리하는 법을 배우기 위해 수천 번 실패하는 대신, 유튜브에 있는 요리사들의 손동작 영상을 수천 시간 동안 보고 배우는 것과 같습니다.
데이터: 900 시간 이상의 인간 손동작 영상과 로봇 데이터를 섞어 학습시켰습니다.

3. 핵심 기술: "손가락 끝까지 예측하기"

이 모델의 가장 큰 특징은 두 가지입니다.

① 손가락의 위치를 숫자로 정확히 읽기
기존 모델은 "손을 움직여"라고만 했다면, DexWM 은 **"엄지손가락 끝이 3mm 왼쪽으로, 검지손가락은 2mm 위로 움직여"**라고 아주 정밀하게 계산합니다. 마치 마리오네트 인형의 실을 하나하나 조절하듯, 손가락의 관절 위치를 3D 로 파악합니다.

② "손이 제자리에 있는지" 확인하는 검사 (Hand Consistency Loss)
영상만 예측하면, AI 가 "손은 움직였는데 물체는 그대로 있네?" 같은 어색한 상황을 만들 수 있습니다. 그래서 연구팀은 **손의 모양이 논리적으로 맞는지 확인하는 '보조 검사'**를 추가했습니다.

비유: 요리사가 냄비를 잡을 때, 손가락이 냄비 손잡이를 제대로 감싸고 있는지, 아니면 공중에 떠 있는지 확인하는 것처럼, AI 가 손가락의 형태가 자연스러운지 스스로 점검하게 만든 것입니다.

4. 실전 적용: 시뮬레이션에서 현실로

이 모델은 단순히 영상을 예측하는 것을 넘어, 실제 로봇이 물건을 잡는 계획을 세우는 데 쓰입니다.

작동 방식: 로봇이 "이 컵을 잡고 테이블 위에 올려야 해"라고 목표를 잡으면, DexWM 은 **"어떻게 손가락을 움직여야 컵이 떨어지지 않고 잡힐까?"**를 수천 번 시뮬레이션해 봅니다. 마치 체스 선수가 몇 수 앞을 내다보며 최선의 수를 찾는 것과 같습니다.
결과: 이 모델은 실제 로봇 (프랑카 팔다 + 알레그로 그리퍼) 에 적용했을 때, 아무런 추가 학습 없이도(Zero-shot) 12 번의 시도 중 8 번 이상 성공했습니다. (약 83% 성공률). 이는 기존 방식보다 50% 이상 뛰어난 성능입니다.

5. 요약: 왜 이것이 중요한가?

이 연구는 **"로봇이 인간의 손처럼 정교한 작업을 하려면, 거대한 로봇 데이터가 아니라 인간의 손동작 영상을 통해 '세상의 법칙'을 배워야 한다"**는 것을 증명했습니다.

기존: 로봇이 직접 수천 번 실수하며 배움 (시간과 비용이 많이 듦).
DexWM: 인간의 영상을 보고 손가락 하나하나의 미세한 움직임과 물체의 반응을 학습한 뒤, 로봇에게 그 지식을 전달함.

결론적으로, DexWM 은 로봇에게 '손재주'라는 초능력을 부여하는, 손가락 끝까지 예측하는 똑똑한 두뇌라고 할 수 있습니다. 앞으로 이 기술이 발전하면, 로봇이 요리, 수술, 심지어 악기 연주까지 자연스럽게 해낼 날이 멀지 않았을 것입니다.

1. 연구 배경 및 문제 정의 (Problem)

도전 과제: 정교한 손 (Dexterous Hand) 을 이용한 물체 조작은 손가락의 미세한 움직임이 물체와 접촉하여 환경에 어떻게 영향을 미치는지 이해해야 하므로 매우 복잡합니다. 기존의 병렬 턱 (parallel-jaw) 그리퍼는 이러한 정교한 조작이 어렵습니다.
기존 방법의 한계: 최근의 월드 모델 (World Models) 은 상호작용을 모델링하지만, 주로 텍스트, 내비게이션, 또는 전신 동작과 같은 거친 (coarse) 행동 공간에 의존합니다. 이는 손가락의 미세한 움직임과 정교한 역학을 포착하기에 부족합니다.
데이터 부족: 정교한 그리퍼를 가진 로봇의 대규모 데이터셋은 부재하며, 이를 학습하기에는 데이터가 턱없이 부족합니다.

2. 제안 방법론: DexWM (Methodology)

저자들은 인간 비디오에서 직접 학습하여 정교한 손 - 물체 상호작용 역학을 예측하는 DexWM (Dexterous Interaction World Model) 을 제안합니다.

가. 핵심 아키텍처 및 표현 (Representation)

상태 표현 (State): 픽셀 수준의 세부 사항보다는 시스템 역학에 필요한 정보를 추출하기 위해 DINOv2 이미지 인코더를 사용하여 이미지를 잠재 공간 (Latent Space) 의 패치 (patch) 단위로 인코딩합니다.
행동 표현 (Action): 기존 방법들의 한계를 극복하기 위해 손의 3D 키프레임 (Keypoints) 차이를 행동 벡터로 정의합니다.
- MANO 파라미터를 기반으로 양손의 21 개 키포인트 좌표를 사용합니다.
- 카메라의 이동 (병진 및 회전) 정보를 행동 벡터에 추가하여 에이전트의 움직임까지 고려합니다.
- 로봇 데이터 (DROID) 의 경우, 병렬 턱 그리퍼를 더미 키포인트로 근사화하여 정교한 손 표현에 매핑합니다.

나. 예측기 (Predictor)

Conditional Diffusion Transformer (CDiT) 기반의 예측기를 사용합니다.
과거 상태와 현재 행동을 입력받아 미래의 잠재 상태 (Future Latent State) 를 직접 회귀 (Regression) 합니다.
기존 확산 (Diffusion) 모델과 달리 반복적인 노이즈 제거 과정 없이 직접 예측하여 추론 속도를 높였습니다.

다. 손 일관성 손실 (Hand Consistency Loss)

미래 상태 예측만으로는 손의 미세한 위치를 정확히捕捉하기 어렵다는 점을 발견했습니다.
이를 해결하기 위해 보조 손 일관성 손실 (Auxiliary Hand Consistency Loss, $L_{HC}$ ) 을 도입했습니다.
- 예측된 잠재 상태로부터 손가락 끝과 손목의 열지도 (Heatmap) 를 예측하도록 강제합니다.
- 이는 모델이 손의 국소적인 정보 (Local Information) 를 정확하게 학습하도록 유도하여 정교한 역학 모델링을 가능하게 합니다.

라. 로봇 작업 계획 (Robot Task Planning)

학습된 DexWM 을 모델 예측 제어 (MPC) 프레임워크 내의 상태 전이 모델로 활용합니다.
목표 상태 (Goal Image) 와 초기 상태 (Start Image) 를 입력받아, 교차 엔트로피 방법 (CEM) 을 통해 최적의 행동 시퀀스 (Joint Angles) 를 계획합니다.
계획된 경로는 저수준 제어기를 통해 로봇이 실행합니다.

3. 주요 기여 (Key Contributions)

인간 비디오 기반 대규모 학습: 정교한 로봇 데이터의 부족을 해결하기 위해 EgoDex(829 시간의 1 인칭 시점 인간 비디오) 와 DROID 데이터를 결합하여 대규모로 학습했습니다.
정교한 행동 표현: 텍스트나 전신 동작이 아닌, 손 키프레임 차이를 기반으로 한 정밀한 행동 표현을 도입하여 미세한 조작 역학을 학습했습니다.
손 일관성 손실: 정교한 손 움직임을 정확히 예측하기 위한 새로운 보조 손실 함수를 제안하여 모델 성능을 크게 향상시켰습니다.
제로샷 전이 (Zero-Shot Transfer): 인간 데이터로 사전 학습된 모델을 소량의 로봇 탐색 데이터 (RoboCasa 시뮬레이션) 로 미세 조정 (Fine-tuning) 후, 실제 로봇 (Franka Panda + Allegro Gripper) 에 적용하여 새로운 작업 (잡기, 놓기, 도달) 을 성공적으로 수행했습니다.

4. 실험 결과 (Results)

오픈-루프 예측 성능:
- 기존 월드 모델 (NWM, PEVA) 및 텍스트 기반 모델 (Cosmos-Predict2) 보다 미래 상태 예측 정확도와 손 키포인트 정확도 (PCK@20) 에서 우위를 보였습니다.
- 특히 PCK@20 지표에서 약 5% 이상 향상되어 손의 미세한 위치를 정확히 포착함을 입증했습니다.
시뮬레이션 및 실제 로봇 성능:
- RoboCasa 시뮬레이션: 도달 (Reach), 잡기 (Grasp), 놓기 (Place) 작업에서 Diffusion Policy 보다 평균 50% 이상 높은 성공률을 기록했습니다.
- 실제 로봇 (Real-World): 실제 Franka 로봇에서 인간 데이터에 대한 추가적인 실제 로봇 학습 (Fine-tuning) 없이 (Zero-shot) 잡기 작업에서 83% (12 회 중 10 회) 의 성공률을 달성했습니다.
- 반면, 기존 Diffusion Policy 는 실제 환경에서 실패했습니다. 이는 월드 모델이 데이터의 질과 시뮬레이션 - 현실 간격 (Sim-to-Real Gap) 을 더 잘 처리함을 의미합니다.

5. 의의 및 결론 (Significance)

데이터 효율성: 정교한 로봇 조작을 위해 대규모 로봇 데이터가 필수적이라는 기존 통념을 깨고, 인간 비디오를 주된 학습 자료로 사용하여 성공적인 로봇 제어를 가능하게 했습니다.
정교한 역학 모델링: 손의 미세한 움직임과 물체 간의 물리적 상호작용 (충돌, 미끄러짐 등) 을 정확히 시뮬레이션할 수 있는 능력을 입증했습니다.
범용성: 특정 작업에 국한되지 않고, 새로운 작업 (Reach, Grasp, Place) 에 대해 제로샷 (Zero-shot) 으로 일반화되는 강력한 능력을 보여주었습니다.
향후 전망: 이 연구는 로봇이 인간과 유사한 수준의 정교한 조작 능력을 갖추기 위한 '월드 모델' 기반 접근법의 유효성을 입증하며, 향후 더 복잡한 물리적 상호작용을 가진 로봇 시스템 개발의 토대를 마련했습니다.

요약: 이 논문은 인간 비디오에서 학습한 정교한 손 - 물체 상호작용 월드 모델 (DexWM) 을 제안하며, 손 키프레임 기반 행동 표현과 보조 손실 함수를 통해 미세한 역학을 학습하고, 이를 실제 로봇에 제로샷으로 적용하여 기존 방법론을 압도하는 성능을 입증했습니다.