💻 computer science

Do as I Do: Dexterous Manipulation Data from Everyday Human Videos

이 논문은 단안 RGB 인간 비디오로부터 손-물체 상호작용을 재구성하고 이를 정교한 다지형 로봇 손을 위한 실행 가능한 동작으로 리타겟팅하여, 조작 데이터를 확장 가능하게 생성하기 위해 인간과 로봇의 체형 차이를 효과적으로 메우는 알고리즘인 "Do as I Do"를 제시한다.

원저자: Bhawna Paliwal, Haritheja Etukuru, William Liang, Pieter Abbeel, Nur Muhammad Mahi Shafiullah, Jitendra Malik

게시일 2026-06-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bhawna Paliwal, Haritheja Etukuru, William Liang, Pieter Abbeel, Nur Muhammad Mahi Shafiullah, Jitendra Malik

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 달걀을 휘젓거나 못을 박는 것과 같은 섬세한 작업을 가르치고 싶다고 상상해 보십시오. 전통적인 방식이라면, 당신은 로봇 옆에 앉아 로봇의 손을 잡고 모든 움직임을 하나하나 물리적으로 안내해야 했을 것입니다. 이는 느리고 비용이 많이 들며, 가르치는 사람에게 전문가 수준의 숙련도를 요구합니다.

이 논문은 DO AS I DO라고 불리는 새로운 방법을 소개하며, 로봇이 인간이 일상적인 작업을 수행하는 영상을 단순히 보는 것만으로 학습할 수 있게 함으로써 이 문제를 해결하고자 합니다. 마치 로봇이 유튜브 튜토리얼 영상을 보고 스스로 그 동작을 재현하려고 노력하는 것과 같습니다.

이 시스템이 어떻게 작동하는지 두 가지 주요 단계를 쉬운 비유를 통해 설명하겠습니다.

1단계: "3D 탐정" (재구성)

첫 번째 과제는 로봇이 2D 영상(스마트폰 영상 등)을 보고 있지만, 손가락을 움직이기 위해서는 3차원 세상을 이해해야 한다는 점입니다. 영상은 흔들리거나 흐릿할 수 있고, 손이 물체를 가릴 수도 있습니다.

문제점: 만약 누군가 컵을 잡고 있는 영상을 그냥 본다면, 컴퓨터는 컵의 크기가 얼마인지, 얼마나 멀리 있는지, 혹은 손가락이 컵을 어떻게 감싸고 있는지에 대해 혼란을 느낄 수 있습니다.
해결책: 저자들은 "3D 탐정" 시스템을 구축했습니다. 이 시스템은 평면적인 영상을 보고 AI를 사용하여 손과 물체의 3D 형태, 그리고 시간이 흐름에 따라 그것들이 어떻게 움직이는지를 추측합니다.
비법: 물체가 움직이면서 모양이 이상하게 변하거나 위치가 어긋나는 것을 방지하기 위해, 시스템은 하나의 명확한 프레임을 선택하여 물체의 형태를 고정합니다(마데 컵의 완벽한 사진을 찍는 것과 같습니다). 그런 다음 그 고정된 형태가 나머지 영상 속에서 어떻게 이동하는지만 추적합니다. 이는 물체를 매 초마다 새로 그리는 대신, 물체 위에 스티커를 붙여놓고 그 스티커가 움직이는 것을 지켜보는 것과 같습니다.

2단계: "신체 번역기" (리타겟팅)

시스템이 인간의 손이 3D로 어떻게 움직이는지 파악했다면, 이제 그 움직임을 로봇에게 전달해야 합니다. 하지만 여기에는 문제가 있습니다. 인간의 손과 로봇의 손은 구조가 다릅니다.

문제점: 인간은 피부가 있는 길고 유연한 손가락을 가졌지만, 로봇 손은 더 짧고 딱딱한 금속 손가락을 가질 수 있습니다. 만약 인간의 손가락 각도를 로봇에게 그대로 복사한다면, 로봇은 자신의 손가락을 부러뜨리거나 중력이나 마찰력 같은 물리 법칙을 이해하지 못해 컵을 떨어뜨릴 수도 있습니다.
해결책: 이 시스템은 단순히 단어를 복사하는 것이 아니라, 움직임의 의도를 번역하는 번역기 역할을 합니다.
- "워밍업" 비법: 로봇이 물체를 잡기 전, 공중에서 물체를 잡는 연습을 하는 "워밍업" 시뮬레이션을 실행합니다. 이를 통해 로봇은 실제 동작이 시작될 때 물체를 바로 떨어뜨리지 않도록 안정적인 시작 위치를 찾는 법을 배웁니다.
- "흔들기" 비법: 로봇의 강인함을 높이기 위해, 연습 과정에서 미세하고 무작위적인 충격이나 밀기(push)를 시뮬레이션합니다. 이는 아이가 자전거를 배울 때 살짝 밀어주며 균형 잡는 법을 가르치는 것과 같습니다. 이를 통해 로봇은 상황이 약간 어긋나더라도 실패하지 않는 움켜쥐는 법을 배웁니다.
- "전환" 체크: 시스템은 로봇이 "휴식" 상태에서 "잡기" 상태로 전환되는 순간을 특별히 체크합니다. 로봇이 물체를 집으려 하지만 접촉에 실패할 경우 페널티를 부여함으로써, 로봇이 단순히 물체 근처에서 손을 흔드는 것이 아니라 실제로 물체를 제대로 '잡도록' 만듭니다.

무엇을 달성했는가?

연구팀은 인터넷에서 찾을 수 있는 방대한 영상 모음으로 테스트를 진행했습니다. 여기에는 다음이 포함됩니다:

사람들이 카메라를 직접 들고 찍은 영상 (1인칭 시점)
제3자가 관찰하며 찍은 영상 (3인칭 시점)
AI가 생성한 영상

그 결과, 그들의 방식이 기존 도구들보다 3D 손 움직임을 파악하는 데 훨씬 뛰어나다는 것을 발견했습니다. 더 중요한 것은, 재구성된 움직임을 실제 물리적인 로봇 손(22개의 움직이는 부품을 가진 정교한 손)에 성공적으로 적용했다는 점입니다. 로봇은 오직 영상을 보는 것만으로 휘젓기, 따르기, 먼지 털기, 물체 집기와 같은 작업을 성공적으로 수행할 수 있었습니다.

"현실적인 한계" (제한 사항)

저자들은 시스템이 아직 할 수 없는 부분에 대해서도 솔직하게 밝히고 있습니다:

이 시스템은 물체가 단단하고 고정되어 있다고 가정합니다 (반죽이나 천과 같은 부드러운 물체에는 어려움을 겪습니다).
오직 손과 물체만을 관찰하므로, 방의 나머지 부분은 무시합니다. 만약 테이블이 가로막고 있다면, 영상에서 충돌 장면이 명확히 보이지 않는 한 로봇은 이를 피하는 법을 모를 수 있습니다.
물리 시뮬레이터가 정확하다는 것에 의존합니다. 만약 시뮬레이션이 실제와 약간 다르다면, 실제 로봇은 어려움을 겪을 수 있습니다.

핵심 요약

DO AS I DO는 "보는 것"을 "행하는 것"으로 바꾸는 파이프라인입니다. 이 시스템은 복잡하고 일상적인 영상을 가져와서, 그 동작의 3D 물리 법칙을 재구성하고, 이를 로봇의 특정 신체에 맞게 번역하여, 실제 로봇이 정교한 작업을 수행할 수 있도록 일련의 지침을 만들어냅니다. 이는 로봇에게 모든 동작을 수동으로 가르치는 대신, 이미 인터넷에 존재하는 방대한 인간 영상 라이브러리로부터 학습할 수 있게 하는 한 걸음입니다.

기술 요약: DO AS I DO

문제 정의

로봇 학습 분야는 숙련된 조작(dexterous manipulation)을 위한 경험적 데이터의 부족이라는 결정적인 병목 현상에 직면해 있습니다. 특히 다지형 로봇 핸드(multi-fingered robotic hands)의 경우 더욱 그러합니다. 관찰 데이터(인간이 과업을 수행하는 단안 RGB 비디오)는 풍부하지만, 이 "보는" 데이터를 로봇의 "하는" 데이터로 변환하는 과정은 두 가지 주요 과제로 인해 어려움을 겪습니다:

손-물체 상호작용 추정: 노이즈가 많은 야생(in-the-wild) 단안 RGB 비디오로부터 3D 손-물체 상호작용을 정확하게 재구성하는 것은 어렵습니다. 기존 방식들은 모션 블러, 폐쇄(occlusion), 또는 다양하고 구조화되지 않은 물체를 다룰 때 실패하는 경우가 많습니다.
Embodiment Gap 및 리타겟팅(Retargeting): 재구성된 인간의 궤적을 확보하더라도, 이를 형태학적 특성(손가락 길이, 관절 구조 등)이 판이하게 다른 로봇에 매핑하는 것은 쉽지 않습니다. 기존의 리타겟팅 접근법은 물리 법칙을 무시하는 키네마틱 솔버(침투나 불안정성을 초래함)에 의존하거나, 인터넷 규모의 비디오에서는 구할 수 없는 깨끗한 그라운드 트루스(ground-truth) 참조 데이터(예: 모션 캡처)를 필요로 합니다.

본 논문은 다음과 같은 질문을 던집니다: 행동, 물체 클래스, 또는 데이터 모달리티에 대한 제한적인 가정을 하지 않고도, 어떻게 관찰된 인간 데이터와 경험적인 로봇 데이터 사이의 간극을 메울 수 있는가?

방법론: DO AS I DO

저자들은 단안 RGB 비디오로부터 손-물체 상호작용을 재구성하고, 이를 물리적으로 실행 가능한 로봇 동작으로 리타겟팅하는 2단계 파이프라인인 DO AS I DO를 제안합니다.

1. 재구성 (손-물체 트래킹)

첫 번째 단계는 단일 뷰 비디오로부터 손과 물체의 일관된 4D (3D + 시간) 궤적을 복구하는 것을 목표로 합니다.

손 트래킹: 시스템은 월드 공간(world-space)에서의 손 움직임을 견고하게 재구성하는 모델인 HaWoR [45]를 사용하여 인간의 손을 추적합니다.
가이드 확산(Guided Diffusion)을 통한 물체 트래킹: 물체의 경우, 저자들은 이미지-투-3D 생성 파운데이션 모델인 SAM 3D [11]를 변형하여 사용합니다. SAM 3D는 프레임당 독립적인 메쉬를 생성하기 때문에 시간적 일관성이 부족한데, 저자들은 다음과 같은 가이드 확산(Guided Diffusion) 트래킹 메커니즘을 도입했습니다:
- 앵커 프레임에서 물체의 형상 $\bar{x}_s$ 를 고정합니다.
- 후속 프레임들에 대해, 고정된 형상과 이전 프레임의 포즈 $x^p_{k-1}$ 에 조건화된 포즈 $x^p_k$ 를 샘플링합니다.
- 이는 적응형 가이드 파라미터를 사용하여 모델의 디노이징 업데이트를 타겟 인터폴런트(고정된 형상 및 이전 포즈)와 혼합함으로써 수정된 플로우 매칭(flow-matching) 추론(식 1)을 통해 달성됩니다.
- 적응형 가이드(Adaptive Guidance): 포즈 가이드 강도 $\alpha_p$ 는 물체의 추정 회전 속도(2D 포인트 트랙 사용)로부터 동적으로 유도되어, 과도한 경직성이나 잘못된 뒤집힘(spurious flips)을 방지합니다.
- 샘플링 및 선택: 확산 모델의 확률성을 처리하기 위해, 시스템은 프레임당 $N$ 개의 후보 포즈를 샘플링하고, 계산 비용이 많이 드는 로그 밀도 순위 지정 대신 가중치 적용된 SE(3) 거리에 기반한 클러스터링 휴리스틱을 사용하여 최적의 포즈를 선택합니다.
정렬(Alignment): 독립적으로 재구성된 손과 물체(서로 다른 스케일을 가질 수 있음)는 근사 메트릭 공간(near-metric space)으로 정렬됩니다. 물체의 이동은 MoGe [10]의 깊이 정보를 사용하여 손의 중심점(centroid)에 상대적으로 스케일링되며, 궤적은 GeoCalib [68]를 사용하여 중력 방향과 정렬됩니다.

2. 리타겟팅 (역학 인식 최적화)

두 번째 단계는 재구성된 인간의 궤적을 물리 시뮬레이터(MuJoCo Warp) 내에서 샘플링 기반 최적화(MPPI 스타일)를 사용하여 숙련된 로봇 손(Sharpa Wave)과 팔(UR3e)로 매핑합니다.

웜업 단계(Warmup Steps): 초기 프레임의 노이즈로 인해 로봇이 복구 불가능한 상태(예: 즉시 물체를 떨어뜨리는 상태)에 놓이는 문제를 해결하기 위해, 시스템은 $H$ 개의 "웜업" 단계를 전치합니다. 이 단계 동안 물체는 고정된 위치(예: 공중)에 유지되는 동안 로봇 손은 트래킹을 시작하기 전 안정적인 파지(grasp)를 찾기 위해 자유롭게 움직입니다.
무작위 힘 섭동(Random Force Perturbation): 국소 최적해(local minima)나 불안정한 상호작용(예: 손가락 끝으로 균형 잡기)에 대한 강건성을 보장하기 위해, 최적화 과정에서 무작위 힘과 토크를 도입합니다. 이는 미세한 방해에도 강건한 제어를 장려합니다.
전이 보상(Transition Reward): "휴식(rest)" 상태와 "인핸드(in-hand)" 상태의 이산적 특성을 처리하기 위해, 실패한 전이에 대한 페널티 항이 추가됩니다 (예: "in-hand" 단계에서의 손-물체 접촉 부재 또는 "rest" 단계에서의 물체-바닥 접촉 부재).

주요 기여

알고리즘: 특정 물체 클래스나 파지 사전 지식(grasping priors)을 가정하지 않고, 임의의 단안 RGB 비디오로부터 숙련된 손 동작을 재구성하고 리타겟팅하는 DO AS I DO 파이프라인을 도입했습니다.
재구성 SOTA: DO AS I DO는 표준 벤치마크(DexYCB, HOI4D)에서 SOTA 성능을 달성하며, 다양한 야생(in-the-wild) 영상(에고센트릭 및 엑소센트릭)을 처리할 수 있습니다.
강건한 리타겟팅: 웜업 단계, 힘 섭동, 전이 보상을 도입하여 노이즈가 있는 재구성 참조를 처리함으로써 기존의 확장 가능한 기술들을 개선한 역학 인식 리타겟팅 프로세스를 제공합니다.
실제 환경 파이프라인: 인터넷 비디오를 입력받아 실제 세계의 숙련된 손 롤아웃을 생성할 수 있는 최초의 알려진 파이프라인이며, 양팔 로봇 설정에서 검증되었습니다.

실험 결과

재구성: DexYCB 및 HOI4D 데이터셋에서, DO AS I DO는 F-score (F-5, F-10) 및 Chamfer Distance (CD)에서 새로운 SOTA를 달성하며, 결합 재구성 방식(예: MCC-HO, G-HOP) 및 물체 트래커(FoundationPose, Any6D)보다 우수한 성능을 보였습니다.
야생 환경 평가: 150개의 인터넷 비디오 벤치마크에서, 인간 평가자들은 FoundationPose보다 DO AS I DO의 물체 트래킹을 **67%**의 사례에서 더 선호했습니다. 질적으로, 이 방법은 모션 블러나 폐쇄 상황에서도 베이스라인이 물체를 놓치는 것과 달리 시간적 일관성을 유지합니다.
리타겟팅: 재구성된 야생 데이터셋에서, 이 방법은 **71%**의 성공률을 달est하며, 이는 베이스라인인 Annealed Sampling 방식(25%)에 비해 크게 향상된 수치입니다. "Warmup" 구성 요소가 주요 차별점으로 식별되었습니다. 고품질 참조 데이터인 OakInk2 MoCap 데이터셋의 경우, 성공률이 72%(베이스라인)에서 **81%**로 향상되어 높은 품질의 참조에서도 효과적임을 입증했습니다.
배포: 시스템은 실제 양팔 로봇 설정에서 10가지 다양한 과업(예: 휘젓기, 붓기, 망치질하기)을 성공적으로 수행했습니다.

의의 및 주장

본 논문은 DO AS I DO가 숙련된 조작을 위한 관찰 데이터와 경험적 데이터 사이의 간극을 메운다고 주장합니다. 3D 컴퓨터 비전의 최신 발전(깊이 및 3D 생성을 위한 파운데이션 모델)과 GPU 가속 물리 시뮬레이션을 활용함으로써, 저자들은 단순히 인간을 관찰하는 것만으로 로봇 데이터 수집을 확장할 수 있음을 보여줍니다.

저자들은 자신의 연구를 인간 비디오를 로봇 학습 환경에서 "일급 시민(first-class citizens)"으로 만드는 단계로 포지셔닝합니다. 그들은 "효율성 플레이북(efficacy playbook)"을 제안하며, 가공되지 않은 인터넷 데이터에는 상당한 필터링이 필요하지만(분석 결과 샘플링된 클립의 약 4~5%만이 유용하다고 판단됨), 남은 데이터는 복잡한 조작 기술을 학습하는 데 매우 가치 있다는 점을 강조합니다.

인정된 한계점:
이 접근 방식은 강체(rigid objects)를 가정하며, 준수한 수준의 메트릭 깊이 예측에 의존합니다. 또한 손-물체 간의 모호한 거리(접촉과 폐쇄의 구분)를 처리하는 데 어려움이 있으며, 전체 장면 제약(장애물, 다른 물체 등)을 고려하지 않고 오직 손과 단일 대상 물체에만 집중합니다. 아울러, 실제 성능의 충실도는 물리 시뮬레이터의 근사치에 의해 제한됩니다.