1. 문제 정의 (Problem)

로봇이 복잡한 물체 조작 (Dexterous Manipulation) 을 수행하기 위해서는 물리 법칙을 따르는 인간 - 물체 상호작용 (HOI) 모션을 학습하는 것이 필수적입니다. 그러나 기존 연구들은 다음과 같은 한계를 가지고 있습니다:

• 고품질 3D 데이터의 부재: 정교한 손 - 물체 상호작용을 위한 고품질 3D 모션 캡처 (MoCap) 데이터는 획득 비용이 매우 비싸고, 특정 물체와 시나리오에 제한적입니다.
• 2D 비디오의 물리 불일치: 최근 생성형 AI 를 통해 다양한 시나리오의 2D HOI 비디오를 합성할 수 있지만, 이를 3D 물리 시뮬레이션에 직접 적용하기는 어렵습니다. 2D 비디오에서 3D 공간 정렬 (Spatial Alignment) 을 맞추는 것은 특히 손과 물체 간의 정밀한 접촉 관계를 복원할 때 매우 모호한 (ill-posed) 문제입니다.
• 기존 방법의 한계: 기존 3D 모방 학습 방법들은 정확한 3D 참조 데이터에 의존하므로, 다양한 물체나 새로운 상호작용에 대한 제로샷 (Zero-shot) 일반화가 어렵습니다.

2. 제안 방법 (Methodology: DeVI)

저자들은 DeVI (Dexterous Video Imitation) 라는 새로운 프레임워크를 제안합니다. 이는 텍스트 기반의 합성 비디오를 활용하여 물리 기반의 정교한 HOI 모션을 생성하는 방법입니다. 주요 구성 요소는 다음과 같습니다.

가. 2D HOI 비디오 생성 (Video Generation)

• 입력된 3D 인간 (SMPL-X) 과 물체 장면을 실제 질감이 입혀진 메시로 변환한 후, 렌더링합니다.
• 렌더링된 이미지와 텍스트 프롬프트 (예: "왼손으로 콜라를 잡는다") 를 입력으로 받아, 비디오 확산 모델 (Video Diffusion Model, Wan) 을 사용하여 2D HOI 비디오를 생성합니다.
• 이 과정에서 생성된 비디오는 다양한 물체와 상호작용을 포함하며, 물리적으로 타당한 시각적 플러시빌리티 (Visual Plausibility) 를 가집니다.

나. 하이브리드 모방 목표 추출 (Hybrid Imitation Target Extraction)

생성된 2D 비디오를 직접 3D 제어에 사용하기 어렵기 때문에, 하이브리드 모방 목표 (Hybrid Imitation Target) 를 추출합니다.

1. 3D 인간 모션 (Human): 단안 (Monocular) 3D 인간 모션 추정기 (GVHMR) 와 손 자세 추정기 (HaMeR) 를 사용하여 3D 인간 포즈를 초기화합니다.
2. 시각적 HOI 정렬 (Visual HOI Alignment): 초기 추정된 3D 인간 모션은 비디오나 3D 물체와 완벽하게 정렬되지 않을 수 있습니다. 이를 해결하기 위해 시각적 HOI 정렬 최적화를 수행합니다.
   • 2D 투영 손실 (Projection Loss), 시간적 일관성 손실, 그리고 HOI 손실 (Contact Loss) 을 최소화하여 인간과 물체의 접촉 관계를 보정합니다.
   • 이를 통해 생성된 비디오의 2D 정보와 3D 물체 간의 정밀한 정렬을 달성합니다.
3. 2D 물체 궤적 (Object Trajectory): 물체의 3D 포즈를 추정하는 대신, 비디오에서 물체 정점 (Vertices) 의 2D 궤적을 추적기 (Cotracker) 를 통해 추출합니다. 3D 물체 포즈 추정의 불확실성을 피하고 강건한 2D 정보를 활용합니다.

다. 하이브리드 추적 보상 (Hybrid Tracking Reward)

강화 학습 (RL, PPO) 을 통해 인간형 로봇의 제어 정책을 학습할 때, 다음과 같은 하이브리드 보상을 사용합니다:

• 인간 추적 보상 ($R_h$): 추출된 3D 인간 모션을 따르도록 합니다.
• 물체 추적 보상 ($R_o$): 추출된 2D 물체 궤적을 따르도록 합니다. (기존의 6D 포즈 추적이 아닌 2D 투영 기반)
• 접촉 보상 ($R_{contact}$): 생성된 비디오에서 물체의 움직임 시작 시점을 기반으로 접촉 라벨을 추론하여, 인간이 물체와 접촉하는 시점과 힘을 보상으로 반영합니다.

3. 주요 기여 (Key Contributions)

1. DeVI 프레임워크: 고품질 3D 모션 캡처 데이터 없이도, 텍스트 조건부 합성 비디오를 활용하여 물리 기반의 정교한 인간 - 물체 상호작용을 제어하는 새로운 프레임워크를 제안했습니다.
2. 하이브리드 모방 목표: 3D 인간 참조와 2D 물체 참조를 결합한 하이브리드 목표를 도입하여, 3D 복원의 어려움 (특히 물체 포즈) 을 우회하면서도 정교한 상호작용을 학습할 수 있게 했습니다.
3. 시각적 HOI 정렬: 생성된 비디오와 3D 장면 간의 정렬을 개선하는 최적화 기법을 제안하여, 물리 시뮬레이션에서 실행 가능한 모션을 생성했습니다.
4. 범용성 및 일반화: 다양한 물체 (20 개 이상) 와 다중 물체 환경, 텍스트 프롬프트 기반의 다양한 행동에 대한 제로샷 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 벤치마크 비교 (GRAB Dataset): 기존 3D 모방 학습 방법들 (PhysHOI, SkillMimic, InterMimic) 과 비교한 결과, DeVI 는 인간 모션 (Body/Hand MPJPE) 과 물체 이동 (Object Translation/Orientation) 모두에서 가장 낮은 오차를 보이며 압도적인 성능을 발휘했습니다.
  • 특히 손 - 물체 상호작용의 정밀도에서 기존 방법들을 크게 앞섰습니다.
• Ablation Study:
  • 시각적 HOI 정렬: 이를 제거할 경우 인간 모션과 비디오/물체 간의 정렬이 깨져 상호작용이 불가능해짐을 확인했습니다.
  • 2D 보상: 6D 포즈 대신 2D 궤적을 사용한 보상이 오히려 더 안정적이고 효율적인 정책 학습을 유도함을 입증했습니다. (6D 포즈 보상은 과제약 (Over-constraint) 으로 인해 최적 해를 찾기 어렵게 만듦)
• 다양성: 텍스트 프롬프트를 변경하여 같은 장면에서 다양한 상호작용 (예: 사과 먹기, 모자 쓰기, 카메라 찍기 등) 을 성공적으로 생성했습니다.

5. 의의 및 결론 (Significance)

DeVI 는 비디오 생성 모델을 'HOI 인지형 모션 플래너 (HOI-aware Motion Planner)' 로 활용한다는 혁신적인 접근법을 제시합니다.

• 데이터 효율성: 고비용의 3D 모션 캡처 데이터 없이도, 인터넷상의 텍스트와 이미지만으로 다양한 물체 조작 기술을 학습할 수 있는 길을 열었습니다.
• 실용성: 2D 비디오 기반의 추정이 3D 포즈 추정보다 훨씬 쉽고 강건하다는 점을 활용하여, 실제 로봇 학습에 적용 가능한 확장성 있는 솔루션을 제공합니다.
• 미래 방향: 복잡한 다중 물체 환경과 정교한 접촉 제어가 필요한 시나리오에서도 효과적으로 작동함을 보여주어, 차세대 지능형 로봇의 물리적 조작 능력 향상에 중요한 기여를 할 것으로 기대됩니다.