LOME: Learning Human-Object Manipulation with Action-Conditioned Egocentric World Model

1. 문제 정의 (Problem Statement)

• 기존 한계: 인간 - 물체 조작 (Human-Object Manipulation) 학습은 미세한 동작과 풍부한 접촉 (contact-rich) 을 필요로 하므로 매우 어렵습니다. 기존의 물리 기반 애니메이션은 모델링과 수동 설정이 과도하게 필요하며, 다양한 물체 형태나 실제 환경으로의 일반화가 어렵습니다.
• 재구성 기반 방법의 부족: 단일 이미지나 비디오 클립에서의 3D/4D 재구성 방법은 새로운 상호작용을 생성하는 데 본질적인 한계가 있으며, 보지 못한 환경으로 일반화되지 못합니다.
• 기존 생성 모델의 결함:
  • 텍스트나 이미지 조건만으로는 운동의 질이 낮습니다.
  • 광학 흐름 (Optical Flow) 이나 운동 궤적과 같은 명시적 공간 제어 신호는 물체의 운동을 미리 규정 (prescribe) 하거나 가려짐 (occlusion) 으로 인해 조작 작업에 적합하지 않습니다.
  • 단순히 행동 (Action) 을 조건으로 추가하는 것만으로는 정밀하고 사실적인 손 - 물체 상호작용을 생성하는 데 실패하는 경우가 많습니다.

2. 방법론 (Methodology)

LOME 는 입력 이미지, 텍스트 프롬프트, 그리고 프레임별 인간 행동 (자세 및 제스처) 을 조건으로 받아 현실적인 인간 - 물체 조작 비디오를 생성하는 행동 조건부 (Action-Conditioned) 1 인칭 시점 (Egocentric) 세계 모델입니다.

핵심 아키텍처 및 설계

1. 기반 모델: 사전 훈련된 비디오 확산 모델 (Wan2.1-VACE-14B) 을 기반으로 하며, 경량화된 LoRA (Low-Rank Adaptation) 를 통해 미세 조정 (Fine-tuning) 합니다.
2. 입력 조건:
   • 참조 이미지: 장면과 물체를 정의합니다.
   • 텍스트 프롬프트: 의도된 상호작용을 설명합니다.
   • 행동 맵 (Action Maps): 3D 인간 포즈를 2D 이미지 평면에 투영하여 생성된 래스터화된 2D 행동 맵을 사용합니다. 이는 손이 어디에 있어야 하는지에 대한 픽셀 수준의 가이드를 제공합니다.
   • 카메라 조건: 프레임별 카메라 외향 (extrinsics) 을 레이 맵 (ray maps) 으로 인코딩하여 비디오 잠재 공간에 추가합니다.
3. 공동 행동 - 환경 모델링 (Joint Action-Environment Modeling):
   • 단순한 조건부 생성 대신, 행동 맵의 잠재 표현과 생성된 비디오의 잠재 표현을 연결 (Concatenation) 하여 학습합니다.
   • 학습 과정에서 비디오 잠재 ($x$) 와 행동 잠재 ($a$) 모두에 가우시안 노이즈를 추가하고, 이를 함께 탈노이즈 (Denoise) 시킵니다.
   • 이를 통해 행동과 환경 역학 간의 더 깨끗한 분리를 가능하게 하여, 새로운 행동과 보지 못한 환경으로의 일반화 능력을 향상시킵니다.
4. 수정된 가이드 (Modified Guidance):
   • 행동 ($a$) 이 모델에 의해 탈노이즈되는 과정에 포함되므로, 행동과 조건 ($c$) 간의 의존성을 고려한 내부 가이드 (Inner Guidance) 방식을 적용합니다.
   • 표준 Classifier-Free Guidance (CFG) 를 수정하여 행동과 환경의 상호작용을 더 정확하게 제어합니다.

3. 주요 기여 (Key Contributions)

1. LOME 모델 제안: 실제 세계 비디오 캡처에서 미세하고 접촉이 풍부한 인간 - 물체 상호작용을 학습하는 최초의 행동 조건부 1 인칭 시점 세계 모델입니다.
2. 공동 분포 학습: 행동과 환경 (물체 포함) 의 맥락을 동시에 모델링하는 새로운 학습 전략을 제안하여, 정밀하고 사실적인 조작을 가능하게 합니다.
3. 물리적 결과의 현실성: 3D/4D 재구성이나 명시적 물리 시뮬레이션 없이도, 병 (Bottle) 에서 잔 (Mug) 으로 물을 따르는 등 물리적 법칙 (액체 역학 등) 을 준수하는 결과를 생성합니다.
4. 다양한 시나리오 일반화: 여러 물체와의 상호작용, 보지 못한 환경, 그리고 다양한 행동에 대해 일관된 인간 - 물체 상호작용을 시뮬레이션할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: EgoDex 데이터셋 (338,234 개의 1 인칭 시점 비디오) 과 실험실 내 수집된 다양한 환경의 데이터로 학습 및 평가 수행.
• 정량적 평가:
  • 행동 준수 (Action-following): PCK@20(손 관절 위치 정확도) 에서 **66.85%**를 기록하여 기존 최첨단 방법 (CoSHAND: 51.33%, GwtF: 47.06%) 보다 월등히 높은 성능을 보였습니다.
  • 운동 일관성: FVD(프레임 간 거리) 가 39.58로 개선되었으며 (기존 59.83), 시간적 일관성과 물리적 사실성이 크게 향상되었습니다.
• 정성적 평가:
  • 사용자 연구: 텍스트 준수, 행동 준수, 운동 일관성, 화질 등 모든 항목에서 90% 이상의 선호도를 받았습니다 (행동 준수 98.66%, 화질 93.97%).
  • 물리적 사실성: 액체가 흘러나오는 모습, 물체 중첩, 문 여는 동작 등 복잡한 물리 현상을 다른 방법론들이 실패한 상황에서 성공적으로 구현했습니다.
• 비교 대상: CoSHAND(이미지 기반), Wan-I2V(텍스트/이미지 기반), Go-with-the-Flow(광학 흐름 기반) 등을 압도적으로 능가했습니다.

5. 의의 및 의의 (Significance)

• AR/VR 및 로봇 공학의 발전: LOME 는 명시적인 3D/4D 모델링이나 시뮬레이션 환경에 의존하지 않고도 사실적인 인간 - 물체 상호작용을 생성할 수 있어, 포토리얼리스틱 AR/VR 경험과 확장 가능한 로봇 훈련을 위한 핵심 기술로 평가됩니다.
• 새로운 패러다임: 기존 재구성 (Reconstruction) 기반 접근법의 한계를 넘어, 생성형 AI 를 통해 물리적 세계의 역학을 학습하고 시뮬레이션하는 새로운 가능성을 제시했습니다.
• 실용성: 복잡한 물리 엔진 없이도 자연스러운 상호작용을 생성할 수 있어, 실제 로봇 제어 및 가상 환경 구축에 적용 가능한 확장성을 가집니다.

결론적으로, LOME 는 행동 조건부 비디오 생성을 통해 인간 - 물체 상호작용의 미세한 제어와 물리적 사실성을 동시에 달성한 획기적인 모델로, 컴퓨터 비전과 로봇 공학 분야에서 중요한 이정표가 될 것으로 기대됩니다.