DuoMo: Dual Motion Diffusion for World-Space Human Reconstruction

이 논문은 잡음이 많거나 불완전한 비제약 비디오에서 전 세계 좌표계의 인간 움직임을 복원하기 위해 카메라 좌표계와 전 세계 좌표계로 운동을 분해하는 두 개의 확산 모델을 결합한 'DuoMo'를 제안하여 기존 방법 대비 전 세계 복원 오차를 크게 줄이고 파라메트릭 모델을 우회하여 메쉬 꼭짓점을 직접 생성하는 최첨단 성능을 달성했다고 요약할 수 있습니다.

핵심

듀오모 (DuoMo): 카메라 속의 사람을 3D 세계로 완벽하게 되살리는 마법

이 논문은 **"카메라로 찍은 일반 영상에서, 사람이 실제로 어디를 어떻게 움직였는지 3D 로 완벽하게 복원하는 기술"**을 소개합니다. 기존 기술들이 가진 난관을 해결하기 위해 고안된 '듀오모 (DuoMo)'라는 시스템을 쉽게 설명해 드리겠습니다.

🎬 핵심 비유: "초보 감독"과 "베테랑 프로듀서"의 협업

이 기술은 마치 영화 제작 과정과 같습니다. 한 명의 감독이 모든 것을 혼자 하려다 실패하는 대신, 두 명의 전문가가 팀을 이루어 작업을 합니다.

1 단계: 초보 감독 (카메라 공간 모델)

• 역할: 카메라 화면에 보이는 그대로를 분석합니다.
• 상황: 카메라가 흔들리거나, 사람이 화면 밖으로 나가거나, 다른 사람에 가려진 (가림 현상) 상황에서도 "화면 속의 사람"이 어떻게 움직이는지 대략적으로 추측합니다.
• 한계: 이 감독은 카메라의 시점만 보기 때문에, "사람이 실제로 10 미터 앞으로 갔는지, 아니면 카메라가 뒤로 물러났는지"를 구분하지 못합니다. 마치 거울을 보고 춤을 추는 것과 비슷해서, 실제 공간감은 흐릿합니다.

2 단계: 베테랑 프로듀서 (세계 공간 모델)

• 역할: 초보 감독의 대략적인 추측을 받아, 실제 3D 세계의 물리 법칙을 적용해 다듬습니다.
• 작동 원리:
  • "아까 그 추측은 카메라 흔들림 때문에 빗나갔구나."
  • "사람이 화면에서 사라졌을 때, 물리적으로 불가능한 점프를 한 게 아니라, 그냥 가려졌을 뿐이야."
  • "발이 바닥에 닿았을 때 미끄러지지 않게 (Foot Skating) 고쳐줘."
• 결과: 비록 초보 감독의 입력이 불완전하고 잡음이 많더라도, 베테랑 프로듀서는 이를 전체적인 맥락과 물리 법칙에 맞춰 자연스럽게 완성된 3D 움직임으로 만들어냅니다.

---

🌟 이 기술이 특별한 이유 3 가지

1. "가림 현상"도 완벽하게 채워줍니다 (마법 같은 완성도)

기존 기술은 사람이 화면에서 사라지면 (예: 벽 뒤로 지나가거나 다른 사람에 가려지면) 그 부분의 움직임을 멈추거나 엉망으로 만들어버렸습니다.
하지만 듀오모는 **생각하는 힘 (생성적 능력)**을 발휘합니다. "사람이 사라졌을 때, 물리적으로 어떻게 움직였을 가능성이 가장 높을까?"를 추론하여, 사라진 시간 동안의 움직임을 자연스럽게 채워 넣습니다. 마치 소설의 빈 페이지를 작가의 상상력으로 채우는 것과 같습니다.

2. "카메라 흔들림"을 무시하고 진짜 움직임을 찾습니다 (안정성)

카메라가 심하게 흔들리는 영상에서도, 이 기술은 "아, 카메라가 흔들린 거지 사람이 미친 듯이 춤을 추는 게 아니야"라고 구분합니다.

• 기존 방식: 카메라 흔들림을 사람의 움직임으로 착각해 사람이 공중을 날아다니는 기이한 현상이 발생합니다.
• 듀오모: 카메라의 움직임을 따로 계산하고, 실제 사람의 발자국과 움직임만 남깁니다. 마치 흔들리는 배 위에서 춤추는 사람을 촬영해도, 그 사람의 발이 배 바닥에 단단히 붙어 있음을 알아내는 것과 같습니다.

3. "인형 옷"을 입히지 않고, 직접 "살과 뼈"를 만듭니다 (직접적인 생성)

기존 기술들은 사람의 움직임을 표현할 때 미리 정해진 '인형 옷 (SMPL 모델)'을 입혔습니다. 하지만 이 옷은 너무 딱딱해서 복잡한 동작을 표현하기 어려웠습니다.
듀오모는 인형 옷 없이, 사람의 피부와 근육 (메쉬 정점) 을 직접 그립니다. 마치 점토로 사람을 빚는 것처럼, 필요한 모양을 자유자재로 만들어내기 때문에 훨씬 더 자연스럽고 정교한 3D 모델을 만들어냅니다.

---

🚀 요약: 왜 이것이 중요한가요?

이 기술은 **"불완전한 정보 (흔들리는 영상, 가려진 사람)"**를 **"완벽한 3D 현실"**로 바꾸는 마법입니다.

• 게임/영화: 실제 배우의 연기를 3D 캐릭터에 자연스럽게 입히는 데 쓰일 수 있습니다.
• 로봇: 로봇이 사람의 움직임을 보고 똑같이 따라 하거나, 장애물을 피하며 이동하는 법을 배울 수 있습니다.
• VR/AR: 안경 없이도 실제 공간에 가상의 사람이 자연스럽게 섞여 있는 듯한 경험을 만들어줍니다.

결론적으로, 듀오모는 카메라라는 '제한된 창'을 통해 본 불완전한 영상을, AI 의 두 단계 사고 과정 (초보 감독 + 베테랑 프로듀서) 을 거쳐, 우리가 눈으로 보는 현실과 똑같은 3D 세계로 되살려내는 획기적인 기술입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 컴퓨터 비전 분야에서 단안 비디오 (monocular video) 로부터 3D 인간 모션을 복원하는 작업은 **일반화 (Generalizability)**와 전역 일관성 (Global Consistency) 사이의 근본적인 트레이드오프에 직면해 있습니다.

• 현재의 한계:
  • 직접 예측 (Direct Prediction) 방식: 전역 좌표계에서 모션을 직접 학습하는 모델들은 복잡한 장면에서 일반화 능력이 부족하며, 스튜디오 데이터의 모션 다양성에 제한을 받습니다.
  • 리프팅 (Lifting) 방식: 카메라 좌표계에서 모션을 먼저 복원한 후 카메라 파라미터를 이용해 세계 좌표계로 변환하는 방식은 자연스러운 모션에 강건하지만, 카메라 자세 추정 오차나 깊이 모호성으로 인해 물리적으로 타당하지 않거나 전역적으로 일관되지 않은 모션 (예: 발 미끄러짐, 드리프트) 을 생성하는 경향이 있습니다.
• 핵심 과제: 잡음이 많거나 불완전한 관찰 (가림, 프레임 밖 이동 등) 이 있는 제약 없는 비디오에서도 전역적으로 일관된 세계 좌표계 (World-space) 모션을 정확하게 복원하는 것입니다.

2. 방법론 (Methodology)

저자들은 **DuoMo (Dual Motion Diffusion)**를 제안합니다. 이는 모션 학습을 두 단계의 생성 과정으로 분해하여 각 단계의 장점을 결합하는 접근법입니다.

A. 이중 확산 모델 아키텍처 (Dual Diffusion Models)

1. 카메라 좌표계 확산 모델 (Camera-space Model):
   • 입력: 비디오 프레임.
   • 기능: 카메라 관점에서의 인간 모션을 추정합니다.
   • 특징: 다양한 비디오 입력으로부터 일반화 가능한 모션 사전 (prior) 을 학습합니다. 밀집 키포인트 (dense keypoints) 와 이미지 특징을 결합하여 카메라 좌표계 내의 모션을 생성합니다.
2. 세계 좌표계 확산 모델 (World-space Model):
   • 입력: 카메라 좌표계 모델의 출력 (카메라 자세를 이용해 '리프트'된 초기 추정치).
   • 기능: 초기 추정치를 세계 좌표계로 변환하고, 전역적으로 일관되며 물리적으로 타당한 모션으로 정제 (refine) 합니다.
   • 핵심 아이디어: 초기 추정치는 카메라 자세 오차, 깊이 모호성 등으로 인해 '노이즈가 포함된 제안 (noisy proposal)'으로 간주됩니다. 세계 좌표계 모델은 이 노이즈를 제거하고 전역 일관성을 부여하는 '전역 정제 단계' 역할을 합니다.

B. 좌표계 및 표현 방식

• 비 Canonical 좌표계: 기존 연구들은 스튜디오 데이터의 고정된 기준 좌표계 (Canonical space) 에 맞춰야 하는 정렬 문제를 겪습니다. DuoMo 는 각 비디오의 시작 카메라 자세를 원점으로 하는 비디오별 고유 좌표계를 정의하여 학습합니다. 이는 다양한 지형 (언덕, 계단 등) 에서의 '인 더 와일드 (in-the-wild)' 시나리오에 강건합니다.
• 메쉬 정점 직접 생성: SMPL 과 같은 파라메트릭 모델을 거치지 않고, 3D 메쉬 정점 (Mesh Vertices) 의 모션을 직접 생성합니다. 이는 기하학적 모션을 직접 모델링하여 더 일반적인 접근을 가능하게 합니다.

C. 유도 샘플링 (Guided Sampling)

장기 가림 (Long-range occlusion) 이나 시간적 드리프트를 해결하기 위해 추론 시 두 가지 유도 (Guidance) 항을 도입합니다.

1. 2D 재투영 유도 (2D Reprojection Guidance): 생성된 3D 모션을 다시 2D 이미지로 투영하여 원래 비디오의 키포인트와 일치하도록 유도하여 시간적 드리프트를 보정합니다.
2. 변위 유도 (Displacement Guidance): 가림 구간에서 사람이 다시 나타날 때, 마지막 관측 위치와 재관측 위치 간의 변위가 적분된 속도 벡터와 일치하도록 강제하여 궤적의 정확도를 높입니다.

3. 주요 기여 (Key Contributions)

1. DuoMo 아키텍처: 카메라 좌표계 추정 단계와 세계 좌표계 정제 단계를 분리한 2 단계 확산 생성 모델을 제안하여, 일반화와 전역 일관성 사이의 균형을 성공적으로 달성했습니다.
2. 비디오별 좌표계 학습: 고정된 기준 좌표계 정렬 없이, 비디오별 고유 좌표계에서 모션을 직접 학습하여 복잡한 야외 환경에서의 복원 강건성을 확보했습니다.
3. 파라메트릭 모델 불필요: SMPL 등 사전 정의된 몸체 모델을 거치지 않고 메쉬 정점의 모션을 직접 생성하는 아키텍처를 구현했습니다.
4. 성능 입증: EMDB, RICH, Egobody 등 주요 벤치마크에서 기존 최첨단 (SOTA) 방법들을 능가하는 성능을 보였습니다.

4. 실험 결과 (Results)

• EMDB 데이터셋: 세계 좌표계 재구성 오차 (W-MPJPE) 를 16% 감소시켰으며, 발 미끄러짐 (Foot skating) 현상은 낮게 유지했습니다.
• RICH 데이터셋: 세계 좌표계 오차를 30% 감소시켰습니다.
• Egobody (가림 및 흔들리는 카메라): 가림 구간이 포함된 전체 시퀀스에서도 높은 정확도와 강건성을 보였습니다. 특히 유도 샘플링 (Guided sampling) 을 적용했을 때 드리프트와 궤적 오차가 크게 개선되었습니다.
• Ablation Study: 단일 모델 (직접 리프팅 또는 세계 좌표계만 학습) 보다 두 모델을 결합한 DuoMo 가 정확도와 모션 품질 (Jitter, Foot sliding) 모두에서 우월함을 입증했습니다.

5. 의의 및 결론 (Significance)

DuoMo 는 단안 비디오로부터 인간 모션을 복원하는 작업에서 일반화 능력과 전역 물리적 일관성을 동시에 해결하는 새로운 패러다임을 제시합니다.

• 기술적 혁신: 모션 생성을 '카메라 관점의 해석'과 '세계 관점의 정제'로 분해함으로써, 각 단계의 불확실성을 효과적으로 관리합니다.
• 실용성: SMPL 과 같은 파라메트릭 모델에 의존하지 않고 메쉬 정점을 직접 생성함으로써, 다양한 신체 형태나 비인간 객체로의 확장 가능성을 열었습니다.
• 응용: 증강현실 (AR), 가상현실 (VR), 로봇 공학, 영화 제작 등 복잡한 환경에서의 인간 모션 이해 및 재구성이 필요한 분야에서 높은 잠재력을 가집니다.

결론적으로, DuoMo 는 제약 없는 비디오 환경에서도 물리적으로 타당하고 전역적으로 일관된 3D 인간 모션을 복원하는 데 있어 현재까지의 가장 강력한 방법론 중 하나로 평가됩니다.