SceMoS: Scene-Aware 3D Human Motion Synthesis by Planning with Geometry-Grounded Tokens

본 논문은 2D 비전 (Bird's-eye-view 이미지 및 높이맵) 을 기반으로 전역 계획과 국소 실행을 분리하여 학습함으로써, 3D 장면 데이터에 의존하는 기존 방법보다 효율적이면서도 TRUMANS 벤치마크에서 최첨단 수준의 현실감과 접촉 정확도를 달성하는 3D 인간 동작 합성 프레임워크인 'SceMoS'를 제안합니다.

핵심

이 논문은 ' SceMoS(스케모스)' 라는 새로운 기술을 소개합니다. 쉽게 말해, "사람이 복잡한 방 안에서 자연스럽게 움직이는 3D 애니메이션을 텍스트 명령어로 만들어주는 기술" 입니다.

기존 기술들은 방의 모든 3D 데이터를 일일이 계산하느라 무겁고 비쌌는데, 이 기술은 "2D 그림과 지형도" 만으로도 훨씬 가볍고 정확하게 움직임을 만들어냅니다.

이 기술을 이해하기 쉽게 두 가지 비유로 설명해 드릴게요.

---

1. 핵심 아이디어: "지도와 나침반"을 따로 쓰는 지혜

기존의 복잡한 3D 애니메이션 기술은 마치 거대한 3D 입체 지도를 들고 다니며 "이 벽을 피하고, 그 소파에 앉아야지"라고 매 순간 입체적으로 계산하는 것과 비슷합니다. 이건 컴퓨터에 엄청난 부담을 줍니다.

하지만 SceMoS 는 두 가지 역할을 나누어 생각합니다.

• 1 단계: "전체 지도" (글로벌 플래너)

  • 비유: 방 전체를 위에서 내려다본 2D 평면도 (BEV) 를 봅니다.
  • 역할: "소파가 어디 있고, 테이블이 어디 있는지" 같은 큰 그림을 파악합니다.
  • 기술: DINOv2(이미지를 잘 이해하는 AI) 가 이 평면도를 보고 "소파로 가라"는 명령을 이해하고 큰 방향을 잡습니다.
  • 효과: 복잡한 3D 데이터 없이도 공간 감각을 충분히 잡을 수 있어 매우 빠르고 가볍습니다.

• 2 단계: "발바닥의 지형도" (로컬 실행기)

  • 비유: 사람이 서 있는 발밑의 작은 지형도 (높이 지도) 를 봅니다.
  • 역할: "발이 바닥에 닿았는지, 의자에 앉을 때 무릎을 얼마나 구부려야 부딪히지 않는지" 같은 세부적인 물리 법칙을 따릅니다.
  • 기술: 발 주변 2D 높이 지도를 보고 "이 높이라면 무릎을 이렇게 구부려야 해"라고 계산합니다.
  • 효과: 사람이 물체를 뚫고 지나가거나 (관통), 발이 공중에 떠 있는 (미끄러짐) 어색한 상황을 막아줍니다.

결론: 큰 그림은 평면도로, 세부적인 물리 작용은 발밑 지형도로 나누어 처리하니, 무거운 3D 입체 지도가 없어도 훨씬 가볍고 똑똑하게 움직임을 만들어냅니다.

---

2. "레고 블록"으로 움직임을 만드는 마법

이 기술은 움직임을 연속적인 영상이 아니라, 사전 학습된 '레고 블록' (토큰) 의 나열로 생각합니다.

• 기존 방식: 매 순간마다 새로운 움직임을 0 부터 계산합니다.
• SceMoS 방식:
  1. 먼저 "소파로 가는 길"이라는 큰 계획을 세웁니다 (글로벌 플래너).
  2. 그 계획에 맞춰 미리 만들어진 '물리 법칙을 따르는 레고 블록' 들을 이어붙입니다.
  3. 이때, '발밑 지형도' 를 보고 블록을 고릅니다.
     • 예시: 평평한 바닥 블록 vs 계단 블록 vs 소파에 앉는 블록.
  4. 이 블록들이 이어지면 자연스럽게 소파에 앉는 동작이 완성됩니다.

이렇게 하면 AI 가 매번 "어떻게 앉지?"라고 고민할 필요 없이, 물리적으로 가능한 동작들만 조합해서 매우 자연스러운 애니메이션을 만듭니다.

---

3. 왜 이 기술이 특별한가요? (장점)

• 🚀 가볍고 빠릅니다: 기존 기술은 방의 3D 데이터를 처리하는 데 엄청난 메모리가 필요했지만, SceMoS 는 2D 이미지와 작은 지형도만 쓰므로 학습 파라미터를 50% 이상 줄였습니다. (약 4M vs 50M)
• 🎯 현실적입니다: 사람이 소파에 앉을 때 발이 소파를 뚫고 들어가는 어색한 현상이 거의 없습니다. 발바닥의 지형도를 꼼꼼히 보기 때문입니다.
• 🗣️ 명령어를 잘 듣습니다: "소파에 앉아서 책상 옆으로 이동해"라고 말하면, 소파에 앉는 동작과 이동하는 동작을 자연스럽게 연결합니다.

요약하자면

SceMoS 는 "복잡한 3D 세상을 무작정 다 계산하지 않고, '위에서 본 지도'로 방향을 잡고, '발밑 지형도'로 물리 법칙을 지키는 똑똑한 비법" 을 개발했습니다. 덕분에 컴퓨터는 덜 버거워하고, 만들어지는 애니메이션은 훨씬 더 자연스럽고 현실적이 되었습니다.

이 기술은 게임 캐릭터, 가상 현실 (VR), 로봇 제어 등 다양한 분야에서 더 저렴하고 더 자연스러운 3D 애니메이션을 만드는 데 큰 도움이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

텍스트로 지시된 3D 인간 모션을 현실적인 3D 장면 내에서 합성할 때는 두 가지 핵심 요소를 동시에 학습해야 합니다.

1. 의미적 의도 (Semantic Intent): "소파로 걸어가기"와 같은 고수준의 계획.
2. 물리적 실현 가능성 (Physical Feasibility): 장애물과의 충돌 방지, 바닥과의 접촉 유지 등.

기존의 최첨단 방법론들은 다음과 같은 문제점을 가지고 있습니다:

• 고비용의 3D 데이터 의존: 포인트 클라우드 (Point Cloud) 나 볼륨 격자 (Voxel Grid) 와 같은 밀집된 3D 데이터를 사용하여 장면을 표현합니다. 이는 메모리 복잡도가 높고 계산 비용이 매우 큽니다.
• 학습의 복잡성: 고수준의 공간 계획과 저수준의 접촉 추론을 하나의 엔드 - 투 - 엔드 (End-to-End) 모델에서 동시에 학습해야 하므로, 일반화 (Generalization) 와 효율성 사이의 트레이드오프가 발생합니다.
• 데이터의 노이즈: 실제 3D 장면 자산은 레이블이 없거나 노이즈가 많아 물리적 일관성을 유지하기 어렵습니다.

2. 방법론 (Methodology)

SceMoS 는 전역 계획 (Global Planning) 과 국소 실행 (Local Execution) 을 명확하게 분리하는 2 단계 프레임워크를 제시하며, 두 단계 모두 경량화된 2D 장면 표현을 사용합니다.

A. 전역 모션 플래너 (Global Motion Planner)

• 입력: 텍스트 프롬프트와 장면의 새로운 시각 (Bird's-Eye-View, BEV) 이미지.
• 특징:
  • 카메라를 장면의 높은 구석에 배치하여 캐릭터의 시작 위치를 향해 촬영한 BEV 이미지를 렌더링합니다.
  • DINOv2 (비전 기반 모델) 를 사용하여 BEV 이미지에서 특징을 추출합니다. 이를 통해 장면의 공간적 레이아웃과 주요 객체 (소파, 테이블 등) 의 의미적 위치를 파악합니다.
  • 텍스트 임베딩과 BEV 특징을 결합하여 자동 회귀 (Autoregressive) 방식으로 이산적인 (Discrete) 모션 토큰 시퀀스를 생성합니다.
  • 이 단계는 "어디로 갈 것인가"에 대한 고수준 계획을 수립합니다.

B. 기하학적 기반 모션 토크나이저 (Geometry-Grounded Motion Tokenizer)

• 입력: 플래너가 생성한 이산적 모션 토큰과 국소 2D 높이 맵 (Local 2D Heightmap).
• 특징:
  • 조건부 VQ-VAE (Vector Quantized Variational Autoencoder) 를 사용합니다.
  • 캐릭터의 현재 위치 (루트 조인트) 주변의 2D 높이 맵을 입력받아, 해당 지형에서의 물리적 접촉을 고려한 모션 디코딩을 수행합니다.
  • 기하학적 어휘 (Geometry-Grounded Vocabulary): 단순한 "무릎 구부리기"가 아니라, "높이 h 인 표면과 접촉하기 위해 무릎 구부리기"와 같이 지형 정보를 내포한 모션 토큰을 학습합니다.
  • 이 단계는 "어떻게 움직일 것인가"에 대한 미세한 물리적 실현을 담당합니다.

C. 추론 루프 (Inference Loop)

• 생성된 모션 시퀀스마다 캐릭터의 새로운 위치를 기준으로 BEV 스냅샷과 높이 맵을 재계산합니다.
• 이를 통해 장거리 이동 시에도 장면의 변화에 동적으로 적응하며, 전역 계획과 국소 실행 간의 일관성을 유지합니다.
• 추가적으로 궤적 정제 모듈 (Trajectory Refinement Module) 을 통해 발 미끄러짐 (Foot sliding) 을 보정합니다.

3. 주요 기여 (Key Contributions)

1. 효율적인 2 단계 분리 프레임워크: 텍스트 기반 인간 - 장면 상호작용 (HSI) 생성을 전역 계획과 국소 실행으로 분리하여, 밀집된 3D 볼륨 입력 없이도 복잡한 장면을 효율적으로 추론할 수 있게 했습니다.
2. 기하학적 기반 모션 어휘: 조건부 VQ-VAE 를 통해 국소 2D 높이 맵에 기반한 모션 토큰을 학습시켜, 이산적인 토큰 공간에 물리적 타당성을 직접 인코딩했습니다.
3. 고성능 2D 장면 표현: DINOv2 기반의 BEV 이미지와 2D 높이 맵을 결합하여, 3D 볼륨 데이터에 버금가는 공간 및 의미적 컨텍스트를 포착하면서도 장면 인코딩에 필요한 학습 가능 파라미터를 50% 이상 (약 4M vs 50M) 줄였습니다.

4. 실험 결과 (Results)

TRUMANS 데이터셋을 기준으로 한 실험 결과는 다음과 같습니다:

• 성능: SceMoS 는 가장 낮은 FID (0.31) 와 가장 높은 접촉 정확도 (0.98) 를 기록하여 기존 방법론들 (TRUMANS, TeSMo, Humanise 등) 보다 우수한 모션 리얼리즘과 물리적 정확도를 보였습니다.
• 효율성: 장면 인코딩을 위한 학습 가능 파라미터 수가 약 4M으로, 기존 3D 기반 방법론 (약 50M~86M) 보다 10 배 이상 적습니다.
• Ablation Study:
  • 2 단계 구조를 제거하거나 (A5), 3D 볼륨 격자를 사용하는 것 (A3) 보다 2D 높이 맵을 사용하는 것이 더 효율적이고 정확했습니다.
  • DINOv2 특징을 사용한 것이 CLIP 특징 (A6) 보다 장면 이해에 더 효과적이었습니다.
  • 궤적 정제 모듈 (A7) 은 발 미끄러짐을 줄이는 데 결정적인 역할을 했습니다.

5. 의의 및 결론 (Significance)

SceMoS 는 2D 장면 단서 (Cues) 가 물리적으로 기반된 3D 인간 - 장면 상호작용을 효과적으로 지탱할 수 있음을 입증했습니다.

• 계산 효율성: 고비용의 3D 볼륨 처리 없이도 3D 모션 합성의 품질을 유지할 수 있어, 실시간 애플리케이션이나 대규모 시뮬레이션에 적용 가능성이 높습니다.
• 물리적 일관성: 토큰 공간에 기하학적 정보를 직접 인코딩함으로써, 텍스트 의도와 물리적 제약 사이의 간극을 성공적으로 해소했습니다.
• 미래 전망: 현재는 정적 실내 환경에 최적화되어 있으나, 이 접근법은 동적 환경이나 야외 환경으로 확장될 수 있는 강력한 기반을 제공합니다.

요약하자면, SceMoS 는 "전체 3D 장면을 볼 필요가 없다"는 통찰을 바탕으로, 적절한 2D 투영 (BEV 및 높이 맵) 과 토큰 기반 계획을 결합하여 차세대 인간 모션 합성 기술의 새로운 표준을 제시합니다.