3D-Aware Implicit Motion Control for View-Adaptive Human Video Generation

이 논문은 2D 포즈나 SMPL 과 같은 명시적 3D 모델의 한계를 극복하고, 다양한 시점의 감독과 보조 기하학적 정보를 활용해 사전 학습된 비디오 생성 모델과 함께 훈련된 3DiMo 를 통해 3D 인지 능력을 갖춘 암시적 모션 표현을 학습하여, 구동 모션을 충실히 재현하면서도 자유로운 텍스트 기반 카메라 제어가 가능한 인간 비디오 생성 방법을 제안합니다.

핵심

1. 기존 기술의 문제: "2D 그림자만 보는 마술사"

기존의 영상 생성 AI 들은 움직임을 제어할 때 두 가지 방법을 썼는데, 둘 다 한계가 있었습니다.

• 방법 A (2D 포즈): 마치 그림자 인형 놀이처럼, 움직이는 사람의 실루엣 (2D 포즈) 만 보고 영상을 만듭니다.
  • 비유: "사람이 손을 들었다"는 정보만 받아서, 앞에서 본 그림자만 만들 수 있습니다. 그런데 카메라를 옆으로 돌리면, "어? 손이 어디로 갔지?"라며 엉뚱하게 움직이거나 팔이 뚫려 보이는 등 3D 공간감이 깨집니다.
• 방법 B (3D 모델): 사람의 뼈대 (SMPL 같은 3D 모델) 를 정밀하게 재구성해서 사용합니다.
  • 비유: 마치 완벽한 인형을 만들어서 움직이는 것과 같습니다. 하지만 이 인형은 실제 사람의 미세한 표정이나 자연스러운 몸의 흔들림을 완벽하게 따라하지 못해, 영상이 좀 딱딱하고 기계적으로 보일 때가 많습니다. 또한, 3D 모델이 잘못 계산하면 (예: 손이 허리에 닿아야 하는데 안 닿음) AI 가 그 오류를 그대로 따라가 버립니다.

2. 3DiMo 의 해결책: "영혼을 읽는 3D 마술사"

3DiMo 는 이 두 가지 방식을 버리고, **"움직임의 본질 (영혼)"**을 직접 배우는 새로운 방식을 택했습니다.

핵심 아이디어 1: "사진을 보지 않고, '느낌'을 담다"

기존 방식은 움직임을 2D 그림이나 3D 뼈대라는 '형식'으로 변환해서 AI 에게 주입했습니다. 하지만 3DiMo 는 움직임의 '의미'만 추출합니다.

• 비유: 춤추는 사람을 볼 때, "왼발이 30 도 올라갔다"는 숫자나 그림을 외우는 게 아니라, **"그 사람이 얼마나 경쾌하게, 어떤 리듬으로 움직이는지"**라는 **느낌 (감성)**만 AI 가 기억하게 합니다.
• 그래서 카메라가 뒤로 물러나거나 옆으로 돌아도, AI 는 "아, 이 사람은 원래 저렇게 움직이는구나"라고 이해하고, 새로운 각도에서도 자연스럽게 춤을 추게 합니다.

핵심 아이디어 2: "다양한 각도의 연습 (다양한 시야)"

AI 가 3D 공간감을 제대로 익히려면, 한 각도만 보는 게 아니라 앞, 뒤, 옆, 위에서 아래로 다양한 각도로 움직임을 봐야 합니다.

• 비유: 마치 연습생이 무대 위를 360 도 돌아다니며 춤을 배우는 것과 같습니다.
  • 단일 시야 (기존): 무대 정면만 보고 연습하면, 옆에서 보면 춤이 엉망이 됩니다.
  • 다양한 시야 (3DiMo): 무대 위를 돌면서 춤을 연습하므로, 어느 각도에서 보더라도 춤이 완벽합니다. 이 논문은 인터넷의 수많은 영상, 게임 속 영상, 실제 촬영된 다각도 영상을 모두 섞어서 AI 를 훈련시켰습니다.

핵심 아이디어 3: "초보 때는 지도, 나중엔 스스로"

처음에는 AI 가 3D 공간을 이해하기 어려워합니다. 그래서 **3D 뼈대 모델 (지도)**을 잠시 빌려와서 가르칩니다.

• 비유: 자전거를 탈 때 처음에는 **바퀴 보조 장치 (지도)**를 달아줍니다. 하지만 AI 가 점점 익숙해지면, 그 보조 장치를 서서히 제거합니다.
• 결국 AI 는 지도 없이도 스스로 3D 공간감을 이해하게 되어, 더 자연스럽고 창의적인 움직임을 만들어냅니다.

3. 결과: "텍스트로 카메라를 조종하는 마법"

이 기술의 가장 멋진 점은 카메라를 자유롭게 조종할 수 있다는 것입니다.

• 비유: "여기서 카메라가 천천히 오른쪽으로 돌면서 위로 올라가"라고 **말 (텍스트)**만 하면, AI 는 그 말대로 카메라를 움직이면서 사람도 자연스럽게 움직이게 합니다.
• 기존 기술들은 카메라를 움직이면 사람이 뻣뻣해지거나 사라졌지만, 3DiMo 는 카메라가 어디로 가든 사람이 그 공간에 자연스럽게 존재하며 움직입니다.

요약

3DiMo는 단순히 사람의 움직임을 '그림'이나 '뼈대'로 복사하는 게 아니라, 움직임의 '영혼'을 3D 공간에서 이해하도록 훈련시킨 AI 입니다.

• 기존: "이 그림을 따라 그려라." (각도 고정, 뻣뻣함)
• 3DiMo: "이 사람의 춤을 3D 공간에서 이해하고, 내가 원하는 각도에서 다시 추게 해줘." (자유로운 각도, 자연스러움)

이 기술 덕분에 앞으로는 영화나 게임에서 배우나 캐릭터를 원하는 각도로 자유롭게 움직이게 하거나, 새로운 카메라 앵글로 영상을 재창조하는 일이 훨씬 쉬워질 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 비디오 생성 모델에서 인간 모션 제어 (Human Motion Control) 는 주로 두 가지 방식에 의존해 왔으나, 각각 한계가 존재합니다.

• 2D 포즈 기반 방법: 2D 포즈 이미지를 제어 신호로 사용합니다. 이는 모션을 구동 비디오의 시점 (viewpoint) 에 강하게 묶어버려, 새로운 시점 (Novel View) 에서의 합성을 불가능하게 합니다. 생성된 비디오는 구동 비디오의 2D 투영에 불과하여 카메라 이동이나 시점 변경 시 물리적으로 일관된 3D 모션을 유지하지 못합니다.
• 명시적 3D 모델 기반 방법 (예: SMPL): 3D 파라메트릭 모델을 사용하여 모션을 제어합니다. 이는 구조적 정보를 제공하지만, 깊이 모호성 (depth ambiguity) 이나 부정확한 역학 (dynamics) 으로 인한 재구성 오차가 발생합니다. 또한, 이러한 외부에서 추정된 3D 신호를 강한 제약으로 주입하면, 대규모 비디오 생성 모델이 가진 내재적인 3D 공간 인식 능력 (intrinsic 3D priors) 을 억제하여 자연스러운 모션 생성을 방해합니다.

핵심 문제: 2D 구동 프레임에서 내재된 3D 모션을 복원하면서도, 생성 과정에서 텍스트 기반의 유연한 카메라 제어를 가능하게 하는 3D 인식 (3D-aware) 이며 시점 무관 (view-agnostic) 인 모션 표현을 학습하는 것입니다.

2. 제안 방법론 (Methodology: 3DiMo)

저자들은 3DiMo라는 엔드 - 투 - 엔드 (End-to-End) 프레임워크를 제안합니다. 이 프레임워크는 외부 3D 재구성에 의존하지 않고, 사전 훈련된 비디오 생성 모델의 내재적 공간 사전 지식 (spatial priors) 과 정렬된 암시적 (implicit) 모션 표현을 학습합니다.

2.1. 암시적 모션 인코더 (Implicit Motion Encoder)

• 구조: Transformer 기반의 1D 토크나이저 (Tokenizer) 를 사용합니다.
• 작동 원리: 구동 비디오의 프레임을 패치화하고 학습 가능한 잠재 토큰 (latent tokens) 과 결합한 후, 어텐션 레이어를 거쳐 1D 모션 토큰으로 압축합니다.
• 시점 무관성 (View-Agnostic): 2D 구조 정보 (외관 디테일, 특정 시점의 포즈 배치) 를 의도적으로 배제하고 3D 공간 모션의 의미론적 (semantic) 본질만 추출하도록 설계되었습니다. 이를 위해 구동 프레임에 무작위 시점 변환 (perspective transformations) 을 적용하여 모션 불변성을 강화합니다.
• 이중 스케일 인코딩: 전신 모션과 정교한 손 동작을 동시에 제어하기 위해 몸통 인코더 ($E_b$) 와 손 인코더 ($E_h$) 를 분리하여 학습합니다.

2.2. 크로스 어텐션 기반 조건부 생성 (Cross-Attention Conditioning)

• 기존 방법처럼 2D 공간 정렬을 위한 명시적 카메라 파라미터를 사용하지 않습니다.
• 추출된 1D 모션 토큰을 생성기 (DiT 기반) 의 크로스 어텐션 (Cross-Attention) 레이어를 통해 주입합니다.
• 이를 통해 모션과 생성기 간의 유연한 의미론적 상호작용이 가능해지며, 텍스트 프롬프트를 통한 카메라 제어와 자연스럽게 공존합니다.

2.3. 시점이 풍부한 감독 (View-Rich Supervision)

3D 인식을 학습하기 위해 단일 시점 데이터뿐만 아니라 다양한 시점과 카메라 이동이 포함된 데이터를 활용합니다.

• 데이터 구성: 인터넷 비디오 (단일 시점), UE5 렌더링 (다양한 카메라 궤적), 실제 다중 카메라 캡처 (동기화된 다중 시점) 를 결합한 대규모 데이터셋을 구축했습니다.
• 학습 목표:
  1. 동일 시점 재구성 (Same-view Reconstruction): 모션 역학 학습.
  2. 교차 시점 재현 (Cross-view Reproduction): 다른 시점이나 카메라 궤적에서 동일한 모션을 재현하도록 하여 3D 일관성을 강제합니다.

2.4. 보조 기하학적 감독 및 점진적 학습 (Auxiliary Geometric Supervision & Annealing)

• 초기 학습 가속화: 학습 초기에는 SMPL/MANO 와 같은 외부 3D 파라메트릭 모델을 '가상 정답 (pseudo ground-truth)'으로 사용하여 보조 디코더를 통해 기하학적 감독을 제공합니다.
• 점진적 제거 (Annealing): 학습이 진행됨에 따라 보조 손실 (auxiliary loss) 의 가중치를 0 으로 서서히 줄입니다. 이는 모델이 외부의 부정확한 3D 추정에 의존하는 것이 아니라, 생성기의 내재적 3D 사전 지식과 풍부한 데이터로부터 진정한 3D 공간 모션 이해를 학습하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 3D 인식 모션 제어 패러다임 전환: 2D 프레임에서 3D 모션을 복원하고 텍스트 기반 카메라 제어를 자연스럽게 지원하는 새로운 3D 인식 태스크 정립.
2. 엔드 - 투 - 엔드 암시적 프레임워크 (3DiMo): 강력한 사전 훈련된 DiT 비디오 생성기와 결합된 시점 무관 암시적 모션 인코더를 공동 학습하여, 생성기의 내재적 3D 공간 사전 지식과 정렬된 표현을 도출.
3. 3D 학습을 위한 시점이 풍부한 데이터셋: 단일 시점, 다중 시점, 이동 카메라 비디오를 아우르는 대규모 데이터셋 구축 및 공개 (미래 연구를 지원).

4. 실험 결과 (Results)

• 정량적 평가: AnimateAnyone, MimicMotion, Uni3C, MTVCrafter 등 최신 SOTA 방법들과 비교하여 LPIPS, FID, FVD 지표에서 모두 최상의 성능을 보였습니다. 픽셀 단위 지표 (SSIM, PSNR) 는 미세한 시점 차이로 인해 약간 낮을 수 있으나, 이는 생성된 비디오가 텍스트로 지정된 정적 카메라를 유지하며 기하학적 일관성을 지켰기 때문입니다.
• 정성적 평가 및 사용자 연구:
  • 3D 일관성: 2D 포즈 기반 방법은 깊이 모호성으로 인해 팔/다리의 깊이 순서가 뒤섞이는 오류를 보인 반면, 3DiMo 는 물리적으로 타당한 3D 모션을 정확하게 재현했습니다.
  • 카메라 제어: 텍스트 프롬프트 ("카메라가 왼쪽으로 회전한다", "줌 아웃" 등) 를 통해 다양한 시점과 카메라 이동에서 일관된 모션을 생성할 수 있었습니다.
  • 사용자 평가 (MOS): 모션 자연스러움, 3D 물리적 타당성, 전체적 화질에서 모든 기저선 (Baseline) 을 압도적으로 상회했습니다.

5. 의의 및 결론 (Significance)

3DiMo 는 인간 모션 제어를 위해 외부 3D 모델 (SMPL 등) 에 의존하던 기존 접근법의 한계를 극복했습니다. 대신 대규모 비디오 생성 모델이 이미 가지고 있는 내재적인 3D 공간 이해 능력을 활용하여, 2D 입력으로부터 직접 3D 모션을 추론하고 학습합니다.

이 방법은 유연한 텍스트 기반 카메라 제어와 높은 충실도의 모션 재현을 동시에 달성하며, 영화적 카메라 워크가 포함된 인간 애니메이션 생성, 새로운 시점에서의 인간 합성 등 다양한 응용 분야에서 중요한 진전을 이룩했습니다. 특히, 외부 3D 추정의 부정확성에서 벗어나 데이터와 생성기 사전 지식으로부터 진정한 3D 인식을 학습한다는 점은 비디오 생성 분야의 중요한 방향성을 제시합니다.