Human Video Generation from a Single Image with 3D Pose and View Control

이 논문은 단일 이미지에서 3D 포즈와 시점 제어를 통해 고품질의 다중 뷰 4D 인간 비디오를 생성하는 잠재 비디오 확산 모델인 HVG 를 제안하며, 관절 포즈 변조, 시점 및 시간 정렬, 점진적 시공간 샘플링을 통해 기존 방법들의 한계를 극복합니다.

핵심

이 논문은 **"한 장의 사진만으로도, 360 도 회전하며 춤추는 가상의 인물을 만들어내는 기술"**에 대한 이야기입니다.

기존의 기술들은 사진 속 인물을 움직이게 할 때, 카메라가 옆으로 돌아가면 옷 주름이 이상하게 찌그러지거나 팔다리가 비현실적으로 꺾이는 문제가 있었습니다. 이 논문은 이를 해결하기 위해 **HVG(4D 인간 비디오 생성)**라는 새로운 시스템을 개발했습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🎬 1. 문제: "마네킹은 움직일 수 있지만, 옷은 찢어진다"

기존 기술들은 두 가지 방식으로 인물을 움직이게 했습니다.

1. 2D 뼈대 (스켈레톤) 방식: 사람 위에 막대기 뼈대만 입혀서 움직입니다.
   • 비유: 마치 종이 인형을 가지고 노는 것과 같습니다. 정면에서는 잘 보이지만, 옆으로 돌아서면 팔이 몸통을 뚫고 나가거나 엉덩이가 분리되는 등 '종이 인형'의 한계가 드러납니다.
2. 3D 모델 (SMPL) 방식: 사람의 몸통을 꽉 끼는 수영복 같은 3D 모델로 만듭니다.
   • 비유: 타이트한 수영복을 입은 사람입니다. 몸의 움직임은 정확하지만, 느슨한 옷이나 액세서리, 독특한 체형은 표현하지 못해 옷이 몸에 달라붙거나 찢어지는 듯한 '형상 누수'가 발생합니다.

✨ 2. 해결책: "HVG 의 마법 세 가지"

이 논문은 이 두 가지 단점을 모두 잡기 위해 세 가지 혁신적인 아이디어를 섞었습니다.

① '타원형 뼈대 지도' (Articulated Pose Modulation)

• 비유: 기존에 얇은 '막대기 뼈대' 대신, 살이 찐 '타원형 풍선'으로 뼈대를 만들었습니다.
• 설명: 팔이나 다리를 단순한 선이 아니라, 부피가 있는 풍선으로 표현합니다. 이렇게 하면 팔이 몸통을 통과할 때 (가려질 때) 어떤 것이 앞이고 뒤인지 3D 공간에서 자연스럽게 계산됩니다. 마치 진흙으로 만든 인형처럼, 팔이 교차할 때 옷이 찢어지지 않고 자연스럽게 겹쳐지는 효과를 줍니다.

② '중앙 정렬 마법' (View and Temporal Alignment)

• 비유: 카메라가 돌아가면 사람도 따라 돌지만, 무대 중앙에 항상 같은 위치에 서 있도록 '자석'으로 고정하는 것입니다.
• 설명: 카메라가 움직일 때 사람도 같이 움직이면 컴퓨터가 "아, 이건 같은 사람인데 위치가 바뀌었네?"라고 헷갈려서 영상이 깜빡입니다. HVG 는 사람이 항상 화면 중앙에 오도록 정렬시켜서, 카메라가 돌더라도 인물이 제자리에 단단히 서 있는 것처럼 보이게 합니다. 이렇게 하면 영상이 흔들리지 않고 안정적입니다.

③ '조각조각 맞추기' (Progressive Spatio-Temporal Sampling)

• 비유: 긴 영화를 한 번에 다 찍으려다 실패하는 대신, 짧은 장면을 여러 번 찍어서 이어 붙이는 방식입니다.
• 설명: 긴 시간 동안 여러 각도에서 영상을 만들려면 컴퓨터가 너무 많은 일을 해야 합니다. HVG 는 시간을 잘게 쪼개고 (시간 조각), 카메라 각도도 잘게 쪼개서 (시각 조각) 각각을 따로따로 부드럽게 만든 뒤, 겹치는 부분을 잘게 이어 붙여 긴 영상으로 만듭니다. 이렇게 하면 영상이 끊기지 않고 매끄럽게 이어집니다.

---

🏆 3. 결과: "실제 사람처럼 살아있는 영상"

이 기술을 적용한 결과, 한 장의 사진만으로도 다음과 같은 일이 가능해졌습니다.

• 옷 주름의 자연스러움: 사람이 팔을 흔들 때 옷에 생기는 주름이 360 도 어느 각도에서도 자연스럽게 움직입니다.
• 가려진 부분의 복원: 팔이 얼굴을 가렸다가 다시 드러날 때, 가려진 얼굴이나 몸통이 사라지지 않고 자연스럽게 다시 나타납니다.
• 고화질: 옷감의 질감이나 액세서리까지 세밀하게 표현됩니다.

💡 결론

이 논문은 **"한 장의 정지된 사진을, 360 도 회전하며 옷 주름까지 자연스럽게 움직이는 살아있는 4D 영상으로 바꾸는 기술"**을 개발했습니다. 마치 마법 같은 애니메이션 스튜디오에서, 한 장의 스케치만으로 캐릭터를 자유롭게 조종할 수 있게 된 것과 같습니다.

이 기술은 게임, 영화, 가상 현실 (VR) 등에서 더 현실적인 캐릭터를 만드는 데 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

최근 확산 모델 (Diffusion Models) 의 발전으로 단일 이미지에서 비디오를 생성하는 기술이 크게 진전되었으나, 인간 비디오 생성 (Human Video Generation) 분야에서는 여전히 해결되지 않은 주요 과제가 존재합니다.

• 시각적 일관성 부족: 단일 이미지에서 3D 포즈와 카메라 뷰를 변경하며 비디오를 생성할 때, 의류의 주름, 신체 부위의 가림 (Occlusion), 그리고 3D 구조적 일관성을 유지하는 것이 매우 어렵습니다.
• 기존 방법의 한계:
  • 2D 스케레톤 기반 (예: AnimateAnyone, MimicMotion): 2D 골격만 사용하여 3D 해부학적 관계 (관절의 계층적 회전, 충돌 제약 등) 를 모델링하지 못합니다. 이로 인해 새로운 뷰에서 회전 시 엉덩이가 분리되거나 무릎이 비정상적으로 구부러지는 등 비현실적인 모션이 발생합니다.
  • 3D 메쉬 기반 (예: SMPL, Champ): SMPL 과 같은 파라메트릭 메쉬는 인체의 기하학적 구조를 단순화하여 의류, 액세서리, 독특한 신체 형태를 표현하지 못합니다. 이로 인해 의류가 왜곡되거나 (Shape Leakage), 팔다리의 비율이 불일치하는 문제가 발생합니다.
  • Human4DiT: SMPL 기반의 정규 맵을 사용하지만, 기하학적 단순화로 인한 오차와 3D 뷰 어텐션의 높은 계산 비용으로 인해 확장성이 떨어집니다.

2. 제안 방법 (Methodology)

저자들은 HVG (Human Video Generation in 4D) 라는 잠재 공간 비디오 확산 모델을 제안합니다. 이는 단일 이미지에서 3D 포즈와 뷰 제어가 가능한 고품질의 다중 뷰 (Multi-view) 시공간 일관성 비디오를 생성합니다.

핵심 기술 구성 요소

1) 관절형 포즈 변조 (Articulated Pose Modulation)

• 이중 차원 뼈 맵 (Dual-Dimensional Bone Map): 기존의 2D 스케레톤이나 SMPL 메쉬 대신, 3D 관절을 타원체 (Ellipsoid) 로 연결하여 3D 해부학적 관계를 모델링한 새로운 구동 신호를 사용합니다.
• Depth Map & Normal Map: 3D 타원체 구조를 2D 평면에 투영하여 깊이 맵 (Depth Map) 과 정규 맵 (Normal Map) 을 생성합니다.
  • 깊이 맵: 카메라 공간에서의 z-순서를 인코딩하여 가림 (Occlusion) 문제를 해결하고 3D 공간 정보를 제공합니다.
  • 정규 맵: 신체 표면의 방향을 보존하여 다중 뷰 일관성을 유지합니다.
• 장점: 2D 스케레톤의 부피 정보 부재를 해결하고, SMPL 의 기하학적 단순화로 인한 의류 왜곡을 방지합니다.

2) 뷰 및 시간 정렬 (View and Temporal Alignment)

• 효율적인 뷰 어텐션 (Efficient View Attention): 기존 Human4DiT 의 고비용 3D 뷰 어텐션 대신, 인간 중심 정렬 (Human-centric Centering) 전략을 도입합니다. 골반 관절을 기준으로 모든 뷰에서 인물을 동일한 위치에 정렬하여 공간적 변이를 제거한 후, 단순한 2D 어텐션만 사용하여 교차 뷰 상관관계를 학습합니다. 이는 계산 비용을 크게 줄이면서도 공간 일관성을 유지합니다.
• 시간 정렬: 참조 이미지와 포즈 시퀀스 간의 정렬을 통해 프레임 간 안정성을 확보하고 깜빡임 (Flickering) 을 방지합니다.

3) 점진적 시공간 샘플링 (Progressive Spatio-Temporal Sampling)

• 긴 다중 뷰 비디오를 생성할 때 발생하는 계산 부하를 해결하기 위해, 시간 (Temporal) 과 뷰 (View) 차원에서 중첩되는 슬라이딩 윈도우를 사용하여 점진적으로 샘플링합니다.
• 인접한 세그먼트 간의 잠재 특징 (Latent Features) 을 가중치 합성하여 긴 시퀀스에서도 부드러운 전환과 일관성을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 표현 방식: 3D 타원체를 기반으로 한 '이중 차원 뼈 맵'을 도입하여 2D 스케레톤의 구조적 한계와 SMPL 의 기하학적 단순화 문제를 동시에 해결했습니다.
2. 효율적인 아키텍처: 고비용의 3D 어텐션 없이도 다중 뷰 일관성을 달성하는 '인간 중심 정렬' 기반의 경량 뷰 어텐션 레이어를 설계했습니다.
3. 확장 가능한 생성 전략: 점진적 시공간 샘플링을 통해 긴 시퀀스와 다양한 뷰를 가진 고품질 4D 인간 비디오 생성을 가능하게 했습니다.
4. 성능 입증: 기존 최첨단 방법 (AnimateAnyone, Champ, Human4DiT 등) 보다 우수한 정량적/정성적 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: THuman2.0/2.1, CustomHuman, 2K2K, MVHumanNet 등 다양한 3D 스캔 및 다중 뷰 비디오 데이터를 사용하여 학습 및 평가 수행.
• 정량적 평가:
  • Novel View Synthesis (새로운 뷰 합성): FID(59.35), SSIM(0.923), PSNR(22.13), FVD(152.1) 등 모든 지표에서 기존 방법 (MagicAnimate, Champ 등) 보다 압도적으로 우수한 성능을 보였습니다.
  • Novel View & Pose Synthesis (새로운 뷰 및 포즈 합성): 동적인 모션과 뷰 변경이 동시에 발생하는 상황에서도 HVG 가 가장 낮은 FVD(177.4) 와 높은 SSIM(0.901) 을 기록하며 일관성을 입증했습니다.
• 정성적 평가:
  • 의류의 미세한 질감 (Texture) 과 주름을 자연스럽게 표현했습니다.
  • 팔이 몸을 가리는 등 복잡한 가림 상황에서 신체 부위가 왜곡되거나 사라지는 현상을 효과적으로 해결했습니다.
  • 기존 방법에서 발생하는 팔의 비현실적인 비틀림이나 의류의 과도한 매끄러움을 개선했습니다.
• Ablation Study: 깊이 맵과 정규 맵을 모두 사용할 때 성능이 가장 우수하며, 뼈 맵 (Bone Map) 이 스케레톤이나 SMPL 만을 사용할 때보다 가림 처리와 형태 왜곡 방지에 효과적임을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 단일 이미지에서 3D 포즈와 뷰 제어가 가능한 고품질 4D 인간 비디오 생성을 위한 새로운 패러다임을 제시합니다.

• 기술적 진보: 2D 기반 방법의 구조적 한계와 3D 메쉬 기반 방법의 표현력 부족을 모두 극복하는 하이브리드 접근법을 제시했습니다.
• 응용 가능성: 애니메이션, 게임, 가상 현실 (VR) 등 몰입형 스토리텔링과 가상 - 현실 통합 분야에서 고품질의 캐릭터 합성 기술로 활용될 수 있습니다.
• 한계 및 향후 과제: 전신 생성 시 얼굴 부위의 세부적인 기하학적 디테일 (코, 입술 등) 에서 왜곡이 발생할 수 있으나, 이는 얼굴 전용 네트워크를 모듈식으로 결합하여 해결할 수 있는 과제로 제시되었습니다.

요약하자면, HVG는 3D 해부학적 정보를 효과적으로 인코딩하고 계산 효율성을 높인 아키텍처를 통해, 단일 이미지에서 다양한 각도와 동작을 가진 사실적이고 일관된 인간 비디오를 생성하는 새로운 State-of-the-Art 방법론입니다.