ViPS: 자동 리깅 메시를 위한 비디오 기반 포지 공간 (Video-informed Pose Spaces for Auto-Rigged Meshes) 기술 요약

1. 문제 정의 (Problem Statement)

기존의 3D 캐릭터 애니메이션 워크플로우에서는 킴매틱 리그 (Kinematic Rig) 를 사용하여 메시를 조작합니다. 그러나 자동 리깅 (Auto-rigging) 기술이 발전함에 따라 다음과 같은 근본적인 한계가 존재했습니다:

• 유효한 포지 공간 (Pose Space) 의 부재: 리그는 관절 제어점을 노출하지만, 특정 자산 (Asset) 에 대해 '물리적으로 타당하고 (plausible)' '해부학적으로 자연스러운' 관절 구성의 분포를 정의하지는 않습니다.
• 비현실적인 변형: 리그 파라미터를 무작위로 샘플링하거나 수동으로 조작할 경우, 관절의 과도한 신전 (hyperextension), 비자연적인 비틀림, 물리적으로 불가능한 자기 교차 (self-intersection) 등의 문제가 빈번하게 발생합니다.
• 데이터의 부족: 기존 방법들은 예술가가 수작업으로 제작한 4D(시간이 흐름에 따른 3D) 애니메이션 데이터셋에 의존합니다. 이러한 데이터는 수집 비용이 매우 높고, 특정 카테고리 (예: 인간) 에 국한되어 있어 다양한 종 (species) 이나 토폴로지를 가진 객체에 적용하기 어렵습니다.

따라서, 예술가 데이터 없이도 자동 리깅된 메시에 대해 타당한 포지 분포를 자동으로 발견하고 학습할 수 있는 방법이 필요했습니다.

2. 방법론 (Methodology)

저자들은 ViPS (Video-informed Pose Spaces) 를 제안하며, 사전 훈련된 비디오 확산 모델 (Video Diffusion Model) 의 생성적 사전 지식 (priors) 을 리그 파라미터 공간으로 증류 (distill) 하는 프론트워드 (feedforward) 프레임워크를 구축했습니다.

2.1 데이터 파이프라인 (Video-to-Pose Distillation)

ViPS 는 3D/4D 애니메이션 데이터셋 없이 오직 비디오 데이터만을 사용하여 학습 데이터를 생성합니다.

1. 비디오 생성: 텍스트 - 이미지 모델 (Flux 2) 과 비디오 생성 모델 (Wan 2.2, TurboDiffusion 가속) 을 사용하여 다양한 종 (species) 과 동작을 수행하는 단일 객체 비디오를 생성합니다. VLM(InternVL) 을 활용하여 3D 재구성에 유리한 조건 (전체 객체 가시성, 조명 등) 을 갖춘 프롬프트를 생성합니다.
2. 4D 재구성: 생성된 비디오를 ActionMesh를 사용하여 텍스처가 입혀진 3D 메시 시퀀스로 재구성합니다.
3. 스켈레톤 최적화:
   • 첫 번째 프레임을 '휴식 자세 (Rest Pose)'로 설정하고 RigAnything을 통해 자동 리그 (스켈레톤) 를 추출합니다.
   • 나머지 프레임의 3D 재구성 메시와 매칭되도록 리그 파라미터 (관절 위치) 를 최적화합니다. 이때 메시의 기하학적 일관성을 유지하기 위해 선형 블렌드 스키닝 (LBS) 기반의 재구성 손실과 스킬레톤 에지 길이 정규화를 함께 사용합니다.
   • 이를 통해 (메시, 리그, 타당한 포지) 튜플 형태의 대량의 학습 데이터를 확보합니다.

2.2 포지 공간 학습 모델 (Pose Space Learning)

• 조건부 확산 모델: 학습된 데이터 튜플 $(M, S, P')$을 기반으로, 메시 $M$과 리그 $S$가 주어졌을 때 타당한 포지 $P'$의 조건부 분포 $p(P'|M, S)$를 모델링합니다.
• 아키텍처: Diffusion Transformer (DiT) 를 기반으로 한 프론트워드 네트워크를 사용합니다.
  • 의미론적 노드 특징 (Semantic Node Features): 메시의 각 스킬레톤 노드에 해당하는 부분의 의미론적 정보를 포함하기 위해, Diff3f 를 통해 추출된 메시 정점 특징을 스키닝 가중치 (Skinning Weights) 로 집계하여 노드별 특징으로 변환합니다. 이는 종 (Species) 이나 형태가 달라도 동일한 리그 구조를 가진 경우를 구분하는 데 핵심적입니다.
  • 스켈레톤 어텐션: 스킬레톤의 토폴로지 (관절 간 연결 관계) 를 반영하기 위해 특수한 Skeletal Attention 블록을 사용하여 노드 간의 상호작용을 모델링합니다.
• 샘플링 및 제어: 학습된 모델을 통해 타당한 포지를 무작위 샘플링하거나, DDIM 역전환 (Inversion) 을 통해 사용자 입력 포지를 유효한 매니폴드로 투영 (Projection) 할 수 있습니다. 또한, 가이드 샘플링 (Guided Sampling) 을 통해 특정 관절의 위치 제약 (예: 발을 앞으로 이동) 을 만족하면서도 전체적으로 자연스러운 자세를 생성할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 범용 포지 공간 발견: 예술가 데이터 없이 비디오 확산 모델의 사전 지식을 활용하여, 자동 리깅된 메시에 대한 타당한 포지 분포를 학습하는 최초의 범용 프론트워드 모델을 제안했습니다.
2. 데이터 생성 파이프라인: VLM 과 4D 재구성을 결합하여 100 종 이상의 생물과 12 만 개 이상의 포지를 포함하는 대규모 4D 운동 데이터셋을 자동으로 생성하는 파이프라인을 구축했습니다.
3. 제어 가능한 매니폴드: 학습된 포지 공간은 매끄럽고 컴팩트하여, 역운동학 (IK), 제약된 편집, 애니메이션 키프레임 생성 등에 직접 활용 가능합니다.
4. 생성적 2D 와 구조적 3D 의 연결: 생성된 3D 포지 시퀀스를 비디오 생성 모델의 구조적 가이드 (3D Proxy) 로 사용하여, 의미론적으로 정렬된 비디오 생성을 가능하게 합니다.

4. 실험 결과 (Results)

• 타당성 (Plausibility) 과 다양성 (Diversity): ViPS 는 예술가 데이터로 훈련된 최첨단 모델 (AnyTop) 보다 타당성과 다양성 모두에서 우수한 성능을 보였습니다. 특히, 훈련 데이터에 존재하지 않는 종 (Zero-shot) 에 대해서도 매우 자연스러운 포지를 생성했습니다.
• 비교 대상:
  • AnyTop: 4D 데이터에 의존하며, 미처리 종에 대해서는 성능이 급격히 저하되거나 비현실적인 포지를 생성했습니다.
  • Puppeteer: 최적화 기반 방법으로 품질은 높지만, 단일 포지 생성에 약 30 분이 소요되는 반면 ViPS 는 수 초 내에 생성이 가능합니다.
• 정량적 평가: Fréchet Skeleton Distance (FSD) 와 사용자 연구 (LSR) 를 통해 ViPS 가 최적화 기반 방법 (Puppeteer) 과 유사한 품질을 유지하면서도 실시간 생성이 가능함을 입증했습니다.
• 적용 사례:
  • 매니폴드 제약 편집: 사용자가 특정 관절 (예: 발) 만 이동시키면, 모델이 전체 체형을 자연스럽게 조정하여 해부학적으로 타당한 자세로 보정합니다.
  • 제어 가능한 비디오 생성: ViPS 로 생성된 3D 포지 시퀀스를 비디오 생성 모델의 조건으로 사용하여, 의도한 동작을 정확하게 따르는 비디오를 생성할 수 있습니다.

5. 의의 및 결론 (Significance)

ViPS 는 애니메이션 분야에서 희소하고 비용이 많이 드는 예술가 데이터의 의존성을 탈피하고, 생성형 AI(비디오 모델) 의 풍부한 사전 지식을 3D 킴매틱 제어에 성공적으로 통합했다는 점에서 의의가 큽니다.

• 범용성: 인간, 동물, 판타지 생물 등 다양한 토폴로지와 종에 대해 재학습 없이도 적용 가능한 범용 모델입니다.
• 워크플로우 혁신: 수동으로 리미트를 설정하거나 키프레임을 일일이 수정하는 번거로움을 줄이고, 자연스러운 동작을 자동으로 생성하여 3D 캐릭터 애니메이션의 접근성을 높입니다.
• 미래 지향성: 생성형 2D 비디오와 구조화된 3D 애니메이션 간의 간극을 메우며, 차세대 비디오 합성 및 3D 콘텐츠 생성의 핵심 기술로 자리 잡을 것으로 기대됩니다.

결론적으로, ViPS 는 "비디오가 가르쳐주는 움직임"을 "3D 리그가 이해할 수 있는 언어"로 변환하여, 어떤 3D 객체라도 자연스럽고 제어 가능한 애니메이션을 가능하게 하는 획기적인 프레임워크입니다.