기술 요약: MoZoo – 동물 털과 근육 시뮬레이션에서 비디오 확산 모델의 잠재력 해방

1. 문제 제기

영화급 품질의 동물 효과를 제작하는 전통적인 방식은 뼈 rigging, 근육 모델링, 고정밀 털 합성을 포함하는 노동 집약적이고 계산 비용이 많이 드는 워크플로우에 의존합니다. 이러한 과정은 사실성을 보장하기 위해 숙련된 아티스트가 미세한 변형과 복잡한 물리 시뮬레이션을 수동으로 조정해야 합니다. 생성형 확산 모델이 예술적 워크플로우를 발전시켰음에도 불구하고, 두 가지 주요 병목 현상으로 인해 고정밀 동물 시뮬레이션에 대한 적용은 아직 충분히 탐구되지 않았습니다:

1. 데이터 부족: 확산 모델을 효과적으로 학습하는 데 필요한 고품질 페어 데이터 (거친 메시와 사실적인 털/근육 비디오의 짝) 가 부족합니다.
2. 시뮬레이션 복잡성: 기존 참조 기반 비디오 생성 방법은 종종 단일 이미지에 의존하여 밀집된 털 섬유와 복잡한 빛 - 털 상호작용의 기하학적 복잡성을 포착하지 못합니다. 또한, 표준 확산 모델은 특징 간 간섭 없이 복잡한 질감 세부 사항 (털/근육) 을 전달하면서도 구조적 일관성 (뼈대 운동) 을 유지하는 데 어려움을 겪습니다.

2. 방법론

MoZoo 는 다중 모달 가이드 (텍스트, 이미지 또는 비디오) 하에 거친 메시 입력으로부터 직접 사실적인 동물 비디오를 합성하기 위해 기존 정제 단계를 우회하도록 설계된 생성 동역학 솔버입니다. 이 프레임워크는 Wan2.1 DiT(확산 트랜스포머) 백본을 기반으로 하며 세 가지 핵심 혁신을 도입합니다:

A. MoZoo-Data: 합성에서 실사로의 파이프라인

데이터 병목 현상을 해결하기 위해 저자들은 62,000 개의 페어 시퀀스로 구성된 대규모 데이터셋인 MoZoo-Data를 구축했습니다.

• 합성 생성: Unreal Engine 5(UE5) 를 사용하여 텍스처가 있는 동물 메시와 없는 동물 메시지를 렌더링하여 정렬된 거친 기하학 ($V_{mesh}$) 과 고정밀 비디오 ($V_{tar}$) 의 완벽한 페어를 생성했습니다.
• 실제 데이터를 위한 역 매핑: 합성 데이터와 실제 영상 간의 도메인 차이를 인식하여, 저자들은 합성 데이터로 역 생성 모델을 학습시켰습니다. 이 모델은 고해상도 실제 야생 동물 다큐멘터리에서 추정된 거친 메시 시퀀스를 추출합니다.
• 참조 구성: 참조 비디오 ($V_{ref}$) 는 동일한 종의 다른 동작 클립을 샘플링하여 생성되어 신원과 운동의 분리를 강제합니다.

B. 역할 인식 RoPE (RAR-RoPE)

표준 3D 회전 위치 임베딩 (RoPE) 은 연속적인 시간 인덱스를 할당하여 서로 다른 입력 스트림 (타겟, 메시, 참조) 을 연결할 때 인위적인 시간적 사전 지식을 생성합니다. MoZoo 는 이질적인 정렬 요구 사항을 처리하기 위해 RAR-RoPE를 제안합니다:

• 동기화: 타겟과 소스 메시 비디오는 정확한 운동 정렬을 보장하기 위해 동기화된 시간 인덱스를 공유합니다.
• 분리: 참조 콘텐츠 (이미지 또는 비디오) 는 고정된 시간 오프셋 ($\Delta$) 을 할당받아 노이즈가 있는 타겟 토큰 이전에 배치됩니다. 이는 모델이 참조의 시간적 역학을 타겟과 혼동하는 것을 방지합니다.
• 공간 앵커링: 마스크는 구조적 역할을 유지하기 위해 인덱스 0 에 앵커링됩니다.

C. 비대칭 분리 어텐션 (ADA)

메시의 강력한 구조적 신호와 털의 미묘한 고주파 세부 사항 간의 특징 간섭을 방지하기 위해 MoZoo 는 비대칭 분리 어텐션을 도입합니다.

• 분할: 잠재 시퀀스는 타겟 ($x_{tgt}$), 메시 가이드 ($x_{mesh}$), 마스크 ($x_{msk}$), 그리고 참조 ($x_{ref}$) 의 네 가지 세그먼트로 분할됩니다.
• 단방향 흐름: 이 메커니즘은 단방향 정보 흐름을 강제합니다. 타겟 쿼리는 모든 모달리티에서 정보를 집계하지만, 가이드 분기 (메시 및 참조) 는 격리되어 자체 서브스페이스 내에서만 어텐션을 계산합니다.
• 프레임 단위 정렬: 타겟 프레임은 전체 메시 시퀀스가 아닌 해당 구조적 키 ($k_{mesh, i}$) 에만 어텐션하여 엄격한 시간 동기화를 보장하면서도 타겟 시퀀스의 노이즈가 깨끗한 가이드 신호를 손상시키는 것을 방지합니다.

3. 주요 기여

1. MoZoo 프레임워크: 고비용의 전통적인 CG 시뮬레이션 단계를 대체하여 거친 메시에서 사실적인 근육 및 털 동역학을 갖춘 고정밀 동물 비디오를 직접 생성하는 새로운 비디오 확산 프레임워크입니다. 유연한 제어를 위한 다중 모달 가이드를 지원합니다.
2. MoZoo-Data 및 MoZooBench: 합성에서 실사로의 파이프라인을 통해 구축된 대규모 데이터셋 (62K 클립) 과 동물 털 렌더링을 평가하기 위한 종합적인 벤치마크 (120 개의 메시 - 비디오 페어) 를 도입하여 공개했습니다.
3. 아키텍처 혁신: 다중 모달 정렬 문제를 해결하기 위한 RAR-RoPE와 구조적 가이드를 질감 정보에서 분리하기 위한 비대칭 분리 어텐션을 제안하여 계산 오버헤드를 크게 줄이면서 충실도를 향상시켰습니다.

4. 실험 결과

저자들은 MoZoo 를 MoZooBench 에서 최첨단 방법 (VACE, Refacade) 과 자체 모델의 절단 버전과 비교하여 평가했습니다.

• 정량적 성능: MoZoo 는 구조적 충실도 (PSNR, SSIM) 와 참조 정렬 (LPIPS) 에서 일관되게 베이스라인을 능가했습니다. 특히, 비디오 조건부 버전은 PSNR 20.75 와 LPIPS 0.070 을 달성하여 이미지 조건부 베이스라인을 상회했습니다.
• 정성적 성능: 시각적 비교는 MoZoo 가 정교한 고주파 털 세부 사항을 보존하고 시공간적 일관성을 유지하는 반면, 베이스라인은 종종 과도하게 평활화된 결과를 생성하거나 질감을 올바른 해부학적 영역에 매핑하지 못함을 보여주었습니다.
• 절단 연구: RAR-RoPE 를 제거하면 해부학적 특징의 공간적 드리프트가 발생했고, ADA 를 제거하면 구조적 신호가 털 질감을 압도하여 미세한 세부 사항이 손실되었습니다. 비디오 조건부 모달리티는 특히 심한 시점 변화 하에서 이미지 조건부 설정보다 우수함이 입증되었습니다.
• 종간 전이: 이 모델은 제로샷 리스킨킹 능력을 보여주어 해부학적 일관성을 유지하면서 한 종의 생물학적 질감을 다른 종의 메시로 성공적으로 전이시켰습니다.

5. 중요성 및 주장

이 논문은 MoZoo 가 고정밀 동물 캐릭터 제작과 관련된 수동 노력과 계산 비용을 크게 줄인다고 주장합니다. 근육과 털 동역학을 엔드 - 투 - 엔드 생성 프로세스에 통합함으로써 저비용 생산과 산업 수준의 시각적 충실도 간의 격차를 해소합니다.

저자들은 이 방법이 다양한 종에 걸쳐 우수한 질감 충실도와 일관성을 달성하지만, 복잡한 다중 동물 상호작용과 심한 가려짐을 처리하는 데는 여전히 과제가 남아 있다고 지적합니다. 향후 연구는 인간 머리카락과 합성 섬유를 포함한 보편적인 헤어 및 털 시뮬레이션으로 프레임워크를 일반화하는 것을 목표로 합니다. 또한 저자들은 기술이 인간 대상으로 일반화됨에 따라 무단 디지털 아바타나 딥페이크 생성과 관련된 잠재적인 윤리적 위험을 인정합니다.