MTVCraft: Tokenizing 4D Motion for Arbitrary Character Animation

이 논문은 2D 포즈 이미지의 한계를 극복하고 3D 모션 시퀀스를 직접 토큰화하여 4D 모션 토큰을 생성하는 '4DMoT'와 이를 활용한 'MV-DiT'를 제안함으로써, 다양한 캐릭터와 비인간 객체에 대해 뛰어난 제로샷 일반화 성능을 보이는 새로운 캐릭터 애니메이션 프레임워크인 MTVCraft 를 소개합니다.

핵심

🎬 MTVCraft: 캐릭터 애니메이션의 새로운 혁명

이 논문은 MTVCraft라는 새로운 기술을 소개합니다. 쉽게 말해, "한 장의 캐릭터 그림을 움직이는 영상으로 만들어주는 기술"인데, 기존의 방식과는 완전히 다른, 더 똑똑하고 유연한 방법을 사용합니다.

기존 방식과 새로운 방식의 차이를 이해하기 위해 몇 가지 비유를 들어보겠습니다.

---

1. 문제점: "2D 사진으로 춤추게 하기" (기존 방식)

지금까지의 캐릭터 애니메이션 기술들은 주로 **2D로 그려진 '포즈 사진'**을 보고 움직임을 따라 하게 했습니다.

• 비유: 마치 인형극을 생각해보세요. 배우가 인형의 팔다리를 실로 연결해서 움직이는데, 그 실이 인형의 2D 그림에 달려 있다고 상상해 보세요.
• 한계:
  • 정보 부족: 2D 그림에는 깊이 (3D) 정보가 없습니다. 인형이 앞으로 다가오는지, 뒤로 물러나는지 구분이 안 됩니다.
  • 딱딱함: 그림 속 인형의 모양과 실제 움직이는 인형의 모양이 조금만 달라도 (예: 몸집이 크거나 작아지면), 그림이 찌그러지거나 엉뚱하게 변해버립니다. 마치 2D 그림을 복사해서 붙여놓은 것처럼 자연스럽지 않습니다.

2. 해결책: "4D 운동 토큰" (MTVCraft 의 방식)

저자들은 "그림을 보는 게 아니라, 움직임 자체의 데이터를 직접 읽자"라고 생각했습니다. 이를 위해 **4D Motion Tokens(4 차원 운동 토큰)**이라는 기술을 개발했습니다.

• 비유: 이제 인형극이 아니라 **마리오네트 (조종 인형)**를 생각해보세요. 하지만 이번에는 실이 아니라, 인형의 뼈대 (관절) 데이터를 직접 조종합니다.
  • 4D 란? 3 차원 공간 (가로, 세로, 깊이) + 시간 (움직임) 을 합친 것입니다.
  • 토큰화 (Tokenization): 복잡한 3D 관절 움직임을 마치 레고 블록이나 모바일 게임의 아이템처럼 작고 깔끔한 '데이터 덩어리'로 변환합니다.
• 장점:
  • 정확한 깊이 인식: 인형이 앞으로 다가오는지 뒤로 가는지 3D 공간에서 정확히 파악합니다.
  • 유연성: 캐릭터의 모양 (키, 체형) 이 달라도, '뼈대 데이터'만 같으면 자연스럽게 움직입니다. 그림을 복사하는 게 아니라 움직임의 '의미'를 이해하는 것입니다.

3. 핵심 기술: "움직임을 아는 비디오 제작자 (MV-DiT)"

이제 변환된 '운동 데이터 (토큰)'를 어떻게 영상으로 만들까요? 여기서 MV-DiT라는 인공지능 모델이 나옵니다.

• 비유: 이 모델은 명령을 잘 듣는 최고의 무용 감독입니다.
  • 기존 감독은 "이 그림처럼 움직여!"라고 2D 그림을 보여주며 지시했습니다.
  • MTVCraft 의 감독은 "왼쪽 팔을 3 차원 공간에서 30 도 들어 올려!"라고 정밀한 3D 좌표 데이터로 지시합니다.
  • 이 감독은 4D 위치 인코딩이라는 나침반을 가지고 있어서, 시간과 공간 속에서의 위치를 정확히 알고 있습니다. 그래서 캐릭터가 아무리 이상하게 움직여도 (예: 공중제비, 뒤집기) 자연스럽게 따라 합니다.

4. 놀라운 결과: "누구나, 무엇이든 춤추게 하다"

이 기술의 가장 큰 장점은 범용성입니다.

• 누구나: 실제 사람, 애니메이션 캐릭터, 심지어 동물이나 사물까지 움직일 수 있습니다. (예: 고양이 그림을 춤추게 하거나, 컵이 춤추게 하는 것)
• 어떤 스타일이라도: 실사, 만화, 수채화 등 어떤 스타일의 그림이든 자연스럽게 변환됩니다.
• 제로샷 (Zero-shot): 이 기술은 훈련받지 않은 새로운 캐릭터나 움직임도 바로 따라 할 수 있습니다. 마치 모든 춤을 본 적 없는 천재 무용수가 처음 보는 춤을 한 번 보고 완벽하게 따라 하는 것과 같습니다.

---

🌟 한 줄 요약

MTVCraft는 캐릭터를 움직일 때, "그림을 복사하는" 구식 방식을 버리고, 캐릭터의 '뼈대 운동 데이터'를 직접 읽어서 더 자연스럽고, 유연하며, 어떤 캐릭터든 자유롭게 춤추게 하는 차세대 애니메이션 기술입니다.

이 기술은 디지털 휴먼, 가상 현실, 게임 등 다양한 분야에서 더 생생하고 실감 나는 콘텐츠를 만들어낼 수 있는 문을 열었습니다.

기술 요약

1. 문제 정의 (Problem)

기존의 캐릭터 이미지 애니메이션 (Character Image Animation) 기술은 주로 2D 렌더링된 포즈 이미지 (스켈레톤, SMPL 렌더링, 깊이图等) 를 모션 가이드로 사용하여 생성 모델을 구동합니다. 그러나 이러한 접근 방식에는 두 가지 근본적인 한계가 존재합니다.

1. 4D 정보의 손실: 2D 이미지는 3D 공간과 시간 (4D) 의 풍부한 시공간적 정보를 담지 못합니다. 이로 인해 복잡한 4D 환경에서 물리적으로 타당하고 표현력 있는 모션을 생성하는 데 어려움을 겪습니다.
2. 픽셀 수준의 맹목적 복사: 모델이 포즈 이미지를 입력으로 받을 때, 모션의 의미 (semantic) 를 이해하기보다 고정된 형태의 포즈를 픽셀 단위로 복사하려는 경향이 있습니다. 이는 참조 이미지와 구동 포즈의 모양이나 위치가 크게 다를 때 (예: 다른 체형의 캐릭터, 비인간 객체) 심한 왜곡이나 아티팩트를 유발합니다.

따라서, 2D 렌더링 이미지를 거치지 않고 **원시 4D 모션 (Raw 4D Motion)**을 직접 모델링하여 더 강력하고 일반화된 애니메이션을 생성할 수 있는 새로운 패러다임이 필요합니다.

2. 방법론 (Methodology)

저자들은 **MTVCraft (Motion Tokenization Video Crafter)**라는 새로운 프레임워크를 제안합니다. 이는 4D 모션 토크나이저와 모션 인식 비디오 Diffusion Transformer(DiT) 를 결합한 구조입니다.

가. 4DMoT (4D Motion Tokenizer)

• 목적: 3D 모션 시퀀스 (시간에 따른 3D 관절 좌표) 를 4D 모션 토큰으로 양자화 (Quantization) 합니다.
• 입력 데이터: 구동 비디오에서 추출된 SMPL 관절 회전 및 루트 이동 정보를 기반으로, 표준 인간 SMPL 형태를 사용하여 3D 관절 좌표 ($J_t$) 를 계산합니다. 절대적인 위치와 형태의 변동을 분리하기 위해 첫 번째 프레임을 기준으로 한 **상대적 관절 좌표 (Differential Joint Coordinates)**를 사용합니다.
• 아키텍처: 인코더 - 디코더 구조의 VQ-VAE 를 사용합니다.
  • 인코더: 2D 컨볼루션 (시간 축과 관절 축) 을 통해 시공간 잠재 표현을 학습합니다.
  • 벡터 양자화 (Vector Quantizer): 학습 가능한 코드북 (Codebook) 을 사용하여 연속적인 잠재 벡터를 이산적인 토큰으로 변환합니다.
  • 디코더: 양자화된 코드를 다시 원래의 3D 관절 좌표로 재구성합니다.
• 장점: 2D 렌더링보다 정밀한 3D 깊이 정보를 보존하며, 모션을 절대 위치와 형태에서 분리하여 더 견고한 표현을 제공합니다.

나. MV-DiT (Motion-aware Video Diffusion Transformer)

• 목적: 4D 모션 토큰을 조건 (Condition) 으로 사용하여 캐릭터 이미지를 애니메이션화합니다.
• 핵심 구성 요소:
  1. 정체성 보존 (Identity Preservation): 별도의 참조 네트워크를 두지 않고, 참조 이미지 잠재 변수를 비디오 프레임 수만큼 반복하여 (Repeat-and-Concatenate) 입력에 결합합니다. 이를 통해 DiT 의 3D 풀 셀프 어텐션 메커니즘을 통해 시공간적으로 일관된 정체성을 유지합니다.
  2. 4D 위치 인코딩 (4D Positional Encodings): 기존 3D RoPE (Rotary Positional Encoding) 를 확장하여 4D RoPE를 도입합니다.
     • 모션 토큰: 시간 ($t$) 과 3D 공간 ($x, y, z$) 좌표를 기반으로 위치 인코딩을 계산합니다.
     • 비전 토큰: 시간 ($t$) 과 이미지 공간 ($h, w$) 을 사용하며, 깊이 ($z$) 는 0 으로 설정하여 모션 토큰과의 호환성을 확보합니다.
  3. 4D 모션 어텐션 (4D Motion Attention): 비전 토큰을 Query, 모션 토큰을 Key/Value 로 사용하여, 생성 과정에서 모션 토큰으로부터 동적으로 모션 단서를 검색하도록 설계되었습니다.
  4. 모션 인식 CFG (Classifier-Free Guidance): 모션 토큰에 대한 무조건부 (Unconditional) 토큰을 학습 가능하게 도입하여, 조건부 및 무조건부 생성을 동시에 학습하도록 합니다.

다. 확장성 (Scalability)

• CogVideoX-5B(약 6B 파라미터) 와 Wan-2.1-14B(약 18B 파라미터) 기반의 두 가지 모델을 구현했습니다.
• 4DMoT 와 무조건부 모션 토큰을 재사용하여 대규모 모델로 확장 시 추가적인 훈련 비용을 크게 줄였습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 4D 모션 직접 모델링: 2D 렌더링 포즈 이미지가 아닌, 원시 4D 모션 시퀀스를 직접 토큰화하여 임의의 캐릭터 애니메이션을 생성하는 최초의 파이프라인을 제안했습니다.
2. 4DMoT (4D Motion Tokenizer): SMPL 관절 좌표를 4D 컴팩트하면서도 표현력 있는 토큰으로 인코딩하는 새로운 토크나이저를 개발하여, 2D 포즈 표현보다 강력한 시공간 가이드를 제공합니다.
3. MV-DiT (Motion-aware Video DiT): 4D 모션 어텐션과 4D 위치 인코딩을 갖춘 비디오 DiT 모델을 설계하여, 4D 모션 토큰에 의해 효과적으로 구동되는 애니메이션을 가능하게 했습니다.
4. SOTA 성능 및 제로샷 일반화: TikTok 및 Fashion 벤치마크에서 최첨단 (SOTA) 성능을 달성했으며, 훈련 데이터에 없던 캐릭터 (인간, 동물, 사물), 스타일, 시나리오에 대해 뛰어난 제로샷 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 정량적 평가: TikTok 과 Fashion 벤치마크에서 PSNR, SSIM, LPIPS, FID, FVD 등 모든 주요 지표에서 기존 방법들 (MimicMotion, UniAnimate-DiT, ControlNeXt 등) 을 능가하는 최상위 성능을 기록했습니다.
  • 예: TikTok 벤치마크에서 FVD 는 276.65 (MTVCraft-18B) 로 기존 최상위 모델 (402.14) 보다 현저히 낮아 (더 좋음) 시간적 일관성이 우수함을 보여줍니다.
• 정성적 평가:
  • 정체성 유지: 다양한 구동 포즈에서도 참조 이미지의 외관을 일관되게 유지합니다.
  • 강건성: 구동 포즈와 참조 이미지의 형태/위치 차이가 크더라도 왜곡 없이 애니메이션이 생성됩니다.
  • 범용성: 인간 캐릭터뿐만 아니라 동물, 사물 (비인간 객체) 에 대해서도 성공적인 애니메이션이 가능함을 보여주었습니다. 이는 2D 렌더링 기반 방법들이 겪는 한계를 극복한 결과입니다.

5. 의의 및 중요성 (Significance)

• 패러다임의 전환: 캐릭터 애니메이션 분야에서 2D 이미지 기반의 모션 가이드에서 4D 모션 토큰 기반으로의 전환을 주도합니다.
• 개방형 세계 (Open-world) 애니메이션: 특정 캐릭터나 스타일에 국한되지 않고, 다양한 형태와 환경에서 유연하게 작동할 수 있어 디지털 휴먼, 가상 의류 착용, 메타버스 콘텐츠 생성 등 실용적인 응용 분야에 큰 잠재력을 가집니다.
• 확장성: 작은 규모의 모델부터 초대규모 모델까지 쉽게 확장 가능하여, 다양한 리소스 환경에서의 배포 가능성을 보여줍니다.

결론적으로, MTVCraft 는 4D 모션의 본질을 토큰화하여 비디오 생성 모델에 통합함으로써, 기존 방법들의 한계를 극복하고 더욱 사실적이고 유연한 캐릭터 애니메이션을 가능하게 하는 획기적인 기술입니다.