MultiAnimate: Pose-Guided Image Animation Made Extensible

이 논문은 현대적인 Diffusion Transformer 기반의 프레임워크를 통해 단일 인물 애니메이션의 한계를 극복하고, '식별자 할당자'와 '식별자 어댑터'라는 두 가지 핵심 구성 요소를 도입하여 훈련 데이터보다 많은 인물이 포함된 복잡한 다중 인물 애니메이션에서도 각 인물의 정체성과 공간적 관계를 정확하게 유지하는 확장 가능한 방법을 제안합니다.

핵심

🎬 '멀티애니메이트 (MultiAnimate)': 한 장의 사진으로 여러 사람이 춤추는 마법

이 논문은 **"한 장의 사진에서 여러 사람이 서로 어울려 춤추거나 움직이는 영상을 만들어내는 기술"**에 대한 연구입니다. 기존 기술은 한 사람만 움직일 때는 잘했지만, 두 명 이상이면 서로 얼굴이 뒤바뀌거나 엉뚱하게 겹치는 문제가 있었습니다. 이 연구는 그 문제를 해결하고, 훈련할 때 두 사람만 봤는데도 세 명, 일곱 명까지 자연스럽게 움직이는 영상을 만들어내는 '확장 가능한' AI를 개발했습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "누가 누구야?" (정체성 혼란)

🎭 비유: 무대 위의 배우들
기존 AI 는 무대 (영상) 에 배우가 한 명일 때는 완벽하게 연기했습니다. 하지만 배우가 두 명 이상 등장하면, AI 는 **"누가 누구지?"**를 혼동하기 시작합니다.

• A 배우가 오른쪽으로 가는데, B 배우의 얼굴이 A 배우에게 붙어버립니다.
• 혹은 두 배우가 서로 뒤바뀌어, A 가 B 의 옷을 입고 B 가 A 의 얼굴을 하는 기이한 상황이 발생합니다.
• 마치 연극 대본 (포즈) 만 보고 배우를 지시했는데, 배우들이 서로 역할을 바꿔치기하는 상황과 같습니다.

2. 해결책: "이름표와 지도" (식별자 assigner & 어댑터)

이 연구팀은 AI 에게 두 가지 새로운 장비를 달아주었습니다.

① 이름표 붙이기 (Identifier Assigner)

• 비유: 무대 위에 있는 각 배우에게 **고유한 '이름표 (ID)'**를 붙여주는 역할입니다.
• 기존에는 "사람 1, 사람 2"라고만 불렀지만, 이 장치는 "사람 A 는 빨간 이름표, 사람 B 는 파란 이름표"처럼 각자만의 고유한 코드를 부여합니다.
• 덕분에 AI 는 "아, 빨간 이름표가 있는 사람이 오른쪽으로 가네"라고 정확히 추적할 수 있게 됩니다.

② 위치 지도 그리기 (Identifier Adapter)

• 비유: 이름표만 붙이는 게 아니라, **무대 위에서의 서로의 위치 관계 (누가 누구 뒤에 서 있는지, 누가 누구를 가리고 있는지)**를 지도에 그려주는 역할입니다.
• 두 사람이 서로 팔짱을 끼거나, 한 사람이 다른 사람 뒤에 숨는 경우, AI 는 이 '공간적 관계'를 정확히 이해하고 영상을 만들어냅니다.

3. 핵심 마법: "유연한 훈련 방식" (확장성)

가장 놀라운 점은 훈련 데이터의 한계를 뛰어넘었다는 것입니다.

• 기존 방식: "두 사람 춤추는 영상"으로만 훈련하면, AI 는 두 사람만 아는 '고정관념'을 가집니다. 세 번째 사람이 나타나면 당황해서 엉뚱한 영상을 만듭니다.
• 이 연구의 방식 (확장 가능한 훈련):
  • AI 는 훈련할 때 두 사람만 보지만, 그 두 사람에게 매번 **무작위 이름표 (ID)**를 붙여줍니다.
  • 마치 **"A 와 B 가 춤을 추는데, 오늘은 A 를 '1 번', B 를 '2 번'으로 부르고, 내일은 A 를 '3 번', B 를 '4 번'으로 부르는 식"**으로 훈련하는 것입니다.
  • 이렇게 훈련하면 AI 는 "특정 번호"를 외우는 게 아니라, **"이름표가 붙은 사람이라면 누구나 움직일 수 있다"**는 원리를 배우게 됩니다.
  • 결과: 훈련 때는 두 사람만 봤는데, 실제 사용 때는 세 명, 일곱 명이 나와도 AI 는 "아, 이름표가 7 개 붙었네? 그럼 7 명을 움직여야지!"라고 자연스럽게 처리합니다.

4. 왜 이것이 중요한가요?

• 영화와 애니메이션: 한 장의 스토리보드 (사진) 만 있으면, 여러 배우가 등장하는 복잡한 장면을 자동으로 만들어낼 수 있습니다.
• 비용 절감: 수많은 사람과 장면을 찍은 데이터를 모으지 않아도, 적은 데이터로도 다양한 상황을 구현할 수 있어 비용과 시간이 크게 절약됩니다.
• 자연스러움: 사람들이 서로 부딪히거나 숨는 등 복잡한 상호작용이 있어도, 얼굴이 뒤바뀌거나 기괴하게 변하지 않고 자연스러운 영상을 보여줍니다.

📝 한 줄 요약

"이 기술은 AI 에게 '누가 누구인지'를 정확히 알려주는 이름표와 위치 지도를 주어, 적은 데이터로도 여러 사람이 자연스럽게 어울려 춤추는 영상을 만들어내는 마법 같은 시스템입니다."

이 기술은 앞으로 디지털 휴먼, 영화 제작, 게임 등 다양한 분야에서 복잡한 캐릭터들의 움직임을 훨씬 쉽고 저렴하게 만들어줄 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

기존의 포지 가이드 인간 이미지 애니메이션 (Pose-guided human image animation) 연구는 주로 단일 인물에 초점을 맞추고 있습니다. 이를 다중 인물 (Multi-character) 시나리오로 확장하려 할 때 다음과 같은 주요 문제들이 발생합니다.

• 정체성 혼란 (Identity Confusion): 여러 인물이 동시에 등장할 때, 각 인물의 외모 (Identity) 가 서로 뒤섞이거나 혼동되는 현상이 발생합니다.
• 비현실적인 가림 (Implausible Occlusions): 인물 간의 상호작용 (가림 현상 등) 이 발생할 때 공간적 관계가 왜곡되어 비현실적인 애니메이션이 생성됩니다.
• 확장성 부족 (Scalability Issue): 기존 모델들은 훈련 데이터에 포함된 고정된 인원 수 (예: 2 인) 에 맞춰 학습됩니다. 따라서 훈련 시 보지 못한 인원 수 (예: 3 인 이상) 가 등장하면 성능이 급격히 저하되거나 새로운 데이터 수집 및 재학습이 필수적입니다.
• 모호성 (Ambiguity): 동일한 포즈 시퀀스라도 인물 간의 공간적 위치와 상호작용에 따라 여러 가지 합리적인 움직임 궤적이 존재할 수 있어, 인물을 특정 궤적에 매핑하는 것이 모호해집니다.

2. 제안 방법론 (Methodology)

저자들은 현대적인 **Diffusion Transformer (DiT)**를 기반으로 한 확장 가능한 다중 인물 애니메이션 프레임워크 MultiAnimate를 제안합니다. 핵심은 마스크 기반 (Mask-driven) 설계와 신원 식별자 (Identifier) 모델링에 있습니다.

2.1. 핵심 모듈

1. 식별자 할당기 (Identifier Assigner):
   • 각 인물의 추적 마스크 (Tracking Masks) 를 입력받아, 배경과 각 인물을 구분하는 고유한 라벨 (Identifier) 이 할당된 구조화된 레이블 맵으로 변환합니다.
   • 이를 통해 인물 간의 공간적 관계 (근접성, 가림 등) 를 명시적으로 보존합니다.
2. 식별자 어댑터 (Identifier Adapter):
   • Identifier Assigner 에서 생성된 레이블 맵을 DiT 백본의 특징 공간에 매핑합니다.
   • 각 인물의 위치 정보와 인물 간의 상호작용을 모델링하여, 포즈 시퀀스와 특정 인물을 정확하게 연결합니다.

2.2. 파이프라인 구조

• 참조 스트림 (Reference Stream): 참조 이미지와 해당 포즈를 인코딩하여 외모 정보를 추출합니다.
• 모션 스트림 (Motion Stream): 포즈 시퀀스와 추적 마스크를 인코딩하여 모션 및 공간 조건을 모델링합니다.
• 융합 (Fusion): 두 스트림의 잠재 토큰 (Latent tokens) 을 요소별 덧셈 (Element-wise addition) 을 통해 결합하여 최종 비디오를 생성합니다.

2.3. 확장 가능한 훈련 전략 (Scalable Training Strategy)

• 가변적 식별자 학습: 훈련 시 고정된 라벨 대신, 학습 가능한 임베딩 공간에서 무작위로 식별자를 샘플링하여 각 인구에 할당합니다.
• 효과: 훈련 데이터가 2 인 데이터셋이라 하더라도, 학습 과정에서 모든 가능한 식별자 채널이 서로 구별되도록 학습됩니다. 따라서 추론 시 훈련 데이터보다 많은 인원 (예: 3 인, 7 인) 이 등장하더라도 모델이 자연스럽게 구분하고 일관된 정체성을 유지할 수 있습니다.
• 대칭성 문제 해결: 특정 채널이 특정 인물에 고정되는 것을 방지하여, 모델이 '고정된 라벨'이 아닌 '공간적 마스크'와 인물을 연결하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 확장 가능한 DiT 기반 프레임워크: 현대적인 Diffusion Transformer 를 기반으로 한 최초의 확장 가능한 다중 인물 이미지 애니메이션 프레임워크를 제안했습니다.
2. 새로운 모듈 도입: 인물별 공간 특징과 인물 간 상호작용을 명시적으로 모델링하는 Identifier Assigner와 Identifier Adapter를 개발했습니다.
3. 확장 가능한 훈련 전략: 훈련 데이터에 존재하지 않는 인원 수의 애니메이션을 생성할 수 있도록 하는 훈련 전략을 제안하여, 데이터 효율성을 극대화했습니다.
4. 고품질 데이터셋 구축: 기존 데이터의 한계를 극복하기 위해 고품질 다중 인물 데이터 (Swing Dance, Gen-dataset 등) 를 구축하고 평가했습니다.

4. 실험 결과 (Results)

• 정량적 평가: Swing Dance 데이터셋, Gen-dataset, 그리고 훈련 시 보지 못한 3~7 인 무용 영상 (Unseen videos) 에서 기존 SOTA 모델 (UniAnimate-DiT, VACE, MimicMotion, DisPose 등) 을 압도하는 성능을 기록했습니다.
  • FVD, FID-VID: 시간적 일관성과 지각적 현실성이 우수함을 입증.
  • PSNR, SSIM: 프레임별 이미지 품질이 뛰어남.
• 정성적 평가:
  • 복잡한 인물 간 상호작용 (가림, 위치 교환) 에서도 각 인물의 정체성이 일관되게 유지됨.
  • 2 인 데이터로 훈련된 모델이 3 인 및 7 인 시나리오에서도 자연스럽게 확장되어 작동함을 확인.
  • 단일 인물 애니메이션에서도 성능 저하 없이 호환성을 유지함.
• 추론 (Ablation Study):
  • 단순 합산 (Addition-driven) 방식은 2 인까지는 작동하나 확장성이 떨어짐을 확인.
  • 제안한 마스크 기반 (Mask-driven) 설계가 확장성과 정체성 일관성 모두에서 우월함을 입증.

5. 의의 및 결론 (Significance)

MultiAnimate 는 다중 인물 애니메이션 분야에서 데이터 효율성과 확장성의 문제를 해결한 획기적인 접근법입니다.

• 실용성: 별도의 추가 데이터 수집이나 모델 재학습 없이, 소수의 인원 (2 인) 데이터로 훈련된 모델만으로 다양한 인원 수의 복잡한 애니메이션을 생성할 수 있어 비용과 시간을 대폭 절감합니다.
• 기술적 진보: 포즈와 정체성 간의 모호한 매핑 문제를 공간적 마스크와 식별자 어댑터를 통해 명시적으로 해결함으로써, 다중 인물 상호작용이 포함된 고도화된 비디오 생성 기술의 새로운 기준을 제시했습니다.

이 연구는 영화 제작, 디지털 아바타, 콘텐츠 생성 등 다양한 분야에서 다중 인물 애니메이션의 실용적 적용 가능성을 크게 높였다는 점에서 의의가 큽니다.