💻 computer science

MotionWeaver: Holistic 4D-Anchored Framework for Multi-Humanoid Image Animation

이 논문은 단일 인물을 넘어 다양한 인간형 캐릭터 간의 복잡한 상호작용과 가려짐을 처리할 수 있도록, 통합된 모션 표현과 계층적 4D 감시 신호를 도입한 'MotionWeaver'라는 새로운 프레임워크를 제안합니다.

원저자: Xirui Hu, Yanbo Ding, Jiahao Wang, Tingting Shi, Yali Wang, Guo Zhi Zhi, Weizhan Zhang

게시일 2026-02-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xirui Hu, Yanbo Ding, Jiahao Wang, Tingting Shi, Yali Wang, Guo Zhi Zhi, Weizhan Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **'모션위버 (MotionWeaver)'**라는 새로운 인공지능 기술을 소개합니다. 이 기술은 한마디로 **"사진 속 캐릭터를 원하는 대로 춤추게 하고, 여러 명이 함께 어울리는 복잡한 장면을 자연스럽게 만들어주는 마법"**이라고 할 수 있습니다.

기존 기술은 주로 '한 사람'만 움직일 때 잘 작동했지만, 두 명 이상이 서로 부딪히거나 가려지는 (가려짐/오버랩) 상황에서는 엉망이 되거나 캐릭터가 뒤섞이는 문제가 있었습니다. 이 논문은 그 문제를 해결했습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제 상황: "혼란스러운 무용수들"

기존의 애니메이션 기술은 마치 한 명의 무용수만 무대 위에 있을 때는 완벽하게 춤을 추게 해줍니다. 하지만 두 명 이상의 무용수가 서로 손을 잡거나, 한 명이 다른 사람 뒤에 숨거나 (가려짐), 로봇과 인간이 함께 춤을 추는 상황에서는 어떻게 해야 할지 몰라 당황합니다.

기존 기술의 한계: "누가 누구인지"를 구분하지 못해 캐릭터가 뒤섞이거나, 서로 겹칠 때 누가 앞이고 뒤인지 헷갈려서 그림이 찌그러집니다. 마치 여러 명의 무용수가 같은 옷을 입고 같은 동작을 하다가 서로 부딪혀 넘어지는 상황과 비슷합니다.

2. 해결책: '모션위버'의 3 가지 비밀 무기

이 논문은 이 문제를 해결하기 위해 세 가지 핵심 아이디어를 제안합니다.

① 통일된 춤 동작 지도 (Unified-Choreography Core)

비유: "얼굴 없는 춤 동작 교본"

기존 기술은 캐릭터의 '외모'와 '동작'을 함께 기억해서, 로봇에게 인간처럼 춤추게 하려다 실패했습니다.
모션위버는 먼저 **'외모를 떼어낸 순수한 춤 동작'**만 추출합니다. 마치 모든 무용수가 흰색 가면을 쓴 채, 오직 몸짓과 발동작만 기록한 교본을 만드는 것과 같습니다.

효과: 이 교본은 인간이든, 로봇이든, 동물 캐릭터든 상관없이 적용할 수 있습니다. 그리고 이 동작을 각 캐릭터에게 **"너의 것"**이라고 딱 붙여줍니다. 그래서 로봇이 춤을 추든, 인간이 춤을 추든 혼란 없이 제자리에서 춤을 춥니다.

② 4 차원 공유 공간 (Hyper-Scene Integrator)

비유: "투명한 3D 공간과 깊이 감지 안경"

기존 기술은 2 차원 평면 (사진) 에서만 동작을 시뮬레이션해서, 누가 앞이고 뒤인지 (깊이, Depth) 를 잘 모릅니다.
모션위버는 모든 캐릭터를 **가상의 3 차원 공간 (4 차원: 시간 포함)**에 배치합니다.

비유: 마치 투명한 유리로 된 무대 위에 캐릭터들을 세우고, 깊이 감지 안경을 쓴 감독이 "저 캐릭터는 앞에 서 있고, 이 캐릭터는 뒤에 숨어 있어"라고 지시하는 것과 같습니다.
효과: 두 캐릭터가 서로 부딪히거나 한 명이 다른 사람을 가릴 때, **"누가 앞이고 뒤인지"**를 정확히 계산해서 자연스럽게 처리합니다.

③ 단계별 감독 시스템 (Hierarchical-4D Supervision)

비유: "대략적인 스케치부터 디테일까지"

인공지능이 영상을 만들 때, 처음부터 끝까지 똑같은 방식으로 배우는 것은 비효율적입니다.
모션위버는 학습 과정을 두 단계로 나눕니다.

초반 (높은 노이즈): "누가 어디에 서 있고, 누가 누구를 가리고 있는지"라는 큰 그림과 깊이 관계를 먼저 배웁니다. (스케치 단계)
후반 (낮은 노이즈): "얼굴 표정, 옷 주름, 손가락 움직임" 같은 세부적인 디테일을 채워 넣습니다. (색칠 단계)

효과: 처음부터 디테일에만 집중하면 전체적인 구조가 망가질 수 있는데, 이 방식은 구조를 먼저 잡고 디테일을 채우는 자연스러운 학습을 가능하게 합니다.

3. 새로운 무대: '듀얼다이나믹스' (DualDynamics)

이 기술을 검증하기 위해 연구팀은 300 개의 새로운 비디오 데이터를 만들었습니다.

내용: 로봇, 애니메이션 캐릭터, 인간 등 다양한 캐릭터들이 서로 복잡하게 상호작용하는 장면들.
의미: 기존에는 이런 복잡한 데이터를 찾기 어려웠는데, 이제 이 데이터를 통해 인공지능이 얼마나 잘 배우는지 시험할 수 있게 되었습니다.

4. 결론: 왜 이것이 중요한가요?

모션위버는 단순히 "사진을 움직이게 하는 것"을 넘어, **"복잡한 관계 속에서도 캐릭터의 정체성을 지키며 자연스럽게 움직이는 세계"**를 만들어냅니다.

영화/게임: 여러 캐릭터가 등장하는 복잡한 액션 장면을 쉽게 만들 수 있습니다.
가상 현실: 사용자와 여러 AI 캐릭터가 함께 어울리는 경험을 제공할 수 있습니다.
예술적 표현: 인간뿐만 아니라 로봇, 동물 등 다양한 형태의 캐릭터가 함께 춤추는 창의적인 영상을 만들 수 있습니다.

한 줄 요약:

"모션위버는 여러 캐릭터가 서로 부딪히고 가려지는 복잡한 무대에서도, 각자의 정체성을 잃지 않고 자연스럽게 춤추게 해주는 '초월적인 무대 감독'입니다."

1. 문제 정의 (Problem Statement)

기존의 캐릭터 이미지 애니메이션 (Character Image Animation) 기술은 주로 단일 인간 (Single-human) 시나리오에 국한되어 있습니다. 여러 인간형 캐릭터 (다양한 형태, 로봇, 의인화된 동물, 게임 아바타 등) 가 등장하고 복잡한 상호작용 및 빈번한 가림 (Occlusion) 이 발생하는 다중 인간형 (Multi-humanoid) 환경으로 확장하는 데에는 다음과 같은 근본적인 한계가 존재합니다.

부족한 모션 표현 (Deficient Motion Representations): 기존 방법들은 모션과 형태 (Morphology) 를 명확히 분리하지 못합니다. 스켈레톤 맵이나 SMPL 렌더링과 같은 제어 신호가 신체의 비례나 모양 정보를 포함하고 있어, 다양한 인간형 형태에 대한 일반화가 어렵습니다. 또한 여러 캐릭터의 제어 신호가 하나의 맵에 합쳐지면 캐릭터 간의 정체성 혼란 (Identity Confusion) 이 발생합니다.
명시적인 4D 모델링 부재 (Lack of Explicit 4D Modeling): 기존 접근법은 비디오 잠재 공간 (Video Latents) 과 제어 신호를 단순하게 융합할 뿐, 캐릭터 간 및 캐릭터와 장면 간의 공간적 - 시간적 (Spatiotemporal) 관계, 특히 깊이 (Depth) 정보를 명시적으로 모델링하지 못합니다. 이로 인해 가림 처리와 캐릭터의 실제 크기 대 카메라 거리 구분이 어렵습니다.
비최적화된 학습 전략 (Suboptimal Training Strategy): 대부분의 프레임워크는 2D 픽셀 단위 MSE 손실 함수에 의존하여 모션과 외양을 불필요하게 결합시키고, 인간 특유의 시각적 특징에 과적합 (Overfitting) 되는 경향이 있습니다.

2. 방법론 (Methodology)

저자들은 이러한 한계를 극복하기 위해 MotionWeaver라는 새로운 프레임워크를 제안했습니다. 이는 **통합된 모션 표현 (Unified Motion Representations)**과 **전체적인 4D-앵커드 패러다임 (Holistic 4D-Anchored Paradigm)**을 기반으로 합니다.

핵심 구성 요소:

통합 안무 코어 (Unified-Choreography Core, UCC):
- 목표: 형태에 구애받지 않는 (Identity-agnostic) 모션 신호를 추출하고 이를 해당 캐릭터에 명시적으로 바인딩합니다.
- 작동 원리:
  - 모션 토큰 추출: SMPL 파라미터를 추출한 후, 신체의 비례나 길이와 같은 외양 관련 편향을 제거하기 위해 표준화된 스켈레톤 (Standardized Skeleton) 에 매핑합니다. 이를 통해 다양한 인간형 형태에 일반화 가능한 모션 토큰 ( $z_{mo}$ ) 을 생성합니다.
  - 캐릭터 바인딩: 사전 학습된 I2V 모델의 참조 프레임 특징을 활용하여 각 캐릭터의 외양 특징 (Identity tokens, $z_{id}$ ) 을 추출합니다. 그룹 어텐션 (Group Attention) 모듈을 통해 모션 토큰과 해당 캐릭터의 아이덴티티 토큰을 결합하여 통합된 모션 표현 ( $z_{uni}$ ) 을 생성합니다. 이는 캐릭터가 위치를 바꾸더라도 모션이 올바른 캐릭터에 할당되도록 보장합니다.
초장면 통합기 (Hyper-Scene Integrator, HSI):
- 목표: 공유된 4D 공간 내에서 모션 표현과 비디오 잠재 공간을 융합하여 가림과 복잡한 상호작용을 해결합니다.
- 작동 원리:
  - 4D 위치 정의: 각 모션 유닛에 대해 SMPL 번역 파라미터 ( $x, y, z$ ) 와 잠재 시간 스텝 ( $t$ ) 을 결합하여 4D 위치 벡터를 정의합니다.
  - 깊이 인식 어텐션 (Depth-Aware Attention): $z$ 축 (깊이) 정보를 인코딩하는 토큰을 생성하고, 가림 손실 (Occlusion Loss) 을 통해 모델이 깊이 순서와 가림 관계를 올바르게 학습하도록 유도합니다.
  - 동적 C-RoPE (Dynamic Cross-Attention RoPE): $t, x, y$ 축에 대해 동적으로 회전 위치 인코딩 (Rotary Positional Encoding) 을 적용하여 캐릭터와 장면 간의 공간적 - 시간적 관계를 정밀하게 포착합니다.
계층적 4D 감독 (Hierarchical-4D Supervision, H4S):
- 목표: 확산 모델의 특성을 활용하여 모션 학습 효율을 높이고 외양 과적합을 줄입니다.
- 작동 원리: 노이즈 레벨에 따라 손실 함수를 동적으로 변경합니다.
  - 고노이즈 단계 (초기): 전체적인 구조와 가림 관계를 학습하기 위해 MSE 손실과 **가림 손실 (Occlusion Loss)**을 결합합니다.
  - 저노이즈 단계 (후기): 세부 사항을 정제하기 위해 모션 수준의 손실 (Motion-level Loss) 을 적용합니다. 이는 4D Pose Detector 를 통해 추출된 모션 특징과 지상 진실 (Ground Truth) 을 비교하여 4D 모션 사전 지식을 주입합니다.

3. 주요 기여 (Key Contributions)

MotionWeaver 프레임워크: 다양한 인간형 형태, 풍부한 상호작용, 빈번한 가림이 포함된 다중 인간형 이미지 애니메이션을 위한 최초의 통합 4D-앵커드 프레임워크를 제안했습니다.
새로운 모션 표현 및 아키텍처:
- UCC: 외양과 모션을 분리하고 캐릭터별로 바인딩하는 통합 모션 표현을 도입하여 일반화 능력을 극대화했습니다.
- HSI & H4S: 공유된 4D 공간을 구축하고 계층적 감독을 통해 복잡한 상호작용과 가림을 효과적으로 처리하는 메커니즘을 설계했습니다.
데이터셋 및 벤치마크 구축:
- MultiHuman46: 다양한 상호작용 패턴과 장면을 포함하는 46 시간 분량의 다중 인간 비디오 데이터셋을 큐레이션했습니다.
- DualDynamics: 300 개의 비디오로 구성된 벤치마크로, 두 명의 인간형 캐릭터가 상호작용하는 다양한 시나리오를 제공하여 모델의 성능을 엄격하게 평가할 수 있게 했습니다.

4. 실험 결과 (Results)

정량적 평가: DualDynamics 벤치마크에서 기존 최첨단 (SOTA) 방법들 (RealisDance-DiT, UniAnimate-DiT, HumanVid 등) 을 모든 지표 (FVD, FID, PSNR, SSIM, CLIP 등) 에서 압도적으로 능가했습니다. 특히 FVD(145.7) 와 FID(19.41) 에서 가장 낮은 오류율을 기록하여 비디오의 사실성과 일관성이 뛰어남을 입증했습니다.
정성적 평가:
- 가림 및 상호작용 처리: 기존 방법들이 실패하는 캐릭터 간 가림 (Occlusion) 과 위치 교환 상황에서 MotionWeaver 는 정확한 깊이 순서와 캐릭터 정체성을 유지하며 애니메이션을 생성했습니다.
- 일반화 능력: 인간뿐만 아니라 로봇, 애니메이션 캐릭터, 의인화된 동물 등 다양한 인간형 형태에 대해 뛰어난 일반화 성능을 보였습니다.
- 확장성: 2 명 이상의 캐릭터가 등장하는 시나리오에서도 효과적으로 작동함을 확인했습니다.
사용자 연구: 시각적 품질, 모션 정합성, 상호작용 일관성, 가림 처리, 캐릭터 보존 등 5 가지 차원에서 사용자 선호도가 기존 방법보다 압도적으로 높았습니다.

5. 의의 및 결론 (Significance)

MotionWeaver 는 다중 캐릭터 애니메이션 분야에서 2D 제어 신호의 한계를 넘어 4D 공간 기반의 모델링으로 패러다임을 전환했습니다. 이 연구는 다음과 같은 의의를 가집니다:

범용성 확보: 특정 인간 형태에 국한되지 않고 로봇, 아바타 등 다양한 인간형 캐릭터에 적용 가능한 범용 애니메이션 프레임워크를 제시했습니다.
복잡한 상호작용 해결: 깊이 정보와 4D 공간 모델링을 통해 기존에 해결되지 않았던 다중 캐릭터 간의 가림과 복잡한 상호작용 문제를 체계적으로 해결했습니다.
표준 벤치마크 제공: MultiHuman46 데이터셋과 DualDynamics 벤치마크를 공개함으로써 향후 다중 인간형 애니메이션 연구의 표준 평가 기준을 마련했습니다.

이러한 기술적 발전은 영화 제작, 몰입형 콘텐츠, 가상 현실 (VR/AR), 디지털 휴먼 등 다양한 분야에서 고품질의 다중 캐릭터 애니메이션 생성을 가능하게 할 것으로 기대됩니다.