💻 computer science

SteadyDancer: Harmonized and Coherent Human Image Animation with First-Frame Preservation

SteadyDancer는 기존 Reference-to-Video 패러다임에서 흔히 발생하는 정체성 드리프트와 불일치 문제를 극복하기 위해 조건 조정 메커니즘, 시너지 포즈 변조 모듈, 단계적 분리 목적 훈련 파이프라인을 도입함으로써 강력한 첫 프레임 보존을 갖춘 조화롭고 일관된 인간 이미지 애니메이션을 달성하는 새로운 이미지-비디오 프레임워크입니다.

원저자: Jiaming Zhang, Shengming Cao, Rui Li, Xiaotong Zhao, Yutao Cui, Xinglin Hou, Gangshan Wu, Haolan Chen, Yu Xu, Limin Wang, Kai Ma

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiaming Zhang, Shengming Cao, Rui Li, Xiaotong Zhao, Yutao Cui, Xinglin Hou, Gangshan Wu, Haolan Chen, Yu Xu, Limin Wang, Kai Ma

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

친구의 완벽한 사진 한 장이 있다고 상상해 보세요. 그 친구를 영상에서 춤추게 만들고 싶지만, 동시에 두 가지 일이 일어나길 원합니다:

외모는 그대로 유지되어야 합니다: 영상 속 친구는 사진 속 사람과 정확히 똑같이 보여야 합니다. 이상한 얼굴 교체, 흐릿해짐, 또는 중간에 다른 사람으로 변하는 일은 없어야 합니다.
동작은 완벽해야 합니다: 친구는 당신이 주는 춤 동작을 정확히 따라야 합니다. 심지어 춤이 사진 속 정지 자세와 맞지 않는 점프나 회전으로 시작하더라도 말입니다.

대부분의 기존 AI 도구는 이 문제를 해결하는 데 어려움을 겪습니다. 움직임을 시작하면 사람이 다른 사람처럼 보이게 만들거나, 사진과 춤이 어떻게 연결되는지 AI 가 혼란을 겪어 동작이 경직되고 부자연스러워 보이게 합니다.

SteadyDancer는 바로 이 문제를 해결하도록 설계된 새로운 AI 시스템입니다. 복잡한 동작을 수행하면서도 친구의 얼굴과 몸을 완벽하게 유지하는 '조화로운 댄서'라고 생각하시면 됩니다.

간단한 비유를 들어 작동 원리를 설명해 드리겠습니다:

1. 문제: '점프'와 '드리프트'

해당 논문은 기존 방법들 (참조 - 비디오 방식) 이 사진과 춤 동작을 단순히 붙여야 하는 별개의 두 가지 것으로 취급한다고 설명합니다.

'점프': 사진 속 친구가 가만히 서 있는데, 춤 영상은 높은 점프로 시작한다면, 기존 AI 는 친구를 점프에 그냥 '툭' 하고 끼워 넣는 경우가 많습니다. 마치 버그가 난 비디오 게임 캐릭터가 순간이동하는 것처럼 보입니다.
'드리프트': 춤이 이어지는 동안 AI 는 친구의 모습이 무엇인지 서서히 잊어버려 옷 색깔이 변하거나 얼굴이 왜곡되게 만들 수 있습니다.

SteadyDancer 는 **이미지 - 비디오 (I2V)**라는 다른 접근법을 사용합니다. 단순히 사진과 춤을 붙이는 대신, 사진을 영화의 첫 번째 프레임으로 취급합니다. 영상은 그 사진에서 자연스럽게 자라나야 하므로, 첫 번째 프레임이 원본과 100% 동일하도록 보장합니다.

2. 해결책: 세 가지 비밀 재료

이를 실현하기 위해 연구자들은 AI 내부에 세 가지 특별한 '도구'를 구축했습니다:

A. '평화 유지자' (조건 조정 메커니즘)

비유: 단단하게 얼어붙은 동상 (사진) 과 거칠게 흐르는 강 (춤 동작) 이라는 두 가지 완전히 다른 재료를 섞으려 한다고 상상해 보세요. 그냥 블렌더에 던져 넣으면 엉망이 됩니다.
SteadyDancer 의 역할: 이를 부숴서 섞는 대신, 서로 다른 투명한 용기에 담아 서로 대화하게 합니다. '얼어붙은 동상' 부분은 단단하게 유지되어 (얼굴과 옷을 완벽하게 보존) '강' 부분은 자유롭게 흐르도록 (동작을 제어) 합니다. 이렇게 하면 AI 가 혼란을 겪거나 사람의 정체성을 잃는 것을 방지합니다.

B. '안무가' (시너지 포즈 변조 모듈)

비유: 때때로 AI 에게 주는 춤 동작이 엉망일 수 있습니다. 영상 속 댄서가 흐릿하거나, 팔이 나무 뒤에 가려져 있을 수도 있습니다. AI 가 흐릿한 팔을 복사하려 하면 결과가 이상해집니다.
SteadyDancer 의 역할: 그것은 지능적인 안무가처럼 엉망인 춤 동작을 보며 이렇게 말합니다. "알겠어, 그 팔은 가려져 있지만 사진으로 봤을 때 너의 팔이 보통 어떻게 생겼는지 알고 있어." 그것은 춤 지시를 정리하고 사진 속 특정 사람에 완벽하게 맞게 조정합니다. 원본 춤 영상이 흔들리더라도 '떨림'을 수정하고 동작을 매끄럽게 만듭니다.

C. '연습 대본' (단계적 분리 목표 학습)

비유: 새로운 배우에게 연극을 가르친다고 상상해 보세요. 첫날에 대본 전체를 외우고, 특수 효과를 배우며, 감정 톤을 마스터하라고 요구하지는 않을 것입니다. 그들은 압도당할 것입니다.
SteadyDancer 의 역할: AI 는 세 가지 뚜렷한 '단계' 또는 연습을 통해 훈련됩니다:
1. 1 단계 (동작 학습): 춤 동작을 따르는 법을 배웁니다.
2. 2 단계 (외모 다듬기): 동작을 잊지 않으면서 영상의 품질을 높고 선명하게 만드는 법을 배웁니다.
3. 3 단계 (전환 매끄럽게 하기): 영상이 시작되는 까다로운 순간을 특히 연습하여 사진에서 첫 동작으로 넘어갈 때 '순간이동'이나 경직된 점프가 없도록 합니다.

3. 결과: 'X-댄스' 테스트

연구자들은 이를 완벽한 스튜디오 품질의 영상으로만 테스트하지 않았습니다. 대신 X-Dance라는 새로운 도전을 만들었습니다.

상황: 만화 캐릭터나 반신 샷의 사람 사진을 찍은 다음, AI 에게 복잡한 흐릿한 춤을 추는 실제 사람의 영상에 맞춰 춤추게 하라고 요청하는 것입니다.
결과: 다른 AI 들은 왜곡된 얼굴이나 경직된 동작을 만들어내며 처참하게 실패했습니다. 반면 SteadyDancer 는 시작 위치가 완벽하게 일치하지 않더라도 캐릭터의 외모를 일관되게 유지하고 춤을 매끄럽게 따라갔습니다.

요약

SteadyDancer 는 정적인 사진에 생명을 불어넣을 수 있는 거장 인형극사와 같습니다. 춤이 얼마나 격렬하든 '인형' (영상 속 사람) 이 얼굴이나 옷을 잃지 않도록 보장합니다. 이는 사진과 동작을 분리하되 연결된 상태로 유지하고, 춤 지시를 정리하며, 특별한 훈련 루틴으로 시작과 정지 같은 까다로운 순간을 연습함으로써 달성됩니다.

해당 논문은 이 방법이 사람을 실제처럼 보이게 유지하는 데 더 뛰어날 뿐만 아니라, 기존 방법보다 학습에 훨씬 적은 컴퓨팅 파워와 데이터를 필요로 한다고 주장합니다. 이는 고품질 애니메이션 영상을 만드는 더 효율적인 방법입니다.

기술 요약: SteadyDancer

문제 정의

인간 이미지 애니메이션은 단일 정적 이미지에서 제어 가능한 비디오를 생성하는 것을 목표로 합니다. 확산 모델이 이 분야를 발전시켰지만, 첫 번째 프레임의 정체성과 외형을 유지하면서 정밀한 동작 제어를 보장하는 근본적인 과제는 여전히 남아 있습니다.

주류인 참조-비디오 (Reference-to-Video, R2V) 패러다임은 애니메이션을 참조 이미지를 구동 포즈 시퀀스에 바인딩하는 것으로 간주합니다. 이 접근법은 본질적으로 입력 이미지와 구동 포즈 간의 정렬 제약을 완화합니다. 실제 응용 분야에서는 이로 인해 다음과 같은 치명적인 문제들이 발생합니다:

시공간 불일치: 소스 이미지와 구동 포즈 간의 팔다리 구조, 비율, 움직임 유형의 불일치는 정체성 드리프트, 시각적 아티팩트, 시간적 불연속성을 초래합니다.
첫 번째 프레임 실패: 시간적 불일치로 인해 R2V 방법은 종종 비디오를 참조 프레임과 정확히 일치하게 시작하지 못하며, VFX 포스트 프로덕션 및 디지털 인간 활성화와 같은 응용 분야에서 용납할 수 없는 갑작스러운 점프나 '시작 간격 (start-gaps)'을 초래합니다.

반면 이미지-비디오 (Image-to-Video, I2V) 패러다임은 본질적으로 첫 번째 프레임 유지를 보장하지만, 참조 이미지와 구동 포즈 간의 엄격한 정렬이 필요하기 때문에 기술적으로 어렵습니다. 기존 I2V 기반 애니메이션 연구는 드물며, 단순한 구현은 종종 동작 제어와 외형 충실도 사이의 균형을 맞추는 데 어려움을 겪습니다.

방법론

저자들은 강건한 첫 번째 프레임 유지를 달성하여 조화롭고 일관된 애니메이션을 구현하도록 설계된 I2V 패러다임 기반 프레임워크인 SteadyDancer를 제안합니다. 이 아키텍처는 사전 훈련된 Wan-2.1 I2V 14B 모델을 기반으로 구축되었으며, 세 가지 핵심 기술 구성 요소를 도입합니다:

1. 조건 조정 메커니즘 (Condition-Reconciliation Mechanism)

정적 이미지 세부 사항을 유지하고 동적 포즈를 제어하는 것 사이의 충돌을 해결하기 위해, 저자들은 단순한 요소별 덧셈 (단순 베이스라인에서 사용됨) 을 세 부분으로 구성된 전략으로 대체합니다:

조건 융합 (Condition Fusion): 포즈와 이미지 잠재 변수를 단순히 더하는 대신 **채널별 연결 (channel-wise concatenation)**을 사용합니다. 이는 정적 외형 신호 ( $z_c$ ) 와 동적 포즈 신호 ( $z_p$ ) 를 구분하여 상호 간섭과 정보 손실을 방지합니다.
조건 주입 (Condition Injection): 포즈 잠재 변수를 이미지 조건과 함께 LoRA 미세 조정을 사용하여 주입합니다. 이는 학습 가능한 파라미터를 크게 증가시키거나 사전 훈련된 생성기의 용량을 방해하지 않으면서 동작 제어를 강화합니다.
조건 증강 (Condition Augmentation): 첫 번째 프레임 유지를 강화하기 위해 모델은 시간적 수준에서 명시적인 참조를 받습니다. 채널 연결된 잠재 변수는 첫 번째 프레임 이미지 잠재 변수 ( $z_{c0}$ ) 와 첫 번째 프레임 포즈 잠재 변수 ( $z_{p0}$ ) 와 시간적으로 연결됩니다. 또한, 전역 컨텍스트는 첫 번째 포즈 프레임의 CLIP 특징으로 증강됩니다.

2. 시너지 포즈 변조 모듈 (Synergistic Pose Modulation Modules)

참조 이미지와 구동 포즈 간의 시공간 불일치를 해결하기 위해, 이 프레임워크는 참조에 맞게 특별히 적응된 포즈 표현을 추출합니다:

공간 구조 적응 정제기 (PSSAE): 동적 컨볼루션을 사용하여 포즈 의존적 파라미터를 생성하여 잠재 표현을 변조함으로써 융합 간섭을 줄이고 미세한 세부 사항을 유지합니다.
시간적 움직임 일관성 모듈 (PTMCM): 이산 포즈 시퀀스에서 연속적인 동역학을 모델링하기 위해 분해된 블록 (깊이별 공간 컨볼루션 및 점별 시간 컨볼루션) 을 사용하여 떨림을 억제하고 프레임 간 부드러운 동역학을 보장합니다.
프레임별 어텐션 정렬 단위 (PFAU): 노이즈 제거 잠재 변수가 포즈 잠재 변수에 어텐션하는 경량의 크로스 어텐션 단위로, 외형 보정 포즈 특징을 생성합니다.
이러한 모듈은 계층적으로 집계되어 정제된 제어 조건으로 작용하는 고품질의 시공간 일관성 포즈 표현 ( $z_p^*$ ) 을 생성합니다.

3. 단계적 분해된 목적 훈련 파이프라인

모델은 운동, 품질, 연속성을 효율적으로 최적화하기 위해 세 가지 명확한 단계로 훈련됩니다:

1 단계 (동작 감독): 첫 번째 프레임이 참조인 비디오 데이터에 대한 LoRA 미세 조정을 통해 동작 제어 능력을 습득합니다.
2 단계 (조건 분해 증류): 동작 학습 중 손실된 시각적 품질을 회복하는 것을 목표로 합니다. 사전 훈련된 무조건부 I2V 모델이 '교사' 역할을 하고, 1 단계 모델이 '학생' 역할을 합니다. 속도 예측은 무조건부 및 조건부 구성 요소로 분해됩니다. 무조건부 구성 요소는 기본 생성 매니폴드를 유지하기 위해 교사로부터 증류되며, 조건부 구성 요소는 정답 (ground truth) 에 대해 회귀합니다. 이는 분포 변화를 방지하고 비디오 충실도를 유지합니다.
3 단계 (동작 불연속성 완화): 참조 이미지와 첫 번째 구동 포즈가 다른 '시작 간격'을 해결합니다. 저자들은 **포즈 시뮬레이션 (Pose Simulation)**을 제안하는데, 이는 시퀀스의 두 번째 포즈를 첫 번째 프레임과 나중 프레임에서 유도된 보간 포즈로 무작위 대체하는 데이터 중심 전략입니다. 이는 모델이 훈련 중 실제 불연속성에 노출되도록 하여 아키텍처 변경이나 후처리 없이 부드러운 전환을 생성할 수 있게 합니다.

주요 기여

SteadyDancer 프레임워크: I2V 패러다임 내에서 첫 번째 프레임 유지를 강건하게 보장하는 최초의 고휴도 애니메이션 프레임워크로, 기존 방법 대비 훈련 자원 효율성을 크게 달성합니다.
새로운 메커니즘:
- 조건 조정 메커니즘: 채널 연결, LoRA 주입, 시간적 증강을 통해 상충되는 외형 및 운동 조건을 조화시킵니다.
- 시너지 포즈 변조 모듈: 참조 이미지에 포즈 표현을 적응시키는 모듈군 (PSSAE, PTMCM, PFAU) 으로 시공간 불일치를 해결합니다.
- 단계적 분해된 목적 훈련 파이프라인: 제한된 데이터로 성능을 최적화하기 위해 동작 제어, 품질 증류, 불연속성 완화를 분리하는 3 단계 프로세스입니다.
X-Dance 벤치마크: 참조 이미지와 동작 소스가 불일치하는 경우 (예: 다른 스타일, 신체 유형, 또는 시작 간격) 모델 성능을 평가하기 위한 최초의 **비동질적 벤치마크 (X-Dance)**를 도입하여, TikTok 과 같은 기존 동질적 벤치마크의 공백을 해소합니다.

실험 결과

저자들은 TikTok, RealisDance-Val, 그리고 제안된 X-Dance 를 포함한 여러 벤치마크에서 SteadyDancer 를 평가했습니다.

정량적 성능: SteadyDancer 는 외형 충실도 (SSIM, PSNR, LPIPS, FID) 및 비디오 충실도 (FVD) 에서 최첨단 성능을 달성합니다. X-Dance 벤치마크에서 Subject Consistency, Background Consistency, Motion Smoothness 에서 경쟁사보다 훨씬 뛰어난 성능을 보여주며, 실제 세계의 불일치에 대한 강건성을 입증합니다.
자원 효율성: 모델은 훨씬 적은 훈련 자원을 요구합니다. 7,338 개의 비디오 클립 (10.2 시간) 데이터셋에서 단 14,500 개의 훈련 단계만으로 결과를 달성합니다. 반면, 비교 가능한 DiT 기반 방법들은 종종 수백만 개의 단계와 훨씬 더 큰 데이터셋을 필요로 합니다.
정성적 성능: 시각적 비교에서 SteadyDancer 는 첫 번째 프레임 정체성을 유지하며, 가려짐, 흐림, 성별 교차 구동과 같은 까다로운 조건에서도 일관된 움직임을 생성함을 보여줍니다. 물리적으로 타당한 객체 상호작용을 성공적으로 합성하며, 제로샷 방식으로 다중 인물 및 동물 시나리오로 일반화됩니다.
장기 비디오 생성: 이 프레임워크는 중첩된 컨텍스트 윈도우와 선형 융합을 사용하여 훈련 없이 분 단위의 비디오 생성을 지원하며, 긴 기간 동안 정체성과 일관성을 유지합니다.

중요성 및 주장

이 논문은 SteadyDancer 가 인간 애니메이션을 위한 R2V 패러다임에서 더 강건한 I2V 접근법으로의 중요한 전환을 나타낸다고 주장합니다. 외형 유지와 동작 제어 간의 트레이드오프를 해결함으로써, 이 프레임워크는 영화 제작, 광고, 디지털 인간 활성화와 같은 높은 시각적 및 시간적 충실도가 필요한 응용 분야를 가능하게 합니다.

저자들은 그들의 접근 방식이 효율적이고 접근 가능하며, 최첨단 방법이 요구하는 훈련 데이터 및 컴퓨팅 자원의 일부만으로 우수한 결과를 달성한다고 강조합니다. X-Dance 벤치마크와 포즈 시뮬레이션 전략의 도입은 실제 적용 가능성에 중점을 두고 있으며, 이전에는 인간 애니메이션 모델의 실제 시나리오 배포를 방해했던 입력 불일치라는 치명적인 문제를 해결합니다. 이 연구는 이러한 혁신들이 미래의 강건한 인간 애니메이션 시스템을 위한 견고하고 효율적인 기반을 제공한다고 결론지었습니다.