💻 computer science

EverAnimate: Minute-Scale Human Animation via Latent Flow Restoration

EverAnimate 는 지속적 잠재 전파와 복원 흐름 매칭을 결합하여 잠재적 컨텍스트 메모리에 생성을 고정함으로써 분 단위 인간 애니메이션을 가능하게 하는 효율적인 사후 학습 방법으로, 이를 통해 누적된 시각적 및 의미적 편향을 제거하면서도 캐릭터 정체성과 배경 품질을 유지합니다.

원저자: Wuyang Li, Yang Gao, Mariam Hassan, Lan Feng, Wentao Pan, Po-Chien Luan, Alexandre Alahi

게시일 2026-05-15

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wuyang Li, Yang Gao, Mariam Hassan, Lan Feng, Wentao Pan, Po-Chien Luan, Alexandre Alahi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

한 무용수가 복잡한 안무를 수행하는 장편의 연속 영상을 촬영한다고 상상해 보세요. 무용수의 사진 (참고 자료) 과 동작 대본 (포즈) 이 있습니다. 목표는 90 초 동안 춤을 추더라도 사진 속 사람과 정확히 동일한 외모를 유지하면서 대본을 완벽하게 따르는 영상을 생성하는 것입니다.

이 논문인 EverAnimate는 AI 가 이러한 장편 영상을 만들 때 발생하는 특정 문제를 다룹니다. 즉, AI 는 시간이 지남에 따라 '이탈'하는 경향이 있는데, 이는 복사본을 계속 복사하다 보면 결국 흐릿하고 알아볼 수 없게 되는 것과 매우 유사합니다.

다음은 이 논문이 간단한 비유를 사용하여 문제를 설명하고 해결책을 제시한 내용입니다:

문제: "복사 - 붙여넣기" 결함

현재의 방법들은 짧은 클립 (조각) 들을 이어붙여 장편 영상을 만들려고 시도합니다. 마치 문단 하나를 복사한 뒤, 그 복사본을 다시 복사하여 다음 문단을 만들고, 이를 반복하는 것과 같습니다.

배경 이탈 (저수준): 벽이나 나무와 같은 배경은 고정되어야 합니다. 하지만 AI 가 다음 클립을 시작하기 위해 이미지를 계속 재복사하다 보니, 벽은 흐릿해지고 색상이 변하며 결국 나쁜 복사본처럼 보입니다.
정체성 이탈 (고수준): 무용수는 동일하게 보여야 합니다. 하지만 영상이 길어질수록 무용수의 얼굴 모양이 서서히 변하거나, 옷 색깔이 바뀌거나, 머리가 다르게 보일 수 있습니다. 그들은 자신의 '정체성'을 잃게 됩니다.

이 논문은 기존 방법들이 AI 에게 원본 사진을 반복해서 보여줌으로써 (마치 '싱크'나 닻처럼) 이를 해결하려 하지만, 이는 충분하지 않다고 주장합니다. AI 는 여전히 반복되는 복사 과정에 혼란을 겪기 때문입니다.

해결책: EverAnimate

저자들은 영상을 다시 촬영하는 방식이 아닌, AI 의 '뇌' (잠재 공간) 내부에서 완전히 이루어지는 새로운 영상 생성 방식을 제안합니다. 그들은 두 가지 주요 기법을 사용합니다:

1. "영구적인 배낭" (지속적 잠재 전파)

영상 출력을 가져와 다시 이미지로 변환한 뒤, 그 이미지를 다음 클립을 위한 입력으로 다시 AI 에게 제공하는 방식 (이는 '복사 - 붙여넣기' 오류를 유발함) 대신, EverAnimate 는 AI 내부에 기억의 배낭을 유지합니다.

작동 원리: AI 가 영상 한 조각을 완료하면 최종 이미지를 보지 않습니다. 대신 다음 조각으로 '배낭' 형태의 원시 데이터 (잠재 코드) 를 전달합니다.
배낭 안에는 무엇이 들어있을까요?
- 단기 기억: 춤을 매끄럽게 이어가기 위한 최근 몇 초간의 움직임.
- 장기 기억: 무용수의 얼굴과 옷에 대한 '신분증' (다중 뷰 이미지) 컬렉션으로, 외모가 절대 변하지 않도록 보장합니다.
비유: 릴레이 경주를 상상해 보세요. 이전 주자가 흐릿한 사진을 건네받아 복사하는 대신, 직접적이고 고품질의 데이터 칩을 건네받아 원래 주자의 특징을 잃지 않고 경주를 정확히 이어갈 수 있게 됩니다.

2. "자기 수정 나침반" (복원 흐름 매칭)

훌륭한 배낭이 있더라도 AI 는 단일 클립 생성 중 가끔 잘못된 방향으로 나아갈 수 있습니다.

문제: AI 가 약간 길을 잃기 시작하면 (예: 무용수의 팔이 약간 이상해 보임), 기존 방법들은 오류가 더 커질 때까지 그냥 진행합니다.
해결: EverAnimate 는 AI 에게 특별한 '나침반'으로 훈련시킵니다. 훈련 중 AI 는 의도적으로 약간 '고장 난' 또는 왜곡된 경로를 따르도록 주어집니다. 이를 통해 AI 는 자신이 길을 잃었음을 인식하고, 올바르게 깨끗한 경로로 되돌아가도록 스스로 적극적으로 조정하는 법을 배웁니다.
비유: 안개 속에서 걷는 등산객을 생각해 보세요. 일반적인 등산객은 길을 볼 수 없어 절벽으로 떨어질지도 모릅니다. EverAnimate 는 트레일에서 벗어나면 진동하는 GPS 를 가진 등산객과 같습니다. 길을 잃기 전에 안전한 경로로 부드럽게 다시 밀어줍니다.

결과

이 논문은 이러한 두 가지 방법 (기억 배낭과 자기 수정 나침반) 을 사용하여 EverAnimate 가 배경이 흐릿해지거나 캐릭터의 얼굴이 변하는ことなく 수 분 동안 (테스트에서는 최대 90 초까지) 영상을 생성할 수 있다고 주장합니다.

짧은 영상 (10 초): 이미 기존 최첨단 방법들보다 우수합니다.
긴 영상 (90 초): 개선 폭이 매우 큽니다. 영상은 선명하게 유지되고, 배경은 안정적이며, 캐릭터는 시작부터 끝까지 정확히 동일하게 보입니다.

요약

간단히 말해, EverAnimate는 AI 가 영상의 '복사본의 복사본'을 만들지 않도록 막습니다. 대신 캐릭터와 장면의 고품질 디지털 기억을 유지하고, AI 가 진행 과정에서 실수를 스스로 수정하도록 훈련시켜, 무너지지 않는 매끄럽고 고품질의 분 단위 애니메이션을 가능하게 합니다.

EverAnimate: 잠재 흐름 복원을 통한 분 단위 인간 애니메이션의 기술적 요약

1. 문제 제기

본 논문은 높은 시각적 충실도와 일관된 캐릭터 정체성을 유지하면서 장시간 (분 단위) 포즈 유도 인간 애니메이션 비디오를 생성하는 과제를 다룹니다. 기존 방법들은 일반적으로 자기회귀적, 청크 단위 생성에 의존하여 시간이 지남에 따라 누적된 드리프트를 겪습니다. 저자들은 두 가지 유형의 드리프트를 식별합니다:

저수준 품질 드리프트: 청크 간 전달 프레임의 반복적인 디코딩 및 재인코딩 (VAE 왕복) 으로 인해 발생하는 정적 배경과 텍스처의 점진적 열화.
고수준 의미 드리프트: 특히 큰 운동이 발생하는 영역에서 캐릭터 정체성, 얼굴 외모, 의상 세부 사항의 불일치.

저자들은 어텐션 싱크 (참조 프레임을 글로벌 앵커로 사용) 나 오류 재활용과 같은 현재 솔루션들은 불충분하다고 주장합니다. 어텐션 싱크는 무엇을 보존할지 지정하는 수동 신호로 작용하지만 궤적 이탈을 능동적으로 교정하지 못하며, 반복적인 이미지 공간 연속화는 정적 영역의 시각적 세부 사항을 필연적으로 손상시킵니다.

2. 방법론: EverAnimate

EverAnimate 는 이미지 공간이 아닌 잠재 공간에서 직접 작동함으로써 장형 생성을 안정화하도록 설계된 효율적인 사후 학습 프레임워크입니다. 이는 두 가지 상호 보완적인 메커니즘을 도입합니다:

A. 지속적 잠재 전파 (Persistent Latent Propagation, PLP)
이전 청크의 비디오를 디코딩하고 마지막 프레임을 추출한 후 재인코딩하는 표준 전달 파이프라인 대신, EverAnimate 는 잠재 메모리를 청크 간에 직접 전파합니다.

운동 메모리 ( $M_{mot}$ ): 이전 청크의 마지막 $r$ 개 잠재 슬라이스를 전파함으로써 단기 시간적 연속성을 보존합니다.
정체성 메모리 ( $M_{id}$ ): 모든 청크에 걸쳐 다중 뷰 정체성을 고정합니다. 이는 컨텍스트 청크에서 샘플링된 소수의 프레임을 인코딩하여 구성됩니다.
메모리 증강: 생성된 프레임의 공간적 레이아웃을 우연히 지시하는 메모리 컨텍스트로 인한 공간적 편향을 방지하기 위해, 저자들은 학습 중 정체성 메모리에 약간의 공간 증강 (무작위 이동 및 재조정) 을 적용합니다.
주입: 이러한 메모리들은 포즈 유도 타겟 잠재와 연결되어 Diffusion Transformer(DiT) 의 입력을 형성하며, 모델이 파괴적인 이미지 공간 재구성 없이 지속적 의미 정보에 조건부 설정되도록 합니다.

B. 복원적 흐름 매칭 (Restorative Flow Matching, RFM)
청크 내부에서 발생하는 드리프트를 해결하기 위해, EverAnimate 는 샘플링 과정에서 암시적 복원 목표를 도입합니다.

개념: 표준 흐름 매칭 (FM) 은 가우시안 노이즈를 깨끗한 데이터 다양체로 운반하도록 모델을 훈련시킵니다. 그러나 장시간 생성에서는 누적된 오류로 인해 모델이 교란된 상태에 직면할 수 있습니다.
메커니즘: 학습 중, 드리프트를 시뮬레이션하기 위해 타겟 엔드포인트가 교란됩니다 ( $\tilde{X}_1$ ). 그런 다음 모델은 깨끗한 경로를 따를 뿐만 아니라 교란된 상태에서 깨끗한 엔드포인트로 궤적을 능동적으로 교정하는 속도장을 예측하도록 훈련됩니다.
속도 조정: 타겟 속도는 복원 항을 포함하도록 조정됩니다: $\tilde{U}_t = U_t + \lambda(t)(X_t - \tilde{X}_t)$ .
재조정: 학습 불안정성 (보정 항이 깨끗한 엔드포인트 근처에서 불균형적으로 커지는 현상) 을 방지하기 위해, 유계 시간 가중치 $\lambda(t)$ (종 모양 스케줄) 가 적용됩니다. 이는 교란이 정보적인 중간 노이즈 영역에서 복원이 가장 강력하도록 보장하면서, 고노이즈 또는 저노이즈 극단에서의 과도한 보정을 방지합니다.

학습 및 추론
이 프레임워크는 사전 훈련된 DiT 백본 (Wan-2.2-Animate) 에 경량 LoRA 튜닝을 사용합니다. 학습은 두 단계로 이루어집니다: (1) 잠재 전파를 학습하기 위한 메모리 적응, (2) 복원적 흐름 매칭 손실을 사용한 안티-드리프트 적응. 추론 중, 모델은 잠재 공간에서 청크 단위로 롤아웃되며 중간 프레임을 디코딩하지 않고 다음 청크를 위해 잠재 슬라이스를 재사용합니다.

3. 주요 기여

문제 식별: 저자들은 이미지 공간 연속화와 어텐션 싱크가 분 단위 애니메이션에 불충분함을 경험적으로 밝혀냈으며, 현재 방법들이 VAE 왕복 열화와 의미 앵커링을 처리하는 방식의 구체적인 한계를 규명했습니다.
잠재 공간 원칙: 안정적인 장시간 생성을 위한 원칙을 도출했습니다: 의미 메모리는 잠재 공간에서 자기회귀적으로 전파되어야 하며, 드리프트는 고유한 복원 능력을 통해 교정되어야 합니다.
EverAnimate 프레임워크: 청크 간 연속성을 위한 지속적 잠재 전파와 청크 내 충실도를 위한 복원적 흐름 매칭으로 구성된 사후 학습 방법이며, 경량 LoRA 튜닝만 필요합니다.

4. 실험 결과

이 방법은 Champ, UBC, Seedance 및 자체 수집된 YouTube 비디오를 결합한 데이터셋에서 평가되었으며, 10 초, 30 초, 60 초, 90 초 지속 시간으로 벤치마크되었습니다.

정량적 성능: EverAnimate 는 모든 지표에서 최첨단 방법 (Wan-Animate, UniAnimate-DiT, SteadyDancer 포함) 을 능가합니다.
- 10 초에서 Wan-Animate 대비 PSNR 을 8%, SSIM 을 7% 개선하는 동시에 LPIPS 를 22%, FID 를 11% 감소시켰습니다.
- 90 초에서 개선 폭은 더욱 커집니다: PSNR/SSIM 이 각각 15% 향상되고, LPIPS/FID 는 각각 32% 와 27% 감소합니다.
- 가장 높은 Face-PSNR(F-PSNR) 을 달성하여 우수한 정체성 일관성을 나타냅니다.
정성적 성능: 시각적 비교에서 베이스라인은 시간이 지남에 따라 배경 열화와 정체성 깜빡임을 겪는 반면, EverAnimate 는 분 단위의 시퀀스 전반에 걸쳐 안정적인 배경과 일관된 캐릭터 정체성을 유지합니다.
애블레이션 연구: 복원적 흐름 매칭 (RFM) 을 제거하면 지각적 품질이 크게 저하되고, 지속적 잠재 전파 (PLP) 를 제거하면 청크 간 연속성이 약화되어 두 구성 요소의 필요성이 확인됩니다.

5. 중요성 및 주장

본 논문은 EverAnimate 가 장형 애니메이션을 위한 이미지 공간 연속화에서 잠재 상태 제어로의 전환을 나타낸다고 주장합니다. 의미 메모리의 전파를 이미지 디코딩/재인코딩의 파괴적인 주기에서 분리하고, 모델에 궤적 드리프트를 교정할 수 있는 고유 능력을 부여함으로써, EverAnimate 는 이전에는 높은 충실도로 달성할 수 없었던 분 단위 비디오 생성을 가능하게 합니다. 저자들은 이를 포즈 유도 애니메이션의 특정 훈련 - 테스트 비대칭성에 대한 해결책으로 위치지우며, 여기서 장시간 생성은 운동 구조와 시각적 합성 모두에서 누적된 오류로 인해 실패합니다.