SoulX-LiveAct: Towards Hour-Scale Real-Time Human Animation with Neighbor Forcing and ConvKV Memory

본 논문은 불일치하는 확산 상태를 해결하는 '이웃 강제 (Neighbor Forcing)' 전략과 고정 길이 표현을 통한 무한 생성이 가능한 'ConvKV 메모리'를 도입하여, 기존 방법론의 한계를 극복하고 20 FPS 실시간 스트리밍이 가능한 고품질 시간 단위 인간 애니메이션을 실현한 SoulX-LiveAct 를 제안합니다.

핵심

이 논문은 **"SoulX-LiveAct"**라는 새로운 기술을 소개합니다. 쉽게 말해, **"한 시간 동안 멈춤 없이, 실시간으로 사람처럼 자연스럽게 움직이는 디지털 아바타를 만드는 기술"**입니다.

기존의 기술들은 영상을 만들 때 "한 번에 다 만들어야 한다"거나 "오래된 영상을 기억하는 데 한계가 있어" 긴 영상을 만들면 얼굴이 일그러지거나 입 모양이 말과 안 맞았습니다. 이 논문은 그 문제들을 해결하기 위해 두 가지 똑똑한 비법을 개발했습니다.

이 비법을 이해하기 위해 마치 '오케스트라 지휘자'와 '메모리 노트'를 사용하는 상황으로 비유해 볼까요?

---

1. 문제: 왜 기존 기술은 긴 영상을 못 만들까?

기존 기술들은 영상을 만들 때 마치 매번 새로운 악보를 들고 와서 다시 연습하는 악사와 같았습니다.

• 시간이 지날수록 기억이 안 남: 과거의 영상을 기억하려면 메모리가 계속 커져야 하는데, 컴퓨터는 그걸 감당하지 못해 결국 "과거의 기억 (메모리) 을 잘라버립니다." 그래서 영상이 길어질수록 얼굴이 변하거나 옷이 사라지는 '기억 상실증'이 생깁니다.
• 리듬이 안 맞음: 입 모양 (음성) 과 얼굴 표정을 만들 때, 이전 프레임의 상태와 현재 상태가 서로 다른 '노이즈 (방해 신호)' 속에서 만들어져서, 입술이 말과 딱 맞지 않거나 얼굴이 떨리는 현상이 생깁니다.

2. 해결책 1: "이웃 forcing (Neighbor Forcing)" - 같은 리듬을 타는 악사들

이 기술은 영상을 만들 때 이전 프레임과 '동일한 리듬 (단계)'으로 다음 프레임을 만드는 것입니다.

• 비유: Imagine you are dancing in a line.
  • 기존 방식: 앞사람이 춤을 추고 멈췄을 때, 뒤사람은 "아, 내가 이제 춤을 춰야지!"라고 생각하다가, 앞사람이 이미 춤을 멈춘 상태 (다른 단계) 를 보고 따라 하려다 리듬이 깨집니다.
  • SoulX-LiveAct 방식 (이웃 forcing): 앞사람이 춤을 추는 **정확히 그 순간 (동일한 단계)**에 뒤사람도 같은 동작을 준비합니다. 마치 동일한 박자 (Noise Condition) 를 공유하는 춤꾼들처럼 말이죠.
  • 효과: 이렇게 하면 컴퓨터가 "이전 영상과 현재 영상이 서로 다른 세상에서 온 게 아니라, 같은 시간대에 만들어진 것"이라고 자연스럽게 이해하게 됩니다. 그래서 입술 움직임이 말과 딱 맞고, 얼굴이 떨리지 않게 됩니다.

3. 해결책 2: "ConvKV 메모리" - 무한한 기억력을 가진 스마트 노트

영상이 길어질수록 컴퓨터 메모리가 부족해지는 문제를 해결하기 위해 개발한 기술입니다.

• 비유:
  • 기존 방식: 영화를 보다가 중요한 장면을 기억하려면, 과거의 모든 장면을 한 장 한 장 종이에 적어두고 책상 위에 쌓아둡니다. 시간이 지나면 책상이 넘치고, 더 이상 중요한 장면을 볼 수 없어 잊어버리게 됩니다.
  • SoulX-LiveAct 방식 (ConvKV 메모리): 과거의 모든 장면을 다 적어두지 않고, 중요한 부분만 요약해서 작은 노트에 적어둡니다.
    • 최근 2 장: 아주 자세히 기억 (단기 메모리).
    • 그 이전: 핵심만 요약해서 압축해 둠 (장기 메모리).
    • 핵심: 이 요약본은 항상 같은 크기로 유지됩니다. 그래서 영상이 1 분이든 1 시간이든, 컴퓨터 책상 (메모리) 은 항상 비어있고, 과거의 얼굴 모양이나 옷차림 같은 중요한 정보는 잊지 않고 계속 기억합니다.

4. 결과: 무엇이 달라졌나요?

이 두 가지 기술을 합치면 다음과 같은 놀라운 일이 일어납니다.

1. 실시간으로 1 시간 영상: 컴퓨터가 영상을 만들 때, 영상을 다 만들고 나서 보여주는 게 아니라, **말하는 속도와 똑같이 실시간 (20 프레임/초)**으로 만들어냅니다.
2. 얼굴이 변하지 않음: 영상이 길어질수록 얼굴이 뚱뚱해지거나 옷이 사라지는 일이 없습니다. 반지 같은 작은 장신구도 처음부터 끝까지 똑같이 유지됩니다.
3. 입술이 완벽하게 맞춤: "안녕하세요"라고 말할 때 입 모양이 '안'과 '녕'에 딱 맞춰집니다.
4. 저렴한 비용: 고가의 슈퍼컴퓨터 8 대가 아니라, 최고급 그래픽 카드 2 장만 있으면 이 모든 일을 실시간으로 처리할 수 있습니다.

요약

SoulX-LiveAct는 "동일한 박자 (Neighbor Forcing) 로 춤추게 하고, 중요한 기억만 요약해서 노트에 저장 (ConvKV Memory) 하는" 똑똑한 시스템입니다. 덕분에 우리는 이제 한 시간 동안 멈춤 없이, 얼굴도 변하지 않고, 입술도 딱 맞는 완벽한 디지털 인간을 실시간으로 만날 수 있게 되었습니다.

이 기술은 앞으로 가상 휴먼, 실시간 통역 아바타, 혹은 끝없이 이어지는 인터랙티브 스토리텔링 등에 혁신을 가져올 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

기존의 자기회귀 (Autoregressive, AR) 확산 모델은 비디오 합성과 같은 시퀀스 생성 작업에 유망한 프레임워크로 부상했으나, 시간 규모 (Hour-scale) 가 긴 실시간 인간 애니메이션을 구현하는 데 있어 두 가지 주요 한계에 직면해 있습니다.

1. 불일치하는 확산 상태 (Mismatched Diffusion States): 기존의 강제 전략 (Forcing strategies, 예: Diffusion Forcing, Self Forcing) 은 샘플 수준의 표현을 전파할 때 확산 단계 (diffusion step) 가 일치하지 않는 경우가 많습니다. 이로 인해 학습 신호가 일관되지 않아 수렴이 불안정해지고, 시간적 일관성이 떨어집니다.
2. 무한히 증가하는 히스토리 표현 (Unbounded Historical Representations): 과거의 표현 (KV Cache) 이 제한 없이 누적되어 메모리 효율성이 떨어집니다. 이로 인해 긴 비디오 생성 시 캐시된 상태의 효과적인 재사용이 불가능해지고, 추론 효율성이 심각하게 제한됩니다.

2. 방법론 (Methodology)

저자들은 SoulX-LiveAct 를 제안하며, 이를 해결하기 위해 Neighbor Forcing과 ConvKV Memory라는 두 가지 핵심 기법을 도입했습니다.

가. Neighbor Forcing (이웃 강제)

• 핵심 아이디어: 자기회귀 (AR) 체인을 따라 전파되는 표현을 '동일한 확산 단계 (diffusion step) 에서 평가된 시간적으로 인접한 프레임의 잠재 (latent)'로 설정합니다.
• 작동 원리:
  • 기존 방법은 깨끗한 참조 프레임이나 인위적으로 노이즈가 추가된 입력을 사용하지만, Neighbor Forcing 은 현재 프레임과 시간적으로 인접한 이전 프레임을 동일한 노이즈 조건에서 참조합니다.
  • 이는 잠재 매니폴드 (latent manifold) 상에서 기하학적으로 가깝고 통계적으로 정렬된 조건 신호를 제공합니다.
  • 효과: 확산 상태가 일관되므로 (step-consistent) 학습 신호가 정제되어 최적화 안정성이 향상되고, 수렴 속도가 빨라집니다. 또한, 사전 훈련된 비-AR (non-AR) 백본을 AR 모델로 전환할 때도 시간적 일관성을 유지하며 제로샷 (zero-shot) 생성이 가능해집니다.

나. ConvKV Memory (구조화된 KV 메모리)

• 핵심 아이디어: Neighbor Forcing 의 단계 일관성 (step-consistency) 을 활용하여, 과거의 키 (Key) 와 값 (Value) 상태를 고정된 길이의 표현으로 압축하는 경량 플러그인 모듈입니다.
• 작동 원리:
  • 단기 메모리: 최근의 KV 상태는 압축 없이 유지하여 정확도를 보장합니다.
  • 장기 메모리: 더 오래된 KV 상태는 경량의 **1D 컨볼루션 (1D Convolution)**을 사용하여 압축합니다 (예: 5 개의 청크를 1 개로 축소).
  • 위치 인코딩 재설정: 압축 후 위치 인코딩 (RoPE) 을 압축 시작 지점에 맞춰 재설정하여 시간적 맥락을 유지합니다.
  • 효과: KV 캐시가 무한히 커지는 것을 방지하고, **일정한 메모리 (Constant-memory)**를 사용하여 무한한 길이의 비디오 생성을 가능하게 합니다. 추가적인 인코딩 단계 없이 기존 DiT(Transformer) 구조를 활용하므로 오버헤드가 매우 적습니다.

다. 전체 파이프라인

1. Stage 1 (Neighbor Forcing Training): 오디오, 텍스트 (감정/동작) 조건과 생성된 비디오 간의 정렬을 학습합니다.
2. Stage 2 (ConvKV Memory & Step Distill): DMD(Diffusion Model Distillation) 기반의 증류 학습에 ConvKV 메모리를 통합하여 고정된 메모리 크기로 추론을 최적화합니다.

3. 주요 기여 (Key Contributions)

1. Neighbor Forcing 제안: 확산 단계가 정렬된 이웃 잠재 (diffusion-step-aligned neighbor latents) 를 AR 확산을 위한 핵심 귀납적 편향 (inductive bias) 으로 규명하고, 이론적 근거를 바탕으로 한 안정적인 AR 비디오 생성 프레임워크를 제시했습니다.
2. ConvKV Memory 개발: 경량 플러그인 압축 메커니즘을 통해 메모리 제한 없이 시간 규모 (Hour-scale) 의 비디오를 생성할 수 있게 했으며, 추론 비용 증가를 1.9% 미만으로 억제했습니다.
3. 실시간 최적화 시스템: 2 개의 NVIDIA H100/H200 GPU 만으로 720x416 또는 512x512 해상도에서 **초당 20 프레임 (20 FPS)**의 실시간 스트리밍 추론을 달성했습니다. 프레임당 계산 비용은 27.2 TFLOPs 로 기존 방법보다 현저히 낮습니다.

4. 실험 결과 (Results)

• 정량적 평가 (Quantitative):
  • 입술 동기화 (Lip-sync): Sync-C(신뢰도) 와 Sync-D(입술 거리) 지표에서 기존 최첨단 모델 (OmniAvatar, InfiniteTalk, Live-Avatar) 보다 우수한 성능을 보였습니다.
  • 비디오 품질: FID, FVD, VBench(Temporal Quality, Image Quality), VBench-2.0(Human Fidelity) 등 모든 지표에서 SOTA(State-of-the-Art) 성능을 달성했습니다.
  • 효율성: 20 FPS 실시간 추론을 위해 2 개의 GPU 만 필요로 하며, Bidirectional 기반 모델이나 다른 AR 모델보다 계산 효율성이 뛰어납니다.
• 정성적 평가 (Qualitative):
  • 장기 일관성: 긴 비디오 생성 시 얼굴 특징, 의상, 액세서리 (예: 반지) 의 일관성이 유지되며, 기존 방법들에서 발생하는 정체성 드리프트 (Identity Drift) 나 세부 사항 소실 현상이 없습니다.
  • 감정 및 동작: 표정 변화와 제스처가 자연스럽고, 입술 움직임과 음성이 정확하게 일치합니다.

5. 의의 및 결론 (Significance)

SoulX-LiveAct 는 AR 확산 모델의 근본적인 한계인 학습 불안정성과 메모리 확장성 문제를 동시에 해결했습니다.

• 기술적 혁신: 복잡한 메모리 모듈 없이도 Transformer 의 기존 특성을 활용하여 긴 시간적 맥락을 효율적으로 관리하는 방법을 제시했습니다.
• 실용성: 2 개의 고성능 GPU 만으로 실시간 (20 FPS) 으로 1 시간 이상의 인간 애니메이션을 생성할 수 있어, 실시간 가상 인간 (Digital Human), 인터랙티브 콘텐츠, 실시간 방송 등 상용화 가능한 수준의 기술적 장벽을 낮췄습니다.
• 미래 지향성: 이 연구는 확산 모델과 자기회귀 생성의 결합 방식을 재정의하며, 효율적이고 확장 가능한 비디오 생성 모델의 새로운 표준을 제시합니다.