기술 요약: Live Avatar

1. 문제 정의

오디오 기반 아바타 생성은 입력된 오디오 스트림에 따라 움직임이 유도되는 사실적인 인간 얼굴 비디오를 합성하는 것을 목표로 합니다. 확산 모델(Diffusion models)은 최첨단 시각적 충실도를 달과 성을 이루었으나, 이를 대화형, 실시간 및 무한 길이 생성에 배포하는 데 있어 두 가지 근본적이고 상충하는 문제에 직면해 있습니다:

1. 장기적 일관성(Long-Horizon Consistency): 기존 방식들은 자기회귀적 롤아웃(autoregressive rollout) 과정에서 발생하는 누적 오류로 인해, 몇 분 이내에 정체성 드리프트(identity drift), 색상 아티팩트, 시간적 불안정성을 겪습니다. 현재의 솔루션들은 대규모 모델(예: 14B 파라미터)로 확장하는 데 실패하거나, 분 단위 생성 시 품질이 급격히 저하됩니다.
2. 실시간성-충실도 트레이드오프(Real-Time–Fidelity Trade-off): 대규모 확산 모델(예: 14B)은 우수한 품질을 제공하지만, 순차적인 다단계 디노이징(denoising)으로 인해 본질적으로 느립니다. 반대로, 실시간 접근 방식은 일반적으로 비반복적 생성이나 소규모 모델에 의존하며, 이 과정에서 시각적 충실도를 희생합니다.

본 논문은 기존의 어떤 방법도 대규모 확산 모델을 사용하여 스트리밍, 실시간 처리량, 그리고 무한 길이의 안정성을 동시에 달성하지 못한다고 주장합니다.

2. 방법론

Live Avatar는 140억 개의 파라미터를 가진 확산 모델을 기반으로 설계된 알고리즘-시스템 공동 설계 프레임워크입니다. 이 프레임워크는 2단계 학습 파이프라인과 새로운 시스템 수준의 병렬성 전략을 통해 문제를 해결합니다.

A. 알고리즘 혁신

이 프레임워크는 사전 학습된 양방향 확산 모델을 인과적(causal)이고 단계가 적은 스트리밍 모델로 적응시키기 위해 2단계 파이프라인을 채택합니다:

• 1단계: 모션-프레임 스캐폴딩(Motion-Frame Scaffolding)을 이용한 디퓨전 포싱링(Diffusion Forcing) 사전 학습:
  • 모델은 블록 단위의 독립적인 노이즈 스케줄링과 인과적 어텐션 마스크를 사용하여 사전 학습됩니다.
  • 모션-프레임 스캐폴딩: 수렴을 가속화하기 위해, 노이즈가 섞인 모션 프레임(현재 클립 이전에 위치한 컨텍스트 프레임)을 보조 컨텍스트로 주입합니다. 이는 높은 비용의 셀프 포싱 롤아웃 없이도 역동성과 정체성을 분리하는 법을 가르치는 "스캐폴드(scaffold)" 역할을 합니다. 이 단계는 스캐폴딩 없이 학습할 때보다 5배 빠른 수렴 속도를 제공합니다.
• 2단계: 히스토리 커럽트(History Corrupt)를 이용한 셀프 포싱 분포 매칭 증류(DMD):
  • 양방향 교사(teacher) 모델을 인과적이고 단계가 적은 학생(student) 모델로 증류합니다.
  • 히스토리 커럽트: 키-값(KV) 캐시가 깨끗한 히스토리가 아닌 **노이즈가 섞인 표현(noisy representations)**을 저장하도록 하는 핵심적인 설계 선택입니다.
    • 메커니즘: 가우시안 노이즈는 저역 통과 필터(low-pass filter)로 작용하여 고주파의 누적된 아티팩트를 억제하면서 저주파의 움직임 역학은 보존합니다.
    • 이점: 이는 모델이 정체성과 외형을 위해 지속적인 "싱크 프레임(sink frame)"에 의존하게 하고, 노이즈 섞인 캐시는 움직임을 처리하도록 강제합니다. 이는 효과적으로 정체성과 움직임을 분리하여, 약 3초의 클립으로 학습했음에도 불구하고 에러 누적을 방지하고 10,000초 이상의 안정적인 외삽(extrapolation)을 가능하게 합니다.
  • 적응형 어텐션 싱크(Adaptive Attention Sink, AAS): 실제 참조 이미지와 모델의 생성 매니폴드 간의 불일치로 인한 분포 드리프트를 방지하기 위해, 첫 번째 블록 이후 모델 자체의 첫 생성 잠재 표현(latent)으로 싱크 프레임을 대체합니다.
  • 롤링 RoPE(Rolling RoPE): 테스트 시의 컨디셔닝 드리프트를 완화하기 위해, 싱크 프레임의 RoPE(Rotary Positional Embedding) 인덱스를 동적으로 조정하여 현재의 노이즈 상태와 일관된 상대적 위치를 유지함으로써 장기적인 어텐션 저하를 방지합니다.

B. 시스템 혁신: 타임스텝 포싱 파이프라인 병렬성(Timestep-forcing Pipeline Parallelism, TPP)

확산 모델의 순차적 샘플링 병목 현상을 깨기 위해, 저자들은 **타임스텝 포싱 파이프라인 병렬성(TPP)**을 제안합니다:

• 개념: 단일 장치에서의 순차적 디노이징 대신, $T$개의 디노이징 단계를 $T$개의 GPU에 분할합니다. 각 GPU는 고정된 타임스텝 $t_i$를 할당받고 $t_i \to t_{i-1}$ 변환을 반복 수행합니다.
• 메커니즘:
  • 순차적인 디퓨전 체인이 비동기적 공간 파이프라인으로 변환됩니다.
  • KV 캐시가 노이즈 상태(History Corrupt)이므로, 각 GPU는 GPU 간의 캐시 업데이트를 위한 통신 없이 자체적인 로컬 롤링 KV 캐시를 유지합니다.
  • GPU는 압축된 잠재 표현(latent representation)만을 다음 장치로 전달합니다.
• 결과: 처리량(Throughput)은 모든 단계의 합이 아니라 단일 디노이징 순방향 패스(forward pass)에 의해 결정되며, 디노이징 단계 수에 비례하는 이상적인 선형 가속도를 달립니 다.

3. 주요 기여

1. 인과적, 스트리밍 가능 적응 프레임워크: 모션-프레임 스캐폴딩을 활용하여 5배의 수렴 가속을 달성하며, 양방향 모델을 인과적이고 단계가 적은 스트리밍 모델로 증류하는 2단계 학습 방법을 제시합니다.
2. 장기적 안정성: KV 캐시에 노이즈 섞인 히스토리만을 저장하는 것(History Corrupt)이 '짧게 학습하고 길게 추론하는(train-short-infer-long)' 능력을 가능하게 하여, 10,000초 이상의 안정적인 생성을 가능케 함을 입증했습니다. 이는 분포 및 위치 드리프트를 해결하기 위한 AAS와 Rolling RoPE로 보완됩니다.
3. 타임스텝 포싱 파이프라인 병렬성(TPP): 고정된 타임스텝을 GPU에 할당함으로써 순차적 병목을 깨고, 대규모 모델에 대한 고처리량 추론을 가능하게 하는 시스템 수준의 최적화를 제안합니다.
4. 표준화된 벤치마크(GenBench): 장기적 성능을 평가하기 위해 5분을 초과하는 긴 비디오 테스트 케이스를 포함하는 벤치마크를 도입했습니다.

4. 실험 결과

시스템은 14B 파라미터 모델을 사용하여 5개의 NVIDIA H100 GPU에서 평가되었습니다:

• 성능: 첫 프레임 도달 시간(TTFF) 1.21초와 함께 45 FPS를 달성합니다.
• 규모: 저자들이 아는 바로는, 14B 확산 모델을 무한 길이의 아바타 생성을 위해 실시간 스트리밍하는 최초의 실용적인 사례입니다.
• 품질 지표 (GenBench):
  • 단기 비디오: 시각적 품질(IQA: 4.51, ASE: 3.44)과 정체성 일관성(Dino-S: 0.96) 측면에서 최첨단 방법들(예: Ditto, OmniAvatar, WanS2V)보다 우수하며, 경쟁력 있는 오디오-비주얼 동기화를 유지합니다.
  • 장기 비디오: OmniAvatar나 WanS2V 같은 베이스라인들이 시간이 지남에 따라 시각적 품질과 정체성 일관성이 크게 저하되는 반면, 본 모델은 지속 시간에 관계없이 거의 동일한 품질(예: IQA 4.51 $\to$ 4.76, Dino-S 0.96 $\to$ 0.97)을 유지합니다.
• 어블레이션 연구(Ablation Studies):
  • History Corrupt를 제거하면 정체성 일관성(Dino-S가 0.81로 하락)과 시각적 품질이 심각하게 저하됩니다.
  • AAS를 제거하면 점진적인 색상 채도 저하가 발생합니다.
  • Rolling RoPE를 제거하면 정체성 드리프트(Dino-S가 0.86으로 하락)가 발생합니다.
  • TPP는 높은 FPS를 달성하는 데 필수적임이 밝혀졌습니다. TPP가 없으면 4개의 GPU에서 약 5 FPS로 작동합니다.

5. 의의 및 주장

본 논문은 Live Avatar가 오디오 기반 아바타 생성에서 모델 규모, 시각적 충실도, 실시간 성능 사이의 오랜 트레이드오프를 해결한다고 주장합니다. 알고리즘(노이즈 섞인 KV 캐싱, 증류)과 시스템(TPP)을 공동 설계함으로써, 14B 확산 모델을 무한 길이의 실시간 스트리밍을 위해 최초로 실용적으로 배포할 수 있게 했습니다.

저자들은 자신들의 장기적 안정성 전략이 아바타 상호작용의 본질적인 정적 장면 사전 지식(static-scene prior)(피사체와 배경이 거의 변하지 않음)에 근거하고 있음을 강조합니다. 이들은 네이티브 장기 지속 학습이 가능해짐에 따라 이러한 사전 지식이 불필요해질 수 있음을 인정합니다. 또한, 시스템이 실시간 처리량(45 FPS)은 달성했지만, 엔드 투 엔드 지연 시간(네트워크 전송을 포함하여 약 3초)은 아직 원활한 양방향 대화의 엄격한 요구 사항을 충족하지는 못하며, 다만 디지털 커뮤니케이션을 위한 중요한 진전임을 언급하였습니다.