Hallo-Live: Real-Time Streaming Joint Audio-Video Avatar Generation with Asynchronous Dual-Stream and Human-Centric Preference Distillation

**"Hallo-Live: 비동기식 듀얼 스트림 및 인간 중심 선호도 증류를 통한 실시간 스트리밍 결합 오디오 - 비디오 아바타 생성"**에 대한 상세 기술 요약입니다.

1. 문제 제기

본 논문은 실시간 텍스트 기반 결합 오디오 - 비디오 아바타 생성의 과제를 다룹니다. 기존 모델 (Ovi 등) 은 고충실도 동기화된 오디오 - 비디오 출력을 생성할 수 있지만, 높은 지연 시간과 낮은 처리량으로 인해 대화형 애플리케이션에는 너무 느립니다.
실시간 배포를 방해하는 두 가지 주요 병목 현상은 다음과 같습니다:

1. 인과 추론에서의 발음 지연: 표준 인과 (스트리밍) 모델은 비디오 스트림이 과거 및 현재 오디오에만 접근할 수 있도록 허용합니다. 그러나 사실적인 입 모양과 표정은 종종 **단기 미래 음성 단서 (공조음)**에 의존합니다. 엄격한 인과적 마스킹은 모델이 다가오는 소리를 "예측"하는 것을 방해하여 지연되거나 부정확한 립싱크를 초래합니다.
2. 증류 과정의 품질 저하: 증류 (예: DMD) 를 통해 확산 모델을 가속화하면 "평균 추구" 아티팩트가 발생하여 시각적 충실도 손실, 로봇 같은 음성 억양, 그리고 저하된 오디오 - 비디오 동기화를 초래합니다. 기존 방법들은 공격적인 가속화 이후 인간 중심 품질 지표 (자연스러움, 동일성, 동기화) 를 유지하는 데 어려움을 겪습니다.

2. 방법론

Hallo-Live 는 비동기식 듀얼 스트림 확산 아키텍처와 **인간 중심 선호도 유도 증류 (HP-DMD)**를 결합한 스트리밍 프레임워크를 도입합니다.

A. 비동기식 듀얼 스트림 확산

스트리밍 인과성을 깨지 않으면서 발음 지연을 해결하기 위해, 저자들은 **미래 확장 어텐션 (Future-Expanding Attention)**을 제안합니다:

• 개념: 비디오 및 오디오 블록을 엄격하게 동기화하는 대신, 모델이 비디오 스트림이 미래 오디오 토큰의 **앞보기 창 (look-ahead window)**에 어텐션할 수 있도록 허용합니다.
• 메커니즘:
  • 비디오 분기는 현재 확정된 블록 ($V_t$) 을 처리합니다.
  • 오디오 분기는 현재 블록 ($A_t$) 과 임시 미래 블록 ($\tilde{A}_{t+1}$) 을 연결하여 처리합니다.
  • 교차 어텐션 중, 비디오 토큰은 현재 및 미래 오디오 토큰을 포함하는 확장된 키 범위를 쿼리합니다.
• 결과: 이는 "예측적"인 입 운동을 가능하게 합니다. 미래 오디오는 생성을 위한 컨텍스트로 사용되지만, 즉시 출력 스트림에 확정되지 않으므로, 스트리밍 인과성을 유지하면서 추측 오류를 방지합니다.

B. 인간 중심 선호도 유도 DMD (HP-DMD)

증류 과정 중 품질 손실을 완화하기 위해, 저자들은 표준 분포 일치 증류 (DMD) 를 가중치 재조정 접근법으로 대체합니다:

• 멀티모달 보상 모델링: 시스템은 세 가지 다른 보상 모델을 사용하여 생성된 샘플을 평가합니다:
  1. 시각적 충실도 ($R_v$): VideoAlign (시각적 품질, 운동 및 텍스트 정렬 측정).
  2. 음향 자연스러움 ($R_a$): AudioBox (음성 지각 품질 측정).
  3. 동기화 ($R_s$): SyncNet (입 - 오디오 정렬 측정).
• 재가중치 전략: 모든 교사 샘플을 동등하게 취급하는 대신, HP-DMD 는 표준화된 보상에 기반하여 샘플 가중치 ($w_i$) 를 계산합니다. 충실도, 자연스러움, 또는 동기화에서 더 높은 점수를 받은 샘플은 더 큰 기울기에 기여합니다.
• 목적: 이는 학생 모델을 교사의 다양체 내 "고보상" 영역으로 편향시켜, 특정 인간 중심 지표에서 교사의 평균 성능 한계를 효과적으로 초과합니다.

C. 학습 파이프라인

학습은 두 단계로 진행됩니다:

1. 1 단계 (ODE 초기화): 학생 모델은 새로운 미래 확장 인과 마스크를 사용하여 사전 훈련된 Ovi 교사에서 초기화됩니다. 이는 자기회귀 롤아웃 없이 결합 탈노이즈 능력을 전이합니다.
2. 2 단계 (자기 롤아웃 및 DMD): 학생은 자기회귀 자기 롤아웃을 수행합니다. 생성된 궤적은 보상 가중치 DMD 손실을 사용하여 최적화되어, 시각적 품질, 음성 및 동기화에서 누적된 드리프트를 수정합니다.

3. 주요 기여

1. 최초의 실시간 스트리밍 듀얼 스트림 프레임워크: Hallo-Live 는 텍스트 기반 오디오 - 비디오 생성을 위해 스트리밍 듀얼 스트림 확산과 선호도 유도 증류를 결합한 최초의 시스템입니다.
2. 미래 확장 어텐션: 인과적 제약을 깨지 않고 비디오 스트림이 단기 미래 음성 단서에 접근할 수 있도록 하여 지연 - 발음 트레이드오프를 해결하는 새로운 메커니즘입니다.
3. HP-DMD: 가속화 중 품질 저하를 방지하고 순수 DMD 를 능가하기 위해 멀티모달 보상 신호 (시각, 오디오, 동기화) 를 통합한 증류 전략입니다.
4. 최첨단 성능: 이 프레임워크는 훨씬 느린 비스트리밍 교사 모델과 비교 가능한 생성 품질을 유지하면서 실시간 속도 (20+ FPS) 를 달성합니다.

4. 실험 결과

두 개의 NVIDIA H200 GPU 에서 평가된 Hallo-Live 는 기존 베이스라인 (Ovi, JavisDiT, UniVerse-1 등) 보다 상당한 개선을 보여줍니다:

• 효율성:
  • 처리량: 20.38 FPS (Ovi 의 1.27 FPS 대비; 16.0 배 빠름).
  • 지연 시간: 0.94 초 (Ovi 의 93.37 초 대비; 99.3 배 낮음).
• 품질:
  • VideoAlign 전체 점수: 2.32 (Ovi 의 2.40 및 LTX-2 의 2.45 와 비교 가능).
  • 동기화 (동기화 신뢰도): 4.72 (다른 가속화된 베이스라인보다 현저히 우수하지만, Ovi 의 5.50 보다는 약간 낮음).
  • 인간 충실도: 해부학 (0.90), 의상 (0.98), 그리고 동일성 (0.92) 에서 높은 점수를 유지하며 교사 모델과 거의 일치합니다.
• 일반화: 질적 예시에서 보인 바와 같이, 이 모델은 사실적인 초상화, 다중 화자 상호작용, 스타일화된 만화 캐릭터 등 다양한 시나리오를 강력하게 처리합니다.

5. 중요성

Hallo-Live 는 배포 가능하고 대화형인 디지털 아바타를 향한 중요한 단계입니다. "속도 vs 품질" 트레이드오프를 해결함으로써, 지연 시간 제약으로 인해 이전에는 불가능했던 가상 비서, 실시간 스트리밍 아바타, 대화형 게임 캐릭터와 같은 실시간 애플리케이션을 가능하게 합니다. 선호도 유도 증류의 도입은 현실적인 상호작용에 필요한 세밀한 인간 중심 품질을 유지하면서 복잡한 생성 모델을 가속화하기 위한 새로운 패러다임을 제시합니다. 코드와 모델은 공개되어 있어 실시간 멀티모달 생성에 대한 추가 연구를 장려합니다.