기술 요약: Vorch-Streamer

문제 정의

사전 학습된 양방향 확산 모델(bidirectional diffusion models)을 스트리밍 환경에 적응시킬 때, 실시간 장기 아바타 오디오-비디오 생성은 두 가지 주요 딜레마에 직면합니다.

1. 노출 편향(Exposure Bias) 및 시각적 드리프트(Visual Drift): 장기 스트리밍은 모델의 예측값이 다음 블록의 컨텍스트로 사용되는 자기회귀적(autoregressive) 생성을 요구합니다. 외형, 움직임 또는 동기화에서의 작은 오류는 시간이 지남에 따라 누적되어, 깨끗한 훈련 데이터와 스스로 생성한 추론 이력 간의 훈련-테스트 불일치를 유발합니다. 이는 복합적인 아티팩트와 시간적 드리프트를 초래하여 장기 생성의 안정성을 해칩니다.
2. 글로벌 스피치 vs. 인과적 컨텍스트 불일치: 텍스트-오디오-비디오(T2AV) 작업에서 입력 프롬프트는 완전한 발화를 설명합니다. 그러나 스트리밍 윈도우 내에서 작동하는 인과적 생성기는 제한된 로컬 히스토리에만 주의를 기울일 수 있습니다. 명시적인 계획(planning) 없이는 모델이 다음에 어떤 부분의 글로벌 트랜스크립트를 말해야 할지 결정하기 어려워하며, 이로 인해 오디오가 문장 중간부터 시작되거나, 시간적 정렬이 어긋나거나, 잘못된 음성 내용을 생성하는 결과가 자주 발생합니다.

기존 모델들은 대개 양방향 어텐션을 사용하는 짧은 오프라인 클립용으로 설계되어, 미래의 콘텐츠를 관찰하기 전에 다음 세그먼트를 생성해야 하는 스트리밍 시스템과는 호환되지 않습니다. 또한, 기존의 많은 스트리밍 아바타들은 외부에서 공급된 드라이빙 오디오나 참조 프레임을 사용하며, 텍스트로부터 음성과 비디오를 진정으로 인과적인 방식으로 공동 합성하는 데 실패합니다.

방법론

Vorch-Streamer는 사전 학습된 양방향 LTX2.3 오디오-비디오 파운데이션 모델을 인과적이고 실시간인 장기 스트리밍 생성기로 확장하기 위해 설계된 포스트 트레이닝 프레임워크입니다. 이 접근 방식은 세 가지 주요 단계로 구성됩니다.

1. 합성 코퍼스 구축

저자들은 사전 학습된 양방향 LTX2.3 모델을 사용하여 80,000개의 고품질 아바타 오디오-비디오 클립(지속 시간 12~21초)으로 구성된 합성 코퍼스를 구축했습니다. 이는 훈련 데이터가 모델의 초기화 상태와 일치하도록 보장하여, 후속 인과적 훈련을 위한 모델 일관적인 감독(supervision)을 제공합니다.

2. 인과적 오디오-비디오 스트리밍 (단계 2)

양방향 모델을 블록-자기회귀적(block-autoregressive) 스트리밍 생성기로 변환하기 위해, 저자들은 혼합 훈련 전략을 채택했습니다.

• 혼합 티처 포싱(Teacher Forcing) 및 디퓨전 포싱(Diffusion Forcing): 모델은 10%의 샘플은 깨끗한 정답 히스토리를 사용하고(Teacher Forcing), 90%는 손상된 히스토리를 사용하는(Diffusion Forcing) 샘플 레벨 혼합 방식으로 훈련됩니다. 이는 모델이 훈련 중에 불완전하게 스스로 생성한 컨텍스트에 노출되게 함으로써 훈련-테스트 간의 격차를 줄입니다.
• 인과적 어텐션 마스킹(Causal Attention Masking): 모델은 미세한 상호작용을 모델링하기 위해 각 동기화된 오디오-비디오 블록(약 1초) 내에서는 양방향 어텐션을 유지하지만, 블록 간에는 인과적 어텐션을 강제합니다.
• 유계 컨텍스트(Bounded Context): 일정한 메모리 사용량을 유지하기 위해, 모델은 처음 3개의 블록(지속적 프리픽스)과 가장 최근의 이전 블록으로 구성된 유계 윈도우에 주의를 기울입니다.

3. 장기 호흡 자기 강제화 (단계 3)

긴 시퀀스에서의 오류 누적 문제를 해결하기 위해, 프레임워크는 **분포 매칭 증류(Distribution Matching Distillation, DMD)**를 적용한 **자기 강제화(Self Forcing)**를 수행합니다.

• 인과적 학생(student) 모델은 자신의 예측으로부터 전체 12~21초 시퀀스를 블록 단위로 생성합니다.
• 동결된 양방향 LTX2.3 모델이 타겟 분포를 나타내는 "실제 점수(real-score)" 티처 역할을 합니다.
• 훈련 가능한 "가짜 점수(fake-score)" 모델은 학생 모델의 진화하는 분포를 추정합니다.
• 학생 모델은 자신의 분포와 티처의 분포 사이의 차이를 최소화하도록 최적화되며, 이를 통해 모델이 자신의 추론 시 롤아웃 분포에 노출되면서 사전 학습된 양방향 모델의 품질을 긴 인과적 궤적으로 효과적으로 전이합니다.

4. LLM 기반 스피치 플래닝

글로벌 텍스트 프롬프트와 로컬 인과적 생성 사이의 불일치를 해결하기 위해, Vorch-Streamer는 명시적인 스피치 플래닝 경로를 도입합니다.

• 외부 대규모 언어 모델(Fun-CosyVoice)이 25Hz(40ms 단위)로 이산적인 스피치 플래닝 토큰을 예측합니다.
• 이 토큰들은 연속적인 특징(features)으로 변환되어 전용 크로스 어텐션 모듈을 통해 오디오 디퓨전 브랜치에 주입됩니다.
• 게이트 퓨전 연산자(gated fusion operator)는 이러한 플래닝 특징을 원래의 텍스트 조건부 오디오 특징과 적응적으로 결합합니다.
• 이는 음성 플래닝(무엇을 언제 말할 것인가)과 오디오 생성(어떻게 합성할 것인가)을 분리하여, 중단, 전환, 그리고 인터랙티브 리스닝을 위한 학습 가능한 침묵 토큰의 포함을 가능하게 합니다.

주요 기여

1. 프레임워크: 사전 학습된 양방향 오디오-비디오 확산 모델을 인과적, 실시간, 장기 스트리밍에 적응시키는 포스트 트레이닝 프레임워크인 Vorch-Streamer를 소개합니다.
2. 훈련 전략: 8만 개의 합성 코퍼스 구축과 혼합 티처/디퓨전 포싱, 장기 호흡 자기 강제화 및 티처 증류를 결합한 새로운 훈련 파이프라인을 통해 인과적 훈련을 스트리밍 추론과 정렬합니다.
3. 스피치 플래닝: 연속적인 플래닝 특징을 오디오 브랜치에 공급하는 LLM 기반 스피치 플래닝 경로를 제안하여, 스트림 시작 시점에 전체 미래 발화를 고정하지 않고도 음성 진행, 중단, 침묵 리스닝에 대한 명시적 제어를 가능하게 합니다.
4. 성능: 실시간 재생 임계값인 24 FPS를 초과하는 27.12 FPS의 실시간 장기 T2AV 스트리밍을 달성하면서도 경쟁력 있는 동기화 및 음성 정확도를 유지함을 입증했습니다.

실험 결과

저자들은 Vorch-Streamer를 네이티브 T2AV 베이스라인(LTX2.3, JoyAI-Echo, OmniForcing, Hallo-Live) 및 조건부 TIA2V 레퍼런스(LiveAvatar, SoulX-FlashTalk)와 함께 연속적인 장기 롤아웃(약 2분)에 대해 평가했습니다.

• 속도: Vorch-Streamer는 단일 NVIDIA H200 GPU에서 27.12 FPS를 달성하여, 실시간 재생을 초과하는 유일한 평가 대상 네이티브 T2AV 방식입니다. 이는 양방향 LTX2.3(1.83 FPS) 및 다른 스트리밍 베이스라인보다 현저히 빠릅니다.
• 음성 정확도: 모델은 **7.92%**의 단어 에러율(WER)을 달성하여, 오프라인 양방향 LTX2.3(7.59%)과 대등한 수준을 보였습니다. 반면, 명시적 스피치 플래닝이 없는 베이스라인(OmniForcing, Hallo-Live)은 장기간 외삽 시 치명적인 WER(>90%)을 겪습니다.
• 동기화: 모델은 양방향 LTX2.3과 대등한 수준의 강력한 오디오-립 동기화(Sync-C: 6.62, Sync-D: 8.95)를 유지합니다.
• 장기 호흡 안정성: 2분간의 롤아웃 동안, Vorch-Streamer는 정체성 보존(ArcFace 유사도가 약 0.730.77로 안정적 유지)과 장면 일관성(CLIP 유사도 약 0.920.94)에서 최소한의 저하를 보였습니다. 다른 네이티브 T2AV 방식들은 유사한 기간 동안 상당한 드리프트와 정체성 상실을 보입니다.
• 절제 연구(Ablation Studies):
  • LLM 스피치 플래너를 제거하면 WER이 184%로 치솟아, 인과적 T2AV를 위한 명시적 플래닝의 필요성을 확인시켜 줍니다.
  • 단계 2(인과적 초기화)를 제거하면 모션 붕괴가 발생합니다(Dynamic Degree가 0.2706에서 0.0824로 감소).
  • 단계 3(장기 호흡 자기 강제화)을 제거하면 더 높은 WER(9.17%)과 증가된 드리프트가 발생합니다.
  • 3+1 컨텍스트 윈도우(3개의 지속적 프리픽스 블록 + 1개의 최근 블록)가 정체성 보존과 오류 누적 사이의 균형을 맞추는 데 최적임이 입증되었습니다.

의의

본 논문은 Vorch-Streamer가 강력한 양방향 파운데이션 모델을 실시간 인터랙티브 아바타 생성으로 적응시키기 위한 실용적인 경로를 구축한다고 주장합니다. 장기 호흡 자기 강제화를 통해 노출 편향 문제를 해결하고, 명시적인 LLM 기반 플래닝을 통해 음성 진행 문제를 해결함으로써, 이 프레임워크는 인과적이면서도 장기적인 네이티브 텍스트-오디오-비디오 생성을 가능하게 합니다. 외부 오디오나 참조 프레임에 의존하는 조건부 파이프라인과 달리, Vorch-Streamer는 두 양식(modality)을 처음부터 생성하며, 시퀀스 길이에 비례하여 메모리가 증가하지 않고도 확장된 기간 동안 안정성과 동기화를 유지합니다.