기술 요약: StreamChar

문제 정의

본 논문은 캐릭터 애니메이션을 위한 실시간 스트리밍 오디오-비디오 동시 생성의 과제를 다룹니다. 이 작업은 시스템이 세 가지 상충되는 제약을 동시에 충족해야 합니다:

1. 전사본 충실도 (Transcript Fidelity): 생성된 오디오는 생략, 반복, 또는 의미적 편향 없이 긴 입력 전사본에 엄격하게 따라야 합니다.
2. 시각적 정체성 및 일관성: 캐릭터의 외모와 정체성은 긴 시간 (long-horizon) 에 걸쳐 일관되게 유지되어야 하며, 시각적 편향이나 정체성 변화를 피해야 합니다.
3. 상호작용 지연 시간 (Interactive Latency): 시스템은 재생 시간보다 빠르게 콘텐츠를 생성해야 하므로 (실시간), 저지연 추론이 필요합니다.

기존 접근법들은 이러한 요구사항들을 균형 있게 맞추는 데 어려움을 겪습니다. 모놀리식 Diffusion Transformer(DiT) 모델은 종종 **용량 경쟁 (capacity competition)**으로 고통받는데, 동일한 백본이 글로벌 스크립트 이해, 청크 간 메모리, 그리고 로컬 시공간 잡음 제거를 모두 처리해야 하므로 오류 전파가 발생합니다. 또한, 저지연을 달성하기 위한 증류 (distillation) 를 통한 공격적인 단계 감소는 종종 **모드 붕괴 (mode collapse, 공간적 다양성 감소)**와 자기회귀적 롤아웃 (autoregressive rollouts) 에서의 오류 누적을 초래하여 장기적 품질을 저하시킵니다.

방법론

StreamChar 은 장기적 조율 (long-horizon orchestration) 과 단시간 창 잡음 제거 (short-window denoising) 를 분리하기 위해 분리된 아키텍처와 2 단계 증류 파이프라인을 제안합니다.

1. 분리된 아키텍처 (LLM + DiT)

• LLM 오케스트레이터: 인과적 언어 모델이 플래너 역할을 합니다. 이 모델은 전사본, 역사적 맥락, 참조 오디오를 읽어서 **프레임 정렬 연속 오디오 조건 (frame-aligned continuous audio conditions, $c_a$)**을 생성합니다. 이는 글로벌 의미적 계획과 전사본 정렬을 처리하여 생성 백본의 부담을 덜어줍니다.
• 동시 오디오-비디오 DiT: Diffusion Transformer 가 단시간 창 동시 잡음 제거를 수행합니다. 오디오 조건 ($c_a$), 프롬프트 임베딩, 참조 프레임, 그리고 이전 청크에서 온 모션 프레임을 입력으로 받습니다.
  • 양방향 어텐션: 인과적 스트리밍 모델과 달리, DiT 는 각 청크 내에서 전체 양방향 어텐션을 사용하여 글로벌 시간적 맥락을 활용함으로써 모션 계획의 품질을 향상시킵니다.
  • 모달리티 인식 MoE: 아키텍처는 공유 어텐션 메커니즘과 전문가 혼합 (Mixture-of-Experts, MoE) 피드포워드 네트워크를 사용하여, 비디오 및 오디오 토큰을 별도의 전문가로 라우팅함으로써 교차 모달 상호작용과 모달리티별 학습 사이의 균형을 맞춥니다.
  • 싱크 프레임 메커니즘: 생성된 첫 번째 청크는 영구적인 "싱크 (sink)" 메모리 역할을 하며, 모든 후속 청크가 이를 어텐션하여 장기적 시각적 편향을 억제합니다.

2. 2 단계 분리 증류

안정성을 희생하지 않고 실시간 성능을 달성하기 위해, 저자들은 순차적 최적화 전략을 제안합니다:

• 1 단계 (단계 감소): **분포 매칭 증류 (Distribution Matching Distillation, DMD)**를 사용하여 교사 모델 (일반적으로 50 단계) 을 소수 단계의 학생 모델 (4 단계) 로 압축합니다. 이 단계는 단일 청크 생성 품질에 집중합니다.
• 2 단계 (롤아웃 일관성): 온라인 롤아웃 시뮬레이션을 사용하여 학생 모델을 미세 조정합니다. 모델은 여러 개의 연속된 청크를 자기회귀적으로 생성합니다.
  • 진행 인식 포인터 (Progress-Aware Pointer, PAP): 오케스트레이터에 통합된 모듈로, 각 청크에 대한 전사본 끝점을 예측하여 생성된 오디오 범위와 잘라낸 전사본 간의 정확한 정렬을 보장합니다.
  • 학습 목적: 학생 모델은 연결된 청크에 대해 계산된 DMD 손실을 사용하여 자신의 출력 (자기 강제, self-forcing) 위에서 최적화되어, 훈련 - 테스트 간격을 좁힙니다.

3. 추론 효율성

시스템은 청크당 9 개의 잠재 비디오 프레임을 생성합니다 (24fps 에서 33 개의 RGB 프레임으로 디코딩). 이전 청크의 모션 잠재값을 재사용하고 VAE 디코딩과 전처리를 겹쳐서 (overlapping) 처리함으로써, 청크당 총 지연 시간은 약 1.34 초이며, 단일 H100 GPU 에서 1.38 초의 재생 예산 내에 적합합니다.

주요 기여

1. 분리된 LLM + DiT 아키텍처: 글로벌 전사본 계획 (LLM) 과 로컬 오디오-비디오 합성 (DiT) 을 분리하고, 청크 간 연속성을 위해 모션 프레임 조건을 활용하는 설계.
2. 2 단계 증류 전략: 단계 압축 (1 단계) 과 롤아웃 일관성 학습 (2 단계) 을 분리하는 파이프라인으로, 모드 붕괴와 오류 누적의 결합된 과제를 해결합니다.
3. 안정성 메커니즘: 전사본 정렬을 위한 **진행 인식 포인터 (PAP)**와 장기적 시각적 편향을 억제하기 위한 싱크 프레임 메커니즘의 도입.
4. 실증적 검증: 단일 GPU 에서 긴 시간의 실시간 스트리밍을 지원하면서도 전사본 충실도, 동기화, 그리고 시각적 품질에서 경쟁력 있는 성능을 유지함을 입증.

결과

EMTD 데이터셋을 사용하여 짧은 클립 및 장기적 프로토콜로 실험을 수행했습니다.

• 전사본 충실도: StreamChar 은 증류 후 **3.65%**의 단어 오류율 (WER) 을 달성하여, 동시 오디오-비디오 베이스라인 (예: LTX-2 의 4.55%, OVI 의 10.46%) 보다 현저히 우수한 성능을 보였습니다.
• 시각적 품질: 이 방법은 동시 베이스라인 중 최고의 인간 해부학 점수 (0.941) 와 가장 낮은 FID(18.96) 를 달성하여, 5B 파라미터 백본을 사용함에도 불구하고 높은 지각적 충실도를 입증했습니다.
• 장기적 안정성: StreamChar 은 5 분 스트리밍 동안 **0.0067 의 무시할 수 있는 품질 편향 (Quality Drift)**을 보였으며, 싱크 청크가 없는 제거된 버전의 0.0304 와 비교됩니다. 이는 모션 다양성이 유지됨을 나타내는 최대 VBench Dynamic 점수 1.0 을 유지했습니다.
• 효율성: 시스템은 단일 H100 GPU 에서 실시간으로 실행됩니다 (청크당 약 1.34 초 지연).

중요성

본 논문은 StreamChar 이 전사본 충실도, 오디오-비디오 동기화, 시각적 품질, 그리고 스트리밍 안정성 사이에서 유리한 시스템 수준의 절충안을 제공한다고 주장합니다. 의미적 계획과 시공간 잡음 제거의 책임을 분리하고, 단계 감소와 롤아웃 일관성을 순차적으로 해결함으로써, 이 프레임워크는 모놀리식 DiT 와 공격적 증류의 한계를 극복합니다. 이는 입력 스크립트에 엄격하게 따르는 분 단위의 인터랙티브 캐릭터 애니메이션 생성을 가능하게 하며, 이는 이전에는 실시간 환경에서 달성하기 어려웠던 기능입니다.