기술 요약: LongCat-Video-Avatar 1.5

문제 제기

음성 기반 비디오 생성 분야에서 상당한 진전이 있었음에도 불구하고, 연구 수준의 프로토타입과 상업용 수준의 생산 준비 시스템 사이에는 여전히 큰 격차가 존재합니다. 현재 모델들은 장기적인 안정성, 엄격한 신원 일관성, 그리고 복잡한 현실 세계 시나리오 (예: 다중 인물 상호작용, 물체 조작, 스타일화된 도메인) 에서의 견고함 측면에서 어려움을 겪고 있습니다. 또한, 고충실도 생성과 추론 효율성 사이에는 긴장 관계가 존재합니다. 강력한 현실 세계 성능을 보이는 시스템들은 일반적으로 독점적이지만, 오픈소스 대안들은 산업적 배포에 필요한 엔지니어링의 엄격함을 종종 결여하고 있습니다. LongCat-Video-Avatar 1.5(LC-Video-Avatar 1.5) 는 새로운 아키텍처 설계보다는 체계적인 엔지니어링, 데이터 선별, 최적화를 우선시함으로써 이러한 과제를 해결하며, 학술 연구와 상업적 배포 사이의 격차를 해소하는 것을 목표로 합니다.

방법론

1. 데이터 선별 파이프라인

LC-Video-Avatar 1.5 의 기반은 이질적인 비디오 소스를 구조화되고 고품질의 학습 샘플로 변환하도록 설계된 엄격한 다단계 데이터 파이프라인입니다.

• 일반 파이프라인: 원시 비디오는 기능적 기여도에 따라 분류됩니다 (예: 입술 모션을 위한 클로즈업, 음성과 시각의 정렬을 위한 인터뷰, 카메라 역학을 위한 연기 퍼포먼스, 손 - 물체 조작을 위한 상호작용 비디오). 통합 주석 스키마를 통해 인간 존재 여부, 신체 구성, 시각적 품질, 오디오 - 시각 동기화, 카메라 모션에 대한 메타데이터를 추출합니다.
• 전문 파이프라인:
  • 다중 인물 데이터: ByteTrack 을 활용한 인물 추적과 Active Speaker Detection(ASD) 을 사용하여 중첩되지 않는 단일 화자 세그먼트를 분리함으로써 화자 모호성을 줄입니다.
  • 무음 데이터: Qwen3-Omni 와 Qwen3-VL 을 활용한 2 단계 멀티모달 검증을 통해 비발화 비디오를 선별하여, 모델이 의도치 않은 입술 움직임 없이 자연스러운 정적 상태와 비언어적 모션을 유지하도록 학습시킵니다.
  • 감정 데이터: 6 가지 감정 카테고리 (예: 고각성, 맥락 기반 반응) 를 정의하는 다단계 필터링 프로세스를 적용합니다. LLM 분류와 프레임 단위 감정 인식 (EmotiEffLib) 및 맥락 인식 캡셔닝을 결합하여 감정의 시간적 진화를 포착합니다.

2. 모델 아키텍처 및 학습

• 기반 아키텍처: 이 모델은 LongCat-Video-Avatar 1.0 에서 파생된 통합 DiT 기반 비디오 확산 아키텍처를 계승하며, 3D VAE 와 3D 자기 주의력 및 텍스트 교차 주의력을 갖춘 Diffusion Transformer 블록을 활용합니다.
• 오디오 인코더 업그레이드: 중요한 업그레이드는 Wav2Vec2 인코더를 Whisper-large로 교체하는 것입니다. 68 만 시간의 다국어 음성으로 사전 학습된 이 15 억 파라미터 모델은 더 풍부한 음향 표현과 우수한 음소 수준의 표현력을 제공합니다. 그룹화된 평균 풀링을 적용한 슬라이딩 윈도우 전략을 통해 고차원 출력을 비디오 프레임 레이트에 맞게 압축하여 정밀한 오디오 - 입술 정렬을 보장합니다.
• 학습 단계:
  1. 기반 모델 학습: 흐름 매칭 (flow matching) 을 적용하여 저해상도 (256p) 에서 고해상도 (720p) 로 점진적으로 학습하며, 신원 보존을 위한 참조 이미지와 다중 인물 대화 데이터셋을 포함합니다.
  2. RLHF 학습: 모델은 **그룹 상대적 프레임 단위 정책 최적화 (GRPO)**를 거칩니다. 이전의 비디오 단위 보상 모델링과 달리, 이 접근법은 보상을 프레임 단위 신호로 분해하여 손 변형, 모션 불일치와 같은 국소 아티팩트를 수정하기 위한 더 세분화된 크레딧 할당을 가능하게 합니다.
  3. 가속화 학습: 추론 비용을 해결하기 위해 모델은 **분포 매칭 증류 (DMD)**를 통해 증류됩니다. 공유 백본과 LoRA 어댑터를 갖춘 파라미터 효율적 아키텍처는 추론 과정을 **8 NFE(순방향 평가 횟수)**로 줄이면서도 고품질 분포 매칭을 유지합니다.

3. 다중 인물 및 배경 처리

다중 인물 대화의 경우, 모델은 L-RoPE를 사용하여 특정 화자 영역을 오디오 조건과 연관시킵니다. 배경 인물이 목표 화자의 오디오에 의해 잘못 구동되는 것을 방지하기 위해, 시스템은 비목표 영역을 위한 전용 무음 오디오 트랙을 도입하여 배경 인물들의 의도치 않은 입술 움직임을 효과적으로 억제합니다.

주요 기여

1. 상업용급 오픈소스 프레임워크: LC-Video-Avatar 1.5 는 긴 비디오에서 정밀한 입술 동기화, 전체 신체의 시간적 안정성, 그리고 엄격한 신원 일관성을 달성하는 생산 준비 상태의 오픈소스 시스템으로 제시됩니다.
2. 체계적인 엔지니어링 및 최적화: 이 연구는 무음 및 감정 특화 파이프라인을 포함한 엄격한 데이터 선별과 확장된 학습 레시피가 특정 시나리오별 아키텍처 분기 없이 스타일화된 도메인 (애니메이션, 동물) 과 복잡한 시나리오 (다중 인물, 물체 상호작용) 로의 강력한 일반화를 산출할 수 있음을 보여줍니다.
3. 품질 - 효율성 트레이드오프: 품질 정렬을 위한 GRPO 와 가속화를 위한 DMD 를 통합함으로써, 이 프레임워크는 8 NFE 의 추론 비용으로 고품질 시각적 충실도를 제공하는 최적의 균형을 달성합니다.
4. 오디오 인코더 발전: Wav2Vec2 대비 Whisper-large 로의 전환은 입술 역학과 동기화를 크게 개선하여 다양한 화법과 언어 전반에 걸쳐 자연스러움을 향상시킵니다.

평가 결과

이 프레임워크는 770 건의 크라우드소싱 평가와 전문가 수준의 평가를 포함한 500 개 이상의 다양한 테스트 케이스로 구성된 포괄적인 벤치마크에서 검증되었습니다.

• 인간 유사성: LC-Video-Avatar 1.5 는 전반적인 인간 유사성에 관한 A/B 쌍별 테스트에서 주요 폐쇄형 소스 시스템 (HeyGen, OmniHuman 1.5, Kling Avatar 2.0) 과 비교하여 경쟁력 있거나 우수한 성능을 달성했습니다.
• 전문 품질 지표:
  • 안정성 및 합리성: 이 모델은 시간적 안정성 (낮은 프레임 점프 컷, 최소화된 색조 누적) 과 물리적 합리성 (감소된 주제/배경 왜곡) 에서 업계 최고 점수를 기록했습니다.
  • 신원 일관성: 긴 시퀀스 전반에 걸쳐 얼굴 특징과 화자 신원을 보존하는 데 있어 최상의 성능을 보여주었습니다.
  • 조화: 오디오 - 시각적 조화는 여전히 전 분야에서 과제로 남아 있지만, v1.5 는 Whisper-large 인코덕 덕분에 v1.0 대비 입술 동기화와 신체 자연스러움에서 상당한 개선을 보였습니다.
• 가속화 vs 기반: 가속화된 8-NFE 버전 (v1.5) 은 50 스텝 기반 모델에 비해 표현의 풍부함에서 약간의 트레이드오프를 보였으나, 손, 신체, 얼굴에서 왜곡률이 현저히 낮아 더 큰 시각적 안정성을 보장했습니다.

중요성과 주장

저자들은 LongCat-Video-Avatar 1.5 가 학술 연구용 프로토타입과 상업용급 배포 사이의 격차를 성공적으로 좁혔다고 주장합니다. 아키텍처의 새로움보다는 경험적 최적화에 초점을 맞춤으로써, 이 시스템은 방송, 전자상거래, 인터랙티브 엔터테인먼트를 포함한 다양한 상업적 응용 분야의 엄격한 요구 사항을 충족할 수 있는 오픈소스 솔루션임을 입증합니다. 보고서는 엄격한 데이터 선별, 확장된 학습, 그리고 고급 증류 기술의 결합이 강력하고 안정적이며 효율적인 음성 기반 아바타 생성을 달성하는 열쇠라고 강조합니다.

향후 방향: 저자들은 향후 작업이 물리적 타당성과 미세한 오디오 - 시각 동기화 개선을 중심으로 이루어져야 한다고 지적합니다. 또한, 현재 카메라 전환과 모션 다양성을 제한하는 고정된 참조 프레임에 대한 과도한 의존 없이 신원을 보존하는 진정한 무제한의 무한 길이 비디오 생성 프레임워크를 개발할 필요성을 확인했습니다.