UniVideo: Unified Understanding, Generation, and Editing for Videos

기술 요약: UniVideo

문제 정의

통합 멀티모달 모델이 텍스트-이미지 이해 및 생성 분야에서 상당한 진전을 보여주었으나, 이들은 여전히 주로 이미지 도메인에 국한되어 있습니다. 기존의 비디오 생성 모델은 일반적으로 단일 작업(예: 텍스트-비디오 생성)에 특화되어 있으며, 복잡한 멀티모달 지침을 처리하는 데 어려움을 겪는 텍스트 인코더에 의존합니다. 또한, 비디오 편집 방법은 특정 작업 전용 모듈이나 파이프라인에 의존하는 경우가 많아, 단일 프레임워크 내에서 다양한 작업을 처리할 수 있는 확장성이 부족합니다. 결과적으로, 멀티모달 프롬프팅, 인컨텍스트(in-context) 비디오 생성, 그리고 정교한 자유 형식의 비디오 편집과 같은 고급 기능은 통합 시스템에서 구현하기 어려운 과제로 남아 있습니다.

방법론

UniVideo는 멀티모달 이해, 생성 및 편집을 비디오 도메인으로 확장하도록 설계된 통합 프레임워크입니다. 이 모델은 시각적 이해를 위한 멀티모달 대규모 언어 모델(MLLM)과 시각적 생성을 위한 멀티모달 디퓨전 트랜스포머(MMDiT)를 결합한 **이중 스트림 아키텍처(dual-stream architecture)**를 채택합니다.

아키텍처

1. 이해 브랜치 (MLLM): 텍스트, 이미지, 비디오 입력을 처리하기 위해 동결된(frozen) MLLM(구체적으로 Qwen2.5VL-7B)을 활용합니다. 이 브랜치는 모델 본래의 텍스트 생성 및 멀티모달 추론 능력을 보존하여, 복잡한 지침과 모호한 프롬프트를 해석할 수 있게 합니다.
2. 생성 브랜치 (MMDiT): HunyuanVideo-T2V-13B 백본을 기반으로 하며, 시각적 합성에 집중합니다. 이 브랜치는 두 가지 유형의 입력을 받습니다:
   • 시맨틱 스트림 (Semantic Stream): 학습 가능한 MLP 커넥터를 통해 정렬된 MLLM의 고수준 시맨틱 특징.
   • 비주얼 스트림 (Visual-Stream): 변이형 오토인코더(VAE)에 의해 인코딩된 미세한 재구성 신호.
3. 통합 컨디셔닝 (Unified Conditioning): 작업별 편향 임베딩(bias embeddings)이나 컨텍스트 어댑터를 사용하는 기존 방식과 달리, UniVideo는 다양한 작업(텍스트-비디오, 이미지-비디오, 인컨텍스트 생성/편집)을 단일 자연어 지침 패러 paradigm 하에 통합합니다. 또한, 모든 축을 오프셋하지 않고 조건 레이턴트(condition latents)와 노이즈 비디오 레이턴트를 구분하기 위해 3D 위치 임베딩을 사용하며, 이는 여러 시각적 입력을 처리하는 데 있어 MRoPE보다 더 효과적인 전략임이 확인되었습니다.

학습 전략

모델은 세 단계로 학습됩니다:

• 1단계 (커넥터 정렬): MLLM과 MMDiT를 동결한 상태에서 MLP 커넥터를 학습합니다. 학습에는 특징 차원을 정렬하기 위한 텍스트-이미지(T2I), 텍스트-비디오(T2V) 및 이미지 재구성 작업이 포함됩니다.
• 2단계 (미세 조정): MLLM은 여전히 동결된 상태에서 고품질 T2I/T2V 샘플을 사용하여 커넥터와 MMDiT를 미세 조정합니다. 이를 통해 자체 텍스트 인코더를 사용하는 MMDiT 백본과 대등한 성능을 달달성합니다.
• 3단계 (멀티태스크 학습): 인컨텍스트 생성(multi-ID), 인컨텍스트 비디오 편집(ID 교체, 삭제, 추가, 스타일 전이), 이미지 편집, 이미지-비디오 생성을 포함한 광범위한 작업에 대해 시스템을 공동 학습시킵니다. 이 과정 전체에서 MLLM은 동결된 상태를 유지합니다.

핵심 역량

• 사고를 통한 생성 (Generation with Thinking): MLLM 브랜치는 비정형적이거나 수기로 작성된 프롬프트(예: 시각적 주석, 다이어그램)를 해석하고, 이를 MMDiT를 가이드하기 위한 구조화된 계획이나 조밀한 프롬프트 토큰으로 변환합니다.
• 제로샷 일반화 (Zero-Shot Generalization): 명시적으로 자유 형식의 비디오 편집 학습을 거치지 않았음에도 불구하고, UniVideo는 대규모 이미지 편집 데이터에서 학습된 편집 능력을 비디오 도메인으로 전이하여, 재질이나 환경 변경과 같은 미학습 지침을 처리할 수 있습니다.

주요 기여

1. 통합 프레임워크: 단일 프레임워크 내에서 이미지와 비디오 모두에 대한 이해, 생성 및 편집을 통합한 최초의 모델인 UniVideo를 소개합니다.
2. 이중 스트림 설계: MLLM의 추론 능력과 MMDiT의 생성 능력을 결합한 새로운 아키텍처를 제안하여, 모델이 시각적 일관성과 정체성(identity)을 유지하면서 멀티모달 지침을 해석할 수 있도록 합니다.
3. 일반화: 통합 프레임워크가 미학습 작업 조합(예: 편집과 스타일 전이의 결합)에 일반화될 수 있으며, 별도의 설계 없이도 이미지의 편집 능력을 비디오로 전이할 수 있음을 입증합니다.
4. 실증적 검증: 설계 선택지(커넥터, 생성기, 컨디셔닝 전략)에 대한 체계적인 연구를 통해 제안된 아키텍처의 효과성을 입증합니다.

실험 결과

광범ale한 벤치마크를 통해 UniVideo가 여러 도메인에서 최첨단(SOTA) 작업별 베이스라인 모델들과 대등하거나 우수한 성능을 달성함을 보여줍니다:

• 시각적 이해: 동결된 MLLM 백본의 능력을 유지하며 MMBench (83.5), MMMU (58.6), MM-Vet (66.6)에서 강력한 점수를 기록했습니다.
• 이미지 생성 및 편집: GenEval에서 많은 전문 텍스트-이미지 모델 및 통합 멀티모달 모델보다 뛰어난 성능을 보였습니다. 이미지 편집(ImgEdit-Bench, Gedit-Bench)에서는 시맨틱 일관성과 전반적인 품질 면에서 여러 전문 편집 모델을 능가했습니다.
• 비디오 생성: 텍스트-비디오 작업에 대해 VBench에서 HunyuanVideo 백본의 성능과 일치하는 결과를 보였습니다.
• 인컨텍스트 작업:
  • 생성: 단일 ID 및 멀니 ID 시나리오 모두에서 피사체 일관성과 프롬프트 준수 능력 면에서 베이스라인(VACE, Kling1.6, Pika2.2)을 능가했습니다.
  • 편집: 마스크 입력이 필요 없는 마스크 프리(mask-free) 환경에서도 작동하며, UNIC 및 AnyV2V와 같은 작업별 전문가 모델과 비교하여 정체성 정렬, 비디오 품질, 프롬프트 준수 측면에서 우수하거나 대등한 성능을 달성했습니다.

의의

본 논문은 UniVideo가 언어, 이미지, 비디오를 통한 원활한 소통이 가능한 멀티모달 AI 어시스턴트를 구축하는 데 있어 중요한 진전임을 주장합니다. 다양한 비디오 작업을 단일 지침 패러다임 아래 통합함으로써, 모델은 전문화된 파이프라인의 한계를 극복합니다. 새로운 작업 조합으로 일반화되는 능력과 이미지를 비디오로 편집 기술을 전이하는 능력은 복잡하고 개방적인 멀티모달 상호작용을 처리하기 위한 통합 프레임워크의 잠재력을 강조합니다. 나아가, "사고를 통한 생성" 능력은 시스템이 복잡한 시각적 프롬프트를 해석할 수 있게 함으로써, 인간의 의도와 정밀한 비디오 합성 사이의 간극을 메워줍니다.