기술 요약: Vorch-Omni: 시각과 청각의 다중 작업 오케스트레이션

문제 정의

최근 생성 비디오 모델링의 발전은 텍스트 조건부 생성을 넘어 참조 기반 합성, 시간적 확장, 그리고 지시어 가이드 편집으로 역량을 확장해 왔습니다. 그러나 이러한 역량들은 여전히 작업별 특화된 모델과 파이프라인에 파편화되어 있습니다. 통합 모델은 근본적인 모호함에 직면합니다. 즉, 대상 비디오, 소스 클립, 그리고 여러 참조(reference)가 입력에 공존할 때, 모델은 무엇을 생성하고, 무엇을 보존하며, 무엇을 가이드로 사용할지를 추론해야 합니다. 이러한 과제는 오디오-비디오 공동 생성을 확장할 때 더욱 복잡해지는데, 여기서 오디오와 비디오는 타겟, 시간적으로 연속된 컨텍스트, 또는 독립적인 참조로서 작용할 수 있기 때문입니다.

기존의 통합 모델들은 대개 구조적 융합에만 의존하며, 이는 다양한 입력의 역할(예: 편집될 소스와 모방할 참조를 구분하는 것)을 명시적으로 지정하는 데 실패합니다. 또한, 모달리티를 별도로 합성하는 순차적 파이프라인은 오류를 누적시키고 사후 동기화를 필요로 합니다. 본 연구의 핵심 질문은 재현 가능하고 확장 가능한 작업 인터페이스가 단일 프레임워크 내에서 다양한 시각적 작업과 오디오 및 비디오 조건/출력의 임의적인 조합을 지원할 수 있는가 하는 것입니다.

방법론

핵심 정식화: 임의의 조건에서 임의의 출력으로 (Arbitrary-Condition-to-Arbitrary-Output)

Vorch-Omni는 단일 플로우 매칭 디퓨전 트랜스포머(flow-matching diffusion transformer)를 기반으로 구축되었습니다. 이 모델의 중심 추상화는 모든 작업이 네 가지 집합인 비디오 생성 타겟($X_v$), 비디오 조건($C_v$), 오디오 생성 타겟($X_a$), 오디오 조건($C_a$)으로 정의되는 정식화에 있습니다.

• 토큰 수준 조건 마스크 (Token-Level Conditioning Masks): 깨끗한 조건 토큰(관측된 신호)과 노이즈가 섞인 생성 타겟을 명시적으로 구분합니다.
• 작업 식별자 (Task Identifiers): 토큰별 임베딩($r_i$)은 타겟, 소스, 피사체 참조, 프레임 참조, 오디오 참조, 편집 조건과 같은 역할을 명시적으로 구분합니다. 이를 통해 동일한 잠재 콘텐츠가 아키텍처 변경 없이 서로 다른 목적(예: 확장을 위한 접두사로서의 클립 vs 편집을 위한 소스)으로 기능할 수 있게 합니다.
• 위치 유형 (Position Types): 상보적인 개념인 시간적 구성($p$)은 시간적으로 연속된 컨텍스트(확장을 위해 타겟 타임라인에 병합됨)와 독립적인 참조(별도의 위치 그리드)를 분리합니다. 이는 참조가 인접한 시간적 세그먼트로 오해받는 것을 방지합니다.

상보적 멀티모달 조건화

고수준의 의미적 의도와 미세한 시각적 구조를 모두 처리하기 위해, 프레임워크는 두 개의 병렬 비주얼 조건 경로를 사용합니다.

1. 의미 경로 (Semantic Path): 시각-언어 모델(VLM)이 샘플링된 조건 프레임과 텍스트 지시어를 공동으로 해석하여 고수준의 작업 의미를 제공합니다.
2. 잠재 경로 (Latent Path): 비디오 변이형 오토인코더(VAE)가 완전한 시각적 조건을 깨끗한 잠재 토큰으로 인코딩하여 외형, 레이아웃, 정체성 및 움직임의 세부 사항을 보존합니다.
   오디오 조건은 오디오 잠재 경로를 사용하며 백본 내에서 비주얼 토큰과 자연스럽게 상호작용합니다.

아키텍처

모델은 LTX-2.3를 기반으로 한 비대칭 듀얼 스트림 백본을 사용하며, 48개의 트랜스포머 블록으로 구성됩니다.

• 비디오 스트림: 32개의 어텐션 헤드, 헤드 차원 128.
• 오디오 스트림: 32개의 어텐션 헤드, 헤드 차원 64.
• 교차 모달 상호작용 (Cross-Modal Interaction): 모든 블록의 모달리티별 텍스트 어텐션 이후, 피드 포워드 네트워크 이전에 게이트형 교차 어텐션(gated cross-attention) 연산이 수행됩니다. 이를 통해 양방향 정보 교환(오디오-투-비디오 및 비디오-투-오디오)을 가능하게 하면서도 별도의 처리 스트림을 유지합니다. 한 모달리티가 부재할 경우, 모델은 자연스럽게 사용 가능한 스트림으로 축소됩니다.

데이터 인프라

분산형 버전 관리 데이터 파이프라인은 다양하고 시간적으로 정렬된 오디오-비주얼 클립을 큐레이션합니다. 주요 단계는 다음과 같습니다.

• 샷 인식 세그먼테이션 (Shot-Aware Segmentation): TransNetV2와 PySceneDetect를 사용하여 롱폼 비디오를 일관된 클립으로 나눕니다.
• 품질 필터링 및 중복 제거: SigLIP 임베딩을 사용하여 오버레이, 워터마크 및 유사 중복 영상을 제거합니다.
• 구조화된 주석 (Structured Annotation): 조밀한 비디오 캡션(동적/정적 스키마)과 오디오 메타데이터를 생성합니다.
• 작업 패킹 (Task Packing): 큐레이션된 클립을 적절한 조건 마스크, 작업 ID 및 위치 유형과 함께 다양한 작업 구성(생성, 확장, 편집 등)으로 인스สต리언스화합니다.
• 가중치 샘플링 (Weighted Sampling): 기본 생성 데이터가 특화된 작업을 압도하지 않도록 이질적인 작업 분포의 균형을 맞춥니다.

주요 기여

1. 통합 프레임워크: 작업별 아키텍처 수정 없이 10개 이상의 작업(텍스트-투-비디오, 참조 조건 합성, 시간적 확장, 편집 포함)을 지원하는 단일 플로우 매칭 디퓨전 트랜스포머인 Vorch-Omni를 도입했습니다.
2. 명시적 역할 표현: 토큰 수준의 조건 마스크, 작업 식별자 및 위치 유형을 사용하는 정식화를 통해 무엇을 생성하고, 보존하고, 참조하며, 조건이 시간적으로 어떻게 관계되는지를 명시적으로 정의합니다.
3. 상보적 조건화: 지시어 이해와 미세한 충실도를 모두 지원하기 위해 VLM 기반의 의미적 추론과 VAE 기반의 구조적 가이드를 통합했습니다.
4. 재현 가능한 데이터 파이프라인: 정렬된 오디오-비주얼 데이터를 큐레이션하고, 구조화된 주석을 생성하며, 통합 모델 학습을 위해 작업 혼합을 조절하는 확장 가능한 파이프라인을 구축했습니다.

결과

모델은 텍스트-투-오디오-비디오 생성 및 참조 조건 조작을 아우르는 537개의 쌍으로 된 샘플 그룹으로 구성된 인간 평가 벤치마크에서 Wan 2.7과 비교 평가되었습니다.

• 전반적인 성능: 판단의 81.4%가 "동일함(Same)"으로 나타났으며, 순 승률(net win rate)은 전체적으로 -1.9%였습니다. 이는 일반적인 시각적 품질에 대해 통합 모델이 특화된 베이스라인과 대등한 성능을 보임을 의미합니다.
• 특정 강점: 모델은 통합 멀티모달 생성에 특화된 차원에서 양(+)의 순 승률을 달성했습니다.
  • 오디오-비주얼 동기화: 전체 +5.9%; 오디오 구동 작업에서 +24.3% (특히 입 모양-오디오 동기화에서 +45.6%).
  • 참조 정렬 (Reference Alignment): 전체 +6.6%.
  • 오디오 프롬프트 준수 (Audio Prompt Following): +7.1%.
  • 오디오 품질 (Audio Quality): +3.3%.
• 작업별 분석: 모델은 핵심 시각 품질 지표에서는 대등함을 유지하면서도, 멀티모달 및 참조 기반 작업(예: 오디오 구동 생성, 애니메이트-앤-리플레이스, 비디오 트랜스폼)에서 우위를 보였습니다.

의의 및 주장

본 논문은 Vorch-Omni가 명시적인 조건 역할(explicit condition roles)이 이질적인 오디오-비주얼 작업 전반에 걸쳐 단일 모델을 확장하는 데 있어 실질적인 경로를 제공한다는 점을 입증한다고 주장합니다. 작업 명세를 백본 계산으로부터 분리함으로써, 이 프레임워크는 아키텍처 수정 없이 구성(configuration) 변경만으로 새로운 입력-출력 조합을 표현할 수 있게 합니다.

저자들은 이러한 통합의 주요 이점이 균일한 무조건부 시각적 선호도의 향상이 아니라, 모달리티 간의 협응 능력 향상과 참조로부터의 정보 보존 능력 강화에 있다고 강조합니다. 이 프레임워크는 다중 조건 입력의 모호성을 성공적으로 줄이며, 단일 학습 목적 함수 내에서 양방향 생성 의존성(예: 음성이 입 모양을 결정하거나, 시각적 사건이 효과음을 결정하는 것)을 지원합니다.

논문은 장기적 일관성(long-horizon consistency), 미세한 편집 국소성(fine-grained edit locality), 그리고 언어 전반에 걸친 강력한 음성 생성 등의 남은 과제를 인정하며, 이를 향후 연구 방향으로 제시합니다.