기술 요약: Baton – 결합형 비디오-오디오 생성을 위한 명시적 의미 청사진

1. 문제 제기

현재의 오픈소스 결합형 비디오-오디오 생성 모델들은 간단한 프롬프트에 대해 동기화된 콘텐츠를 생성할 수는 있지만, 복잡한 의미 추론이 필요한 시나리오에서는 현저히 어려움을 겪습니다. 이러한 시나리오에는 다단계 행동, 정교한 인간 - 객체 상호작용, 그리고 다화자 대화가 포함됩니다.

이러한 실패의 근본 원인은 지배적인 방법론에 있습니다. 기존 모델들은 비디오 및 오디오 확산 (diffusion) 분기의 탈노이즈 궤적을 안내하기 위해 상용화 된 인코더 (예: T5, Qwen) 로부터 파생된 거시적 전역 텍스트 임베딩에 의존합니다. 이 접근법은 두 가지 치명적인 한계를 안고 있습니다:

1. 미세 의미의 상실: 전역 임베딩은 복잡한 지시를 모달리티별, 시간적으로 근거 있는 세부 사항으로 분해하지 못합니다.
2. 공유된 장기 계획의 부재: 조정된 계획이 없으면 비디오와 오디오 탈노이즈 궤적이 서로 멀어지며 적대적 역학을 초래합니다. 이로 인해 심각한 교차 모달 정렬 불일치, 신체 왜곡, 그리고 긴 시간 동안 주제 일관성 유지나 특정 행동의 동기화 (예: 펀치 동작과 효과음의 일치) 가 불가능해집니다.

일부 최근 연구들은 대규모 언어 모델 (LLM) 을 사용하여 프롬프트를 풍부하게 하려 시도하지만, 여전히 생성된 표현을 전역 임베딩으로 주입하여 의미적 의도와 시공간 생성 과정 사이의 구조적 정렬 불일치를 해결하지 못합니다.

2. 방법론: Baton

Baton 은 의미 추론과 합성을 명시적으로 분리하는 프레임워크를 제안합니다. 전역 임베딩에만 의존하는 대신, Baton 은 확산 과정 시작 전에 명시적이고 모달리티를 인지하는 청사진을 생성하는 "계획 (planning)" 단계를 도입합니다. 아키텍처는 세 가지 주요 구성 요소로 이루어집니다:

2.1 VA-Planner (비디오 - 오디오 플래너)

핵심 혁신은 이중 의미 정렬 타워를 갖춘 학습 가능한 멀티모달 언어 모델 (MLLM) 인 VA-Planner입니다.

• 입력: 플래너는 시스템 지시사항, 비디오 설명, 오디오 설명이 포함된 구조화된 프롬프트를 받습니다.
• 추론: 자동회귀적 추론을 수행하여 비디오 ($H_v$) 용과 오디오 ($H_a$) 용 한 쌍의 계획된 토큰을 예측합니다. 이러한 토큰은 핵심 프레임 수준의 청사진 역할을 합니다.
• 이중 정렬 타워: 교차 모달 일관성을 보장하기 위해 플래너는 학습 가능한 쿼리를 가진 두 개의 타워를 사용합니다.
  • 비디오 타워는 MLLM 의 은닉 상태로부터 비디오 특화 의미를 추출한 후, 교차 모달 어텐션을 수행하여 보완적인 청각 단서를 흡수합니다.
  • 오디오 타워는 대칭적인 작업을 수행합니다.
  • 이러한 양방향 어텐션은 비디오 계획이 오디오 컨텍스트를 인지하고 그 반대의 경우도 마찬가지임을 보장하여 상호 일관된 시간적 청사진을 생성합니다.
• 특성 투사: 계획된 토큰은 사전 훈련된 지각 인코더 (비디오용 SigLip2, 오디오용 WavTokenizer) 의 연속 특성 도메인으로 투사되어 고충실도 의미 가이드로 작용합니다.

2.2 상대적 의미 RoPE (RS-RoPE)

계획된 토큰 (희소한 핵심 프레임 해상도에서 생성됨) 과 확산 잠재 변수 (밀집된 시공간 그리드에서 생성됨) 가 1:1 대응 관계를 공유하지 않기 때문에 상당한 도전 과제가 발생합니다. 표준 위치 인코딩은 여기서 실패하여, 확산 모델이 구조화된 계획을 모호한 전역 신호로 취급하게 만듭니다.

Baton 은 다음과 같은 상대적 의미 RoPE를 도입합니다:

• 계획된 토큰과 확산 잠재 변수를 공유된 시공간 좌표계로 매핑합니다.
• 표현하는 물리적 시간과 공간 위치에 기반하여 위치 인덱스를 재조정합니다.
• 각 확산 잠재 변수가 위치적으로 대응하는 의미 단서에 정확하게 어텐션할 수 있도록 하여, 청사진의 핵심 프레임 수준 구조를 평탄화하지 않고 보존합니다.

2.3 학습 전략

Baton 은 견고성을 보장하기 위해 3 단계 학습 커리큘럼을 사용합니다:

1. VA-Planner 사전 학습: MLLM 과 정렬 타워는 텍스트 프롬프트를 기반으로 (동결된 SigLip2 와 WavTokenizer 로부터의) 연속 지각 특성을 예측하도록 학습됩니다. 이는 플래너가 정확한 의미 청사진을 생성하도록 가르칩니다.
2. DiT 적응: 확산 트랜스포머 (DiT) 는 플래너의 예측 노이즈에 혼동되지 않고 의미 특성 분포를 학습하기 위해 실제 지상 진실 (ground-truth) 지각 특성을 사용하여 학습됩니다 (플래너 우회).
3. 결합 미세 조정: VA-Planner 는 동결되고, DiT 는 플래너가 예측한 토큰을 사용하여 미세 조정됩니다. 이 단계는 이상적인 지상 진실 특성과 현실적인 플래너 예측 사이의 간극을 연결하여 노출 편향을 완화합니다.

3. 주요 기여

1. VA-Planner: 결합형 비디오 - 오디오 생성을 위해 명시적 의미 계획을 도입한 최초의 프레임워크입니다. 이는 핵심 프레임 수준의 청사진으로 작용하는 의미적으로 정렬된 비디오 및 오디오 계획된 토큰을 생성하여 두 탈노이즈 궤적을 공유된 로드맵에 고정합니다.
2. 상대적 의미 RoPE: 희소한 의미 계획과 밀집된 확산 잠재 변수 사이의 시공간 불일치를 해결하여 정밀한 교차 모달 어텐션을 가능하게 하는 새로운 위치 인코딩입니다.
3. 추론과 합성의 분리: 의미 계획 단계를 생성 단계와 분리함으로써, 전역 임베딩에만 의존하는 모델에서 관찰되는 적대적 이탈을 방지합니다.

4. 실험 결과

저자들은 Baton 을 Verse-Bench(표준 오픈소스 벤치마크) 와 Sem100(심층 의미 추론이 필요한 복잡하고 다단계 프롬프트가 포함된 100 개의 미관측 비디오로 구성된 커스텀 데이터셋) 에서 평가했습니다.

• 정량적 성능:

  • Verse-Bench에서 Baton 은 최첨단 (SOTA) 모델인 LTX-2 와 비교 가능한 결과를 달성합니다.
  • Sem100에서 Baton 은 모든 오픈소스 경쟁 모델을 크게 능가합니다. LTX-2 대비 프롬프트 준수 정확도 (P-Acc) 가 32% 향상되었고, 다화자 단어 오류율 (M-WER) 이 76% 감소했으며, 비동기화 (DeSync) 가 30% 감소했습니다.
  • M-WER 와 P-Acc 의 개선은 모델이 다화자 대화와 복잡한 순차적 행동을 처리하는 데 뛰어난 능력을 보여줍니다.

• 정성적 성능:

  • 시각적 비교는 Baton 이 올바른 주제 일관성과 동기화된 행동을 가진 안정적인 비디오 - 오디오 콘텐츠를 생성하는 반면, 경쟁자들 (Ovi, UniAVGen, LTX-2, MOVA) 은 복잡한 시나리오에서 신체 왜곡, 객체 소실, 오디오 - 비디오 비동기화에 시달린다는 것을 보여줍니다.
  • 사용자 연구에서 Baton 은 비디오/오디오 정렬, 정체성 일관성, 동기화 측면에서 경쟁자들보다 선호되었습니다.

• 상용 모델과의 비교:

  • 상용 모델 (예: Veo 3, Seedance 2.0) 은 더 높은 시각적 충실도나 오디오 미학을 보일 수 있지만, Baton 은 비슷한 프롬프트 준수 능력을 달성합니다. 특히 복잡한 의미 추론이 필요한 시나리오에서 상용 모델이 때때로 다단계 지시를 정확하게 따르지 못하는 경우에도 그렇습니다.

5. 중요성과 주장

이 논문은 Baton 이 결합형 비디오 - 오디오 생성을 위해 의미 계획과 합성을 명시적으로 분리한 최초의 프레임워크라고 주장합니다. 그 중요성은 현재 확산 모델의 근본적인 한계, 즉 공유되고 사전 정렬된 의미 로드맵 없이 장기간에 걸쳐 교차 모달 일관성을 유지하지 못하는 문제를 해결하는 데 있습니다.

명시적 의미 청사진과 이를 확산 잠재 변수에 정렬하는 메커니즘 (RS-RoPE) 을 도입함으로써, Baton 은 생성을 "모호한 전역 신호 하에 맹목적으로 탈노이즈하는 것"에서 "의미적으로 근거 있고 교차 모달적으로 조정된 계획을 따르는 것"으로 전환합니다. 이를 통해 모델은 복잡한 인과 관계, 다단계 행동, 다화자 상호작용이 포함된 프롬프트에서도 안정적이고 동기화된 비디오 - 오디오 콘텐츠를 합성할 수 있게 되어, 오픈소스 결합형 비디오 - 오디오 생성의 새로운 기준을 설정합니다.