기술 요약: NAVA - 생성을 위한 네이티브 오디오-비주얼 정렬

문제 정의

연속 오디오-비디오 생성은 시간적으로 동기화되고 의미적으로 일관된 시각-음향 콘텐츠를 합성하는 것을 목표로 합니다. 상업용 시스템 (예: Seedance, Kling, Veo) 은 잠재력을 보여주었으나, 그 아키텍처는 독점적으로 유지되고 있습니다. 오픈소스 연구는 주로 두 가지 패러다임을 따랐으며, 둘 다 상당한 한계를 보입니다:

1. 듀얼 타워 설계: 이러한 방법은 오디오와 비디오를 별도의 스트림에서 생성하며, 후기 정렬 모듈을 통해서만 교차 모달 상호작용을 도입합니다. 이러한 "사후 정렬"은 오디오와 비디오의 세밀한 공진화를 약화시켜, 동기화를 통합된 생성 표현이 아닌 보조 모듈에 의존하게 만듭니다.
2. 완전 통합 삼중 모달 설계: 이러한 접근법은 텍스트 컨텍스트, 오디오, 비디오 토큰을 단일 공유 어텐션 공간에 혼합합니다. 직접적인 상호작용을 가능하게 하지만, 이 설계는 고수준 의미 조건부 설정과 저수준 오디오-비주얼 동기화를 결합합니다. 결과적으로 의미 안내와 시간적 정렬이 동일한 공간에서 최적화되어 전용 동기화 구조의 형성을 방해할 수 있습니다.

핵심 과제는 의미적 제어 가능성을 희생하거나 방대한 파라미터 수를 요구하지 않으면서 정밀한 이벤트 단위 대응과 시간적 일관성을 달성하는 것입니다.

방법론: NAVA 프레임워크

저자들은 외부 컨텍스트 조건부 설정으로부터 오디오-비주얼 동기화를 분리하는 NAVA(Native Audio-Visual Alignment) 프레임워크를 제안합니다. 핵심 철학은 전용 상호작용 공간에서 먼저 오디오-비디오 대응을 확립한 후, 외부 컨텍스트를 사용하여 결합된 노이즈 제거 과정을 조건부 설정하는 것입니다.

1. 공식화: 컨텍스트 조건부 네이티브 정렬

듀얼 타워 방법 (별도 생성 후 정렬) 이나 완전 통합 방법 (모든 토큰 혼합) 과 달리, NAVA 는 동기화와 조건부 설정의 역할을 분리합니다:

• 네이티브 동기화: 오디오 ($h_a$) 와 비디오 ($h_v$) 토큰은 컨텍스트 토큰 없이 전용 공간에서 자기 어텐션을 통해 상호작용합니다: $[h'_a, h'_v] = \text{SelfAttn}([h_a, h_v])$. 이를 통해 음향 패턴과 시각적 역학이 공진화할 수 있습니다.
• 외부 조건부 설정: 텍스트 및 음색 단서 등을 포함한 컨텍스트 토큰 ($c$) 은 초기 정렬 후 크로스 어텐션을 통해 주입됩니다: $[\tilde{h}_a, \tilde{h}_v] = \text{CrossAttn}([h'_a, h'_v], c)$.

2. 아키텍처: Align-then-Fuse MMDiT

NAVA 는 점진적 설계가 적용된 수정된 멀티모달 확산 트랜스포머 (MMDiT) 를 사용하여 구현됩니다:

• 계층적 정렬 레이어 (초기): 처음 10 개의 블록은 모달리티 분리 정렬 프로젝션을 사용합니다. 오디오와 비디오는 시공간 구조와 토큰 속도가 다르므로, 이러한 레이어는 결합된 자기 어텐션을 적용하기 전에 모달리티별 프로젝션을 사용하여 이질적인 토큰을 공유 상호작용 공간에 매핑합니다. 이는 초기 단계 대응 학습을 안정화합니다.
  • 토큰 속도 처리: 오디오 회전 위치 임베딩은 비디오 토큰과 시간 좌표를 정렬하도록 재조정됩니다 ($\theta_{rope} = TR_v / TR_a$).
• 통합 퓨전 레이어 (후기): 나머지 20 개의 블록은 모달리티 공유 통합 프로젝션을 사용합니다. 대응이 확립되면 오디오와 비디오 토큰은 생성 파라미터를 공유하여 컴팩트한 협력적 노이즈 제거를 장려합니다. 컨텍스트는 학습된 동기화를 방해하지 않으면서 궤적을 조절하기 위해 크로스 어텐션을 통해 외부에 유지됩니다.

3. 컨텍스트 내 음색 조건부 설정

제어 가능한 음성 음색 (예: 다중 화자 대화) 을 달성하기 위해 NAVA 는 프롬프트 구조 내에서 특정 음성 구간과 참조 음색 단서를 바인딩하는 메커니즘을 도입합니다.

• 참조 음색 임베딩이 추출되어 컨텍스트 토큰으로 처리됩니다.
• 이러한 토큰은 특정 음성 구간에 해당하는 텍스트 프롬프트 시퀀스에 직접 삽입됩니다 (예: $\langle S \rangle, s_i, \text{Text}(S_i), \langle E \rangle$).
• 이는 보조 화자 제어 분기나 백본 수정 없이 유연한 콘텐츠-음색 바인딩을 가능하게 합니다.

4. 학습 및 추론

• 점진적 멀티 태스크 학습: 모델은 세 단계로 학습됩니다: (1) 오디오 전용 및 쌍별 데이터로 오디오 경로 초기화; (2) 고품질 오디오 및 전체 오디오-비주얼 데이터로 충실도와 동기화 개선; (3) 지시 따르기 및 복잡한 제어를 위한 큐레이션 데이터로 파인튜닝.
• 구조화된 드롭아웃: 무작위 교차 모달리티 어텐션 마스킹과 음색 토큰 드롭을 사용하여 안내를 위한 쌍별 조건부/무조건부 경로를 생성합니다.
• 조건 분리형 클래스프리 가이드 (CFG): 추론 중 세 가지 다른 안내 방향이 계산되어 결합됩니다:
  • $\Delta_{text}$: 텍스트 준수.
  • $\Delta_{align}$: 오디오-비주얼 동기화 (오디오-비디오 크로스 어텐션 마스킹).
  • $\Delta_{timbre}$: 음색 보존 (음색 토큰 드롭).
    이를 통해 재학습 없이 동기화와 음색을 독립적으로 제어할 수 있습니다.

주요 기여

1. NAVA 프레임워크: 사전 훈련된 비디오 백본을 사용하여 정밀한 이벤트 단위 대응 모델링을 가능하게 하는 컨텍스트 조건부 정렬로 결합 생성을 공식화하는 네이티브 오디오-비주얼 정렬 접근법.
2. Align-then-Fuse MMDiT: 모달리티 인식 정렬에서 모달리티 공유 노이즈 제거로 전환되는 아키텍처로, 동기화 안정성과 협력적 생성 효율성 사이의 균형을 맞춥니다.
3. 컨텍스트 내 음색 조건부 설정: 참조 단서를 컨텍스트 경로에 직접 통합하여 보조 분기 없이 다중 화자 생성을 지원하는 구간 단위 음색 제어용 새로운 메커니즘.
4. 성능: 광범위한 실험을 통해 NAVA 가 더 큰 베이스라인 (6.3B) 에 비해 훨씬 적은 파라미터로 우수한 동기화와 비디오 품질을 달성함을 입증했습니다.

실험 결과

정량적 평가 (Verse-Bench)

NAVA(63 억 파라미터) 는 훨씬 더 큰 모델 (10B–32B) 보다 우수하거나 경쟁력을 가집니다:

• 동기화: 최고의 Sync-C(7.791) 와 최저의 Sync-D(7.566) 를 달성하여 우수한 입술-오디오 정렬을 나타냅니다.
• 비디오 품질: 0.659(IB) 점으로 비교된 모델 중 가장 높았습니다.
• 오디오 품질: 0.099 의 최저 단어 오류율 (WER) 을 달성했으며 경쟁력 있는 제작 품질 (PQ) 과 프리셰트 거리 (FD) 를 보였습니다.
• 효율성: NAVA 는 최상위 성능을 제공하면서 비교된 모든 오디오-비디오 모델 중 가장 적은 파라미터 (63 억) 를 사용합니다.

음색 제어 가능성 (Seed-TTS)

Seed-TTS 벤치마크에서 NAVA 는 **66.7%**의 화자 유사성과 4.20의 WER 을 달성했습니다.

• 오디오-비주얼 베이스라인인 DreamID-Omni(35.7% 유사성, 31.76 WER) 를 크게 능가했습니다.
• 순수 오디오 전용 모델 (예: CosyVoice2: 65.2% 유사성) 과도 경쟁력을 유지하여, 결합 생성이 본질적으로 음색 제어를 저하시키지 않음을 입증했습니다.

정성적 평가 및 사용자 연구

• 시각화: NAVA 는 동적 운동, 음악 공연, 다중 화자 대화, 샷 전환을 포함한 복잡한 시나리오에서 동기화된 콘텐츠를 성공적으로 생성했습니다.
• 사용자 연구 (GSB 프로토콜): Ovi-1.1, LTX-2.3, daVinci 에 대한 쌍별 비교에서:
  • T2AV: NAVA 는 전반적 품질에서 Ovi 대비 67.5%, LTX 대비 60.0%, daVinci 대비 80.0% 를 기록하여 승리했습니다. 오디오-비주얼 정렬에서도 더욱 결정적으로 승리했습니다 (62.5%–72.5%).
  • TI2AV: NAVA 는 대부분의 베이스라인에 비해 정렬에서 명확한 우위를 보였으며 전반적 품질에서도 경쟁력을 유지했습니다.

중요성과 주장

이 논문은 NAVA가 동기화 메커니즘을 의미적 조건부 설정에서 분리함으로써 중요한 진전을 이루었다고 주장합니다. 컨텍스트를 적용하기 전에 전용 정렬 공간을 확립함으로써, 모델은 듀얼 타워 (약한 공진화) 와 완전 통합 (얽힌 제어) 패러다임에 내재된 트레이드오프를 피합니다.

저자들은 이러한 "네이티브 오디오-비주얼 정렬" 접근법이 다음을 가능하게 한다고 주장합니다:

• 정밀한 이벤트 단위 대응: 생성 궤적 내에서 직접 음성-입술 운동과 장면 의존적 음향을 모델링합니다.
• 확장성과 효율성: 컴팩트한 63 억 파라미터 모델로 최첨단 결과를 달성합니다.
• 유연한 제어: 컨텍스트 기반 음색 바인딩을 통한 구성적 다중 화자 생성을 가능하게 합니다.

저자들은 긴 꼬리 이벤트 (희귀 동물 소리, 복잡한 음악 혼합물) 생성의 한계를 인정하며, 향후 작업이 공동 토크나이저나 통합 표현 모델을 통해 더 깊은 오디오-비주얼 결합을 탐구할 수 있다고 제안합니다. 그러나 그들은 컨텍스트 조건부 설정이 분리된 네이티브 정렬이 확장 가능하고 제어 가능한 오디오-비디오 생성을 위한 유망한 방향이라고 결론지었습니다.