Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance

기술 요약: 부정적 오디오 가이던스를 통한 단계별 비디오-오디오 합성

문제 정의
현재의 비디오-오디오(V2A) 생성 모델들은 일반적으로 한 번의 패스(pass)로 단일하고 완전한 오디오 트랙을 생성합니다. 이러한 모델들은 입력 비디오와 높은 의미적 및 시간적 정렬을 달면 하지만, 점진적인 정교화(incremental refinement)를 위한 메커니즘이 부족합니다. 전통적인 폴리(Foley) 작업 흐름에서 아티스트들은 보완적인 소리들(예: 발소리, 옷깃 스치는 소리)을 레이어링하여 하나의 합성 오디오 트랙을 구축합니다. 기존의 V2A 모델들은 이러한 상호작용적 과정을 재현할 수 없습니다. 만약 생성된 트랙에서 특정 이벤트가 누락된다면, 전체 트랙을 다시 생성해야 합니다. 또한, 표준적인 조건부 학습을 통해 단계별 생성을 구현하려면, 하나의 비디오가 여러 개의 서로 다른 비중첩 오디오 트랙과 쌍을 이루는 고비용의 다중 참조 비디오-오디오 데이터셋이 필요한데, 이는 대규모로 확보하기 어렵습니다.

방법론
저자들은 **부정적 오디오 가이던스(Negative Audio Guidance, NAG)**에 의해 구동되는 단계별 비디오-오디오(V2A) 합성 프레임워크를 제안합니다. 이 접근 방식은 이미 이전에 생성된 트랙에 존재하는 소리를 중복 생성하지 않으면서, 누락된 사운드 이벤트를 채우는 보완적인 오디오 트랙의 반복적 생성을 가능하게 합니다.

1. 개념 부정 공식화 (Concept Negation Formulation):
   핵심 과제는 비디오 $V$, 텍스트 프롬프트 $C_2$, 그리고 이전에 생성된 오디오 트랙 $x^{(1)}$을 조건으로 하여 타겟 오디오 $x^{(2)}$를 생성하는 것입니다. 이때 $x^{(2)}$는 $V$ 및 $C_2$와 정렬되어야 하지만, $x^{(1)}$에 존재하는 개념은 제외되어야 합니다. 저자들은 이를 개념 부정 문제로 공식화하며, $x^{(1)}$을 부정적 조건($\neg x^{(1)}$)으로 취급함으로써 타겟 분포 $p(x^{(2)} | V, C_2, x^{(1)})$을 근사합니다.

2. 가이드된 플로우 유도 (Guided Flow Derivation):
   플로우 매칭(flow-matching) 모델과 분류기 없는 가이던스(classifier-free guidance)를 기반으로, 저자들은 새로운 가이던스 공식을 유도합니다. 이들은 타겟 확률 분포를 분해하여, 생성 과정이 조건부 오디오 $x^{(1)}$로부터 멀어지도록 밀어내는 항을 포함시킵니다. 결과적으로 도출된 가이드된 플로 $\tilde{u}_{\theta, \psi}(x_t)$는 다음으로 구성됩니다:

   • 무조건부 플로(unconditional flow) 항.
   • 비디오 $V$ 및 텍스트 $C_2$에 대한 충실도를 강화하는 표준 가이던스 항.
   • 부정적 오디오 가이던스(NAG) 항: $\beta (u_\theta(x_t, t, V, C_2) - u_{\theta, \psi}(x_t, t, V, \emptyset, x^{(1)}))$. 이 항은 샘플링 궤적을 $x^{(1)}$의 음향적 콘텐츠로부터 멀어지게 밀어냅니다.

3. 학습 전략 (특수 데이터 미사용):
   다중 참조 데이터셋의 필요성을 피하기 위해, 저자들은 동일한 비디오에서 추출한 비중첩 오디오 세그먼트를 사용하여 오디오 조건부 브랜치(파라미터 $\psi$로 매개변수화됨)를 학습시킵니다.

   • 아키텍처: 이들은 사전 학습된 V2A 모델인 MMAudio에 적응된 ControlNet 스타일의 아키텍처를 활용합니다. 오디오 조건은 참조 오디오 $x^{(1)}$로부터 특징을 추출하여 메인 브랜치에 더해주는 단일 모달 트랜스포머 블록을 통해 주입됩니다.
   • 데이터 구축: 표준 단일 참조 데이터셋(예: VGGSound)으로부터 두 개의 비중첩 4초 세그먼트를 샘플링합니다. 하나는 타겟($x_{tgt}$)으로, 다른 하나는 조건($x_{cond}$)으로 사용합니다. 이를 통해 모델은 파형을 복사하는 대신 공유된 음향적 맥락(환경, 음색, 녹음 조건)을 학습하도록 강제되며, 추론 시 "반발적 사전 확률(repulsive prior)"로서 기능할 수 있게 됩니다.

4. 추론 과정:
   생성은 반복적으로 진행됩니다. $k$번째 단계에서는 이전에 생성된 모든 트랙의 합성물($\sum_{l=1}^{k-1} x^{(l)}$)이 부정적 조건 신호 $x^{(1)}$로 사용되어 다음 보완 트랙 $x^{(k)}$를 생성합니다.

주요 기여

• 단계별 합성 공식화: 본 논문은 V2A 생성을 단일 비디오에 대해 여러 개의 보완적인 트랙을 만드는 반복적 과정으로 공식화하여, 폴리 스타일의 상호작용적 저작을 가능하게 합니다.
• 부정적 오디오 가이던스(NAG): 샘플링 중에 오디오 조건부 브랜치를 부정적으로 사용하여 순차적 트랙 간의 소리 중복을 방지하는 새로운 가이던스 메커니즘을 도입했습니다. 결정적으로, 이는 표준 단일 참조 오디오-비디오 데이터셋을 통해 학습이 가능합니다.
• 개선된 분리성 및 품질: 이 방법은 독립적 생성이나 텍스트 기반 부정 프롬프팅에 의존하는 베이스라인보다 더 뛰어난, 서로 중첩되지 않는 콘텐츠를 가진 뚜렷하고 고품질의 오디오 트랙을 생성할 수 있음을 입증했습니다.

결과
저자들은 서로 다른 사운드 이벤트를 설명하는 다수의 캡션이 비디오와 쌍을 이루는 새롭게 구축된 데이터셋인 Multi-Caps VGGSound에서 방법을 평가했습니다.

• 객관적 지표:
  • 합성 오디오: 제안된 방법은 Seeing-and-Hearing, FoleyCrafter, 표준 MMAudio와 같은 베이스라인과 비교하여 Fréchet Distance (FD), KL divergence, 시간적 정렬(DeSync)에서 최고의 점수를 기록했습니다. 이는 "독립적 생성"(맥락 없이 트랙 생성) 및 "부정적 프롬프팅을 이용한 단계별 생성"(이전 소리를 제외하기 위해 텍스트 사용)보다 우수했습니다.
  • 개별 트랙: 본 방법은 vanilla MMAudio와 비교하여 오디오 분리성(CLAP 오디오-오디오 유사도로 측정)을 크게 향상시켰습니다. 부정적 프롬프팅이 분리성을 개선하긴 했으나 오디오 품질과 텍스트 정렬을 저하시킨 반면, NAG는 높은 오디오 품질과 비디오-텍스트 정렬을 유지하면서도 우수한 분리성을 달야냈습니다.
• 주관적 평가:
  • 사용자 연구 결과, 최종 합성 오디오의 오디오 품질, 의미적 정렬, 시간적 정렬 측면에서 제안된 방법이 선호되었습니다.
  • 개별 트랙의 경우, 본 방법은 분리성에서 유의미하게 높은 점수를 받았으며, 오디오 품질과 텍스트 충실도에서도 약간 더 높은 점수를 받았습니다.
• 확장성: 생성 단계(2~5개의 캡션)를 변화시키며 분석한 결과, NAG의 이점(특히 분리성 측면)은 요구되는 오디오 이벤트의 수가 증가함에 따라 전체적인 충실도를 저하시키지 않으면서 더욱 뚜렷해짐을 확인했습니다.

의의 및 주장
본 논문은 자동화된 폴리 작업의 핵심 병목 현상, 즉 전체 시퀀스를 재생성하지 않고 오디오 트랙을 상호작적으로 정교화할 수 없는 문제를 해결한다고 주장합니다. NAG를 도입함으로써, 저자들은 사용자가 전통적인 폴리 아티스트와 유사하게 여러 사운드 이벤트를 단계별로 저작할 수 있는 워크플로우를 가능하게 하며, 이 과정에서 다중 참조 학습을 위한 노동 집약적인 데이터 요구를 피할 수 있습니다. 이 방법은 고품질 생성 모델과 실용적이고 제어 가능한 사운드 디자인 사이의 간극을 메우며, 생성된 소리가 비디오와 의미적으로 정렬될 뿐만 아니라 합성 믹스 내에서 서로 구별되도록 보장합니다. 저자들은 자신의 접근 방식이 기존의 사전 학습된 모델과 표준 데이터셋을 활용하므로 매우 실용적이며, 특수하게 획득하기 어려운 다중 트랙 오디오-비디오 쌍을 필요로 하지 않는다는 점을 강조합니다.