Training-Free Multimodal Guidance for Video to Audio Generation

기술 요약: 비디오-오디오 생성을 위한 학습 없는 다중 모달 안내

문제 제기
비디오-오디오 (V2A) 생성은 무음 비디오에서 의미론적으로 정렬된 사실적인 오디오를 합성하는 것을 목표로 하며, 이는 비디오 편집, Foley 사운드 디자인, 보조 멀티미디어와 같은 응용 분야에서 중요한 작업입니다. 최근 확산 기반 접근 방식이 인상적인 결과를 달성했지만, 상당한 한계에 직면해 있습니다. 기존 방법들은 일반적으로 대규모 쌍을 이룬 데이터셋에서 비디오와 오디오 모델의 비용이 많이 드는 결합 학습을 필요로 하는데, 이러한 데이터셋은 수집 비용이 높으며 종종 신중한 전처리가 필요한 의미 없는 쌍을 포함합니다. 대안으로 Seeing&Hearing과 같은 학습 없는 접근 방식은 모달리티 정렬을 위해 ImageBind 등을 통한 쌍별 코사인 유사도에 의존합니다. 그러나 쌍별 정렬은 전역적인 다중 모달 일관성을 포착하지 못할 수 있어, 기하학적 일관성이 부족한 안내 신호를 초래하고 의미론적으로 정렬되지 않거나 노이즈가 많은 오디오 생성으로 이어질 수 있습니다.

방법론: 다중 모달 확산 안내 (MDG)
저자들은 백본이나 인코더를 재학습하지 않고 사전 훈련된 오디오 확산 모델을 유도하기 위한 새로운 학습 없는 메커니즘인 다중 모달 확산 안내 (Multimodal Diffusion Guidance, MDG) 를 제안합니다. 핵심 혁신은 쌍별 유사도에 의존하는 대신 모달리티 임베딩이 span 하는 기하학적 부피를 활용하는 데 있습니다.

1. 부피를 통한 기하학적 정렬:
   비디오, 오디오, 텍스트 임베딩 ($e_v, e_a, e_p$) 을 쌍별 코사인 유사도를 통해 정렬하는 대신, 이 방법은 인코더 (GRAM) 를 사용하여 이를 공유 잠재 공간에 매핑합니다. 그런 다음 행렬 $Z = [e_v, e_a, e_p]$를 구성하고 Gram 행렬 $K = Z^\top Z$를 계산합니다. 이러한 임베딩이 span 하는 고차원 평행육면체의 부피 $V$는 $V = \sqrt{\det K}$로 정의됩니다.

   • 직관: 세 모달리티가 동일한 의미론적 내용을 참조할 때, 그 임베딩은 낮은 부피 구성을 형성합니다. 반면, 불일치하는 삼중항은 더 큰 부피를 초래합니다.

2. 학습 없는 안내 신호:
   MDG 는 잠재 확산 모델 (예: AudioLDM) 의 샘플링 (탈노이즈) 과정에서 플러그 - 앤 - 플레이 제어 신호로 작동합니다.

   • 각 탈노이즈 단계 $t$에서 모델은 깨끗한 오디오 잠재 $\tilde{z}_0$를 예측합니다.
   • 이 잠재에서 오디오 임베딩 $e_a$를 추출합니다.
   • 고정된 비디오 임베딩 $e_v$, 텍스트 임베딩 $e_p$, 그리고 현재 오디오 임베딩 $e_a$를 사용하여 부피 $V$를 계산합니다.
   • 이 부피를 최소화하도록 잠재가 업데이트됩니다: $z_t \leftarrow z_t - \eta \nabla_{z_t} V$.
   • 이 반복 과정은 오디오 생성이 시각 및 텍스트 입력과 공동으로 호환되는 표현을 향하도록 유도하여 삼중 모달 일관성을 강제합니다.

3. 효율성:
   이 접근 방식은 쌍을 이룬 학습 데이터, 결합 학습, 확산 백본의 수정이 필요하지 않습니다. 계산 오버헤드는 최소화되어 임베딩에 대해 단계당 $O(D)$, $3 \times 3$ 부피 계산에 대해 $O(1)$만 추가됩니다.

주요 기여

• 새로운 샘플링 전략: 대규모 쌍을 이룬 학습 데이터, 결합 학습, 백본 수정이 필요 없는 잠재 다중 모달 안내를 활용하는 학습 없는 샘플링 전략 도입.
• 부피 기반 삼중 모달 목적 함수: 쌍별 정렬을 넘어 비디오, 오디오, 텍스트 간의 부피 기반 정렬 목적 함수를 사용하여 사전 훈련된 확산 모델을 유도하는 V2A 생성을 위한 결합 안내 메커니즘 제안.
• 성능 향상: 부피 기반 안내 추론이 더 강력한 다중 모달 일관성을 촉진하고 의미론적 드리프트를 감소시킴으로써 이전 코사인 기반 정렬기 (ImageBind 등) 보다 우수함을 입증.

실험 결과
이 방법은 VGGSound(동일 도메인) 와 AudioCaps(이종 도메인) 데이터셋에서 평가되었으며, SpecVQGAN, Diff-Foley, 그리고 학습 없는 Seeing&Hearing 프레임워크를 포함한 베이스라인과 비교되었습니다.

• 지각 품질 및 정렬: VGGSound 에서 MDG 는 Fréchet 오디오 거리 (FAD) 를 6.04로 달성하여 Seeing&Hearing(7.80) 과 SpecVQGAN(7.74) 보다 크게 우위를 보였습니다. 또한 Fréchet 오디오 - 비디오 거리 (FAVD) 2.60과 지각적 오디오 - 비디오 동기화 평가자 (PEAVS) 점수 3.40을 기록하며 우수한 오디오 - 비디오 일관성을 보여주었습니다.
• 일반화: 소리 소스가 보이지 않을 수 있는 까다로운 AudioCaps 데이터셋에서 MDG 는 거의 모든 지표에서 Seeing&Hearing을 계속 능가하여 도메인 변화에 대한 견고성을 입증했습니다.
• 의미론적 일관성: 부피 지표와 교차 모달 코사인 유사도에 대한 분석은 MDG 가 쌍별 기반 방법보다 소스 비디오 및 캡션과 의미론적으로 더 잘 정렬된 오디오를 생성함을 확인시켰습니다. 정성적 분석 (스펙트로그램) 은 MDG 가 구조화되고 컨텍스트에 적합한 오디오를 생성하는 반면, 베이스라인은 종종 광대역 노이즈로 퇴화함을 보여주었습니다.

의의
이 논문은 MDG 가 결합 학습의 계산 및 데이터 제약을 극복하면서 쌍별 정렬의 기하학적 불일치를 해결하는 V2A 생성을 위한 경량이고 효과적인 솔루션을 제공한다고 주장합니다. 추론 과정에서 모달리티 간에 통일된 기하학적 구조를 강제함으로써, 이 방법은 근본적인 생성 아키텍처를 수정하거나 비싼 쌍을 이룬 데이터셋이 필요하지 않더라도 고품질이고 의미론적으로 일관된 오디오를 생성할 수 있음을 입증합니다. 이는 다중 모달 확산 모델을 위한 강력한 제어 신호로서 부피 기반 기하학적 제약의 유용성을 검증합니다.