Step-by-Step Video-to-Audio Synthesis via Negative Audio Guidance

技術要約：負のオーディオガイダンスによるステップ・バイ・ステップのビデオ・トゥ・オーディオ合成

問題提起
現在のビデオ・トゥ・オーディオ（V2A）生成モデルは、通常、一度のパスで単一の完全なオーディオトラックを生成します。これらのモデルは入力ビデオに対して高い意味的および時間的な整合性を達成していますが、段階的な洗練のためのメカニズムを欠いています。伝統的なフォーリー（効果音制作）のワークフローでは、アーティストは補完的な音（例：足音、布の擦れる音）をレイヤー状に重ねて、複合的なオーディオトラックを構築します。既存のV2Aモデルはこのインタラクティブなプロセスを再現できません。もし生成されたトラックに特定のイベントが欠けていた場合、トラック全体を再生成する必要があります。さらに、標準的な条件付き学習を通じてステップ・バイ・ステップの生成を実現するには、コストのかかるマルチリファレンス・ビデオ・オーディオ・データセット（単一のビデオに対して、互いに重複しない複数の異なるオーディオトラックがペアになったもの）が必要となりますが、これらを大規模に取得することは困難です。

手法
著者らは、**負のオーディオガイダンス（Negative Audio Guidance: NAG）**によって駆動される、**ステップ・バイ・ステップのビデオ・トゥ・オーディオ（V2A）**合成フレームワークを提案しています。このアプローチにより、以前に生成されたトラックに存在する音を複製することなく、欠落している音響イベントを埋めるための補完的なオーディオトラックを反復的に生成することが可能になります。

1. 概念否定の定式化:
   核心となる課題は、ビデオ $V$、テキストプロンプト $C_2$、および以前に生成されたオーディオトラック $x^{(1)}$ に条件付けられたターゲットオーディオ $x^{(2)}$ を生成することであり、かつ $x^{(2)}$ が $V$ および $C_2$ と整合しつつ、$x^{(1)}$ に存在する概念を除外するようにすることです。著者らは、これを概念否定問題として定式化し、$x^{(1)}$ を負の条件（$\neg x^{(1)}$）として扱うことで、ターゲット分布 $p(x^{(2)} | V, C_2, x^{(1)})$ を近似します。

2. 誘導フローの導出:
   フローマッチングモデルとClassifier-Free Guidanceに基づき、著者らは新しいガイダンスの定式化を導出しました。彼らはターゲットとなる確率分布を分解し、条件付けられたオーディオ $x^{(1)}$ から生成を遠ざける項を含めます。結果として得られる誘導フロー $\tilde{u}_{\theta, \psi}(x_t)$ は、以下で構成されます：

• 無条件のフロー項。
• ビデオ $V$ およびテキスト $C_2$ への忠実度を強化する標準的なガイダンス項。
• 負のオーディオガイダンス（NAG）項: $\beta (u_\theta(x_t, t, V, C_2) - u_{\theta, \psi}(x_t, t, V, \emptyset, x^{(1)}))$。この項は、サンプリングの軌跡を $x^{(1)}$ の音響的内容から遠ざけます。

3. 学習戦略（特殊なデータの不在）:
   マルチリファレンス・データセットを必要としないよう、著者らは非重複のオーディオセグメントを用いて、オーディオ条件付きブランチ（パラメータ $\psi$ で記述）を学習させています。

• アーキテクチャ: 著者らは、MMAudio（事前学習済みのフローマッチングV2Aモデル）に適応させたControlNetスタイルのアーキテクチャを利用しています。オーディオの条件付けは、リファレンスオーディオ $x^{(1)}$ から特徴を抽出し、メインブランチに加算するシングルモーダル・トランスフォーマー・ブロックを介して注入されます。
• データの構築: 標準的なシングルリファレンス・データセット（例：VGGSound）から、2つの非重複な4秒間のセグメントをサンプリングします。一方はターゲット（$x_{tgt}$）、もう一方は条件（$x_{cond}$）として使用します。これにより、モデルに波形をコピーさせるのではなく、共有された音響コンテキスト（環境、音色、録音条件）を学習させ、推論時に「斥力的事前分布（repulsive prior）」として機能するように強制します。

4. 推論プロセス:
   生成は反復的に進行します。第 $k$ ステップでは、これまでに生成されたすべてのトラックの合成音（$\sum_{l=1}^{k-1} x^{(l)}$）が、負の条件信号 $x^{(1)}$ として使用され、次の補完的なトラック $x^{(k)}$ を生成します。

主な貢献

• ステップ・バイ・ステップ合成の定式化: 本論文は、V2A生成を、単一のビデオに対して複数の補完的なトラックを作成する反復プロセスとして定式化し、フォーリーのようなインタラクティブなオーサリングを可能にしました。
• 負のオーディオガイダンス（NAG）: サンプリング中にオーディオ条件付きブランチを負の形で用いることで、逐次的なトラック間で音が重複することを防ぐ、新しいガイダンスメカニズムを導入しました。重要なことに、これは標準的なシングルリファレンス・オーディオビデオ・データセットを用いた非重複セグメント・サンプリングを通じて学習可能です。
• 分離性と品質の向上: 本手法は、独立した生成やテキストベースのネガティブ・プロンプティングに依存するベースラインよりも、内容が重複しない、明確に区別された高品質なオーディオトラックを生成できることを示しています。

結果
著者らは、ビデオに異なる音響イベントを記述する複数の異なるキャプションがペアとなった、新たに構築されたデータセット Multi-Caps VGGSound を用いて評価を行いました。

• 客観的指標:
  • 複合オーディオ: 提案手法は、Seeing-and-Hearing、FoleyCrafter、および標準的なMMAudioといったベースラインと比較して、Fréchet Distance (FD)、KLダイバージェンス、および時間的整合性（DeSync）において最高のスコアを達成しました。また、「独立した生成」（コンテキストなしでの生成）や「ネガティブ・プロンプティングを用いたステップ・バイ・ステップ」（前の音を除外するためにテキストを使用）を上回りました。
  • 個別トラック: 本手法は、バニラなMMAudioと比較して、オーディオの分離性（CLAPオーディオ間類似度で測定）を大幅に向上させました。ネガティブ・プロンプティングも分離性を向上させましたが、オーディオの品質やテキストとの整合性を低下させました。一方、NAGは高いオーディオ品質とビデオ・テキストの整合性を維持しながら、優れた分離性を実現しました。
• 主観的評価:
  • ユーザー調査の結果、最終的な複合オーディオにおけるオーディオ品質、意味的整合性、および時間的整合性において、提案手法が好まれることが示されました。
  • 個別のトラックについては、提案手法は分離性において有意に高い評価を受け、オーディオ品質とテキスト忠実度においても、わずかに高い評価を得ました。
• スケーラビリティ: 生成ステップ数（2から5つのキャプション）を変化させた分析では、必要なオーディオイベントが増えるにつれて、NAGの利点（特に分離性において）がより顕著になることが示されました。これは全体の忠実度を損なうことなく達成されました。

意義と主張
本論文は、自動化されたフォーリーにおける決定的なボトルネック、すなわち「シーケンス全体を再生成することなく、オーディオトラックをインタラクティブに洗練できない」という問題を解決すると主張しています。NAGを導入することで、著者らは、伝統的なフォーリー・アーティストと同様に、ユーザーが複数の音響イベントをステップ・バイ・ステップで作成できるワークフローを可能にしました。しかも、それは特殊なマルチリファレンス学習データを必要としません。本手法は、既存の事前学習済みモデルと標準的なデータセットを活用できるため実用的であり、生成された音がビデオと意味的に整合しているだけでなく、複合ミックスの中で互いに明確に区別されることを保証します。著者らは、本アプローチが、高度に専門化された、入手困難なマルチトラックのオーディオ・ビデオ・ペアを必要とせずに、実用的なサウンドデザインを実現できることを強調しています。