Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections

技術要約：パブリックドメインの映画コレクションを用いた対話認識型ビデオ・トゥ・ミュージック生成

問題提起
ビデオ・トゥ・ミュージック（映像から音楽への生成）の分野では、再現可能なベンチマークとして機能する、共通かつ耐久性のある学習データセットが欠如している。現在の進展は、「再現性のギャップ」によって阻害されている。ほとんどのモデルは、URL（YouTubeやTikTokなど）を介して参照されるウェブ・スクレイピングされたコーパスで学習されており、これらのデータセットは「リンク切れ（link rot）」の問題を抱えている。つまり、時間の経過とともに動画が削除されたり、非公開になったりする。また、レート制限の影響を受けるため、データの再取得に多大な時間を要する。さらに、既存のセルフホスト型データセットは規模が小さすぎる（例：約36時間）ことが多く、競争力のあるモデルを訓練するには不十分である。加えて、既存のアプローチは、プロフェッショナルな制作における画面上の音声と劇伴音楽の密接な時間的結合にもかかわらず、**対話（ダイアログ）**を条件付け信号として見落としていることが多い。

手法
著者らは、新しいデータセットの構築と、対話認識型生成のための新しいアーキテクチャ変更という、二段構えのアプローチを提案している。

1. データセット構築 (OSSL-v2):
   著者らは、1,886本のパブリックドメイン映画から派生した自己ホスト型コーパスである**Open Screen Soundtrack Library version 2 (OSSL-v2)**を導入する。このデータセットは、合計246.4時間に及ぶ34,343個のビデオクリップで構成されている。

   • 音源分離: オープンソースのシネマティック音源分離モデルを適用し、元のオーディオから音楽トラックを抽出する。
   • イベント検出: 高品質を確保するため、自動イベント検出モデルを用いて、音楽的イベントと非音楽的イベントの確率を推定する。音楽の確率が非音楽の確率を少なくとも10秒間連続して上回るセグメントを選択し、さらに非音楽の確率が高すぎる（閾値 > 0.05）セグメントを除外するフィルターを適用する。
   • 結果: 再現可能で、著作権に配慮した、リンク切れのない、学習と公平な比較に適したデータセット。

2. 対話認識型生成アーキテクチャ:
   著者らは、既存のオープンソースのビデオ・トゥ・ミュージック・バックボーン（具体的にはVidMuse、GVMGen、Diff-V2M）に挿入可能な、軽量な対話条件付きモジュールを提案している。

   • 信号処理: 音源分離を用いて対話トラックを分離し、1次元畳み込み層を通じて、フレームごとの音響表現（例：ラウドネス、エネルギー）を生成する。
   • 変調: 2層のMLPが、これらの表現をFeature-wise Linear Modulation (FiM) パラメータ ($\gamma_i, \beta_i$) にマッピングする。これらのパラメータは、ビデオの条件付けベクトルをフレームごとに変調する：$\tilde{v}_i = (1 + \gamma_i) \odot v_i + \beta_i$。
   • 時間的整合性: 映像内のイベントに対する対話のタイミングをモデルが尊重することを確実にするため、著者らはバックボーンのクロスアテンション機構を修正する。フレームをグローバルベクトルに圧縮するGVMGenのようなモデルに対しては、学習可能なフレームごとの位置エンコーディングをQ-Formerの出力に追加し、クロスアテンションのキーと値に固定の正弦波位置エンコーディングを有効にすることで、時間軸を復元する。これにより、対話がフレーム単位で条件付け信号を変調することが可能になる。

主な貢献

• OSSL-v2 データセット: パブリックドメイン映画をソースとした、大規模（246.4時間）なセルフホスト型ビデオ・ミュージック・コーパス。これは、従来のウェブスクレイピングされたデータセットの非永続性とスケーラビリティの問題に対処し、再現可能な研究を可能にする。
• 対話条件付け: 対話が、映画音楽生成のための効果的な条件付け信号として機能することの実証。提案されたアダプターは、モデル全体の刷新を必要とせずに、対話の音響的特徴をビデオの条件付け経路に統合する。
• アーキテクチャの適応: 自回帰型および拡散ベースのモデルにおいて、時間的な同一性を保持するためのクロスアテンション機構の具体的な修正を行い、対話によるフレームに整合した変調を可能にする。

実験結果
モデルはOSSL-v2（9:1分割）および分布外の商用映画セット（OES-Com）で学習および評価された。評価指標には、分布の忠実度（FAD、Precision、Recall）およびペアの忠実度（CLAP類似度、KLダイバージェンス）が含まれる。

• ベースラインの性能: ベースラインの中で、GVMGenがパブリックドメインのテストセットにおいて最も強力な総合性能を示した。Diff-V2Mは、分布外のデータに対して高いペア忠実度を示したが、グラウンドトゥルースの分布に従うサンプルを生成できなかった（Precision = 0.00）。
• 対話アダプターの影響:
  • ペアの忠実度: 対話アダプターは、特にKLダイバージェンスの減少とCLAP類似度の向上において、ペアの忠実度（グラウンドトゥルースへの意味的な忠実さ）を一貫して向上させた。
  • 汎化性能: 改善は、OSSL-v2（分布内）よりもOES-Com（分布外）においてより顕著であることが多く、対話信号が汎化を助ける正則化因子として機能していることを示唆している。
  • 分布の忠実度: アダプターは、生成される分布を系統的に作り変えることはなかった（FADおよびPrecisionは一貫性のない変動を示した）。
  • 堅牢性: これらの利得は、分離された対話ステムに音楽の漏れがほとんど含まれていない**低残留音楽（LRM）**サブセットにおいても維持された。これは、改善が不完全な音源分離のアーティファクトではなく、対話信号自体によって駆動されていることを裏付けている。

意義と主張
本論文は、OSSL-v2が耐久性のあるセルフホスト型ベンチマークを提供することで、ビデオ・トゥ・ミュージック生成における再現可能な研究と公平な比較への障壁を下げると主張している。手法に関して、著者らは、彼らの対話認識型定式化が、特に時間的忠実度（グラウンドトゥルースへの類似性）と商業映画への汎化において、最先端のベースラインを改善することを控えめに主張している。彼らは、対話を時間的に整合した条件付け信号として組み込むことで、グローバルなビデオレベルの情報だけでは音声と音楽の局所的な時間的相互作用を捉えるには不十分であるという、現在の映画領域の生成におけるギャップに対処できると考えている。本研究は、分野におけるすべての課題を解決すると主張するものではなく、対話条件付けが将来の開発に向けた有望な方向性であることを特定している。