JenBridge: Adaptive Long-Form Video Soundtracking across Scene Transitions

JenBridgeは、Transformerベースの生成モデルとLLM駆動のディレクターエージェントを活用することで、新たに提案されたLVSベンチマークによって検証された、シーンの変化にわたる自然で物語の一貫性を持つトランジションを備えた、高忠実度かつ長尺のビデオサウンドトラックを生成する、斬新でモジュール式のフレームワークである。

要約

あなたは映画監督だと想像してください。ただし、作曲家に映画のスコアを依頼する代わりに、非常に賢い自動化されたロボットのアシスタントを雇っているとします。あなたの映画は長編で、静かな森から高速カーチェイス、そして悲しい別れのシーンへと、さまざまな場面が次々と切り替わります。

現在のAI音楽ツールの問題点は、一度に一曲しか演奏できないミュージシャンのようなところです。もし彼らに映画全体のスコアを書くよう頼んだら、森のシーンでは明るい曲を流し、次のカーチェイスでは突如としてヘヴィメタルを流すといった、唐突な切り替えが起こり、不自然でバラバラな仕上がりになってしまうかもしれません。彼らは、シーン間の「つなぎ目（ブリッジ）」をどう作るべきかを知らないのです。

JenBridgeは、この問題を解決するために設計された新しいシステムです。これは、映画全体を扱い、場面が劇的に変化する場合でも音楽が自然に流れるようにする「音楽の架け橋（ブリッジ・ビルダー）」だと考えてください。

その仕組みは、以下の3つのシンプルなステップで構成されています。

1. エディター（編集者）：映画をシーンに切り分ける

まず、JenBridgeは映画エディターとして機能します。長いビデオを見て、論理的な小さな塊（シーン）へと自動的に切り分けます。単にランダムに切るのではなく、キャラクターが部屋を出て行ったり天候が変わったりするように、物語が変化するポイントを見つけ出します。

2. コンポーザー（作曲家）：各シーンのための音楽を書く

次に、それぞれのビデオクリップに対して、JenBridgeには「コンポーザー」AIが用意されています。このコンポーザーは非常に有能です。ビデオクリップを見て、「どのような音楽がふさわしいか？」を考えます。

• 特別な翻訳機（VMPTと呼ばれます）を使用して、ビデオの記述（例：「雨の中にいる悲しげなロボット」）を、音楽のレシピ（例：「スローで悲しいピアノ、短調」）へと変換します。
• そして、そのシーンに特化した高品質な楽曲を生成します。

3. ディレクター（監督）：シーン間の「接着剤」

ここが最も重要な部分です。以前なら、2つの異なる曲がある場合、それらをただテープで貼り合わせるようなものでしたが、それではひどい響きになってしまいます。JenBridgeには、シーン同士をどのように接続するかを決定する「ディレクター」（人間の映画監督のように振る舞うAIエージェント）が備わっています。

ディレクターは、シーンを繋ぐための4つの手法を含む「ツールキット」を持っています。

• ハードカット（急な切り替え）： 静かなビーチから突然の爆発へとシーンが変わる場合、ディレクターは音楽をピタッと止め、即座に新しい曲を開始させます。これは物語における鋭い「スナップ」のようなものです。
• サイレンス（静寂）： キャラクターが衝撃を受けたとき、ディレクターは緊張感を高めるために、音楽を完全に無音の状態へとカットすることがあります。
• フェード（徐々に変化）： 朝のコーヒータイムから朝の散歩へと移るような、2つのシーンが似ている場合、ディレクターは一方の曲をフェードアウトさせながら、もう一方の曲をフェードインさせ、緩やかに移行させます。
• ブリッジ（魔法の技）： 物語が「悲しみ」から「希望」へと移り変わる場合、ディレクターは単に曲を切り替えるだけではありません。特別なAIを使用して、悲しい曲から希望に満ちた曲へとスムーズに変容させる「全く新しい音楽的ブリッジ」を構成します。それは、両方の言語を話せる音楽の翻訳者のように、それらを完璧に繋ぐ文章を作り出すようなものです。

ディレクターは賢明であり、「このシーンにはハードカットが必要だが、次のシーンにはスムーズなブリッジが必要だ」といった判断を下すことができます。彼らは人間と同じように、知的にこれらの選択を行います。

どのようにテストされたか

開発者たちは、AIがこのような長編映画を適切に扱えるかどうかをまともにテストした例はこれまでなかったことに気づきました。そこで、彼らはLVSベンチマークと呼ばれる新しい「試験」を構築しました。

• 彼らは120本の映画予告編（シーンの切り替えが非常に速いもの）を用意しました。
• そして、JenBridgeと他のいくつかのAIシステムに、それらのスコアを作成させました。
• その結果を、人間のリスナーが評価しました。

結果： JenBridgeが圧倒的な勝利を収めました。人間のリスナーは、音楽がより自然に聞こえ、遷移（トランジション）がよりスムーズであり、映画全体がバラバラな曲をただ貼り付けたものではなく、一つのまとまった物語として感じられたと評価しました。

まとめ

JenBridgeは、単にビデオクリップのための音楽を作るシステムではありません。それは「物語」を理解するシステムです。ビデオを分解し、各パートに合わせたカスタム音楽を書き、そして「ディレクター」が、映画そのものと同じように音楽が自然に流れるよう、各パートを正確にどのように接続すべきかを決定します。これは、映画制作における真のクリエイティブなパートナーとしてのAIへの一歩となります。

技術概要

技術サマリー: JenBridge

問題提起

現在のAI音楽生成システム、特にテキスト・トゥ・ミュージック（T2M）合成を進展させているものについては、短く孤立したクリップに対しては高忠実度のオーディオを作成することに長けている。しかし、動的なシーン遷移を伴う長尺のビデオコンテンツに適用する場合、決定的な限界に直面する。既存のビデオ・トゥ・ミュージック（V2M）のアプローチは、通常、ビデオを単一のセグメントとして扱い、シーン間の意味的な変化を処理するメカニズムを欠いた単一の楽曲を生成する。これにより、物語の連続性が失われ、中間ステップや遷移の自然さに対するクリエイティブな制御が不可能となり、プロフェッショナルな長尺ビデオのサウンドトラック作成には実用的ではない。

手法

著者らは、適応型の長尺ビデオ・サウンドトラッキングのために設計された、モジュール式で解釈可能なフレームワークであるJenBridgeを提案する。本システムは、3段階のパイプラインを通じて動作する。

1. セマンティック・ビデオ・セグメンテーション

入力ビデオは、PySceneDetectを使用して、意味的に一貫したクリップ（$V_1, V_2, \dots, V_K$）の時系列順序を持つシーケンスに分割される。この前処理により、フレームワークは任意の長さのビデオを管理可能なセグメントとして扱うことで、扱うことができる。

2. プログレッシブ・ビデオ・アウェア・ミュージック生成

コアとなる生成モデルは、高忠実度の合成と精密なクロスモーダル・アライメントを実現するために、2段階の学習パラダイムに従う。

• ステージ1（Text-to-Music 基盤）: 大規模なテキスト–オーディオ・コーパスを用いて、基盤となるモデルを事前学習する。これは、生の波形を潜在空間にエンコードするために、学習済みのニューラル・オーディオ・コーデック（Encodec）を利用する。生成バックボーンは、フロー・マッチング目的関数を用いて学習されたマルチモーダル・ディフュージョン・トランスフォーマー（MMDiT）である。コンディショニング機構は、記述的および属性的なプロンプト（ジャンル、楽器、ムード）から、シーケンス・エンベディング（$y$）とグローバル・プーリング・エンベディング（$c$）を生成するマルチエンコーダ・テキスト・アーキテクチャ（T5-largeおよびT5-base）を採用している。
• ステージ2（Video-Aware 適応）: モデルは、デュアル・コンディショニングを通じてビデオ領域に適応される。
  • 視覚的コンディショニング: 専用の視覚エンコーダ（SigLIP）がフレームレベルの特徴を抽出し、それらは平均プーリングされてグローバルな視覚特徴ベクトルを形成する。これはテキスト・エンベディングと結合され、融合されたグローバル・コンディション（$c_{fused}$）を形成する。
  • Visual-to-Music Prompt Translator (VMPT): ビデオデータセットにおける構造化された音楽プロンプトの不足に対処するため、ファインチューニングされたLLM（Qwen3-8B）が、生のビデオキャプションをメタデータ（ジャンル、楽器、ムード、BPM）を含む構造化された音楽プロンプトへと翻訳する。
  • モデルは、これらの融合されたコンディションに基づき、グラウンドトゥルースのベクトル場を予測するように学習される。

3. 適応型遷移メカニズム

生成されたオーディオクリップ（$A_1, \dots, A_K$）をシームレスに接続するために、JenBridgeは以下の要素からなる適応型遷移システムを採用している。

• トランジション・ツールキット: Abrupt Cut（急なカット）、Silent Gap（無音の間）、Fade In/Out（フェードイン/アウト）、および Generative Transition（生成的遷移）の4つの多様なスタイルを備えている。生成的遷移は、2つの異なるオーディオセグメント間の音楽的なブリッジを合成するために学習された、ControlNetベースのインペインティング・モデルを利用する。このモデルは、テキスト・エンベディングとブロック単位の潜在表現の球面線形補間（slerp）によって作成されたコンディションによってガイドされる。
• ディレクターとしてのLLMエージェント: LLMエージェント（Qwen3-8B）がクリエイティブ・ディレクターとして機能する。隣接するクリップの視覚的および音楽的な文脈が与えられると、エージェントはフューショット・インコンテキスト学習を用いて、各物語の変化に対してツールキットから最も適切な遷移スタイルをインテリジェントに選択する。

主な貢献

1. JenBridge フレームワーク: 多様なシーン遷移にわたって一貫した高忠実度の音楽を生成する、エンドツーエンドでモジュール式の長尺ビデオ・サウンドトラッキング用フレームワーク。そのアーキテクチャは、解釈可能かつ制御可能であるように設計されている。
2. 適応型遷移メカニズム: 多様な遷移スタイル（生成的インペインティング手法を含む）と、コンテキストに応じたクリエイティブな選択を行い遷移をディレクトするLLMエージェントを組み合わせた新しいシステム。
3. LVS ベンチマーク: このタスクに特化して設計された最初のベンチマークであるLong-form Video Soundtrack (LVS) ベンチマークの導入。これには、豊かなマルチモーダル注釈を持つ120本の長尺トレーラービデオの精選されたデータセットが含まれ、セグメントベースの単純な指標を超えて、遷移の品質と物語の一貫性を評価するための包括的な評価プロトコルを提案している。

実験結果

著者らは、LVSベンチマークにおいて、6つのベースライン手法（CMT、LORIS、AudioX、VidMuseの各種構成を含む）に対してJenBridgeを評価した。

• 客観的指標: JenBridgeは、ビデオ・ミュージック・アライメント（ImageBindスコア：次点の0.162に対し0.224）およびオーディオの審美性において、ベースラインを大幅に上回る最先端の性能を達成した。特筆すべきは、**制作の複雑性（Production Complexity: PC）**において最高スコアを獲得したことであり、これはベースラインの単純な結合やモノリシックな生成と比較して、より豊かな音楽構造を持っていることを示している。
• 主観的指標: 10人の参加者によるユーザー調査において、JenBridgeはすべての次元で最高の評価を得た。最も顕著な改善は、遷移の自然さ（Transition Naturalness）（ベストなベースラインの2.5に対し4.2）であり、適応型遷移メカニズムの有効性を裏付けている。
• アブレーション研究: 適応型遷移メカニズムを取り除くと、遷移スコアが劇的に低下（4.2から2.8へ）し、その決定的な役割が確認された。視覚的コンディショニングまたはVMPTを無効にすることも、全指標において大幅な性能低下を招いた。

意義と主張

本論文は、JenBridgeが完全に自動化されたプロフェッショナル品質のビデオ・サウンドトラッキングへの重要な一歩であることを主張している。シーン遷移における物語の連続性を維持するという重要なギャップに対処することで、本フレームワークは、自動生成と長尺コンテンツに必要なクリエイティブなワークフローとの間の隔たりを埋めるものである。著者らは、JenBridgeを人間のクリエイターに取って代わるものではなく、彼らを強化するためのコラボレーション・ツールとして位置づけている。

また、本研究は、既存の短尺クリップ・データセットの限界を超え、長尺生成のための厳格な評価基準を確立する上でのLVSベンチマークの重要性を強調している。公開されているビデオ・ミュージック・データセットの忠実度や、現在のLLMエージェントにおけるグローバルな物語計画の欠如といった限界を認めつつも、著者らは、本フレームワークがビデオ制作のための将来的なコラボレーティブAIツールの発展に向けた強固な基礎を提供するものであると断言している。