技術概要：Baton – 統合型動画・音声生成のための明示的意味設計図

1. 問題定義

現在のオープンソース統合型動画・音声生成モデルは、単純なプロンプトに対して同期したコンテンツを生成する能力を有しているものの、複雑な意味論的推論を必要とするシナリオでは著しく困難に直面している。これらのシナリオには、多段階の動作、複雑な人間と物体の相互作用、および複数話者の対話が含まれる。

この失敗の根本原因は、支配的な手法にある。既存のモデルは、動画および音声拡散ブランチのノイズ除去軌跡を誘導するために、市販のエンコーダ（T5、Qwen など）から導出された粗いグローバルテキスト埋め込みに依存している。このアプローチには、2 つの決定的な限界が存在する。

1. 微細な意味の喪失: グローバル埋め込みは、複雑な指示をモダリティ固有の、時間的に根拠のある詳細に分解できない。
2. 共有された長期計画の欠如: 調整された計画がないため、動画と音声のノイズ除去軌跡が乖離し、対立的なダイナミクスを引き起こす。その結果、深刻なクロスモーダルな不一致、身体の変形、および長時間にわたる主題の一貫性の維持や特定の動作の同期（例：パンチが着地する瞬間と効果音の一致）の不可能性が生じる。

最近のいくつかの作業は、大規模言語モデル（LLM）を用いてプロンプトを豊かにしようとするが、生成された表現を依然としてグローバル埋め込みとして注入しており、意味的意図と時空間生成プロセスとの間の構造的な不一致に対処できていない。

2. 手法：Baton

Baton は、意味論的推論と合成を明示的に分離するフレームワークを提案する。グローバル埋め込みのみに依存するのではなく、Baton は拡散プロセス開始前に、明示的でモダリティを認識する設計図を生成する「計画」フェーズを導入する。アーキテクチャは、主に 3 つのコンポーネントで構成される。

2.1 VA-Planner（動画・音声プランナー）

中核的な革新は、二重意味アライメントタワーを備えた学習可能なマルチモーダル言語モデル（MLLM）であるVA-Plannerである。

• 入力: プランナーは、システム指示、動画記述、音声記述を含む構造化されたプロンプトを受け取る。
• 推論: 自己回帰的推論を行い、動画用（$H_v$）と音声用（$H_a$）の計画トークンのペアを予測する。これらのトークンは、キーフレームレベルの設計図として機能する。
• 二重アライメントタワー: クロスモーダルな一貫性を確保するため、プランナーは学習可能なクエリを備えた 2 つのタワーを使用する。
  • 動画タワーは、MLLM の隠れ状態から動画固有の意味を抽出し、その後、補完的な聴覚の手がかりを取り込むためにクロスモーダル注意を実行する。
  • 音声タワーは、対称的な操作を行う。
  • この双方向注意により、動画計画が音声コンテキストを認識し、その逆もまた然りとなり、相互に一貫した時間的設計図が生成される。
• 特徴投影: 計画されたトークンは、事前学習された知覚エンコーダ（動画用 SigLip2、音声用 WavTokenizer）の連続特徴ドメインに投影され、高忠実度の意味ガイドとして機能する。

2.2 相対的意味 RoPE（RS-RoPE）

計画されたトークン（疎なキーフレーム解像度で生成）と拡散潜在変数（密な時空間グリッドで生成）が 1 対 1 の対応を共有しないという重大な課題が生じる。標準的な位置符号化はここで機能せず、拡散モデルが構造化された計画を曖昧なグローバル信号として扱う原因となる。

Baton は、相対的意味 RoPEを導入する。これは、以下の機能を持つ相対的位置符号化メカニズムである。

• 計画されたトークンと拡散潜在変数を共有された時空間座標系にマッピングする。
• 物理的な時間と空間的位置に基づいて位置インデックスを再スケーリングする。
• 各拡散潜在変数が、位置に対応する意味的手がかりを正確に注意できるようになり、設計図のキーフレームレベルの構造を平坦化せずに保持する。

2.3 学習戦略

Baton は、堅牢性を確保するために 3 段階の学習カリキュラムを採用する。

1. VA-Planner 事前学習: MLLM とアライメントタワーは、テキストプロンプトに基づいて連続的な知覚特徴（凍結された SigLip2 と WavTokenizer から）を予測するように学習される。これにより、プランナーは正確な意味設計図を生成することを学ぶ。
2. DiT 適応: 拡散トランスフォーマー（DiT）は、プランナーの予測ノイズに混乱させられることなく意味特徴分布を学習するために、真値の知覚特徴（プランナーをバイパス）を使用して学習される。
3. 統合微調整: VA-Planner は凍結され、DiT はプランナーの予測トークンを使用して微調整される。この段階は、理想的な真値特徴と現実的なプランナー予測の間のギャップを埋め、露出バイアスを軽減する。

3. 主な貢献

1. VA-Planner: 統合型動画・音声生成に明示的な意味計画を導入した最初のフレームワーク。意味論的に整合した動画および音声の計画トークンを生成し、これらをキーフレームレベルの設計図として機能させ、両方のノイズ除去軌跡を共有されたロードマップに固定する。
2. 相対的意味 RoPE: 疎な意味計画と密な拡散潜在変数との間の時空間ミスマッチを解決する新しい位置符号化であり、精密なクロスモーダル注意を可能にする。
3. 推論と合成の分離: 意味計画フェーズを生成フェーズから分離することで、グローバル埋め込みのみに依存するモデルで見られる対立的な乖離を防ぐ。

4. 実験結果

著者らは、Baton をVerse-Bench（標準的なオープンソースベンチマーク）とSem100（複雑で多段階のプロンプトを必要とする、深層意味論的推論を要する 100 件の未見動画からなるカスタムデータセット）で評価した。

• 定量的パフォーマンス:

  • Verse-Benchにおいて、Baton は最先端（SOTA）モデルである LTX-2 と同等の結果を達成する。
  • Sem100において、Baton はすべてのオープンソース競合他社を大幅に上回る。LTX-2 と比較して、プロンプト追従精度（P-Acc）が32% 向上し、複数話者の単語誤り率（M-WER）が76% 削減され、非同期（DeSync）が30% 削減された。
  • M-WER と P-Acc の改善は、モデルが複数話者の対話や複雑な逐次動作を処理する能力が優れていることを浮き彫りにしている。

• 定性的パフォーマンス:

  • 視覚的比較により、Baton は正しい主題の一貫性と同期した動作を持つ安定した動画・音声コンテンツを生成することが示された。一方、競合他社（Ovi、UniAVGen、LTX-2、MOVA）は、複雑なシナリオにおいて身体の変形、物体の消失、および動画・音声の非同期に悩まされている。
  • ユーザー調査において、Baton は動画・音声の整合性、アイデンティティの一貫性、および同期性において競合他社よりも好まれた。

• 商用モデルとの比較:

  • 商用モデル（Veo 3、Seedance 2.0 など）は、より高い視覚的忠実度や音響的美観を示す可能性があるが、Baton は同等のプロンプト追従能力を達成する。特に、複雑な意味論的推論を必要とするシナリオにおいて、商用モデルが多段階の指示を正確に追従できない場合でも、Baton はそれを可能にする。

5. 意義と主張

本論文は、Baton が統合型動画・音声生成において、意味計画と合成を明示的に分離した最初のフレームワークであると主張する。その意義は、現在の拡散モデルの根本的な限界、すなわち共有された事前整合された意味ロードマップなしに長期的なクロスモーダルな整合性を維持できないという問題に対処することにある。

明示的な意味設計図と、それらを拡散潜在変数に整合させるメカニズム（RS-RoPE）を導入することで、Baton は生成を「曖昧なグローバル信号の下で盲目的にノイズを除去する」ことから、「意味論的に根ざし、かつクロスモーダルに調整された計画に従う」ことへと変革する。これにより、モデルは複雑な因果関係、多段階の動作、および複数話者の相互作用を含むプロンプトであっても、安定した同期された動画・音声コンテンツを合成できるようになり、オープンソース統合型動画・音声生成の新たな基準を設定する。