技術サマリー：Vorch-Omni: 視覚と聴覚のマルチタスク・オーケストレーション

問題提起

生成ビデオモデリングの最近の進展により、テキスト条件付き生成から、リファレンスに基づく合成、時間的拡張、および指示ガイド付き編集へと能力が拡大している。しかし、これらの能力は依然としてタスク固有のモデルやパイプラインに断片化されたままである。統一されたモデルは、根本的な曖昧性に直面する。すなわち、ターゲットとなるビデオ、ソースクリップ、および複数のリファレンスが同時に入力に存在する際、モデルはどのコンテンツを生成し、保持し、あるいはガイダンスとして使用すべきかを推論しなければならない。この課題は、音声とビデオがターゲット、時間的に連続したコンテキスト、または独立したリファレンスのいずれとしても機能し得る、音声・視覚の共同生成へと拡張される際にさらに複雑化する。

既存の統一モデルは、多くの場合、アーキテクチャの融合のみに依存しており、これは様々な入力の役割（例：編集対象としてのソースと、模倣すべき対象としてのリファレンスの区別）を明示的に指定できていない。さらに、モダリティを個別に合成する逐次的なパイプラインは、エラーを蓄積させ、事後的な同期を必要とする。核心となる研究課題は、再現可能かつ拡張可能なタスクインターフェースが、単一のフレームワーク内で多様な視覚タスク、および音声とビデオの任意の組み合わせの条件と出力をサポートできるかどうかである。

手法

コア定式化：任意条件から任意出力へ (Arbitrary-Condition-to-Arbitrary-Output)

Vorch-Omniは、単一のフローマッチング拡散トランスフォーマーに基づいている。その中心的な抽象化は、あらゆるタスクが4つの集合によって定義されるという定式化である：ビデオ生成ターゲット ($X_v$)、ビデオ条件 ($C_v$)、音声生成ターゲット ($X_a$)、および音声条件 ($C_a$)。

• トークンレベルの条件付けマスク (Token-Level Conditioning Masks): クリーンな条件付けトークン（観測された信号）と、ノイズを含む生成ターゲットを明示的に区別する。
• タスク識別子 (Task Identifiers): パーリートークン埋め込み ($r_i$) は、ターゲット、ソース、主題リファレンス、フレームリファレンス、音声リファレンス、および編集条件といった役割を明示的に区別する。これにより、同じ潜在コンテンツが、アーキテクチャの変更なしに異なる目的（例：拡張のためのプレフィックスとしてのクリップ、または編集対象としてのソース）として機能することが可能になる。
• 位置タイプ (Position Types): 相補的な概念である時間的構成 ($p$) は、時間的に連続したコンテキスト（ターゲットのタイムラインに結合される拡張用）と、独立したリファレンス（個別の位置グリッドを持つもの）を分離する。これにより、リファレンスが隣接する時間セグメントとして誤解されることを防ぐ。

相補的なマルチモーダル・コンディショニング

高レベルのセマンティックな意図と微細な視覚構造の両方を扱うために、本フレームワークは2つの並行する視覚条件付けパスを採用している。

1. セマンティック・パス (Semantic Path): ビジョン言語モデル (VLM) が、サンプリングされた条件フレームとテキスト指示を共同で解釈し、高レベルのタスクセマンティクスを提供する。
2. 潜在パス (Latent Path): ビデオ変分オートエンコーダ (VAE) が、完全な視覚条件をクリーンな潜在トークンへとエンコードし、微細な外観、レイアウト、アイデンティティ、および動きの詳細を保持する。
   音声条件は音声潜在パスを利用し、バックボーン内で視覚トークンとネイティブに相互作用する。

アーキテクチャ

モデルは、LTX-2.3に基づく非対称なデュアルストリーム・バックボーンを使用しており、48個のトランスフォーマーブロックで構成されている。

• ビデオストリーム: 32個のアテンションヘッド、ヘッド次元は128。
• 音声ストリーム: 32個のアテンションヘッド、ヘッド次元は64。
• クロスモーダル相互作用: 各ブロック内のモダリティ固有のテキストアテンションの後、かつフィードフォワードネットワークの前で、ゲート付きクロスアテンション操作が行われる。これにより、別々の処理ストリームを維持しながら、双方向の情報交換（音声からビデオ、およびビデオから音声）が可能になる。一方のモダリティが欠如している場合、モデルは自然に利用可能なストリームへと縮小する。

データ・インフラストラクチャ

分散型かつバージョニングされたデータパイプラインが、多様で時間的に整合された音響・視覚クリップをキュレートする。主なステップは以下の通りである：

• ショット認識セグメンテーション (Shot-Aware Segmentation): TransNetV2およびPySceneDetectを使用して、長尺のビデオを一貫性のあるクリップに分割する。
• 品質フィルタリングと重複排除: SigLIP埋め込みを使用して、オーバーレイ、ウォーターマーク、および近似的な重複を除去する。
• 構造化アノテーション: 高密度なビデオキャプション（動的/静的スキーマ）および音声メタデータを生成する。
• タスク・パッキング (Task Packing): キュレートされたクリップを、適切な条件付けマスク、タスクID、および位置タイプを用いて、多様なタスク構成へとインスタンス化する。
• 重み付きサンプリング: 基本的な生成データが特化したタスクを圧倒しないよう、不均一なタスク分布のバランスをとる。

主な貢献

1. 統一フレームワーク: 10以上のタスク（テキスト・トゥ・ビデオ、リファレンス条件付き合成、時間的拡張、および編集を含む）を、タスク固有のアーキテクチャ変更なしにサポートする単一のフローマッチング拡散トランスフォーマー、Vorch-Omniの導入。
2. 明示的な役割表現: トークンレベルの条件付けマスク、タスク識別子、および位置タイプを用いた定式化により、何を生成し、何を保持し、何をリファレンスとし、条件が時間的にどのように関連するかを明示的に定義する。
3. 相補的なコンディショニング: 指示理解と微細な忠実度の両方をサポートするために、VLMベースのセマンティック推論とVAEベースの構造的ガイダンスを統合。
4. 再現可能なデータパイプライン: 整列された音響・視覚データをキュレートし、構造化されたアノテーションを生成し、統一モデルの学習のためにタスク混合のバランスをとるスケーラブルなパイプライン。

結果

モデルは、テキスト・トゥ・オーディオ・ビデオ生成およびリファレンス条件付き操作にわたる537組のペアサンプル・グループからなる人間評価ベンチマークにおいて、Wan 2.7と比較評価された。

• 全体的なパフォーマンス: 判断の81.4%が「同等（Same）」であり、全体的な純勝率は-1.9%であった。これは、一般的な視覚的品質において、統一モデルが特化したベースラインと同等の性能であることを示している。
• 特定の強み: モデルは、統一的なマルチモーダル生成に特有の次元において、プラスの純勝率を達成した：
  • 音響・視覚同期: 全体で+5.9%、特にリップシンク（音声駆動タスク）において+45.6%。
  • リファレンス整合性: 全体で+6.6%。
  • 音声プロンプト追従性: +7.1%。
  • 音声品質: +3.3%。
• タスクレベルの分析: モデルは、コアな視覚品質指標において同等の性能を維持しつつ、マルチモーダルおよびリファレンス駆動型のタスク（例：音声駆動生成、animate-and-replace、ビデオ変換）において優位性を示した。

意義と主張

本論文は、明示的な条件の役割が、ヘテロジニアスな音声・視覚タスクにわたって単一のモデルをスケールさせるための実用的な道筋を提供することを、Vorch-Omniが証明していると主張している。タスクの仕様をバックボーンの計算から切り離すことで、本フレームワークは、アーキテクチャの変更ではなく主に構成の変更を通じて、新しい入出力の組み合わせを表現することを可能にする。

著者らは、この統一化の主な利点は、無条件の視覚的好みの画一的な向上ではなく、むしろモダリティ間の調整の強化と、リファレンスからの情報の保持の向上にあると強調している。本フレームワークは、マルチ条件入力の曖昧さを正常に解消し、単一の学習目的の中で双方向の生成依存関係（例：音声が唇の動きを決定する、あるいは視覚的イベントが効果音を決定する）をサポートすることに成功している。

論文では、長期的な一貫性、微細な編集の局所性、および言語を横断した堅牢な音声生成といった残された課題を認め、これらを今後の研究の方向性として特定している。