技術概要：Omni-Customizer

問題定義

Ovi や LTX-2 などの基盤モデルにより、音声・動画の同時生成の領域は変革されました。しかし、複数の対話する主体にわたって視覚的アイデンティティと音声の音色を同時に維持する「統合的なマルチモーダルカスタマイズ」の実現は、依然として重大かつ未解明な課題です。既存のアプローチは、主に以下の 3 つの限界に直面しています：

1. アーキテクチャの非互換性: 単一モダリティの動画カスタマイズやクロスモーダル駆動パイプラインは、同時生成において機能させるために（例えば、独立した音声タワーなど）非自明なアーキテクチャ変更を必要とし、しばしば元の設計範囲を超えてしまいます。
2. 弱いアイデンティティバインディング: DreamID-Omni などの統合モデルは、Syn-RoPE などのメカニズムを利用しますが、これらは堅牢なクロスモーダルアイデンティティバインディングを達成できず、アイデンティティの手がかりが位置の減衰に対して脆弱となり、多人数シナリオで混乱を招きます。
3. 本質的なボトルネックと異常: オープンソースのバックボーンに基づいた現在のフレームワークは、音声 VAE における音声再構成能力の限界と、多言語音素粒度の偏りという問題に苦しんでいます。特に重要なのは、「キャプション音声化」という異常に陥りやすい点です。これは、音声タワーが誤って非音声の記述的キャプションを音声として合成してしまう現象です。

手法

Omni-Customizer は、事前学習済みの Ovi バックボーンから初期化された、対称的なデュアルストリーム拡散トランスフォーマ（DiT）アーキテクチャに基づいたエンドツーエンドのフレームワークです。これは、以下の 4 つの中核的イノベーションを通じて前述の課題に対処します：

1. 構造化されたオムニキャプション

本フレームワークは、マルチモーダル大規模言語モデル（MLLM）を用いて、データを標準化された形式で再キャプション化します。このプロンプト構造は、アンカートークン（例：<sub1>）を使用して、視覚的アイデンティティ（FaceID）と音声的アイデンティティ（SpeakerID）を明示的にリンクさせます。プロンプトには以下が含まれます：

• 主体記述子: 各主体の視覚的および音響的記述。
• グローバルコンテキスト: 環境および動作の記述。
• 音声コンテンツ: 厳密に <S> と <E> タグで囲まれた対話。これにより、物語テキストと音声発話の間の明確な区切りが確保されます。

2. 中核アーキテクチャモジュール

• Omni-Context Fusion (OCF): 複雑なアライメントを拡散バックボーンに依存させるのではなく、OCF はテキストエンコーダを能動的なクロスモーダルアライメントエンジンへと昇格させます。テキスト埋め込み、視覚参照トークン、音声参照トークン、TTS 音素埋め込みを連結して統一されたシーケンスを形成します。残差接続を伴う反復的なトランスフォーマ処理を通じて、テキスト表現を高密度なマルチモーダル手がかりで豊かにし、精密なアイデンティティバインディングを促進します。
• Semantic-Anchored Multimodal RoPE (SA-MRoPE): 1 次元のテキスト、2 次元の画像、時間的な音声トークン間の構造的ミスマッチを解決するため、SA-MRoPE は参照トークンを、統一された 3 次元位置空間内の対応する意味的主体記述にアンカーリングします。これにより、視覚および音声の参照が特定のテキストアンカー（例：<sub1>）に厳密にバインドされ、多人数シーンでのアイデンティティの混同を防ぎます。
• Masked TTS Cross-Attention (MTP-CA): 「キャプション音声化」の異常を排除するため、MTP-CA はハードゲーティングメカニズムを採用します。音素事前分布を <S>...<E> スパン内に位置するテキストトークンのみに厳密に注入し、非音声の物語領域が音素レベルの励起を一切受けられないようにします。これにより、発音の強化は意図された対話スパンのみに限定されます。

3. 学習戦略

著者らは、偏った言語分布（例：主に中国語データ）への対応と、基盤となる事前知識の劣化を防ぐための包括的な学習戦略を考案しました：

• インターリーブされたモダリティ非結合学習: 学習は、音声・動画同時生成（JAVG）ステップとTTS のみのステップを交互に行います。TTS のみのステップは音声バッチサイズを拡大し、クロスモーダル経路を固定します。これは正則化器として機能し、リップシンクやクロスモーダルアライメントの事前知識を損なうことなく、音声ブランチが多言語能力を急速に獲得することを可能にします。
• 段階的なペア内からペア間へのカリキュラム: 学習は、基本的なカスタマイズ能力を確立するために、単一主体のアライメント（ペア内データ）から開始されます。その後、参照をターゲット生成から分離して高レベルで堅牢なアイデンティティ特徴の学習を強制する、多主体の分離（ペア間データ）へと段階的にエスカレートします。

主な貢献

1. Omni-Customizer フレームワーク: 精密なマルチモーダルアイデンティティバインディングを達成する、人間中心の音声・動画同時カスタマイズのためのエンドツーエンドシステム。
2. 新規モジュール: 高密度な手がかりの充実のための OCF、構造化された意味的アンカーリングのための SA-MRoPE、音声漏洩の防止のための MTP-CA の導入。
3. 高度な学習戦略: 迅速な多言語適応とアライメントを犠牲にすることなく堅牢なアイデンティティ分離を可能にする、インターリーブ学習アプローチと段階的カリキュラム。
4. OC-Bench: 単一主体、二人対話、複雑な多人数シナリオにわたる 300 のテストケースから構成される包括的なベンチマーク。これには、多様な多人数マルチモーダルデータセットが付随します。

結果

OC-Bench における広範な実験により、Omni-Customizer が複数の指標で**最先端（SOTA）**のパフォーマンスを達成することが示されました：

• アイデンティティ維持: 顔の類似性（0.812）と音色の類似性（0.514）においてベースラインを上回り、多人数対話におけるアイデンティティの混乱を大幅に軽減します。
• 同期: 優れた音声・動画同期（Sync-C/D）と最低の単語誤り率（WER）を達成し、高い音声忠実度を示しています。
• 品質: 動画において高い審美的・映像品質を維持し、音声において高い知覚品質を維持しています。
• アブレーション研究: 提案されたモジュール（OCF、SA-MRoPE、MTP-CA）または戦略（カリキュラム、インターリーブ学習）のいずれかを除去すると、アイデンティティのドリフト、同時発話エラー、またはキャプション音声化の再発など、パフォーマンスの大幅な低下を招くことが確認されました。

意義

本論文は、Omni-Customizer が、複雑で人間中心のシナリオにおける堅牢で高忠実度な音声・動画同時カスタマイズを可能にすることで、生成 AI の重要なギャップを埋めると主張しています。アイデンティティの混同と音声漏洩の問題を解決することで、このフレームワークは、オープンソースモデルでは以前は達成不可能だった、現実的な多人数対話生成を可能にします。この研究は、マルチモーダルカスタマイズにおける新たなパラダイムを確立し、構造化された意味的アンカーリングと非結合学習戦略が、対話型・多キャラクターアプリケーションへの同時生成のスケーリングに不可欠であることを実証しています。

注：著者らは現在の限界を認め、生成物は現在 720P 解像度と 10 秒の長さに制限されており、今後の研究はより高解像度およびより長いシーケンスへのスケーリングに焦点を当てていると述べています。