技術要約: HOMIE – マルチモーダル・インテリジェント強化による人間・物体中心のビデオ・パーソナライゼーション

1. 問題提起

人間・物体中心のビデオ・パーソナライゼーション（HOCVP）は、参照画像に基づいて人間と物体の多様な相互作用を含むビデオを合成することを目的とした、被写体駆動型ビデオ生成における極めて重要なタスクである。近年の進歩にもかかわらず、既存の手法には主に2つの制限がある：

1. 被写体間（Inter-Subject）の課題： 現在のアプローチは、高い被写体忠実度と正確な相互作用パターンのバランスを取ることに苦慮しており、特に複数の被写体や抽象的な概念（例：ロゴ）を扱う場合に顕著である。これらはしばしばコピー＆ペーストのようなアーティファクトを生じさせ、表現力が制限され、明示的なプロンプト指示なしに抽象的な参照対象をシーン内に正しく配置するために必要な推論能力を欠いている。
2. 被写体内（Intra-Subject）の課題： マルチビュー画像やOCRマップなどの被写体内参照は忠実度と一貫性を高めるためのものであるが、既存の研究は、これらの複数の参照間の潜在的な対応関係を理解するメカニズムを欠いている。その結果、モデルはマルチビューの一貫性やテキストの忠実度を向上させることができず、時には同一の物体である異なるビューを別々のエンティティとして扱ってしまうことがある。

核心的な困難は、マルチモーダル大規模言語モデル（MLLM）をいかに効果的に統合するかにある。従来の手法は、MLLMの特徴をテキスト埋め込み空間に整列させる（これにより制御性が低下し、特徴空間がボトルネックとなる）、あるいはテキストエンコーダーを完全にMLLMに置き換える（これにより高い再整列コストが発生し、モデルの主要な制御タスクから注意を逸らしてしまう）といういずれかの戦略をとっていた。

2. 手法

著者らは、ビデオ拡散モデルの制御性を損なうことなくMLLMの知識を活用することで、被写体間および被写体内両方のHOCVPシナリオを処理するように設計された統一フレームワークであるHOMIEを提案する。アーキテクチャはDiTベースのテキスト・トゥ・ビデオ・バックボーン（具体的にはWan2.1-14BおよびWan2.2-14B）に基づいて構築されており、3つの主要な革新技術を導入している：

2.1 マルチモーダル入力パラダイム

HOMIEは、以下の要素からなる統一された入力ストリームを採用している：

• ビデオ・トークン ($F_v$): ターゲットビデオの潜在表現。
• 参照画像トークン ($F_r$): エンコードされた参照画像。
• マルチモーダル特徴量 ($F_M$): システムプロンプト、ユーザープロンプト、および参照画像の組み合わせから、MLLM（Qwen3-VL-2B-Thinking）によって抽出された高次セマンティック特徴量。

MLLMの特徴をテキスト埋め込みに直接結合する手法とは異なり、HOMIEは $F_M$ を潜在ビデオおよび参照トークンと直接結合（$F = [F_v \oplus F_r \oplus F_M]$）することで、本質的なクロスモーダル相互作用を促進する。

2.2 グローバル・マルチモーダル・ガイダンス (GMG)

MLLM特徴量と3D VAEトークンの間の分布の差に対処し、安定した時間的制御を確保するために、HOMIEはグローバル・マルチモーダル・ガイダンスを導入している。

• メカニズム: セルフアテンションのクエリ・キー計算において、MLLMのクエリ ($Q_M$) およびキー ($K_M$) 行列を時間軸に沿ってプーリングし、グローバル表現 ($\tilde{Q}_M, \tilde{K}_M$) を作成する。
• 変調: これらのグローバル表現は軽量な投影ネットワーク ($\gamma, \beta$) を通過し、スケーリングおよびシフト係数を導出する。これらの係数は、アフィン変換を介してビデオ・トークンのクエリ ($Q_v$) およびキー ($K_v$) に適用される。
• 効果: これにより、参照画像のネイティブなセルフアテンション・パターンを変更することなく、高レベルのセマンティックなガイダンスをビデオ生成プロセスに注入し、セマンティックな推論と相互作用モデリングを強化する。

2.3 モダリティ・リファレンス・エンベディング (MRE)

異なる入力モダリティを区別し、複数の参照間の複雑な関係を管理するために、HOMIEはモダリティ・リファレンス・エンベディングを提案する。

• モダリティ・エンベディング (ME): トークンのソース（ビデオ、参照画像、またはMLLM特徴量）に基づいて学習可能なベクトルが追加され、異種混合の入力をモデルが分離できるようにする。
• リファレンス・エンベディング (RE): そのアイデンティティに基づいて、参照トークンに学習可能なベクトルが割り当てられる。極めて重要な点として、同一の被写体を表す複数の画像（被写体内）は同じリファレンス・エンベディングを共有し、異なる被写体（被写体間）は固有のエンベディングを受け取る。
• 効果: これにより、モデルが被写体内参照を結合（マルチビューやOCR入力の一貫性を向上）させつつ、被写体間の相互作用に対しては明確なアイデンティティを維持することを可能にする。

2.4 学習戦略

モデルは、OpenS2V-5MおよびPhantomDataから派生し、独自に収集した高品質な2万個のHOCビデオクリップで拡張されたデータセットを用いて、フロー・マッチング・パラダイムで学習される。学習には、約11,000 GPU時間を用いた3段階のチューニング戦略が採用されている。

3. 主な貢献

本論文は、以下の3つの主要な貢献を主張している：

1. 統一フレームワーク: MLLMの知識によって強化された、被写体間および被写体内HOCVPタスクを統一するフレームワークであるHOMIEの提案。
2. グローバル・マルチモーダル・ガイダンス (GMG): セルフアテンション変調を通じてマルチモーダル特徴をビデオ・トークンに注入する新しいメカニズムであり、コストの高い再整列なしにセマンティックな推論と相互作用モデリングを向上させる。
3. モダリティ・リファレンス・エンベディング (MRE): トークンのモダリティを区別し、被写体内に関連性を捉える学習可能なモジュールであり、複雑な参照シナリオにおけるアイデンティティの忠実度を大幅に向上させる。

4. 実験結果

200の人間・物体コンビネーションを含む、多様な被写体間および被写体内設定をカバーする自己作成データセットを用いて、広範な評価が行われた。

• 定量的パフォーマンス: HOMIEは、ビデオ品質（Aesthetic Score, Motion Smoothness）およびテキスト追従性（GMEScore）において、オープンソース手法の中でSOTA（State-of-the-Art）の性能を達成している。特に、前述の最高精度（SkyReels-V3）と比較してOCR精度において21.8%の相対的向上を示し、Object Similarity (Obj-Sim) および Face Similarity スコアにおいて最高値を記録した。
• 被写体内の一貫性: マルチビュー・シナリオにおいて、HOMIEはDINOベースの指標（DINOrec, DINOacc）でベースラインを上回り、忠実度を維持しながら同一物体の多様なビューを合成する優れた能力を示した。
• 定性的分析: 視覚的な比較により、HOMIEは他のモデルが関係性の推論に失敗したり被写体が劣化したりするような、複雑な4被写体間の相互作用や抽象的なロゴの配置（例：カップに「COSTA」のロゴを付ける）を正常に処理できることが示された。被写体内タスクにおいて、HOMIEはOCRマップやマルチビュー入力を正しく解釈するが、ベースラインはそれらを別々の無関係な被写体として扱うことが多い。
• ユーザー調査: 40人の参加者を対象とした調査において、HOMIEは被写体の一貫性、テキスト追従性、および全体的な品質のすべての指標において、ベースライン（Kling, Phantom, SkyReels-V3, UniVideo）よりも好まれた。

5. 意義と主張

本論文は、現在のMLLM統合戦略の特定の限界に対処することで、HOMIEを制御可能なビデオ生成における重要な進展として位置づけている。著者らは、テキストエンコーダーを保持し、ターゲットを絞ったガイダンス（GMG）とエンベディング・メカニズム（MRE）を導入することで、HOMIEがテキストエンコーダーの制御性を損なったり、フルモデルの再整列に伴う高いコストを発生させたりすることなく、参照レベルの関係を正常に抽出できることを主張している。

このフレームワークは、特に抽象的な概念（ロゴ）を伴う場合や、一貫したマルチビューまたはテキスト強化された物体表現を必要とする場合など、高忠実度な人間・物体相互作用を必要とする実世界のデプロイメント・シナリオに対する堅牢なソリューションとして提示されている。本研究は、被写体間および被写体内パーソナライゼーションへの統一的なアプローチが実現可能であり、これらを個別に扱うよりも優れていることを検証している。