HECTOR: Hybrid Editable Compositional Object References for Video Generation

本論文は、静止画や動画のハイブリッド参照と各要素の軌跡指定を可能にする「HECTOR」という生成パイプラインを提案し、複雑な時空間制約を満たしつつ高品質で参照に忠実な動画生成を実現するものである。

要約

HECTOR：動画を作る「魔法の料理人」の紹介

この論文は、**「HECTOR（ヘクター）」という新しい AI 技術について書かれています。
簡単に言うと、HECTOR は「動画を作るための、超高度な『料理人』」**のようなものです。

これまでの AI 動画生成は、おまかせ料理（「美味しいパスタを作って」と頼むと、何が入っているか分からないパスタが出てくる）のようなものでした。でも、HECTOR は違います。あなたは「パスタの麺は A さんの写真から、ソースは B さんの動画から、そして具材の動きはこうしてね」と、一つ一つの要素を細かく指示できるのです。

以下に、この技術がどうすごいのかを、身近な例えを使って説明します。

---

1. 従来の AI との違い：「全体」か「部品」か

• 従来の AI（おまかせ料理人）：
  「海辺の夕焼けで走る犬」と頼むと、AI は頭の中で「犬」「海」「夕焼け」を全部混ぜ合わせて、一度に作り出します。でも、「犬の動きを左から右に変えて」「背景の海はそのままにして」と言っても、AI は「えっ、全部作り直さなきゃ」と混乱して、犬の顔が変わったり、海が波打ったりしてしまいます。

• HECTOR（職人の料理人）：
  HECTOR は**「分解（デコンポジット）」**という魔法を使います。

  1. まず、元の動画や画像を**「部品」**に分解します（犬、背景、空、波など）。
  2. それぞれの部品に**「動きのレシピ（軌道）」**を付けます。「犬は左から右へ、少し大きくなりながら走る」「背景は動かさない」などです。
  3. 最後に、これらの部品を**「組み立て」**て、新しい動画を作ります。

2. HECTOR の 2 つのすごい魔法

この料理人が使う 2 つの重要な道具（技術）があります。

① 「動画分解機（Video Decompositor）」：動画のパーツ取り

これが HECTOR の「包丁」です。
従来の技術では、物体を囲む「四角い枠（バウンディングボックス）」でしか捉えられませんでした。でも、四角い枠では、犬がジャンプして体が伸びたり縮んだりする動きを正確に真似できません。

HECTOR は、**「点（ドット）」**で物体を追跡します。

• 例え： 犬の鼻、耳、しっぽに小さなシール（点）を貼って、そのシールの動きをすべて記録します。
• これにより、物体が**「どの方向に」「どれくらい大きく」「どの速さで」**動いているかを、まるで人間の目で見ているかのように正確に把握できます。

② 「時空の整列装置（STAM）」：部品の正確な配置

これが HECTOR の「お皿と盛り付け」です。
分解した部品（静止画の犬、動いている背景の動画など）を、新しい動画の「お皿（画面）」に、指示された通りに綺麗に並べます。

• 静止画と動画の混ぜ合わせ： 「犬の写真（静止）」と「空の動画（動き）」を混ぜて、「走る犬が空を背景に動く」動画を作れます。
• 重なり合いの処理： 「犬が木の前を走る」場合、木は犬の後ろ、犬は木の前、という**「奥行き（前後関係）」**を AI が勝手に理解して、自然に重ね合わせます。

3. 何ができるの？（具体的な例え）

HECTOR を使えば、以下のようなことが簡単にできます。

• キャラクターの入れ替え：
  元の動画で「走っている人」を、別の写真の「有名な俳優」に入れ替えることができます。しかも、俳優の顔や服の質感はそのままに、元の人の「走る動き」だけをコピーして再現します。
• 背景を固定して前景だけ変更：
  「背景の街並みはそのままに、走っている車だけを変えたい」という場合、背景は凍り付いたように固定し、車だけを新しいデザインに変えることができます。
• 複数の物体を自在に操る：
  「左から猫が走って、右から鳥が飛んで、中央で交差する」といった、複雑な動きを、それぞれの動きを指定するだけで作れます。

4. なぜこれがすごいのか？

これまでの AI は、**「全体を一度に描く」のが得意でしたが、「特定の部分だけを変えて、他の部分は守る」のが苦手でした。
HECTOR は、「部品ごとに管理して、最後に組み立てる」というアプローチをとることで、プロの映画制作やアニメ制作でも使えるレベルの「精密なコントロール」**を実現しました。

まとめ

HECTOR は、「動画を作る AI」を、ただの「おまかせ生成」から、「職人のように細部まで指示できる編集ツール」へと進化させた技術です。

• 動画分解機で素材を細かく切り分け、
• 時空の整列装置で指示通りに組み立てる。

これにより、私たちは「犬の動きだけ変えたい」「背景はそのままにキャラクターを入れ替えたい」といった、これまでは難しかったアイデアを、まるでレゴブロックを組むように簡単に実現できるようになります。

これからの動画制作や、クリエイティブな表現の幅が、大きく広がるでしょう！

技術概要

HECTOR: 動画生成のためのハイブリッド編集可能構成的オブジェクト参照

技術的サマリー

本論文は、HECTOR（Hybrid Editable Compositional Object References for Video Generation）と名付けられた、新しい動画生成フレームワークを提案しています。従来の動画生成モデルが「シーン全体を包括的に生成する」アプローチに依存し、個々のオブジェクトの動きや配置を細かく制御することに課題を抱えていたのに対し、HECTOR は静止画と動画の両方を参照入力として利用し、各要素の位置、スケール、速度を精密に制御しながら、高忠実度で構成的な動画生成を実現します。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

---

1. 問題定義と背景

現在の拡散モデル（DiT など）に基づく動画生成技術は、テキストや単一の画像から高品質な動画を生成する能力を飛躍的に向上させました。しかし、プロフェッショナルな用途においては以下の限界が存在します。

• 構成的制御の欠如: 従来のモデルはシーンを「全体」として生成するため、特定のオブジェクトの挙動や相互作用を明示的に制御することが困難です。
• 参照入力の限界: 既存の参照ベースの手法は、主に静止画（Identity 保持）に依存しており、複雑な動き（ジェスチャーなど）を含む動画参照を扱うことができません。
• 複数のオブジェクト制御の難しさ: 複数のオブジェクトを同時に制御する場合、境界の曖昧さやアイデンティティの崩壊（ドリフト）が発生しやすく、背景と前景の分離も不十分です。
• 編集機能の不足: 既存の手法では、オブジェクトの差し替え、追加、背景の固定といった高度な編集操作を、動きの制御と併せて行うことが困難でした。

2. 提案手法：HECTOR のアーキテクチャ

HECTOR は、Video Decompositor（動画分解機）とSpatio-Temporal Alignment Module（STAM）の 2 つの主要コンポーネントで構成されるパイプラインです。

2.1 Video Decompositor（動画分解機）

既存の動画を構成的な要素に分解し、トレーニングデータと推論時の編集素材を生成するモジュールです。

• セグメンテーションとアンカーポイント: SAM2 を用いてオブジェクトをセグメント化し、オブジェクトの形状やサイズに応じて複数の「アンカーポイント」をサンプリングします。
• トラッキングとスケール推定: Cotracker3 を用いてアンカーポイントを時系列に追跡します。従来のバウンディングボックス（矩形）に依存せず、ポイントの分布からオブジェクトのスケール（拡大・縮小）と移動軌道を高精度に計算します（Point-to-Scale 定式化）。
• 可視性指標: オブジェクトの出現・消滅・遮蔽を、トラッキングの信頼度スコアに基づきバイナリ指標として定義します。
• 利点: 矩形バウンディングボックスのジッター（揺らぎ）を排除し、滑らかで物理的に正確な運動プリオ（事前知識）を提供します。

2.2 HECTOR 生成モデル（STAM 搭載）

事前学習済みの動画拡散トランスフォーマ（DiT）をベースとし、**Spatio-Temporal Alignment Module **(STAM) を導入して参照情報を統合します。

• ハイブリッド参照入力: 静止画（アイデンティティ保持用）と動画（動き・ジェスチャー保持用）の両方を同時に処理可能です。
• 時空間アライメント: 参照画像/動画を VAE 潜在空間にエンコードし、Video Decompositor で得られた軌道（位置、スケール、時間）に基づいて「逆ワープ（Inverse Warping）」を行い、空の潜在キャンバス上に配置します。
• ガウス軟化マスク: 参照特徴を潜在空間に融合させる際、境界を明確にするため、硬いマスクではなくガウス軟化された可視性マスクを使用します。これにより、特徴の漏れ（Ghosting）を防ぎつつ、自然な合成を実現します。
• 条件付き生成: 生成されるノイズ潜在変数に、構造的条件（$z_{cond}$）とマルチチャネルマスク（$M$）を結合して入力します。マスクは静的特徴と動的特徴のソースを区別し、DiT が適切に処理できるように設計されています。
• フォアグラウンド・バックグラウンド制御: 複数の参照が重なる場合、ユーザーが優先モダリティ（例：静止画のオブジェクトを常に手前に配置）を指定できるゲート機構を導入し、重なりや衝突を解決します。

3. 主要な貢献

1. 完全な構成的動画生成フレームワークの提案: 静止画と動画のハイブリッド参照を可能にし、各要素（背景を含む）のアイデンティティ、位置、スケール、速度を独立して精密に制御する初のフレームワークです。
2. **Spatio-Temporal Alignment Module **(STAM): 潜在空間内で、静的な外観と動的な動きの両方を時空間的に整合性を持ってアライメントする新しいモジュールを開発しました。
3. Video Decompositor の実装: 動画から構成的構造を自動的に抽出するメカニズムを提供し、高精度なトレーニングデータの作成と、推論時の柔軟な動画編集（差し替え、追加など）を可能にしました。
4. 高度な編集機能: オブジェクトの挿入、差し替え、背景固定（Background-Locked Motion Editing）など、参照駆動の高度な編集操作を実現しました。

4. 実験結果

DAVIS ベンチマークおよび内部データセットを用いた評価において、HECTOR は既存の手法（MotionBooth, VACE など）を上回る性能を示しました。

• 定量的評価:
  • アイデンティティ保持: 領域ベースの DINO 類似度（R-DINO）や CLIP 類似度において、単一・複数オブジェクトの両方で最良の結果を記録しました。特に複数オブジェクトの複雑なシーンでもアイデンティティの維持に優れています。
  • 運動制御精度: 軌道との一致度を測る mIoU（平均交差率）と重心距離（CD）において、競合他社を大幅に上回りました（mIoU は約 2 倍の精度）。これは、バウンディングボックスに依存しない点ベースのスケール推定と軌道アライメントの効果を示しています。
  • 時間的一貫性: 生成動画の滑らかさ（Temporal Consistency）も高く維持されています。
• 定量的評価:
  • 複雑なシーン（複数オブジェクトの重なり、遮蔽）において、MotionBooth や VACE はアイデンティティの崩壊や空間制御の失敗を示すのに対し、HECTOR は高忠実度で正確な配置を維持しました。
  • 動画参照を用いたオブジェクトの差し替えや、背景を固定した前景の操作など、高度な編集タスクを成功裏に実行しました。

5. 意義とインパクト

HECTOR は、動画生成を「包括的な生成」から「構成的な編集・合成」へとパラダイムシフトさせる重要な一歩です。

• 専門用途への適用: 映画制作、広告、アニメーション制作など、特定のオブジェクトの動きや配置を厳密に制御する必要があるプロフェッショナルなワークフローに直接貢献します。
• 技術的ブレイクスルー: 静止画と動画の参照を統合し、かつ個々の要素を独立して制御するメカニズムは、生成 AI の制御可能性（Controllability）の新たな基準を確立しました。
• 将来展望: 本技術は、ディープフェイク検出や透かし技術などのセーフガード開発と並行して、クリエイティブな表現の可能性を大幅に拡張する可能性があります。

総じて、HECTOR は、複雑な物理的相互作用を持つ現実世界の動画を、ユーザーの意図通りに精密に構成・編集することを可能にする画期的なアプローチです。