技術要約: GroundShot

問題提起

視覚的に一貫したマルチショットの長尺動画を生成することは、テキスト・トゥ・ビデオ（T2V）合成における未解決の課題である。近年のモデルは一貫性のある短いクリップを生成できる一方で、それらをマルチショットの物語へと拡張すると、**視覚的ドリフト（visual drift）**が発生する。ショットの数が増えるにつれ、エンティティ（キャラクター、物体、場所）の顔の特徴、色、形状、あるいは空間的な一貫性が変化してしまう。

本論文では、既存のマルチショット手法における2つの主要な限界を特定している：

1. フレーム全体の参照（Whole-Frame References）: 既存のアプローチは、多くの場合、フレームレベルのメモリや近接するフレームに依存している。これはキャラクター、物体、背景を混同させてしまい、生成器が混合された視覚的コンテキストからエンティティの外観を推論することを強いるため、シーンが複雑になるにつれて信頼性が低下する。
2. 物語順の生成（Narrative-Order Generation）: ほとんどの手法は、物語の順序に従ってショットを生成する。これにより、システムは（遠景の確立ショットのような）初期の、潜在的に質の低いビューからメモリを初期化することを余儀なくされる。より明確で情報量の多い外観（物語の後半に登場する可能性があるもの）を待つことができないためである。初期の低品質なリファレンスによるエラーは前方へと伝播し、累積的なアイデンティティのドリフトを引き起こす。

著者らは、人間の視聴者がエンティティのその後のすべての出現を、その**最初の明確な出現（「カノニカル・リファレンス（正典的参照）」）**と比較することによって一貫性を判断していると指摘している。したがって、一貫性は、生成順序を物語の順序から切り離し、高品質なカノニカル・リファレンスの作成を優先することで、エンティティレベルで管理されるべきである。

手法: GroundShot

GroundShotは、エンティティレベルの視覚的メモリとショットのスケジューリングを管理するために設計された、トレーニング不要かつモデルに依存しないエージェント的フレームワークである。これは、既存のT2Vまたはリファレンス条件付きビデオ（Ref2V）バックエンドのラッパーとして機能する。パイプラインは以下の5つの主要なステージで構成される：

1. スクリプト解析とエンティティ抽出

LLMパーサーが入力テキストスクリプトとオプションのグローバルキャプションを分析し、以下を行う：

• 再帰的に登場するエンティティ（キャラクター、物体、場所）の特定。
• テキスト上の言及をショット間で紐付け、一意のエンティティIDを割り当て。
• 優先順位の割り当て（キャラクター > 物体 > 場所）。
• 各ショットに登場するエンティティの集合の決定。

2. 品質を考慮したショット・スケジューリング

物語の順序に従う代わりに、GroundShotはリファレンスソースとしての期待効用に基づき、最適な生成順序（$\pi$）を決定する。

• リファレンス品質推定: 各エンティティ $e$ とショット $s_i$ について、リファレンス品質エスティメータ $Q_{ref}$ が、エンティティがどの程度明確に現れると予想されるか（スケール、遮蔽、視点を考慮）に基づき、スコア $q_{src}(s_i, e)$ を予測する。
• 依存グラフの構築: スケジューラは、ある「ソースショット」（そのエンティティに対して最も高い予測品質を持つショット）から、そのエンティティを含む他のショットへと向かうエッジを持つ有向グラフを構築する。
• トポロジカルソート: スケジューラは（エンティティ間の競合する好みを解決するために）高優先度のエンティティやより大きな品質利得を優先することでサイクルを解決し、その後、トポロジカルソートを実行して生成順序を生成する。これにより、高品質なリファレンスショットが、依存するショットよりも先に生成されることが保証される。

3. エンティティレベルの視覚的メモリ

GroundShotは、フレーム単位ではなく、エンティティごとに整理された動的な視覚的メモリ $R$ を保持する。

• カノニカル・リファレンス: 各エンティティに対する最初の十分に高品質なリファレンスは、カノニカル・リファレンス（$r^*_e$）として保護される。このアンカーが上書きされることはない。
• 補完的リファレンス: 補完的リファレンスは、カノニカルなアイデンティティと一致している場合（アイデンティティ・ゲート）にのみ、かつ、異なる表情、視点、あるいはシーンの拡張といった非冗長な視覚的証拠を提供する場合（ダイバーシティ・ゲート）に限り、受け入れられる。
• グラウンディングと検証: ショットが生成された後、システムはエンティティレベルのグラウンディング（ReferDINOなどのモデルを使用）を実行し、候補となるクロップ（切り抜き）を抽出する。
  • キャラクター/物体: 前景のクロップを抽出。
  • 場所: 前景をマスクし、画像編集モデルを介して除去することで、背景シーンを再構成。
  • 品質チェック: 候補は、タイプ固有の品質チェック（顔の視認性、鮮明度など）を受ける。閾値 $\tau_{type}$ を通過した候補のみがメモリに受理される。

4. ショット生成

スケジューリングされた順序に従い、各ショットに対して以下を行う：

• リファレンスの検索: デフォルトではカノニカル・リファレンスを検索する。もし補完的リファレンスが、ターゲットとなるショットの特定の視点、表情、または場所のカバー範囲により適している場合は、VLMスコアラーを介してそれが選択される。
• 生成モード:
  • T2V: 使用可能な前景リファレンスが存在しない場合、ショットはテキストから生成される。
  • Ref2V: リファレンスが利用可能な場合、ショットはそれらを条件として生成される。
• 検証と修復: VLMクリティックが、生成されたビデオをプロンプトおよびリファレンスに対して検証する。深刻な問題（アイデンティティの不一致、エンティティの欠落など）が検出された場合、ターゲットを絞った修復（例：より強力なコンディショニング、プロンプトの調整、再シード）が試みられる。

5. 経験学習

GroundShotは、成功した修復アクションと失敗モードを記録する生成経験ログ $X$ を保持する。これは将来の決定を導き、単一の生成実行内での反復的な改善を可能にする。

主な貢献

1. GroundShotフレームワーク: マルチショットの一貫性を、エンティティレベルのリファレンス管理問題として定式化した、新しいトレーニング不要のエージェント的フレームワーク。これは、品質を考慮したスケジューリングを通じて生成順序を物語の順序から明示的に切り離し、エンティティ・リファレンスの精選された視覚的メモリを維持する。
2. GroundBench: エンティティレベルでのマルチショットの一貫性を評価するために設計された診断用ベンチマーク。スクリプトを制御されたチャレンジモジュール（例：スケールの変化、マルチアイデンティティの識別、シーンの再訪）に整理することで、包括的なフレームレベルの指標を超えた、きめ細かな失敗分析を可能にする。
3. 実証的検証: 広範な実験により、GroundShotが追加のトレーニングやモデルの変更を必要とせずに、エンティティレベルの一貫性指標（ARC、WCI、XCD）において強力なベースライン（HoloCine、MultiShotMaster、StoryMemを含む）を凌駕することを証明している。

結果

• 定量的パフォーマンス: GroundBenchにおいて、GroundShotは**アンカー相対一貫性（ARC）およびワーストケース・アイデンティティ（WCI）**において最先端の結果を達成しており、ショット間でのエンティティ・アイデンティティの優れた保持能力を示している。また、**クロスキャラクター識別（XCD）**も改善しており、類似したアイデンティティを効果的に分離している。
• バックエンドの非依存性: 本フレームワークは、3つの異なるビデオ生成バックエンド（Vidu、Kling、およびオープンソースのWan2.1+Phantom）において一貫性を向上させており、得られた利得が特定のバックエンドではなく、エージェント的フレームワークに由来することを証明している。
• 人間による評価: 48人の参加者を対象とした調査において、GroundShotはアイデンティティの一貫性（4.18/5）、テキストへの適合性（4.23/5）、および全体的な品質（4.21/5）において最高の評価を受け、すべてのベースラインを上回った。
• アブレーション研究:
  • エンティティ・グラウンディング: エンティティレベルのグラウンディング（フルフレームを使用する場合）を削除すると、最大のパフォーマンス低下を招き、切り離されたエンティティ・リファレンスの必要性を裏付けた。
  • スケジューリング: 生成を物語の順序に戻すと、ARCとWCIが著しく低下し、リファレンスソースとなるショットを先に生成することの重要性が検証された。
  • 動的メモリ: 単一のカノニカル・アンカーを超えて補完的リファレンスを許可することは、視点の変化やシーンの拡張（特に場所について）を扱う上で極めて重要であることが示された。

意義と主張

本論文は、GroundShotが、シーケンシャルなフレームレベルのコンディショニングからエンティティ中心のリファレンス管理へとパラダイムをシフトさせることで、長尺動画生成における累積的ドリフトという根本的な限界に対処することを主張している。

• カノニカル・リファレンスの優先: エンティティの明確で高品質な外観を提供するショットの生成を優先することで、GroundShotは、潜在的に弱い中間フレームの連鎖からドリフトしていくのではなく、すべての後続の出現が単一の信頼できる基準に結びつく「スター型」の一貫性構造を確立する。
• 制作と物語のデカップリング: 本フレームワークは、ショットの生成順序が必ずしも物語の順序と一致する必要はないことを示している。この柔軟性により、システムは物語の中で必要とされる前に、キャラクターやシーンの視覚的アイデンティティを「事前計算」することが可能になる。
• 実用性: GroundShotは、基礎となるビデオ生成モデルの追加トレーニングを必要としないため、既存の最先端のT2VおよびRef2Vシステムに即座に適用可能である。

著者らは、GroundShotが基礎となるビデオ生成バックエンドの品質の天井に制限されることを認めている。つまり、バックエンドが一度の試行で認識可能なエンティティを生成できない場合、フレームワークはその問題を完全に解決することはできない。しかし、フレームワークは、使用されるリファレンスが利用可能な中で最高品質であることを保証することで、マルチショット生成の一貫性の天井を大幅に引き上げる。