技術的サマリー：EM-Vid

問題定義

マルチショット動画生成は、登場人物、物体、シーンなどの繰り返し現れるエンティティが、多様なショット間で一貫した外観を維持しつつ、ショット固有のテキストプロンプトに厳密に従う、整合性のある長編視覚的物語を生成することを目的としています。既存のアプローチは、以下のような重大なトレードオフに直面しています：

• 同時生成（Joint Generation）： すべてのショットを同時に生成することは、グローバルな一貫性を保証しますが、計算コストが高く、スケーリングが困難です。
• 自己回帰生成（Autoregressive Generation）： ショットを順次生成することで効率性は向上しますが、長編物語において以前のコンテンツを「忘却」し、誤差が蓄積する傾向があります。
• メモリベース手法： 最近のアプローチでは、生成されたフレームをメモリとして使用して生成を導きます。しかし、完全なフレーム全体を保存すると、永続的なエンティティ情報が一時的なシーン文脈と絡み合ってしまいます。これにより、以下の問題が発生します：
  1. 無関係な情報の漏洩： メモリフレームからの背景のアーティファクトや一時的な詳細が新しい生成に漏れ込み、意図しない視覚要素を引き起こします。
  2. 高い計算コスト： 自己注意メカニズムが密なフレーム内のすべてのトークンに対して動作するため、二次的な複雑さを伴います。
  3. プロンプトへの準拠の問題： 意味的に類似したプロンプトは、モデルが新しいテキスト指示に従う代わりに、保存された外観を「コピー＆ペースト」する原因となり、特に微妙な属性の変更において顕著です。

手法：EM-Vid

EM-Vidは、永続的なエンティティ情報を一時的な文脈から分離するように設計された、トレーニング不要のエンティティ中心メモリ表現および推論メカニズムを提案します。これは、事前学習済みのメモリフレーム誘導型動画生成モデル（具体的には Wan2.2-I2V の LoRA 微調整バリアント）の上に動作します。

1. 構造化されたストーリースクリプト形式

効率的な検索を可能にするため、この手法は構造化された入力スクリプトを必要とし、以下の要件を満たします：

• 永続的な主題やシーンには、一意の識別子（例：[CH_01]、SC_01）が割り当てられます。
• 各ショットには、識別子を参照する抽象プロンプトと、完全なテキスト記述である自然プロンプトが含まれます。
• 抽象プロンプトは、現在のショットに関連するメモリエントリのみを検索するためのクエリとして機能します。

2. エンティティ中心メモリバンク

完全なフレームを保存する代わりに、EM-Vid は特定のエンティティに関連するスパースな潜在パッチを含むエンティティバンクを維持します。

• 初期化： 各エンティティに対して、システムは SAM3 を使用してエンティティのセグメント領域と重なる部分から、メモリフレーム（またはユーザー参照）のパッチを抽出します。
• 保存： 各エントリは、VAE 潜在パッチ、その空間座標、ソースフレームインデックス、および外観記述子（DINOv2 特徴量と CLIP 領域 - テキスト類似度）を保存します。
• スパース条件付け： 推論中、モデルは現在のショットの抽象プロンプトで言及されたエンティティに対応するパッチのみを検索します。

3. 推論時のスパーストークン条件付け

スパースなパッチを密なグリッドを期待するモデルに統合するために、EM-Vid は特定のパイプラインを採用します：

• 散乱（Scattering）： 取得されたスパースなパッチは、完全な潜在テンソル内の元の時空間位置に散乱されます。
• トークンプルーニング： テンソルはパッチ化されてトークンになります。エンティティを含むパッチに対応するトークンのみが保持され、他のトークンは除去されます。
• 注意の削減： トランスフォーマーのバックボーン（DiT）は、これらの関連するトークンのみを処理し、自己注意コストと無関係な背景情報からの干渉を大幅に削減します。
• 再構築： 予測されたスパースなトークンは、密なレイアウトに散乱され、パッチ化が解除されて、次の拡散ステップのための完全な潜在状態が更新されます。

4. メモリ更新戦略

新しいショットが生成されるにつれて、エンティティバンクは進化します：

• 候補選択： 美学スコアに基づいて、新しいショットからのキーフレームが抽出されます。
• フィルタリング： 新しい候補は、DINOv2 類似度を用いて既存のエントリと比較されます。新しい情報を提供する場合（類似度が低い場合）または十分に明確だが関連性がある場合は候補が受け入れられ、冗長なエントリは拒否されます。
• 予算管理： エンティティごとの固定トークン予算が強制されます。エントリは、関連性対コスト比（CLIP 類似度をトークン数で割った値）に基づいて優先順位付けされ、意味的に関連するバリエーションを維持しつつ、バンクをコンパクトに保ちます。

5. ノイズ注入による微細な外観制御

モデルが微妙なプロンプトの変更（例：シャツの色の変更）を無視する「コピー＆ペースト」行動に対処するため、EM-Vid はノイズ注入メカニズムを導入します：

• 境界の緩和： エンティティ境界のパッチには背景ピクセルが含まれることがよくあります。背景の漏洩を防ぐため、エンコード前にこれらの領域にガウシアンノイズが注入されます。
• 属性変更： プロンプトが特定の属性の変更を指定する場合（例：「黒い靴」対「茶色の靴」）、その領域に対応するパッチが識別されます。これらの特定のパッチにノイズが注入され、モデルが保存された外観に依存することを弱め、これらの領域についてはテキストプロンプトに従うように強制します。

主要な貢献

1. エンティティインデックス付きメモリ表現： 個々のエンティティのスパースな潜在パッチを保存する新しいメモリ形式。永続的なアイデンティティを一時的な文脈から分離し、情報の漏洩と計算コストを削減します。
2. トレーニング不要なスパーストークン条件付け： 事前学習済みの動画モデルがショットに関連するメモリトークンのみで動作できるようにするメカニズム。元のアーキテクチャとの互換性を維持しつつ、自己注意のオーバーヘッドを劇的に削減します。
3. 段階的エンティティメモリ更新： 冗長性を除去しながら新しいエンティティ観測を統合する、予算を考慮した更新戦略。無制限なメモリ成長なしに長期的な一貫性を保証します。
4. ノイズベースの外観制御： 無関係な境界情報を抑制し、微細な属性変更を可能にするノイズ注入を用いた戦略。モデルが保存された外観にデフォルトで依存するのを防ぎます。
5. 新しい評価指標： ナイーブなコピー＆ペースト行動を罰するショット間主題の一貫性指標と、生成された背景とスクリプト化されたシーン記述との整合性を測定する背景シーン整合性指標の導入。

結果

著者らは、Wan2.2-T2V、FramePack、Phantom、StoryMem などのベースラインに対して、20 のシネマティックなストーリースクリプト（各 10 ショット）で EM-Vid を評価しました。

• プロンプトへの準拠： EM-Vid は、メモリ漏洩に苦しむベースラインと比較して、テキストプロンプトとの優れた整合性を示す最高レベルの ViCLIP スコアを達成しました。
• 主題の一貫性： この手法は、誤差を蓄積する自己回帰ベースラインを上回る、強力なショット間主題の一貫性（$CSC^*_{DINO/CLIP}$で測定）を維持します。ナイーブな指標で見られる「コピー＆ペースト」バイアスを回避します。
• 背景の一貫性： EM-Vid は背景シーン整合性（$BG A$）が向上しており、スクリプトで背景の変更が指示された際に背景を正常に変更します。一方、StoryMem はしばしば背景のアーティファクトを引き継いでしまいます。
• 効率性： スパースメモリアプローチは、メモリトークン使用量を最大**88.9%削減し、密な完全フレームメモリベースラインと比較して最大73%**の推論速度向上を実現します。
• 視覚的品質： バニラ T2V モデルは、長距離制約の欠如によりショット内の美学指標でわずかに高いスコアを出す可能性がありますが、EM-Vid は競争力のあるスコアを維持しつつ、優れた物語の整合性を提供します。

意義と主張

本論文は、EM-Vid がモデルの再トレーニングを必要とせず、一貫性のある長編動画生成のためのスケーラブルで効果的なソリューションを提供すると主張しています。完全なフレームメモリからエンティティ中心のスパース表現へ移行することで、現在のメモリベース手法を悩ませているアイデンティティと文脈の根本的な絡み合いの問題に対処します。

著者らは、彼らのアプローチが以下の点で優れていることを強調しています：

• 永続的なエンティティ情報を一時的なシーン文脈から**分離（Decouples）**する。
• 関連するトークンのみに注意を制限することで、計算複雑性を**削減（Reduces）**する。
• ノイズ注入を通じてエンティティ属性に対する微細な制御を**可能（Enables）**にする。これは、メモリ誘導型システムにおいてしばしば欠けている機能です。
• 主題のアイデンティティの維持と、動的なシーンプロンプトへの準拠とのバランスを**改善（Improves）**する。

この研究は、既存の事前学習済みモデルを活用する実用的な推論時の修正として提示されており、整合性のあるマルチショット物語の生成を、アクセスしやすく効率的なものにします。