MemRoPE: 進化するメモリトークンによるトレーニング不要の無限動画生成

本論文「MemRoPE: Training-Free Infinite Video Generation via Evolving Memory Tokens」は、自己回帰型拡散モデルを用いた長尺動画生成における、文脈の喪失やアイデンティティの崩壊という課題を解決する、トレーニング不要（Training-Free）のフレームワークを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と課題 (Problem)

既存の自己回帰型動画拡散モデルは、リアルタイムなフレームストリーミングを可能にしますが、長尺動画（数分〜数時間）の生成には以下の重大な限界があります。

• 文脈の喪失と品質劣化: 従来のスライディングウィンドウ方式（FIFO 方式）では、キャッシュが満杯になると過去のフレームが捨てられます。これにより、長時間生成が進むにつれて、主題の同一性（Subject Identity）の崩壊、視覚的忠実度の低下、動きの停滞が発生します。
• 静的なアテンションシンクの限界: 既存の手法（Deep Forcing など）は、初期フレームを「アテンションシンク」として固定し、キャッシュに保持するアプローチをとっています。しかし、これは静的なアンカーであり、動画の内容が変化するにつれて進化しないため、新しい文脈を適切に反映できません。
• トークン選択の不安定性: 注意スコアに基づいてトークンを選択する手法（Participative Compression）では、選択されたトークンが固定化されやすく、キャッシュ更新時に急激な視覚的シフト（ジャンプ）が発生し、フレーム間の不安定性を招きます。
• 位置エンコーディングの矛盾: 長時間生成では位置エンコーディング（RoPE）の範囲を超える必要がありますが、既存のキャッシュ方式では RoPE が適用された状態でキーを平均化することができず、時間的な集約（Temporal Aggregation）が数学的に定義不可能になります。

2. 提案手法 (Methodology)

MemRoPE は、モデルの再学習を一切行わず、既存の事前学習済みモデルにプラグイン可能な 2 つの協調設計されたコンポーネントで構成されています。

2.1 メモリートークン (Memory Tokens)

過去のすべてのキー（Key）を、固定サイズのキャッシュ内で**指数移動平均（EMA）**を用いて圧縮・維持するメカニズムです。

• デュアルストリーム構造: 過去の情報を「長期メモリ（Long-term）」と「短期メモリ（Short-term）」の 2 つのストリームに分割して管理します。
  • 長期メモリ ($\mu_L$): 生成履歴全体を安定した表現として蓄積し、主題の同一性を維持します。
  • 短期メモリ ($\mu_S$): 最近のダイナミクスを捉え、直近の動きや変化を反映します。
• 連続的な進化: 離散的なトークン選択ではなく、すべてのエビクトされたフレームを滑らかに EMA で更新するため、キャッシュの更新時に視覚的な急変が起きません。

2.2 オンライン RoPE インデキシング (Online RoPE Indexing)

メモリトークンの集約を可能にするための位置エンコーディングの革新です。

• 位置フリーなキャッシュ: 従来のようにキャッシュに格納する時点で RoPE を適用するのではなく、すべてのキーを**回転前の生データ（Unrotated）**のままキャッシュに保存します。
• アテンション時の動的付与: 注意計算（Attention）を行う瞬間にのみ、ブロック相対的なインデックスを割り当て、RoPE を適用します。
• 効果: これにより、異なるタイムステップからのキーを EMA で平均化しても、互換性のない回転位相が混ざり合う問題が解消され、時間的な集約が数学的に定義可能になります。また、インデックスを常に 0 から再計算するため、トレーニング範囲を超えた位置への外挿（Extrapolation）問題も同時に解決します。

2.3 3 層キャッシュ構造

生成ステップごとの KV キャッシュは以下の 3 層で構成されます。

1. シンク（Sink）: 初期の高品質なフレームを固定保持。
2. メモリ（Memory）: 長期・短期の EMA トークン（固定サイズ）。
3. ローカルウィンドウ（Local）: 最近のスライディングウィンドウ。
   これらを連結し、オンライン RoPE インデキシングを適用して DiT（Diffusion Transformer）に入力します。

3. 主要な貢献 (Key Contributions)

1. トレーニング不要の無限生成フレームワーク: 追加学習なしで、数時間規模の動画生成を可能にする MemRoPE を提案しました。
2. EMA ベースのデュアルメモリ機構: 固定サイズキャッシュ内で、主題の同一性と最近のダイナミクスを両立させる連続的な圧縮メカニズムを設計しました。
3. オンライン RoPE インデキシング: キャッシュ内のキーから位置情報を分離し、アテンション時に動的に付与することで、時間的集約と位置外挿の両方を解決しました。
4. 広範な性能検証: 数分〜1 時間規模の生成タスクにおいて、既存のトレーニング不要手法（Deep Forcing, $\infty$-RoPE など）を上回る視覚的忠実度と一貫性を示しました。

4. 実験結果 (Results)

定量的評価 (VBench-Long):

• 120 秒・240 秒: Self-Forcing および LongLive ベースモデルにおいて、MemRoPE は「美的品質」「画像品質」「主題の一貫性」において他手法を凌駕し、平均スコアで最大 +1.85 点の改善を達成しました。
• 480 秒・1 時間: 1 時間生成（LongLive ベース）において、MemRoPE は平均スコア 87.99（$\infty$-RoPE は 87.01）を記録し、すべての指標で優位性を示しました。特に、長時間にわたる主題の顔や背景の色調の維持において顕著な差が見られました。

定性的評価:

• 主題の維持: 既存手法では生成が進むにつれて人物の顔が崩れたり、背景が破綻したりしますが、MemRoPE は 1 時間を通じて一貫した主題と背景を維持しました。
• 滑らかな遷移: Deep Forcing などの離散的なキャッシュ更新による急激な視覚的シフトが解消され、フレーム間の遷移が滑らかです。

ユーザー調査と VLM 評価:

• 30 名の参加者による 2AFC（2 者選択）調査では、色の一貫性、主題の一貫性、背景の一貫性などすべての項目で MemRoPE が他手法を圧倒的に支持されました。
• Gemini 3.1-Pro による露出安定性の評価でも最高スコアを獲得しました。

5. 意義と結論 (Significance)

MemRoPE は、長尺動画生成において「より多くのフレームを保持する」ことではなく、「保持された情報をより良く記憶（Remember）する」ことの重要性を浮き彫りにしました。

• 実用性: 追加学習が不要であるため、既存の最先端動画生成モデル（Wan2.1 など）に容易に適用でき、リアルタイムストリーミングや長時間のシミュレーション、映画のようなロングテイク生成などの応用が現実的なものになります。
• 理論的貢献: RoPE の適用タイミングを「キャッシュ時」から「アテンション時」へ変更することで、時間的集約と位置外挿の両立を可能にした点は、Transformer ベースの長文脈処理全般に応用可能な重要な知見です。

本手法は、固定メモリ制約下での無限長の動画生成を実現する新たなパラダイムを示し、継続的な世界シミュレーションや合成データ生成などの分野に大きな影響を与えることが期待されます。