Infinity-RoPE: 自己再帰的自己ロールアウトから出現するアクション制御可能な無限長動画生成

本論文「Infinity-RoPE: Action-Controllable Infinite Video Generation Emerges From Autoregressive Self-Rollout」は、既存の自己回帰的（Autoregressive）動画拡散モデルが抱える根本的な制約を、学習不要（Training-free）な推論時のアーキテクチャ変更によって解決する新しいフレームワーク「∞-RoPE」を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

現在の自己回帰的動画拡散モデルは、以下の 3 つの核心的なボトルネックに直面しています。

1. 時間的視野の有限性: 基盤モデルが使用する 3D 回転位置エンコーディング（3D-RoPE）は、固定された時間的範囲（通常 1024 フレーム）に制限されています。これを超えると、時間的エンコーディングが崩壊し、アテンションの品質が劣化します。
2. 微細なアクション制御の遅延: 長い動画生成（ロールアウト）中にプロンプトを変更して微細なアクション制御を行う際、既存の KV キャッシュ管理では古い文脈が残留し、新しい指示への即応性が低下します。
3. 連続的な生成ストリーム内での映画的多カット遷移の欠如: 単一の生成ストリーム内で、シーンカットやフラッシュバックなど、時間的に不連続な映画のような遷移を実現するメカニズムが不足しています。

既存の手法は、長い自己ロールアウトによる再学習や大規模なデータセットへの依存によってこれらの課題を解決しようとしてきましたが、計算コストが高く、トレーニングと推論のミスマッチ（Exposure Bias）を引き起こす問題がありました。

2. 手法 (Methodology)

著者らは、基盤モデル（ここでは 5 秒間の動画でトレーニングされた Self-Forcing モデル）を再トレーニングすることなく、推論時のみで以下の 3 つの相互接続されたコンポーネントを導入することで、無限長の動画生成を実現しました。

2.1. Block-Relativistic RoPE（ブロック相対的 RoPE）

従来の絶対的な時間位置エンコーディングを、「移動する局所参照フレーム」として再定義します。

• 固定キャッシュサイズの場合: 新しい潜在ブロックが生成される際、その時間的 RoPE 座標は基盤モデルの最大フレーム数（$f_{limit}$）に対して相対的に回転されます。同時に、キャッシュ内の以前のブロックは、相対的な時間幾何学を維持するために「後方へ回転（リアンカー）」されます。これにより、キャッシュサイズが固定されていても、時間的エンコーディングは無限に進行し、1024 フレームの制限を超えた連続生成が可能になります。
• 無制限キャッシュサイズの場合: キャッシュが $f_{limit}$ を超えると、最も古い潜在フレームは「意味化（Semanticization）」されます。具体的には、それらの時間的座標を最小インデックスに圧縮し、特定の時刻ではなく「文脈的な意味情報（エピソード的記憶から意味的記憶への変換）」として保持します。これにより、時間軸を無限に拡張しつつ、現在のアクティブなウィンドウ内では精密な相対エンコーディングを維持できます。

2.2. KV Flush（KV フラッシュ）

アクション制御のためのキャッシュ更新メカニズムです。

• 新しいプロンプト（アクション指示）が入力された際、KV キャッシュを完全にクリアするのではなく、「グローバル・シンク（Global Sink）」と「最後に生成された潜在フレーム」の 2 つのトークンのみを保持してキャッシュをリセットします。
• これにより、古い文脈（古いアクションの残滓）を即座に排除しつつ、ローカルな時間的連続性（モーションの滑らかさ）は維持されます。これにより、ゼロレイテンシでプロンプトに即応したアクション制御が可能になります。

2.3. RoPE Cut（RoPE カット）

映画のようなシーン遷移を実現するための制御された不連続性導入です。

• 時間的 RoPE 座標に意図的なオフセット（$\Delta$）を適用し、現在のブロックを新しい時間的座標系に「ジャンプ」させます。
• これにより、単一の連続した自己回帰生成ストリーム内で、背景や照明が劇的に変化するシーンカット（例：室内から室外へ、昼から夜へ）を自然に表現できます。相対的な座標系の変換により、キャラクターの同一性は維持されたまま、時間的な断絶が実現されます。

3. 主要な貢献 (Key Contributions)

1. ∞-RoPE の提案: 既存の短時間自己回帰モデルを、追加学習なしで「アクション制御可能な無限長生成器」へと変換する手法。
2. Block-Relativistic RoPE の開発: 時間構造を移動参照フレームとして再定義し、1024 フレームの RoPE 制限を突破する位置エンコーディング。
3. 推論時オペレータの導入:
   • KV Flush: 定常メモリ使用量で即応性のあるアクション制御を実現。
   • RoPE Cut: 映画的な多カット遷移を単一ストリーム内で実現。
4. VBench における SOTA 性能: 広範な定量的・定性的評価により、長尺動画における被写体の一貫性、背景の整合性、モーションの滑らかさ、および動的度において既存モデルを上回ることを実証。

4. 実験結果 (Results)

• 定量的評価 (VBench):
  • 5 秒から 240 秒までの様々な長さの動画生成において、∞-RoPE は「被写体の一貫性（Subject Consistency）」や「モーションの滑らかさ（Motion Smoothness）」で既存の自己回帰モデル（Self-Forcing, Rolling-Forcing, SkyReels-V2 など）および双方向モデルを凌駕しました。
  • 特に長時間（60 秒以上）の生成において、時間的ドリフトや同一性の喪失が抑制され、高い視覚的品質を維持しました。
• アクション制御:
  • ユーザー調査において、∞-RoPE は「テキストとの整合性」「被写体の一貫性」「モーションの滑らかさ」「動画品質」のすべての項目で、LongLive や SkyReels-V2 などの競合他社を大きく上回るスコアを獲得しました。KV Flush による即応性の高さが評価されました。
• 映画的多カット:
  • RoPE Cut を用いることで、単一の生成ストリーム内で複数のシーン（異なる場所、時間、照明）を自然に遷移させることに成功しました。被写体の同一性は保たれつつ、背景や文脈が劇的に変化します。
• アブレーション研究:
  • KV キャッシュサイズを変化させても、被写体の一貫性は安定しており、∞-RoPE が長距離のアイデンティティを効果的に保持していることが示されました。
  • 時間ジャンプ指数（$\Delta$）を大きくすると、シーン遷移はより劇的になりますが、その分、遷移エッジにアーティファクトが生じる傾向があるものの、被写体の一貫性は高いまま維持されました。

5. 意義と結論 (Significance)

∞-RoPE は、動画生成モデルの「無限の時間的視野」と「微細な制御性」を、大規模な再学習や追加データなしで実現する画期的なアプローチです。

• 学習不要（Training-free）: 既存の高性能モデル（Wan2.1 など）をそのまま流用でき、推論時のみで機能拡張が可能です。
• 実用性: ユーザーがプロンプトを変更しながら、長時間にわたって一貫性のある高品質な動画を生成できるため、映画制作やインタラクティブなコンテンツ生成への応用が期待されます。
• 理論的洞察: 時間的エンコーディングを「絶対的」から「相対的（相対論的）」へと転換することで、モデルの能力限界を突破できることを示しました。また、長期記憶の「意味化」プロセスを KV キャッシュ管理に応用した点は、認知神経科学からのインスピレーションに基づいた興味深い試みです。

結論として、∞-RoPE は、自己回帰的動画拡散モデルの将来の方向性を示す重要な基盤技術であり、制御可能で無限の時間的視野を持つ動画生成の実現に向けた実用的な一歩と言えます。