論文「Generative View Stitching (GVS)」の技術的サマリー

この論文は、ICLR 2026 にて発表された「Generative View Stitching (GVS)」という手法を提案するものです。これは、事前に定義されたカメラ軌道に従って安定した長尺動画を生成するための、トレーニング不要（training-free）な拡散モデルのサンプリング手法です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 背景と問題定義

近年の拡散モデルを用いた動画生成技術は飛躍的に進歩しましたが、以下の課題が存在します。

• 文脈の制限: 既存のモデルは通常 5〜10 秒程度の短い動画しか生成できず、より長い動画を生成するには事前学習モデルを拡張する必要があります。
• 自己回帰（AR）サンプリングの限界: 現在の主流である「自己回帰的（Autoregressive）」な拡張手法は、過去の文脈に基づいて次のフレームを生成しますが、未来の条件（カメラの軌道など）を考慮できません。
  • 衝突と崩壊: 事前に定義されたカメラ軌道（例：壁を通過する動きや、不可能な階段を登る動き）に対して、モデルが未来を予測できないため、生成されたシーンとカメラが衝突します。これにより、生成されたフレームがモデルの分布から外れ（Exposure Bias）、自己回帰が急速に崩壊します。
  • ループの閉じ方: 円形やループ状の軌道において、開始点と終点が視覚的に一致するよう「ループを閉じる」ことが困難です。
• 既存の「Stitching（継ぎ接ぎ）」手法の欠点: 画像生成などで使われる拡散継ぎ接ぎ手法（CompDiffuser など）は、動画生成には適していません。多くの場合、継ぎ接ぎ専用のモデルを再学習する必要があり、コストがかかります。また、StochSync のような既存手法は、動画に必要な時間的整合性（Temporal Consistency）が不足しています。

2. 提案手法：Generative View Stitching (GVS)

GVS は、事前学習済みの動画モデル（特に Diffusion Forcing 框架で訓練されたモデル）を再学習させることなく、並列サンプリングを行うことで、未来の条件を考慮した安定した動画生成を実現します。

2.1 基本的なアプローチ

• 並列サンプリング: 動画全体を一度に生成するのではなく、オーバーラップする複数のチャンク（断片）に分割し、それらを並列に処理します。
• Diffusion Forcing (DF) の活用: 既存の DF モデルは、トークンごとに独立したノイズレベルを持ち、任意の数のコンテキストトークンに条件付けが可能です。GVS はこの特性を利用し、ターゲットチャンクを生成する際に、過去と未来の両方の隣接チャンクを同時にノイズ除去（Denoising）の対象として入力します。
• トレーニング不要: 特別なモデルの再学習やアーキテクチャの変更は不要で、市販の DF モデルと即座に互換性があります。

2.2 主要な技術的貢献

A. Omni Guidance（全方向ガイダンス）

単なる並列サンプリング（Vanilla GVS）では、時間的な整合性が不十分になる傾向がありました。これを解決するため、Omni Guidance を導入しました。

• 仕組み: 標準的な Classifier-Free Guidance を拡張し、ターゲットチャンクのスコア関数を修正します。
• 目的: 過去と未来の両方の条件付けを強化し、ターゲットチャンクが時間的に隣接するチャンクと整合性を持つように誘導します。
• 効果: これにより、過度な平滑化（Oversmoothing）を招かずに、高い時間的整合性を維持できます。

B. 確率的サンプリング（Stochasticity）との組み合わせ

• 最大限の確率性（Stochasticity）を導入すると整合性は向上しますが、動画がぼやけてしまいます。
• Omni Guidance と「部分的な確率性（Partial Stochasticity）」を組み合わせることで、整合性を保ちつつ、ぼやけを抑制するバランスを実現しています。

C. 循環条件付けによるループ閉じ（Cyclic Conditioning）

理論的には GVS はグローバルな受容野を持つはずですが、実際には長い動画で「同じ場所に戻る（ループを閉じる）」ことができませんでした。

• 解決策: 「時間的ウィンドウ（時間的に隣接するチャンク）」と「空間的ウィンドウ（時間的に離れているが空間的に近接するチャンク）」の 2 種類のコンテキストウィンドウを、サンプリングステップごとに交互に使用します（Cyclic Conditioning）。
• 効果: これにより、動画の開始点と終点が視覚的に一致するようになり、円形や不可能な階段などのループ構造を持つ軌道でも安定した生成が可能になります。

3. 実験結果

GVS は、History-Guided AR サンプリングや StochSync などのベースラインと比較して、以下の点で優れていることが示されました。

• 衝突回避（Collision Avoidance）: 事前に定義されたカメラ軌道（壁を通過する、天井にぶつかるなど）に対して、AR サンプリングが失敗するケースでも、GVS は衝突なく生成に成功しました。
• 時間的整合性（Temporal Consistency）: フレーム間の整合性（F2FC）と長期的な整合性（LRC）の両方で、ベースラインを上回るスコアを記録しました。
• ループ閉じ: パノラマや円形軌道、そして**オスカル・ロイタースヴェルドの「不可能な階段」**のような視覚的錯覚を含む複雑な軌道においても、滑らかなループ閉じを実現しました。
• 画質: 整合性の向上に伴い、動画の画質（IQ, AQ）も維持または向上しました。

4. 意義と限界

意義

• オフライン計画の実現: 未来のカメラ軌道が事前に分かっているシナリオ（ワンショット撮影、自動運転のシミュレーションなど）において、AR サンプリングの弱点を克服し、安定した長尺動画を生成できる新しいパラダイムを提供しました。
• 汎用性: 特定のモデルを再学習させる必要がないため、既存の Diffusion Forcing モデルをそのまま活用でき、実用性が高いです。
• 不可能な空間の生成: 「不可能な階段」のような物理的に存在しない空間を、カメラ軌道に従って一貫して描画できる能力を実証しました。

限界と将来の課題

• オンライン生成への適用不可: 未来のカメラ位置が未知であるインタラクティブな生成やストリーミングには適用できません（因果律を破るため）。
• 外部画像の条件付け: 特定のフレームに外部画像を条件付けした場合、その情報が動画全体に伝播しにくいという課題があります。
• 広角視点のループ閉じ: 基盤モデルのトレーニングデータ（RE10K など）が狭い視点移動に偏っているため、広角の視点移動を含むループ閉じには依然として課題が残ります。
• スケーラビリティ: 循環条件付けにおける空間的ウィンドウの定義が現在手動であるため、任意の軌道への自動スケーリングが今後の課題です。

結論

Generative View Stitching (GVS) は、拡散モデルを用いた動画生成において、事前定義されたカメラ軌道に対する「未来への計画」を可能にする画期的なサンプリング手法です。トレーニング不要で既存モデルと互換性がありながら、衝突回避、時間的整合性、そして複雑なループ構造の生成を同時に達成し、長尺動画生成の新たな基準を示しました。