技術要約: HorizonRelight

問題提起

単一の入力ビデオから制御可能なライティング編集を可能にする現代のビデオ・リライティング（再照明）は、ビデオ拡散モデルに大きく依存している。しかし、現在の最先端のバックボーン（例：DiffusionRenderer, UniRelight）は、Diffusion Transformer (DiT) における時空間自己注意（spatiotemporal self-attention）の高額なメモリコストのため、短く固定された長さのクリップで訓練されている。長時間のビデオを処理するために、これらのシステムは「チャンク化されたスライディングウィンドウ」推論戦略を採用している。

本論文は、このレジームにおける決定的な失敗モードを特定している。それは、チャンク境界における時間的な不連続性である。各チャンクは大部分が独立して処理されるため、モデルはウィンドウがシフトするたびに、潜在的なシーン属性や外観の手がかり（latent causes）を再推論しなければならない。これにより、モデルは短尺のクリップで訓練されている一方で、長尺のシーケンスに対してデプロイされるという訓練とテストのミスマッチが生じ、チャンク境界での目に見えるちらつき、外観のドリフト、およびライティングの一貫性の欠如を引き起こす。論文で示されているように、同一のターゲット照明条件下であっても、独立したチャンクの実行は目に見えて異なる結果を生み出し、長時間の整合性を損なう。

手法

HorizonRelightは、長時間のビデオ・リライティングを、一連の独立した短尺クリップ生成としてではなく、**時間的に条件付けられた潜在ドメイン変換（temporally conditioned latent domain translation）**問題として再定義する。本フレームワークは、チャンク間の連続性を強制するために2つのコアメカニズムを導入している。

1. マスクされたターゲットドメイン自己条件付けによる伝播されたコンテキスト

著者らは、モデルがゼロから開始するのではなく、部分的な証拠からリライトされたシーケンスを継続することを学習する、訓練および推論戦略を提案している。

• 訓練: モデルはマスクされたターゲットドメイン自己条件付けを用いて訓練される。訓練中、ターゲットドメインの潜在フレーム（リライトされた出力）のサブセットがマスクされる。モデルはソースビデオ（入力）と、ターゲットドメインのマスクされていない部分に条件付けられ、欠落しているフレームを予測することを学習する。これにより、モデルは部分的な時間的コンテキストに基づいてシーケンスを継続することを学習する。
• 推論（連鎖生成）: 推論時、モデルはビデオチャンクを逐次的に処理する。チャンク $k$ において、チャンク $k-1$ の予測から得られた終了時の潜在フレームが伝播され、チャンク $k$ の開始部分における「観測された」アンカーとして使用される。これにより、生成の連鎖（チェイニング）が実質的に実現され、リライトされた状態が再推論されるのではなく継続されることが保証され、境界の継ぎ目を最小限に抑える。

2. ウォームスタート・プロンプティング

（前回の伝播されたコンテキストが存在しない）最初のチャンクの連鎖を初期化するために、著者らはウォームスタート・プロンプティングを導入している。

• 「コールドスタート」（ランダムノイズまたは純粋なソース条件付き生成）の代わりに、最初のチャンクはリライトされたプロンプト・アンカーによって初期化される。
• このアンカーは、入力シーンをターゲットの照明下で描写する、外部の制御可能な生成モデル（例：Nano Banana Pro, ChatGPT）によって生成された単一の画像または短尺のビデオである。
• このアンカーは、シーケンス全体に対する初期のターゲットドメインの状態（外観とライティング）を確立する。本フレームワークは、画像ベース、ビデオベース、またはコールドスタートを含む柔軟な初期化モードをサポートしているが、適切に整列されたアンカーを用いた画像ベースのプロンプティングが最も安定した結果をもたらす。

アーキテクチャ

システムは、DiffusionRendererから適応された2段階のパイプラインに従う：

1. 逆工程（Inverse Stage）: 入力ビデオから編集可能なシーン属性（Gバッファ：ベースカラー、ノーマル、デプス、ラフネス、メタリック）を予測する。
2. 順工程（Forward Stage）: 予測されたGバッファとターゲットライティング条件（HDRI）に条件付けられた、リライトされたRGBビデオを合成する。
   両方のステージは、提案されたマスクされた自己条件付けとコンテキスト伝播を利用する。特に順工程では、前のチャンクからの伝播されたリライト潜在を使用して、現在のチャンクの生成を条件付ける。

主な貢献

• 長時間のリライティングの再定義: 本論文は、独立したチャンク処理から、連鎖的で時間的に条件付けられた潜在ドメイン変換プロセスへとパラダイムを転換する。
• マスクされたターゲットドメイン自己条件付け: スライディングウィンドウ推論における訓練とテストのミスマッチを直接解決し、部分的な伝播コンテキストからリライティングを継続することを可能にする新しい訓練目的関数。
• ウォームスタート・プロンプティング: プロンプトによる外観とスタイルをシーケンス全体に伝播させることで、ターゲットドメインの状態を設定するための、原理的な初期化手法。
• 統合フレームワーク: 一貫した時間的伝播を伴う、逆分解（Gバッファ予測）と順方向のリライティングの両方をサポートするアプローチ。

結果

著者らは、合成データセット（Objaverseからプロシージャルにレンダリング）および、YouTubeのクリエイティブ・コモンズ・ビデオを用いてHorizonRelightを評価している。

• 時間的一貫性: 定性的および定量的な結果は、顕著な時間的一貫性の向上を示している。
  • 境界アーティファクト: 本手法は、チャンク境界のアーティファクトを大幅に低減している。隣接するチャンク間の差分マップを見ると、変化は真のシーンのダイナミクス（動き）の周囲にのみ集中しており、ベースライン（DiffusionRenderer, UniRelight）は静止領域において広範で不要な外観の変化を示している。
  • 定量的指標: コントロールされた「複製・反転（duplicate-reverse）」設定を持つ合成データセットにおいて、HorizonRelightは、チャンク境界における平均二乗誤差（MSE）がベースラインよりも大幅に低い値を示した。例えば、リライティングタスクにおいて、境界MSEはDiffusionRendererの約0.1048から、提案手法の約0.0729へと低下した。100個のYouTube動画を用いた検証では、UniRelightおよびDiffusionRendererと比較して、境界MSEを94%以上削減した。
• 汎用性: フレームワークは、様々な初期化モード（コールドスタート、ビデオプロンプティング、画像プロンプティング）をサポートしている。コールドスタートも可能だが、高品質なアンカーを用いたウォモスタート・プロンプティングは、鏡面反射の詳細やライティングの手がかりの保持を大幅に向上させる。
• 拡張されたアプリケーション: ウォームスタート・メカニズムは、単なるリライティングだけでなく、プロンプトによる外観をシーケンス全体に伝播させることで、長時間のスタイル転送やコンテンツ編集もサポートできることが示されている。

限界と主張

論文は、その限界について控えめな姿勢を維持している：

• 細部ディテールの劣化: 長時間の整合性は維持されるものの、極めて長い連鎖（例：300フレームまたは5チャンク以降）において、シーンの微細なディテールが徐々に劣化することが指摘されている。これは、伝播メカニズム自体の失敗ではなく、学習された外観の事前分布（prior）およびデータのカバー範囲の制限に起因する。
• スコープ: 著者らは、本手法が制限のない将来の生成ではなく、実用的な長尺リライティング（典型的な映画のショットである5〜25秒間）のために設計されていることを明確にしている。実用的なワークフローでは、ショットが変わる際に連鎖をリセットすることを想定している。
• 自己回帰的生成ではない: 本論文は、自身のアプローチを自己回帰的なビデオ生成とは区別している。HorizonRelightは生成コンテンツをロールアウト（展開）するのではなく、ソースビデオとGバッファを使用して各チャンクを再制御し、前回のリライト出力を外観を安定させるための境界カラーの手がかりとしてのみ使用する。

重要性

HorizonReliteは、ビデオ拡散モデルを長時間のタスクに適用する際の根本的なボトルネック、すなわち「計算上の制約（固定ウィンドウ）」と「時間的一貫性」のトレードオフに対処している。長時間のリライティングを、学習された継続を伴うドメイン変換問題として扱うことで、本研究は、バックボーンを長尺シーケンスで再訓練することなく、単一の入力から時間的に一貫した高品質なリライトビデオの生成を可能にしている。ウォームスタート・プロンプティングの導入は、制御可能な生成モデルとビデオ編集パイプラインの間の溝を埋め、プロンプトベースの視覚効果のための柔軟なインターフェースを提供している。