💻 computer science

LightCrafter: PBR-Conditioned Video Diffusion Refinement for Controllable and Consistent Relighting

LightCrafterは、生の映像ではなくPBRレンダリングされたプロキシビデオを変換することで、グローバルイルミネーションのような複雑な効果を捉えるために事後学習済みCogVideoXを活用し、物理的に根拠に基づいた、時間的に一貫性のある、制御可能な照明を実現するハイブリッドビデオリライティングフレームワークである。

原著者： Zixin Guo, Yehonathan Litman, Yifeng He, John Miller, Chuhan Chen, Deva Ramanan

公開日 2026-07-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Zixin Guo, Yehonathan Litman, Yifeng He, John Miller, Chuhan Chen, Deva Ramanan

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

晴れた日のホームビデオがあるとしましょう。でも、あなたはそれを魔法のように、登場人物や木々、カメラの動きは変えずに、不気味な月明かりのシーンに変えたいと考えています。それが「ビデオ・リライティング（動画の再照明）」の夢です。しかし、ここには落とし穴があります。光を動画の中でリアルに振る舞わせることは、非常に困難なのです。もし賢いAIに対して単に「暗くして」と頼んだとしても、AIが混乱してしまい、動画が進むにつれて影がちらついたり、色がドリフト（漂流）したりする可能性があります。

この論文の著者たちは、巧妙なショートカットを見つけました。AIに新しい照明をゼロから発明させるのではなく、まず照明を「下書き」として焼き付け、その後にAIにその「汚れ」を掃除させることにしたのです。

失敗した2つの道（論文による記述）

解決策を見つける前に、研究者たちは他の2つの手法を検討しましたが、それらは不十分であると判断しました。

「完全な再構成」への試み： 一部の手法は、ビデオを逆エンジニアリングして、正確な3D形状、素材、光源を特定し、それを再レンダリングしようとします。論文では、これは砕け散った花瓶の破片を見て、完璧に元の姿を復元しようとするようなものであり、ノイズが多く曖昧になりやすいと主張しています。もし再構成が少しでも間違っていれば、新しい照明は壊れたものに見えてしまいます。
「魔法のAI」への試み： 他の手法は、テキストやマップを使用して、生成AIにビデオを「晴れ」から「月明かり」へと翻訳させるだけです。論文は、これがリスクが高いと示唆しています。なぜなら、AIが長い動画の中で物理法則を忘れてしまう可能性があるからです。それは、物語の書き手に対して「小説全体を新しいスタイルで書き直して」と頼むようなものです。書き手は途中でキャラクターの名前を変えてしまったり、誰がどこに立っているのかを最後まで忘れてしまったりするかもしれません。

LightCrafterの解決策：「下書き」のトリック

チームの主な発見は、AIに「光がどのように機能するか」を理解させる必要はない、ということです。ただ「下手な絵をどう修正するか」を理解させればよいのです。

彼らの3ステップのレシピは以下の通りです。

ステップ1：「下書き」（PBRプロキシ）
まず、標準的なコンピュータグラフィックスエンジン（PBR：物理ベースレンダラーと呼ばれます）を使用して、新しい照明の下でのビデオの「下書き」を作成します。これは、スケッチ描きが新しい月明かりの下でシーンを素早く描いているようなものだと考えてください。

良いニュース： 論文によると、この「下書き」はそれ自体で驚くほど優れた仕事をするということが分かりました！物理法則に従っているため、影や全体的なムードを正しく捉えています。
悪いニュース： コンピュータは平面のビデオから3D形状を推測しなければならないため、スケッチには不具合が生じます。影がギザギザに見えたり、質感がプラスチックのようになったり、オブジェクトが消えてしまう奇妙な穴ができたりすることがあります。

ステップ2：「ポリッシャー（磨き上げ）」（拡散リファイナー）
ここで魔法が起こります。彼らは強力なビデオAI（CogVideoXというモデルに基づいています）を取り使い、AIにたった一つの仕事、つまり「下書きの不具合を修正すること」を教えます。

AIに「暗くして」と頼む代わりに、「下書き」と「完璧な最終ビデオ」を並べて見せます。
AIは、ギザギザの影やプラスチックのような質感を見つけ出し、それらを滑らかにする方法を学びます。これは、絵全体を塗り直すのではなく、肌の悩み（シミやシワ）を取り除くことだけを知っているフォトエディターのようなものです。
「下書き」にはすでに正しい照明が焼き付けられているため、AIは光がどこにあるべきかを推測する必要がありません。ただ、それをリアルに見せるだけでよいのです。

ステップ3：長尺ビデオのトリック
現実世界のビデオは長いものですが、AIモデルは通常、短いクリップの後に力尽きてしまいます。もし長いビデオを短い塊ごとに編集しようとすると、照明がドリフトしてしまうことがあります（動画の途中で月が突然青くなるなど）。

著者たちは、**オーバーラップ融合時間タイル化（overlap-fused temporal tiling）**と呼ばれる手法を使用して、これを解決しました。これは、長い映画を編集する際に、パズルのようにシーンを少しずつ重ね合わせ、端の部分を完璧にブレンドしていく様子を想像してください。彼らはAIの予測を融合させることで、動画がどれほど長くても、最初の一秒から最後の一秒まで照明が一貫して保たれるようにしました。

AIへの教え方

AIが現実世界の乱雑さに対応できるようにするために、彼らは単に完璧なコンピュータグラフィックスを使ったわけではありません。特別なトレーニングパイプラインを構築しました。

合成データ： 「完璧な答え」と「下書きの答え」の両方が分かっている偽のビデオを作成しました。
現実世界のデータ： 本物のビデオを取り込み、それを独自の「下書き」プロセスに通し、元のビデオを「完璧な答え」として使用しました。
結果： 両方で学習することで、AIは2Dビデオから3D形状を推測しようとする際に発生する特定の種類のエラーを修正することを学びました。論文は、もし完璧なコンピュータグラフィックスのみで学習すれば、AIは現実のビデオに対して失敗し、現実のビデオのみで学習すれば、物理法則を十分に学習できないことを示唆しています。

これで何ができるのか？

このシステムは、3Dルールに基づいて構築された「下書き」に依存しているため、驚くほど柔軟です。論文では、以下のことが可能であることを示しています。

新しい光の挿入： シーンに仮想のランプを追加すると、AIが正しい影の落ち方を作ります。
素材の変更： 光沢のある車をマットな質感に変えると、AIが反射を調整します。
オブジェクトの移動： このシステムは、再学習を必要とせずに、シーンに新しいオブジェクトを追加することも処理できます。

まとめ

論文は、この「下書きを作ってから磨き上げる」というアプローチが、全体をゼロから生成しようとしたり、最初にシーンを完全に再構成しようとしたりするよりも効果的であると結論付けています。合成および現実世界のビデオを用いたテストにおいて、LightCrafterは従来のメソッドよりも安定し、一貫性があり、リアルな結果を生み出しました。

しかし、著者たちは限界についても正直に述べています。もし元のビデオに非常に光沢のある表面、透明な表面、または金属的な表面がある場合、あるいはカメラが3Dの推測を混乱させるような動き（モーションブラーなど）をする場合、「下書き」がAIにとって修正するにはあまりにも乱雑すぎる可能性があります。しかし、ほとんどのシーンにおいて、この手法は物理法則を壊すことなく動画のムードを変えるための、より信頼できる新しい方法を示しています。

技術サマリー: LightCrafter

問題提起

ビデオのリライティング（再照明）には、コンテンツ、形状、質感、および動きを保持しながら、シーンの外観を編集することが求められます。同時に、時間的な一貫性と物理的な整合性も維持しなければなりません。既存のアプローチは、概して以下の2つのパラダイムに分類されますが、どちらも重大な限界を抱えています：

逆レンダリング + フォワードレンダリング: これらの手法は、シーンの固有属性（形状、質感、照明）を明示的に再構成し、それらを新しい照明下で再レンダリングします。これらは精密な制御と時間的一貫性を提供しますが、単眼による逆レンダリングの不良設定（ill-posed）な性質に起因するノイズの多い再構成に悩まされます。形状や質感の推定誤差は、出力に直接伝播し、複雑なグローバル・イルミネーションの効果のモデリングにも苦慮します。
生成的なビデオ・トゥ・ビデオ変換: これらの手法は、リライティングをターゲットとなる照明（環境マップやテキストなど）に条件付けされた生成タスクとして捉えます。フォトリアリズムを実現するために強力な拡散事前分布を活用しますが、シャドウやシェーディングに対する精密な制御に欠け、限定的なコンテキストウィンドウのために長尺の動画における時間的一貫性の維持に苦しみ、ペアとなる実世界の学習データの不足に阻まれます。

手法

著者らは、ビデオのリライティングをPBR条件付きビデオ精緻化タスクとして再定式化するハイブリッド・パイプラインであるLightCrafterを提案しています。入力ビデオをターゲットの照明へと直接変換するのではなく、この手法は、物理ベースレンダリング（PBR）によるプロキシ・ビデオ（ターゲットの照明下でレンダリングされたもの）をフォトリアルな出力へと変換します。

パイプラインは、主に以下の3つのステージで動作します：

1. 逆レンダリング（シーンの復元）

単眼の入力ビデオから、システムは既成のメソッドを用いてシーンの固有属性を復元します：

形状とカメラ: デプスマップとカメラパラメータを抽出（例：MegaSAM経理）し、ワールド座標系におけるピクセル単位で整合したメッシュを構築します。
質感: アルベド、ノーマルマップ、およびBRDFパラメータ（粗さ、金属度）を抽出（例：DiffusionRenderer）します。
ソース照明: 入力ビデオに一致するように、微分可能レンダリングを通じて環境マップを推定・精緻化します。
これにより、復元されたシーンの状態 $S$ とソース照明の推定値が得られます。

2. フォワードレンダリング（PBRプロキシの生成）

復元された固有属性 $S$ とユーザー指定のターゲット照明 $L_{target}$ を用いて、物理ベースレンダラーがプロキシ・ビデオ $P$ を生成します。

レンダラーは、ランバート拡散ローブと等方性鏡面反射ローブ（Cook-Torrance微小面モデル）を用いて、レンダリング方程式を解きます。
レンダリングは決定論的であり、復元された形状に基づいているため、得られるプロキシ $P$ は構造的にフレーム間で整合しており、時間的一貫性を備えています。
決定的なことに、このプロキシは構造化された照明の変化（シャドウ、シェーディング、ハイライト）の大部分を捉えますが、不完全な逆レンダリングに起因するアーティファクト（例：ちらつき、ギザギザのシャドウ、欠損領域）は保持してしまいます。

3. PBR条件付き拡散精緻化

ビデオ拡散モデル（CogлоVideoX-5Bから初期化）を、ノイズの多いPBRプロキシ $P$ をフォトリアルなリライト・ビデオへと精緻化するためにファインチューニングします。

学習目的: モデルは、PBRプロキシの潜在表現を条件として、グランドトゥルースのリライト・ビデオに加えられたノイズを予測することを学習します。
アーティファクトのマッチング: 学習とテストの乖離に対処するため、推論時にモデルが遭遇するであろう種類のアーティファクト（ノイズ、形状エラー）をPBRプロキシが含むように学習データをキュレーションしています。
長尺の一貫性: モデルの学習ウィンドウよりも長いビデオを扱うために、著者らは**オーバーラップ融合型テンポラル・タイリング（overlap-fused temporal tiling）**を採用しています。ビデオを重複するウィンドウに分割し、ノイズ予測空間においてテンポラル・テント重みを用いてデノイズおよび融合します。これにより、単一のコヒーレントなデノイジング・トラジェトリが確保され、チャンク境界でのライティングのドリフトを防ぎます。

データ・キュレーション戦略

著者らは、合成データと実世界のデータの間のギャップを埋めるための新しいデータ・キュレーション・パイプラインを導入しています：

合成ペア: グランドトゥルースのビデオをレンダリングした後、それを逆レンダリングして再レンダリングすることで、（ノイズの多いPBR, グランドトゥルース）のペアを作成します。これにより、モデルは再構成アーティファクトを修正することを学びます。
実世界の疑似ペア: 実世界のビデオを逆レンダリングし、その推定された照明の下で再レンダリングします。この（再レンダリングされた入力, オリジナルの入力）というペアにより、モデルはグランドトゥルースのリライト・ビデオを必要とせずに、実世界の外観におけるアーティファクトを修正することを学びます。

主な貢献

ハイブリッド・パイプライン: ビデオのリライティングを、PBRプロキシが明示的な照明制御と時間的一貫性を提供し、拡散モデルがフォトリアリズムとアーティファクト補正を担う「精緻化タスク」として再定式化しました。
PBRプロキシの優位性: 著者らは、PBRレンダリング単体でも、照明制御と一貫性の観点で従来のEnd-to-End手法を凌駕することを示しており、現代の逆レンダラーの品質を検証しています。
アーティファクト・マッチング学習: 拡散モデルに現実的なレンダリング・アーティファクトを露出させるデータ・キュレーション戦略により、推論時の条件への汎化性能を大幅に向上させました。
長尺の一貫性: テンポラル・タイリングと融合メカニズムにより、チャンク処理で一般的なドリフトを起こすことなく、任意の長さのビデオに対して一貫したリライティングを可能にします。
ダウンストリーム編集: 本フレームワークは、変更された入力を用いてPBRプロキシを再レンダリングするだけで、シーン編集タスク（質感の変更、オブジェクトの挿入、照明の挿入）を自然にサポートします。これには拡散モデルの再学習は不要です。

実験結果

本手法は、合成および実世界のベンチマーク（MIT Multi-Illumination, DL3DV）で評価されました。

定量的性能: LightCrafterは、LightX、UniRelight、DiffusionRendererといったベースラインと比較して、PSNR、SSIM、LPIPSにおいて最先端（SOTA）の性能を達成しています。時間的一貫性の指標（T-CLIP、Warp-SSIM）においても、ベースラインを大幅に上回っています。
定性的結果: 本手法は、長いシーケンスにおいても安定したシャドウ、ハイライト、および全体的な外観を生成しますが、ベースラインは目に見える劣化、不整合なシャドウ、およびカラー・ドリフトを示します。
アブレーション研究: 合成データと実世界データの両方で学習することが極めて重要であることが実験で示されています。実世界データを除くと構造の幻覚（hallucination）が生じ、合成データを除くとリライティングの精度が低下します。アーティファクト・マッチングされたキュレーションは、イン・ザ・ワイルド（実環境）のアーティファクトを修正するために不可欠です。

重要性

本論文は、LightCrafterがビデオのリライティングにおいて制御性とフォトリアリズムの新たなバランスを実現したと主張しています。PBRレンダリングの明示的な物理的根拠を構造と一貫性のために活用し、拡散モデルの生成能力を精緻化のために利用することで、本手法は純粋な逆レンダリング（ノイズ/アーティファクト）と純粋な生成的アプローチ（制御の欠如/時間的ドリフト）の両方の限界を克服しています。著者らは、このアプローチが、一貫した長尺のリライティングを可能にし、シーン編集タスクへと自然に拡張できることを強調しており、データセット、ベンチマーク、およびコードをコミュニティに公開しています。