💻 computer science

Dehaze-then-Splat: Generative Dehazing with Physics-Informed 3D Gaussian Splatting for Smoke-Free Novel View Synthesis

NTIRE 2026 3D 復元・再構築コンペティションのトラック 2 向けに提案された「Dehaze-then-Splat」は、Nano Banana Pro による生成デハージングと物理情報に基づく 3D ガウススプラッティングの補助損失を組み合わせることで、フレーム単位の復元による多視点不一致を解決し、煙のない新規視点合成の画質を大幅に向上させる 2 段階パイプラインです。

原著者： Yuchao Chen, Hanqing Wang

公開日 2026-04-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yuchao Chen, Hanqing Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「煙やもやでぼやけた複数の写真から、くっきりとした 3D 世界を再現する」**という難しい問題を、2 つの段階に分けて解決しようとする面白い試みです。

タイトルは**「Dehaze-then-Splat（煙取り→スプラット）」といいます。
これを、「霧の多い森の写真を整理して、立体的な模型を作る」**という物語に例えて説明しましょう。

🌫️ 問題：煙に包まれた写真のジレンマ

まず、煙やもやがかかった複数の写真（同じ場所を違う角度から撮ったもの）があるとします。
これを 3D 模型（3D Gaussian Splatting という技術）にしたいのですが、2 つの大きな壁があります。

写真がボヤけている： 煙を消して、くっきりさせたい。
写真同士がバラバラ： 煙を消す AI が、写真ごとに「赤い花」を「ピンク」にしたり、「葉っぱの形」を少し変えたりして、写真同士が一致しなくなってしまう。

**「1 枚 1 枚の写真は綺麗でも、集めると 3D 模型がぐにゃぐにゃになってしまう」**というのが、この論文が見つけた最大の悩みです。

🛠️ 解決策：2 ステップの「魔法の工程」

著者たちは、この問題を解決するために、**「まず 2D で綺麗にし、その後 3D で修正する」**という 2 つのステップを考案しました。

ステップ 1：「天才画家」に煙を消してもらう（Generative Dehazing）

まず、**「Nano Banana Pro」**という非常に優秀な AI 画家に、煙のかかった写真 1 枚 1 枚を渡して、「煙を消して、元の世界を鮮やかに描いて」と頼みます。

すごい点： この AI は、煙の奥にある景色を想像して描き足す（ハルシネーション）のが上手で、1 枚 1 枚の写真は非常に綺麗になります。
弱点： 画家は「1 枚ずつ」しか見ていません。だから、左の写真では「木が青い」のに、右の写真では「木が緑」になったり、微妙なズレが生まれてしまいます。これを**「写真同士の不一致」**と呼びます。

ステップ 2：「物理のルール」を使って 3D 模型を直す（Physics-Informed 3DGS）

次に、ステップ 1 で作った「バラバラな写真」を使って、3D 模型を作ります。ここで、ただ写真を並べるだけでは模型が崩れてしまいます。そこで、**「物理のルール（制約）」**を 3 つ追加して、模型を安定させます。

深さのガイド（Depth Supervision）：
- 「この辺りは奥にあるはずだ」という地図（疑似深度）を用意し、模型がその地図に沿っているかチェックします。これで、写真の色がバラバラでも、「形」は正しく保たれます。
暗い部分のルール（Dark Channel Prior）：
- 「本当に綺麗になった写真なら、暗い部分には煙（白っぽさ）が残っていないはずだ」というルールを適用します。これで、「まだ残っている煙っぽさ」を消し去ります。
輪郭の一致（Gradient Matching）：
- 別の AI が描いた「輪郭の参考図」と見比べながら、模型の縁がカクカクしていないかチェックします。

🌟 重要な発見：「作りすぎない」のがコツ
通常、AI は学習を長く続けるほど良くなると思われがちですが、この方法では**「早めに学習を止める」**のが正解でした。

理由： 学習を続けると、AI は「写真のバラつき（ノイズ）」まで覚えてしまい、模型に不要な浮遊物（ゴースト）が大量に発生してしまいます。
対策： 模型の部品（ガウスという粒子）の数を増やしすぎず、**「まだ 1 万個程度」**の少ない段階で学習を止めることで、かえって綺麗で安定した 3D 世界が完成しました。

🎯 結果：何ができた？

この「煙取り→スプラット」の手法を使ってみると、以下のような成果が出ました。

画質の向上： 従来の方法より、画像の鮮明さ（PSNR）が1.5 分も向上しました。
安定した 3D： 写真同士のズレがあっても、物理のルールで補正したおかげで、新しい角度から見たときも、ボヤけたり崩れたりしない、くっきりとした 3D 映像が作れました。

💡 まとめ：どんなイメージ？

この技術を一言で言うと、**「個々の写真の綺麗さ（2D）と、全体としての整合性（3D）のバランスを取る」**ことです。

失敗例 A（2D だけ重視）： 1 枚 1 枚は超綺麗だが、集めると 3D 模型がぐにゃぐにゃになる。
失敗例 B（3D だけ重視）： 3D 模型は整っているが、煙が全然消えずにボヤボヤしている。
成功例（この論文）： **「まず AI に綺麗に描かせる（2D）」→「物理のルールでズレを修正し、作りすぎを防ぐ（3D）」という、2 つの工程を組み合わせることで、「煙のない、くっきりとした 3D 世界」**を再現しました。

これは、NTIRE 2026 というコンペティションで、煙やもやを取り除く 3D 復元部門で非常に高い評価を得た手法です。

1. 問題定義 (Problem)

本論文は、物理的に撮影された煙（スモーク）や靄（ハザ）に覆われたマルチビュー画像から、煙を除去し、クリーンなシーンの新規視点合成（Novel View Synthesis: NVS）を行うことを目的としています。
主な課題は以下の通りです：

単一画像復元と多視点整合性のジレンマ: 従来の生成モデル（例：Nano Banana Pro）は単一画像ごとに高品質な煙除去を行いますが、画像ごとに独立して処理されるため、色調、テクスチャ、生成された詳細部分にランダムな変動（Stochastic variations）が生じます。
3D 再構築への悪影響: 多視点間で整合性の取れていない「疑似クリーン画像」を 3D ガウススプラッティング（3DGS）の学習データとして使用すると、最適化プロセスが異なる視点からの矛盾した信号を平均化しようとして、ぼやけたレンダリング、テクスチャのドリフト、構造的不安定性、および「フローター（浮遊するノイズ）」の発生を引き起こします。

2. 提案手法：Dehaze-then-Splat (Methodology)

この問題に対処するため、著者は**「Dehaze-then-Splat」**と呼ばれる 2 段階のパイプラインを提案しています。

ステージ 1: 生成モデルによる煙除去と前処理

生成モデルの採用: 単一画像ごとの煙除去に、Gemini API を通じた「Nano Banana Pro」を使用します。
- プロンプトエンジニアリング: 構造化された 6 点のプロンプトを使用し、煙の除去とシーン構成・幾何学的形状の保持を指示します。
- 解像度整合: 出力画像をカメラの内部パラメータと一致する解像度にリサイズします。
明るさ正規化: 画像間での明るさの不一致（最大 0.12 のシフト）を補正するため、チャンネルごとの平均・標準偏差正規化を適用します。これにより、3DGS 学習時の色信号の衝突を軽減します。

ステージ 2: 物理情報に基づく 3DGS 学習

生成モデルによる画像間の変動を補正し、多視点整合性を確保するために、標準的な 3DGS 学習に**物理情報に基づく補助損失関数（Physics-Informed Auxiliary Losses）**を導入します。

損失関数の構成:
$L = (1-\lambda_s)L_1 + \lambda_s L_{SSIM} + \lambda_d L_{DCP} + \lambda_p L_{depth} + \lambda_g L_{grad}$
- 深度監視損失 ( $L_{depth}$ ): 煙に強い「Depth Anything V2」で生成した疑似深度マップと、レンダリングされた深度との間に、スケール不変のピアソン相関損失を適用します（最も効果的）。
- ダークチャンネル事前知識 ( $L_{DCP}$ ): 除去された画像のダークチャンネル値がゼロに近づくよう正則化し、残存する煙のアーティファクトを抑制します。
- 双ソース勾配損失 ( $L_{grad}$ ): 主生成モデル（Nano Banana Pro）と、構造的な参照モデル（MB-TaylorFormer）の両方のエッジ構造を一致させる勾配マッチングを行います。
MCMC 密度増加戦略と早期停止:
- 手動のスプリット/クローン/プルーニングではなく、確率的なノイズ注入と移動を行うMCMC 戦略を採用し、ガウス分布の密度を管理します。
- 早期停止 (Early Stopping): 学習ステップを 3,000 程度（ガウス数 10 万〜16 万程度）で停止します。これにより、モデルが多視点の不一致（ノイズ）を過学習してフローターを生成するのを防ぎます。

対照実験：エンドツーエンド散乱分解

Koschmieder 大気散乱モデルを 3DGS に直接組み込むアプローチ（DehazeGS 風）も試しましたが、幾何学的制約が不足し、煙除去が機能せず（ $\beta \to 0$ ）、品質が低下しました。これにより、「2D 復元と 3D 整合性のバランス」の重要性が裏付けられました。

3. 主要な貢献 (Key Contributions)

ジレンマの解明: 「単一画像の復元品質が高いこと」と「多視点整合性が取れていること」は必ずしも両立しないという、Dehaze-then-Reconstruct パイプラインにおける根本的な矛盾を明らかにしました。
ハイブリッドアプローチの提案: 生成モデルによる高品質な 2D 復元と、物理的制約（深度、ダークチャンネル、勾配）を伴う 3DGS 学習を組み合わせることで、両者の欠点を補完する手法を確立しました。
容量制御の重要性: 多視点整合性の欠如がある場合、学習を早期に停止し、ガウスの数を制限することが、過学習とフローター防止に不可欠であることを示しました。

4. 結果 (Results)

Akikaze 検証シーン（25 枚の学習画像、4 枚のテスト画像）における結果は以下の通りです。

定量的評価:
- PSNR: 20.98 dB（ベースライン比 +1.50 dB の改善）。
- SSIM: 0.683（ベースライン比 +0.051 の改善）。
- LPIPS: 0.600。
アブレーション研究の知見:
- 深度監視損失（ $L_{depth}$ ）が単独で +0.79 dB の改善をもたらしました。
- MCMC 戦略はデフォルト戦略より +0.47 dB 優れていました。
- 早期停止（ステップ 3,000）は、学習を長く続けた場合（ステップ 15,000）よりも +0.35 dB 高い性能を示し、過学習を防ぎました。
定性的評価: 提案手法は、鮮明なエッジと正確な色調を維持した新規視点画像を生成し、ベースラインのぼやけや色ズレ、エンドツーエンド手法の煙分離失敗を解消しました。

5. 意義と今後の展望 (Significance & Future Work)

学術的意義: 生成 AI を 3D 復元に応用する際、単に「高品質な 2D 画像」を生成するだけでは不十分であり、3D 整合性を保証するための物理的制約や学習戦略の設計が不可欠であることを示しました。
実用的価値: 煙や靄に覆われた現実世界のデータセット（RealX3D ベンチマーク）において、高品質な 3D 再構築と新規視点合成を可能にする実用的なパイプラインを提供しました。
今後の課題: 生成段階自体に多視点整合性の制約を組み込むこと（ビデオベース生成モデルやマルチビュー注意機構の導入）や、整合性が確立された後にのみガウス数を増やす適応的な容量スケジューリングなどが今後の研究方向として挙げられています。

この論文は、NTIRE 2026 チャレンジの Track 2 において、生成モデルと物理ベースの 3D 表現を効果的に統合する新たなパラダイムを示すものとして位置づけられます。