技術要約: RTE-FM-Dehazer

問題提起

単一画像からのデヘイズ（霧除去）は、霞んだ観測画像から鮮明なシーンを復元することを目指すが、これは不良設定問題（ill-posed problem）である。既存のアプローチには、主に2つの制限がある：

1. 簡略化された物理的事前知識への依存: 従来のメソッドは、大気散乱モデル（ASM）を利用している。ASMは単一散乱と均質な媒体を仮定しているが、これらの仮定は、霧が空間的に不均一で光が多重散乱を行う現実世界のシナリオでは頻繁に破綻する。これにより、残留霧、色のドリフト、および過剰な強調によるアーティファクトが生じる。
2. データの不足と合成の限界: 大規模で現実的な、ペアとなる霞画像と鮮明な画像のデータセットを収集することは実用的ではない。既存の合成手法は、多くの場合、これと同じ制限的なASMの仮定に依存しており、自然な霧の複雑さ（例：異方性散乱、深度依存の減衰）を再現できていない。さらに、近年の生成アプローチ（Diffusion, VQGAN）は、物理的な制約を欠いているため、色のドリフトやパッチ・グラフティング（patch grafting）といった確率的なアーティファクトを導入してしまう。

手法: RTE-FM-Dehazer

著者らは、放射伝達方程式（RTE）によって正則化された、物理学に触発されたフローマッチング・タスクとしてデヘイズを再定式化するフレームワーク、RTE-FM-Dehazerを提案する。

1. 物理学に触発された正則化 (RTE vs. ASM)

本手法はASMの代わりにRTEを採用しており、これは散乱と吸収を共同で考慮するため、非均質かつ多重散乱する媒体を自然に扱うことができる。

• フローマッチングの定式化: デヘイズのプロセスは、霞んだ潜在状態（$z_0$）から鮮明な潜在状態（$z_1$）への連続的な軌跡としてモデル化される。ニューラルネットワーク（$v_\theta$）は、常微分方程式（ODE）を介して画像を変化させるための速度場を予測する。
• RTE由来の正則化項: 著者らは、RTEの拡散・吸収項とフローマッチングのODEとの間の構造的な類似性を導き出している。彼らは、簡略化されたRTEから以下の速度項を導出する：
  $$\mathbf{v}_{\text{RTE}}(\mathbf{z}) \triangleq -D\nabla^2\mathbf{z} + \mu_a\mathbf{z}$$
  ここで、$-D\nabla^2\mathbf{z}$ は空間的な拡散（勾配の平滑化）をモデル化し、$\mu_a\mathbf{z}$ は媒体の吸収（輝度の指数関数的減衰）をモデル化する。
• 結合損失関数: ネットワークは、予測された速度を最適輸送方向（$z_1 - z_0$）およびRTE由来の速度の両方に一致させるように、結合された損失関数を最小化するように訓練される：
  $$\mathcal{L} = \|\mathbf{v}_{\theta} - (\mathbf{z}_1 - \mathbf{z}_0)\|^2 + \lambda \|\mathbf{v}_{\theta} - \mathbf{v}_{\text{RTE}}\|^2$$
  これにより、生成される軌跡が物理的に妥当（RTEのダイナミクスを満たす）でありながら、データ駆動型であることを保証する。

2. スケーラブルなデータパイプライン (P-HAZE)

現実のペアデータの不足に対処するため、著者らは大規模なデータセットであるP-HAZE（50,000ペア）を生成するパイプラインを導入した。

• VLM駆動の生成: 画像と言語のモデル（例：Qwen2.5-VL, Gemini-2-Flash）を活用し、テキストプロンプトを用いて、鮮明な参照画像から現実的な霞画像を生成する。これにより、手作りの深度マップを使用することなく、複雑で非定常なエアロゾル分布（例：渦巻く煙）を捉えることができる。
• 幾何学的整合: VLMの出力にはわずかな幾何学的歪みが生じる可能性があるため、パイプラインは高密度なキーポイントを抽出し、平面ホモグラフィを推定することで、霞画像を鮮明な参照画像とピクセル単位で整合させる。
• フィルタリング: セマンティックなアーティファクトを除去するために、2段階のフィルタリング戦略（SAM2セグメンテーション + ヒューマン・イン・ザ・ループ）を用いる。

3. アーキテクチャと訓練

• 潜在空間: 計算コストを抑えつつテクスチャを保持するため、Stable Diffusion v2.1（64x64x4）の潜在空間で動作する。
• ネットワーク: U-Netバックボーンが速度場を予測する。
• 推論: 霞から鮮明な状態への緩やかな遷移をシミュレートするために、多段階オイラー積分（推奨ステップ数 > 10）を用いてODEを解くことで、鮮明な画像を復元する。

主な貢献

1. RTE正則化フローマッチング: 著者らは、放射伝達方程式を物理的なソフトプライアとしてフローマッチングのフレームワークに統合することにより、単一画像デヘイズを再定式化した。これにより、制限的なASMに代わり、生成の軌跡を物理的な光輸送ダイナミクスに適合させ、より安定して現実的な結果を実現した。
2. 決定論的な生成: 確率的なノイズ・プライアを取り除き、拡散・吸収項によってフローを正則化することで、ランダムサンプリングのベースラインと比較して、元の色彩分布をより良く保持する決定論的な潜在軌跡を実現した。
3. P-HAZEデータセット: VLM駆動のパイプラインを用いて、50,000組の現実的な霞/鮮明な画像ペアを合成する手法を提案し、希少な現実世界のデータに依存することなく、堅牢な訓練を可能にした。

実験結果

本モデルは、合成されたP-HAZEデータセットのみで訓練され、5つの多様な現実世界のベンチマーク（I-HAZE, D-HAZE, SMOKE, NH-HAZE, RESIDE-6K）で評価された。

• 定量的性能: RTE-FM-Dehazerは、4つのデータセットで最高のPSNRを、6つのベンチマークのうち5つで最低のLPIPSを達成した。特に困難なNH-HAZEデータセットにおいて、最強の競合モデル（LHTD）をPSNRで+3.9 dB上回り、LPIPSを37%低減させた。
• 汎用性: ドメインシフトにより現実世界のデータで性能が低下する教師あり学習手法とは異まり、RTE-FM-Dehazerは強力なクロスドメイン汎用性を示し、屋内、屋外、および煙の充満したシーンにわたって性能を維持した。
• 定性的分析: 視覚的な比較により、本手法が空間的に変化する霧や色被りを効果的に除去し、微細なテクスチャや元の照明構造を保持していることが示された。CNN/Transformer手法に見られる残留霧や、生成系（GAN/Diffusion）のベースラインに見られる色のドリフトやアーティファクトを回避している。
• アブレーション研究: RTE正則化器を除去した場合（Vanilla FM）、またはその構成要素を分離した場合（吸収のみ、または拡散のみ）、性能が大幅に低下した。これにより、統合された吸収・拡散の定式化が、不均一な霧を扱う上で極めて重要であることが確認された。

意義と主張

本論文は、RTE-FM-Dehazerが、データ駆動型の生成モデルと物理法則の間の溝を埋めることにより、現在のデヘイズ手法の核心的な制限に対処していると主張している。放射伝達方程式をフローマッチングの速度場に直接組み込むことで、「物理的に正則化された輸送方程式」を実現し、より鮮明で、色の整合性が高く、アーティファクトのない結果を生み出す。著者らは、このアプローチが、フローマッチングの構造的類似性を利用して生成プロセスを導くことで、現実世界のペアリングされた訓練データを必要とせずに、堅牢な現実世界のデヘイズ・ソリューションを提供すると主張している。

著者らが述べている今後の課題には、VAEによる情報損失を排除するための潜在空間からピクセル空間への移行、およびフル解像度処理のための効率的な数値ソルバーの調査が含まれる。