💻 computer science

RTE-FM-Dehazer: Radiative Transfer Equation Inspired Flow Matching for Real-World Image Dehazing

该论文介绍了 RTE-FM-Dehazer，这是一种利用辐射传输方程来指导流匹配模型的新型去雾框架，并利用由视觉语言模型生成的大规模合成数据集（P-HAZE）来克服传统大气散射假设的局限性，从而在真实世界的雾天图像上实现卓越性能。

原作者： Chenfeng Wei, Chun Wang, Boyang Zhao, Si Zuo, Shenhong Wang, Chenguang Yang

发布于 2026-07-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenfeng Wei, Chun Wang, Boyang Zhao, Si Zuo, Shenhong Wang, Chenguang Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图透过一扇脏兮兮、雾蒙蒙的窗户去观察窗外美丽的花园。玻璃上覆盖着一层厚厚且不均匀的烟雾和尘埃。你的目标是“清洗”这个视野，让你可以重新清晰地看到那些花朵和树木。这就是**图像去雾（image dehazing）**对计算机所做的事情：它试图将一张模糊、灰暗的照片还原回清晰、色彩鲜艳的照片。

长期以来，计算机尝试通过一本简单的、陈旧的规则书——“大气散射模型（Atmospheric Scattering Model）”来解决这个问题。你可以把这本规则书想象成一个孩子的直觉猜测：“如果照片是灰色的，那就把颜色补回来。”问题在于，现实世界的雾是非常杂乱的。它不仅仅是一层均匀的灰色毯子；它会旋转、在某些地方变得更厚，并且会根据光线撞击的位置不同而以不同的方式吸收光线。旧的规则书无法处理这种复杂性，往往会留下雾气的“残影”，或者让颜色看起来很奇怪（比如把绿色的树变成蓝色）。

于是，RTE-FM-Dehazer 诞生了。

该论文的作者构建了一种更聪明、更高效的清理图像的方法。他们结合了三个主要理念，我们可以用日常生活的类比来解释它们：

1. 更好的规则书：“雾的物理学”（RTE）

他们没有使用那种简单的“孩子式的猜测”，而是使用了一个更复杂、更精确的物理方程，称为辐射传输方程（Radiative Transfer Equation, RTE）。

类比： 想象旧的方法就像是试图仅靠用干布擦拭来清洁窗户。而新方法则像是理解了污垢是如何粘在玻璃上的，它是如何吸收光线的，以及它是如何散射光线的。它考虑到了雾不仅仅是一个平面的图层，而是一个会吞噬光线并让光线四处弹跳的 3D 云团。通过使用这种“雾的物理学”，计算机确切地知道如何在不误伤花朵或把天空涂成紫色的情况下，精准地逆转这种混乱。

2. 引导路径：“流匹配”（Flow Matching）

计算机并不会只是凭空进行一次巨大的跨越式猜测。相反，它使用了一种叫做**流匹配（Flow Matching）**的技术。

类比： 想象你迷失在浓雾中，需要回家。
- 旧方法可能会尝试瞬间把你传送回家，但因为它们不了解地形，往往会把你传送到墙里或沼泽里。
- RTE-FM-Dehazer 则像是一个 GPS，引导你一步步前进。它将旅程分解成无数个微小的步骤。在每一步，它都会询问：“如果我移动一小步，看起来是否更像是一个晴朗的日子？”
- 至关重要的是，它使用“雾的物理学”（见第1点）作为指南针。它确保你迈出的每一步都遵循光线传播的自然法则。这防止了计算机在“奇怪色彩之地”徘徊，并保持了图像看起来自然真实。

3. 无限训练课：“AI 画家”（P-HAZE）

为了学习如何做到这一点，计算机需要在成千上万个“有雾照片”及其对应的“清晰照片”上进行练习。但在现实世界中，几乎不可能找到在完全相同时刻、针对完全相同场景拍摄的清晰照片和有雾照片。

类比： 作者意识到他们不能坐等大自然提供足够的练习题。因此，他们建立了一个虚拟训练工厂。
- 他们使用了一个超级聪明的 AI（视觉语言模型），它扮演着数字艺术家的角色。你给这位艺术家一张清晰的照片，然后对它说：“在这些树木和汽车原位不动的前提下，在上面画上厚重、旋转的烟雾。”
- 艺术家会创造出一个逼真的有雾版本。然后，计算机使用一把“数字尺子”来确保这个有雾的版本与原始清晰版本完美对齐。
- 他们这样做了 50,000 次，创建了一个名为 P-HAZE 的庞大库。这让计算机无需依赖真实的雾天，就能获得无穷无尽的练习机会。

结果

当他们测试这个新系统时，它表现得像魔法一样，远优于旧的方法：

无残影： 它完全移除了雾气，没有留下灰色的“幽灵”或模糊斑点。
真实的色彩： 它不会误将晴天变成黄昏，或把绿色森林变成紫色沼泽。
具备实战能力： 即使是在它从未见过的图片上，它在处理烟雾、浓雾和不均匀霾的情况下也表现出色。

简而言之： 这篇论文展示了一种新的工具，它通过深入理解光线与雾气实际是如何相互作用的（物理学）、像 GPS 一样循序渐进地引导清理过程（流匹配），以及利用一个由 AI 生成的海量照片库进行训练（P-HAZE），从而清理有雾的照片。其结果是得到一张清晰、自然且尊重原始场景色彩与细节的图像。

技术摘要：RTE-FM-Dehazer

问题陈述

单幅图像去雾旨在从模糊的观测图像中恢复清晰的场景，但这仍然是一个病态问题（ill-posed problem）。现有方法面临两个主要局限性：

依赖简化的物理先验： 主流方法利用大气散射模型（ASM）。ASM 假设单次散射和均匀介质，而这些假设在现实场景中经常被违反，因为现实中的雾气在空间上是非均匀的，且光线会发生多次散射。这导致了残留雾气、色彩漂移以及过度增强的伪影。
数据稀缺与合成局限性： 大规模、真实的成对（清晰/模糊）数据集难以收集。现有的合成方法通常依赖于同样的受限 ASM 假设，无法重现自然雾气的完整复杂性（例如各向异性散射、随深度变化的衰减）。此外，近期的生成式方法（如 Diffusion、VQGAN）由于缺乏物理约束，会引入随机伪影，如色彩漂移或块状拼接（patch grafting）。

方法论：RTE-FM-Dehazer

作者提出了 RTE-FM-Dehazer 框架，该框架将去雾重新表述为一个受辐射传输方程（RTE）正则化的物理启发式流匹配（Flow Matching）任务。

1. 物理启发式正则化（RTE vs. ASM）

该方法不再使用 ASM，而是采用 RTE，它能够同时考虑散射和吸收，自然地适应非均匀和多重散射介质。

流匹配公式化： 去雾过程被建模为从模糊潜状态（ $z_0$ ）到清晰潜状态（ $z_1$ ）的连续轨迹。神经网络（ $v_\theta$ ）预测一个速度场，通过常微分方程（ODE）使图像演化。
RTE 导出的正则项： 作者发现 RTE 的扩散-吸收项与流匹配中的 ODE 具有结构相似性。他们从简化后的 RTE 中推导出一个速度项：
$\mathbf{v}_{\text{RTE}}(\mathbf{z}) \triangleq -D\nabla^2\mathbf{z} + \mu_a\mathbf{z}$
此处， $-D\nabla^2\mathbf{z}$ 模拟空间扩散（平滑梯度），而 $\mu_a\mathbf{z}$ 模拟介质吸收（辐射度的指数衰减）。
组合损失函数： 网络经过训练以最小化组合损失函数，使预测的速度既与最优传输方向（ $z_1 - z_0$ ）一致，又与 RTE 导出的速度一致：
$\mathcal{L} = \|\mathbf{v}_{\theta} - (\mathbf{z}_1 - \mathbf{z}_0)\|^2 + \lambda \|\mathbf{v}_{\theta} - \mathbf{v}_{\text{RTE}}\|^2$
这确保了生成的轨迹在满足物理规律（符合 RTE 动力学）的同时，也具备数据驱动的特性。

2. 可扩展数据流水线 (P-HAZE)

为了解决缺乏真实配对数据的问题，作者引入了一个流水线来生成大规模数据集 P-HAZE（包含 50,000 对图像）：

VLM 驱动的生成： 利用视觉语言模型（如 Qwen2.5-VL、Gemini-2-Flash），系统通过文本提示词从清晰参考图生成真实的模糊图像。这捕捉了复杂的非定常气溶胶分布（例如旋转的烟雾），而无需手工设计的深度图。
几何对齐： 由于 VLM 输出可能存在轻微的几何畸变，该流水线提取密集关键点并估计平面单应矩阵（planar homography），从而将模糊图像进行翘曲，使其与清晰参考图实现像素级对齐。
过滤： 通过两阶段过滤策略（SAM2 分割 + 人机协同）去除语义伪影。

3. 架构与训练

潜空间： 模型在 Stable Diffusion v2.1 的潜空间（64x64x4）中运行，以降低计算成本并保留纹理。
网络： 使用 U-Net 主干网络来预测速度场。
推理： 通过求解 ODE（推荐使用多步欧拉积分 >10 步）来恢复清晰图像，以模拟从模糊到清晰的逐渐过渡过程。

核心贡献

RTE 正则化的流匹配： 作者通过将辐射传输方程作为软先验集成到流匹配框架中，重新定义了单幅图像去雾。这取代了受限的 ASM，使生成轨迹符合物理光传输动力学，从而获得更稳定、更真实的结果。
确定性生成： 通过移除随机噪声先验，并利用扩散-吸收项对流进行正则化，该方法产生了一个确定性的潜轨迹，与随机采样基准相比，能更好地保持原始色彩分布。
P-HAZE 数据集： 提出了一种可扩展的、由 VLM 驱动的流水线，用于合成 50,000 对真实的模糊/清晰图像对，从而在无需依赖稀缺的真实世界数据的情况下实现鲁棒训练。

实验结果

该模型仅在合成的 P-HAZE 数据集上进行训练，并在五个不同的真实世界基准数据集（I-HAZE, D-HAZE, SMOKE, NH-HAZE, RESIDE-6K）上进行了评估。

定量性能： RTE-FM-Dehazer 在四个数据集上达到了最高的 PSNR，并在六个基准中的五个上取得了最低的 LPIPS。值得注意的是，在极具挑战性的 NH-HAZE 数据集上，其 PSNR 比最强竞争对手 (LHTD) 高出 3.9 dB，并将 LPIPS 降低了 37%。
泛化能力： 不同于因领域偏移（domain shift）而在真实数据上表现下降的有监督方法，RTE-FM-Dehazer 展示了强大的跨领域泛化能力，在室内、室外及烟雾场景下均保持了高性能。
定性分析： 视觉对比显示，该方法能有效去除空间变化的雾气和色偏，同时保留精细纹理和原始光照结构。它避免了 CNN/Transformer 方法产生的残留雾气，也避免了生成式（GAN/Diffusion）基准模型常见的色彩漂移和伪影。
消融研究： 去除 RTE 正则项（Vanilla FM）或解耦其组成部分（仅吸收项或仅扩散项）会导致性能显著下降，这证实了集成的吸收-扩散公式对于处理非均匀雾气至关重要。

意义与主张

论文声称，RTE-FM-Dehazer 通过弥合数据驱动生成模型与物理定律之间的鸿沟，解决了当前去雾方法的核心局限。通过将 RTE 直接嵌入流匹配的速度场中，该方法实现了一种“经物理正则化的传输方程”，从而产生更锐利、色彩一致且无伪影的结果。作者断言，这种方法提供了一种稳健的真实世界去雾解决方案，无需需要配对的真实世界训练数据，其核心在于利用辐射传输与流匹配之间的结构相似性来引导生成过程。

正如作者所指出的，未来的工作包括从潜空间转向像素空间以消除 VAE 带来的信息损失，并研究用于全分辨率处理的高效数值求解器。