💻 computer science

EPOFusion: Exposure aware Progressive Optimization Method for Infrared and Visible Image Fusion

本文提出了曝光感知的渐进优化融合方法 EPOFusion，通过引入引导模块、迭代解码器及自适应损失函数，有效解决了红外与可见光图像在过曝区域的信息丢失问题，并构建了首个高质量过曝数据集 IVOE 以显著提升融合图像的视觉保真度与下游任务性能。

原作者： Zhiwei Wang, Yayu Zheng, Defeng He, Li Zhao, Xiaoqin Zhang, Yuxing Li, Edmund Y. Lam

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zhiwei Wang, Yayu Zheng, Defeng He, Li Zhao, Xiaoqin Zhang, Yuxing Li, Edmund Y. Lam

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 EPOFusion 的新技术，专门用来解决红外和可见光图像融合时的一个棘手问题：“太亮了，什么都看不清”（也就是过曝）。

为了让你更容易理解，我们可以把这项技术想象成一位**“超级修图师”**，它的工作场景和绝招如下：

1. 遇到的难题：刺眼的阳光和丢失的“热”信息

想象一下，你手里有两张照片：

一张是普通相机拍的（可见光）：色彩鲜艳，纹理清晰，但如果太阳太毒或者车灯太亮，画面里就会有一大片死白（过曝），就像被强光晃瞎了眼，什么细节都看不到了。
一张是热成像仪拍的（红外）：看不见颜色和纹理，但能看清谁在发热（比如人、车），即使在黑夜或强光下也能看到轮廓。

以前的“融合”方法（把两张图合成一张）有个大毛病：
当普通相机拍到的地方太亮（过曝）时，以前的算法会被那片“死白”带偏，直接忽略红外相机提供的“热”信息。结果就是：合成后的图里，过曝的地方虽然看着亮，但原本应该清晰可见的“热目标”（比如过曝区域里的行人或车辆）却消失了，或者变得模糊不清。

2. 核心绝招：EPOFusion 是怎么做的？

EPOFusion 就像一位拥有**“透视眼”和“耐心”**的超级修图师，它用了三招来解决问题：

第一招：给修图师戴上一副“特制眼镜”（引导模块）

比喻：普通的修图师看到一片白，就以为那里没东西了。但 EPOFusion 给模型戴了一副“特制眼镜”（引导模块）。
作用：这副眼镜能告诉模型：“嘿，虽然这里看起来是白的（过曝），但红外相机告诉我们，这里其实有东西（比如一辆车）！”
效果：模型不再被强光欺骗，而是主动把注意力集中在那些过曝的区域，努力找回丢失的“热”细节。

第二招：像“剥洋葱”一样慢慢修图（迭代优化）

比喻：以前的方法像是一次性把颜料泼上去，想一步到位，结果往往糊成一团。EPOFusion 则像剥洋葱或者洗照片。
作用：它不急着一次完成，而是分好几步走。先大概勾勒个轮廓，然后一步步去噪、一步步细化。就像洗照片时，先显影出大概形状，再慢慢让细节清晰起来。
效果：这种“渐进式”的优化，让最终合成的图片既保留了普通相机的自然色彩，又完美融入了红外相机的关键细节，而且画面非常干净，没有杂乱的噪点。

第三招：动态调整的“智能尺子”（自适应损失函数）

比喻：以前的修图师手里只有一把固定的尺子，不管哪里都按同一个标准量。但 EPOFusion 手里拿的是一把**“智能尺子”**。
作用：
- 在光线正常的地方，尺子会严格对比色彩和纹理，保证画面自然。
- 在过曝（太亮）的地方，尺子会自动切换模式，不再死盯着色彩，而是优先保护“热”信息的完整性。
效果：它知道什么时候该“保色”，什么时候该“保热”，灵活应对各种复杂的光线环境。

3. 新武器：IVOE 数据集

为了训练这位“超级修图师”，作者们发现市面上的练习题库（公开数据集）里，专门针对“过曝”场景的样本太少，而且没有标准答案。

做法：他们自己造了一个**“过曝特训营”（IVOE 数据集）**。
过程：他们利用 AI 技术，在正常的红外和可见光图片上，人工制造出各种逼真的“过曝”效果（比如模拟强烈的车灯、正午阳光），并给这些过曝区域画上了精准的“标准答案”（标注）。
意义：这让模型有了大量的“错题本”可以练习，专门学习如何在强光下找回细节。

4. 最终成果：为什么它很牛？

经过大量测试，EPOFusion 的表现就像一位**“全能冠军”**：

看得更清：在强光刺眼的地方，它能把原本看不见的行人、车牌号清晰地还原出来。
看着更真：合成的图片色彩自然，不会像以前那样要么太黑，要么全是噪点。
干活更稳：不仅人看着舒服，如果把它用在自动驾驶或监控摄像头上，能帮机器更准确地识别危险目标，提高安全性。

总结一下：
这就好比在正午的烈日下，你既想看清路边的风景（可见光），又想看清躲在树荫下的人影（红外）。以前的方法要么被太阳晃得睁不开眼，要么把树荫下的人影弄丢了。而 EPOFusion 就像一位聪明的向导，它知道哪里太亮，主动帮你把被强光“吃掉”的影子找回来，让你既能享受阳光，又能看清暗处的细节。

以下是基于论文《EPOFusion: Exposure-aware Progressive Optimization Method for Infrared and Visible Image Fusion》的详细技术总结：

1. 研究背景与问题 (Problem)

核心挑战： 红外与可见光图像融合在智能监控、自动驾驶等领域至关重要。然而，在实际场景中（如强光白天或夜间车灯眩光），过曝（Overexposure） 现象频发。
现有问题：

信息丢失： 过曝导致可见光图像像素饱和，丢失纹理和梯度信息。
融合失效： 现有融合方法在处理高亮区域时表现不佳。
- 基于生成先验（如 GAN、扩散模型）的方法容易引入背景噪声或过度保留红外信息，导致视觉质量下降。
- 基于手工损失函数的方法难以在过曝区域平衡强度与纹理，往往导致热红外细节丢失或噪声放大。
- 下游任务驱动的方法难以区分过曝区域的有效特征与噪声，导致特定红外细节丢失。
数据匮乏： 现有的公开数据集缺乏高质量的过曝样本，且缺少针对过曝区域的精细标注，限制了模型的学习能力。

2. 方法论 (Methodology)

作者提出了 EPOFusion，一种感知曝光的渐进式优化融合框架。其核心思想是利用迭代策略和显式区域引导，在过曝区域恢复关键的红外细节，同时保持非过曝区域的视觉保真度。

2.1 整体架构

框架包含三个关键模块：

多模态特征提取模块：
- 将可见光图像从 RGB 转换到 YCbCr 空间，仅使用亮度通道（Y）与红外图像（Iir）拼接。
- 输入到 ConvNeXt 编码器中提取互补特征。
引导模块 (Guidance Module)：
- 预测过曝区域的红外掩码（Mask）。
- 显式引导编码器关注过曝区域内的目标，确保网络在饱和区域仍能聚焦于红外热辐射细节。
迭代解码融合模块 (Iterative Decoding Fusion Module)：
- 迭代优化机制： 受去噪扩散概率模型（DDPM）启发，将融合过程建模为多步迭代优化。通过逐步去噪和特征纯化，减少“一次性”融合带来的偏差。
- 多尺度上下文融合模块 (MSCF)： 包含两个分支：
  - 上下文融合分支 (CFB)： 利用空洞卷积和分组卷积提取多尺度全局上下文信息。
  - 高保真分支 (HFB)： 直接处理源图像的低级特征（边缘、纹理），保留精细细节。
- 两者结合，平衡全局语义与局部细节。

2.2 自适应损失函数 (Adaptive Loss Function)

为了应对不同曝光条件，设计了一种动态约束的复合损失函数：

区域划分： 根据分割掩码将图像分为正常区域（ $M_{normal}$ ）和过曝区域（ $M_{oe}$ ）。
强度损失 ( $L_{in}$ )： 正常区域保留可见光与红外的最优强度分布；过曝区域则强制融合图像向红外伪真值（Pseudo GT）收敛，以恢复热辐射信息。
纹理损失 ( $L_{grad}$ )： 正常区域保留双模态纹理；过曝区域通过加权因子 $\gamma$ 强调红外梯度特征。
扩散损失 ( $L_{diff}$ )： 最小化预测噪声与真实噪声的差异，确保迭代过程的稳定性。
引导分割损失 ( $L_{seg}$ )： 优化引导模块的掩码预测能力。

2.3 IVOE 数据集构建

针对缺乏过曝数据的问题，构建了首个红外 - 可见光过曝（IVOE）数据集：

合成策略： 从公开数据集（MFNet, LLVIP 等）采集图像，利用 SAM 模型辅助分割，随机选择前景目标，叠加高斯光斑模拟不同强度的过曝效果。
标注： 提供像素级的过曝区域标注和红外细节标注。
规模： 包含 2315 对合成训练样本和 176 对真实过曝测试样本。

3. 主要贡献 (Key Contributions)

EPOFusion 框架： 提出了一种区域引导、曝光感知的迭代融合框架，显著提升了过曝区域红外细节的保留能力。
创新模块设计： 设计了多尺度上下文融合模块（MSCF）和自适应动态损失函数，协同引导模型关注细节目标，增强极端光照下的鲁棒性。
IVOE 数据集： 构建了包含精细过曝区域标注的首个红外 - 可见光过曝数据集，填补了该领域的数据空白，并提供了真实世界测试集。
性能提升： 实验表明，该方法不仅在视觉质量上优于现有 SOTA 方法，还显著提升了下游任务（如分割和检测）在过曝场景下的准确率。

4. 实验结果 (Results)

定量评估： 在 MSRS、FMB 和自建的 IVOE 三个数据集上进行了测试。
- 在 IVOE 数据集上，EPOFusion 在互信息（MI: 5.137）、视觉信息保真度（VIF: 0.912）和基于源 - 融合的质量指标（QAB/F: 0.664）上均取得领先或极具竞争力的成绩。
- 在 MSRS 数据集上，MI 达到 4.579，VIF 达到 1.064，均优于对比方法。
定性分析：
- 在过曝天空、车灯、车牌等场景中，EPOFusion 能有效恢复红外热辐射细节（如车牌字符、车辆轮廓），同时避免引入可见光过曝带来的噪声或红外伪影，色彩自然，结构清晰。
- 对比方法（如 GANMcC, TarDal, SDNet 等）在过曝区域要么丢失红外细节，要么引入明显噪声。
消融实验：
- 移除引导模块（GM）导致 MI 和 SSIM 显著下降，证明引导机制对过曝区域细节恢复至关重要。
- 移除自适应损失（AL）导致过曝区域颜色强度信息丢失。
- 移除迭代解码（DDM）导致图像模糊，信息丰富度大幅下降。
- 移除 MSCF 模块导致结构相似性（SSIM）和纹理细节丢失。
效率： 参数量适中（33.87M），推理速度快（74.80ms），在保持高质量的同时兼顾了效率。

5. 意义与价值 (Significance)

解决痛点： 直接解决了红外与可见光融合中“过曝导致关键热目标丢失”这一长期被忽视的难题。
数据驱动： 通过构建 IVOE 数据集，为后续研究提供了重要的基准和标注资源，推动了曝光感知融合领域的发展。
应用价值： 该方法生成的融合图像具有更高的视觉保真度和语义完整性，能显著提升自动驾驶、夜间监控等极端光照条件下的下游任务（检测、分割）性能，具有极高的实际应用价值。
技术启示： 提出的“迭代优化 + 区域引导”思路为处理其他模态融合中的极端条件（如低照度、遮挡）提供了新的技术范式。

总结： EPOFusion 通过引入曝光感知机制、迭代优化策略和专用数据集，成功实现了在极端光照条件下红外与可见光图像的高质量融合，在视觉质量和下游任务性能上均取得了显著突破。