Bridging Human Evaluation to Infrared and Visible Image Fusion

该论文针对现有红外与可见光图像融合方法难以契合人类视觉偏好的问题，构建了首个包含多维主观评分的大规模人类反馈数据集，并据此提出一种结合奖励模型与组相对策略优化（GRPO）的反馈强化框架，显著提升了融合图像的人眼感知质量。

要点

这篇论文就像是在教电脑如何"像人一样看世界"，特别是当它需要把两种完全不同的“眼睛”（红外相机和普通相机）看到的画面合二为一时。

我们可以把这项技术想象成给一位“盲人画家”和一位“色盲画家”配合作画。

1. 现在的困境：数学满分，但“人味”不足

• 背景：红外相机能看到热量（比如晚上的人影、发热的引擎），但画面模糊、没细节；普通相机能看到清晰的纹理和颜色，但晚上就“瞎”了。
• 问题：以前的科学家教电脑怎么把这两张图拼在一起，用的全是冷冰冰的数学公式（比如计算像素差异、对比度）。
• 比喻：这就像老师教学生画画，只盯着“线条直不直”、“颜色填没填出格”这些死板的规则打分。结果画出来的画，数学指标全是满分，但人看着觉得假、看着不舒服，甚至看不清关键的东西（比如雾里的行人）。这就叫“数学上完美，视觉上翻车”。

2. 他们的解决方案：引入“人类评委”和“奖励机制”

为了解决这个问题，作者搞了一套**“反馈强化学习”系统，简单说就是“请人类当评委，教 AI 怎么画得让人喜欢”**。

第一步：造了一本“人类审美教科书”（数据集）

• 做法：他们收集了成千上万张红外和可见光图片，让 11 种不同的 AI 模型去融合，生成了 9000 多张新图。
• 关键点：然后，他们请了专家，并借助了强大的 AI（GPT-4o），给这些图打分。
• 打什么分？ 不是只给个总分，而是像挑剔的美食家一样，从四个维度打分：
  1. 热量保留（红外里的热源还在吗？）
  2. 纹理保留（衣服的褶皱、树叶的脉络清楚吗？）
  3. 瑕疵程度（有没有奇怪的噪点或伪影？）
  4. 清晰度（画面锐利吗？）
• 比喻：这就好比以前只教 AI“把红和蓝混成紫”，现在他们给 AI 一本《人类审美指南》，告诉它：“这张图虽然颜色对了，但把人脸画模糊了，扣分！那张图虽然暗，但把远处的车灯保留得很好，加分！”

第二步：训练一个“金牌裁判”（奖励模型）

• 做法：利用上面那本“教科书”，他们训练了一个专门的奖励模型。
• 作用：这个模型就像一个经验丰富的老裁判。当 AI 生成一张新图时，老裁判会立刻跳出来，不仅给个分数，还会画个热力图，指出哪里画得不好（比如“这里有个奇怪的方块，是瑕疵”）。
• 比喻：以前 AI 画画是“闭门造车”，现在每画一笔，旁边就站个老裁判，实时点评：“这里太糊了，那里太假了，改！”

第三步：让 AI“听劝”并进化（GRPO 微调）

• 做法：他们使用了一种叫GRPO（组相对策略优化）的高级训练方法。
• 过程：
  1. AI 先试着画几张图。
  2. “金牌裁判”给这几张图打分。
  3. AI 发现：“哦！原来把‘车’画清楚比把‘背景’画清楚得分更高。”
  4. AI 就调整自己的策略，下次专门针对“车”这个重要区域进行优化。
• 比喻：这就像练武术。以前 AI 是盲目地打拳（优化数学指标），现在有了教练（奖励模型）和实战反馈（人类评分），AI 学会了**“好钢用在刀刃上”**——在行人、车辆这些关键地方下狠功夫，而不是在无关紧要的背景上浪费时间。

3. 最终效果：既懂科学，又懂人心

• 结果：经过这套“人类反馈”训练后的 AI，画出来的融合图，既保留了红外相机的“热成像”能力（能看见黑夜里的目标），又保留了普通相机的“高清细节”（纹理清晰、没有怪异的噪点）。
• 实际应用：
  • 自动驾驶：在浓雾或黑夜中，能更清楚地看到行人和障碍物，而不是被雾气干扰。
  • 安防监控：能同时看清人的热特征和面部细节。
  • 医学影像：让医生看得更清楚，减少误诊。

总结

这篇论文的核心思想就是：别只让 AI 做数学题，要让它学会“取悦人类”。

他们通过建立人类评分数据库，训练了一个懂审美的裁判，并教 AI根据裁判的反馈不断修正。最终，AI 不再只是生成“数学上正确”的图片，而是生成了**“人类看着舒服、看着有用”**的图片。这就好比从“只会背公式的学霸”，进化成了“懂艺术、懂人心的艺术家”。

技术摘要

这是一篇关于**红外与可见光图像融合（IVIF）的学术论文，标题为《Bridging Human Evaluation to Infrared and Visible Image Fusion》（将人类评估桥接至红外与可见光图像融合）。该论文提出了一种基于人类反馈强化学习（RLHF）**的新框架，旨在解决现有融合方法过度依赖手工设计的客观指标，导致融合结果与人类视觉偏好不一致的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 核心痛点：现有的红外与可见光图像融合（IVIF）方法主要优化手工设计的损失函数（如熵、结构相似性、梯度等）和客观数值指标。然而，由于 IVIF 任务本身是病态的（ill-posed）（即没有唯一的真值融合结果），这些数学代理指标与真实的人类视觉感知偏好之间存在显著差异。
• 后果：生成的融合图像虽然在数值指标上表现良好，但在实际应用场景（如安防监控、自动驾驶）中，往往无法提供符合人类审美和感知习惯的图像，甚至可能引入伪影或丢失关键细节。
• 现有局限：缺乏大规模、高质量的人类反馈数据集，以及缺乏能够量化感知质量并指导模型学习的自动化奖励机制。

2. 方法论 (Methodology)

论文提出了一种反馈强化框架（Feedback Reinforcement Framework），主要包含三个核心模块：

2.1 构建大规模人类反馈数据集 (Human Feedback Dataset)

• 数据规模：收集了来自 8 个基准数据集（如 FMB, LLVIP, M3FD 等）的 850 对高质量红外 - 可见光图像对。
• 生成融合图：使用 11 种代表性 SOTA 模型生成 9,350 张融合图像。
• 标注策略：
  • 多维度评分：对每张融合图进行 4 个细粒度维度的打分（1-5 分）：热辐射保留（Thermal Retention）、纹理保留（Texture Retention）、伪影程度（Artifacts）、清晰度（Sharpness），以及总体评分。
  • 伪影热力图：标注图像中伪影显著的区域。
  • 人机协作：首先由 4 位资深专家对 100 张图像进行精细标注作为种子数据，微调 GPT-4o 模型。随后利用微调后的 GPT-4o 对全部 9,350 张图像进行自动评分和标注，最后由 5 位研究人员进行人工审核与修正，确保数据质量。

2.2 面向融合的奖励模型 (Fusion-Oriented Reward Model)

• 架构：基于 ViT（Vision Transformer） 的视觉 - 语言模型架构。
• 输入：红外图像、可见光图像、融合图像。
• 处理流程：
  1. 通过权重共享的 ViT 编码器提取三张图的 Patch 级语义特征。
  2. 将特征拼接并通过线性投影压缩，输入到另一个 ViT 编码器进行跨模态特征融合。
  3. 双分支预测：
     • 评分分支：回归预测 4 个细粒度分数。
     • 热力图分支：生成伪影概率热力图（0-1），高亮显示伪影区域。
• 训练目标：联合优化均方误差（MSE）损失，包括评分损失和热力图损失。

2.3 基于 GRPO 的策略优化 (Policy Optimization via GRPO)

• 基线模型：采用 DCEvo 作为基础融合网络。
• 强化学习策略：引入 组相对策略优化（Group Relative Policy Optimization, GRPO）。
  • 语义区域分割：利用 SAM (Segment Anything Model) 将融合图像分割为多个语义区域（如人、车、建筑等）。
  • 优势计算：将分割后的区域输入奖励模型获得多维评分，计算组内归一化的相对优势值（Advantage）。
  • 优化目标：最大化加权后的优势值，同时通过 KL 散度正则化防止策略偏离参考策略过远。
  • 机制：通过这种机制，模型能够针对关键语义区域进行加权优化，提升人类感知质量。

3. 主要贡献 (Key Contributions)

1. 首个大规模 IVIF 人类反馈数据集：构建了包含多维度主观评分和详细伪影标注的数据集，填补了该领域缺乏人类感知数据的空白。
2. 反馈强化融合框架：提出了一种将主观人类偏好直接集成到融合流程中的新方法，通过奖励模型量化感知质量。
3. 基于 GRPO 的优化策略：设计了针对 IVIF 任务的奖励函数和强化学习策略，使融合模型能更好地捕捉人类视觉偏好，实现了 SOTA 性能。

4. 实验结果 (Results)

• 定量评估：
  • 在 TNO、RoadScene、M3FD 三个基准数据集上，该方法在 CC（相关系数）、PSNR、Qabf 和 SSIM 等参考指标上均取得了最佳或次佳成绩。
  • 在无参考指标（NIQE, BRISQUE）上同样表现优异，证明图像自然度更高。
• 定性评估：
  • 融合图像在保留红外热目标（如车辆、行人）的同时，更好地保留了可见光的纹理细节，且伪影更少，更符合人类视觉习惯。
  • 用户偏好排序热力图显示，该方法在所有数据集上均获得了最高的人类偏好排名。
• 下游任务应用：
  • 语义分割：在 FMB 数据集上，融合图像显著提升了分割精度（mIoU），特别是在低光和雾天场景下。
  • 目标检测：在 M3FD 数据集上，检测精度（mAP）达到 SOTA，成功检测到低光下的摩托车和浓雾中的人，而其他方法存在漏检。
• 消融实验：
  • 移除评分分支或热力图分支会导致边缘模糊和伪影增加。
  • 移除 SAM 分割（即不进行区域加权）会导致性能下降，证明针对语义区域的优化至关重要。
  • 与 DPO 和 PPO 相比，GRPO 策略在各项指标上表现更优。

5. 意义与价值 (Significance)

• 范式转变：将 IVIF 的优化目标从“数学指标最优”转向“人类感知最优”，解决了病态问题中缺乏唯一真值的评估难题。
• 应用价值：生成的融合图像更符合人类视觉习惯，显著提升了在自动驾驶、安防监控、军事侦察等高风险场景下的决策可靠性。
• 技术启示：展示了将大语言模型（LLM/VLM）与强化学习（RLHF）结合应用于计算机视觉底层任务（如图像融合）的可行性，为未来多模态感知任务提供了新的思路。

总结：该论文通过构建高质量的人类反馈数据集，训练专用的奖励模型，并利用 GRPO 算法对融合网络进行微调，成功弥合了客观指标与人类主观感知之间的鸿沟，显著提升了红外与可见光图像融合的质量。