💻 computer science

P2Fusion: Prompt-based Progressive Infrared-Visible Image Fusion via Dual-Prior Distillation

本文介绍了 P2Fusion，这是一种基于提示（prompt-based）的新型框架，它利用双重内在先验（dual intrinsic priors）和带有门控动态专家重校准（gated dynamic expert recalibration）的教导融合（Teach-to-Fuse）机制，以实现最先进的红外与可见光图像融合性能，并显著增强下游目标检测的鲁棒性。

原作者： Yi Shi, Huichao Xie, Yuqing Wang, Mingyu Wang, Kaihui Yang, Yu Liu, Ruitao Lu, Lizhe Li, Junwei Han, Dingwen Zhang

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yi Shi, Huichao Xie, Yuqing Wang, Mingyu Wang, Kaihui Yang, Yu Liu, Ruitao Lu, Lizhe Li, Junwei Han, Dingwen Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图拍出一张完美的、充满雾气的幽暗夜晚的照片。你有两台相机：一台能像蝙蝠一样在黑暗中观察（红外成像），它擅长发现热源，如人和汽车，但画面看起来模糊且缺乏细节；另一台是普通相机（可见光成像），它能看到清晰的纹理，如树枝和路标，但在黑暗或烟雾面前会完全“致盲”。图像融合是将这两张照片完美结合成一张“超级图像”的艺术，它兼具两者的优点。多年来，科学家们一直试图开发能够自动完成这一过程的计算机。其目标是帮助机器人、自动驾驶汽车和无人机在恶劣天气、夜晚或烟雾中清晰地“看见”，从而避免碰撞或错过重要目标。然而，教导计算机如何融合这两种截然不同的视觉方式而不破坏细节，一直是一个棘手的难题。

这项研究背后的研究人员开发了名为 P²Fusion 的系统，他们决定不再强迫计算机遵循死板、预设的规则。相反，他们发明了一种新的方法，通过使用“动态提示”（dynamic prompts）来教导 AI 如何融合图像——这些提示就像是灵活变化的启发，而非严格的指令。他们将这种方法称为“教导式融合”（Teach-to-Fuse）。

这里存在的问题是：过去，科学家们尝试通过给计算机提供静态的“先验知识”来引导它，比如关于物体“应该”出现在哪里나的固定地图，或者像“始终保持边缘锐利”这样的硬性规则。作者认为，这就像是在开车时使用一张永远不会更新的地图；如果道路发生了变化，驾驶员就会感到困惑。其他方法尝试使用大规模的预训练 AI 模型（例如识别猫或狗的模型）来提供提示，但作者发现这些提示往往过于笼统和高层化，缺失了完美照片所需的微观像素级细节。

为了解决这个问题，P²Fusion 采用了巧妙的两步走策略。首先，它扮演着一个聪明的老师的角色，它不只是直接给出答案，而是教导 AI 如何从图像本身中学习。它使用了两位“老师”：

热成像老师（The Thermal Teacher）： 这位老师观察红外图像，并标出需要保留的“热点”（如人或汽车）。
质量老师（The Quality Teacher）： 这位老师观察可见光图像，并指出哪些部分清晰锐利，哪些部分模糊或黑暗。

系统并没有将这些提示进行硬编码，而是将它们转化为“提示”——即灵活的、可学习的信号，用以引导 AI 工作。这就像一位指挥家在领导一支管弦乐队：指挥家并不是在每一秒都告诉每位乐手该演奏哪个音符（这既死板又容易出错），而是根据音乐实际呈现出的效果给出动态线索，帮助乐手进行实时调整。

他们发明的第二部分是一个名为 GDER（门控动态专家重校准）的特殊模块。想象一下一个由两名专家组成的解谜小组：一名专家擅长寻找“热目标”（模态专家），另一名专家擅长观察整体结构与纹理（注意力专家）。在许多旧系统中，这两者只是简单地将想法混在一起，往往会导致混乱。P²Fusion 使用了一种“门控”机制——一个聪明的裁判——来决定在每一时刻给予每位专家多少权重。如果场景中有烟雾，裁判可能会更多地听取热成像专家的意见；如果场景明亮但杂乱，它则可能更多地听取纹理专家的意见。这使得系统能够自我纠错，并在两种视觉类型之间实现完美的平衡。

作者在五个不同的数据集上测试了他们的新系统，包括重烟雾、极端亮度以及夜间驾驶场景。结果显示，P²Fusion 的表现始终优于现有的最佳方法。事实上，在这些测试中，它在 20 个关键测量类别中的 14 个 中都名列前茅。它不仅看起来更好，实际上还提高了计算机检测物体的准确度。例如，在利用其辅助无人机识别车辆时，它在一个数据集上将检测准确度提升了 3.2%，在另一个数据集上提升了 0.9%。即使在面对完全陌生的环境（如从未见过的航拍无人机画面）时，该系统依然表现稳健，没有出现崩溃或失效的情况。

简而言之，这篇论文表明，通过放弃死板、静态的规则，转而使用由智能、自校正专家团队引导的灵活、基于图像的“提示”，我们可以创造出更好的在黑暗或浓雾中观察的工具。作者相信，这种方法解决了保持图像锐利与保留重要目标可见性之间的冲突，为未来的自主机器提供了一种更具适应性的解决方案。

P²Fusion 技术摘要：基于双重先验蒸馏的提示驱动渐进式红外-可见光图像融合

问题陈述

红外-可见光图像融合（IVIF）旨在将互补的热辐射与纹理细节整合为综合性的表示。然而，现有的先验引导方法面临三个根本性的局限性：

静态约束： 依赖于显式模态特定硬约束（如分割掩码）的方法通常将先验视为刚性正则化项。这迫使网络优先拟合先验分布而非像素级特征集成，从而导致细粒度纹理的丢失。
优化冲突： 与下游任务（如目标检测）的联合优化经常引入多目标冲突，即对任务级准确度的追求会损害背景细节的保留。
粒度失配： 近期利用大规模基础模型（如 CLIP、DINO）提取外部语义引导的趋势，引入了高层抽象表示，这些表示偏离了图像融合的像素级本质，导致语义与低层纹理重建之间的失配。

方法论

作者提出了 P²Fusion，一个基于“教导融合”（Teach-to-Fuse, T2F）范式的框架。该方法并非施加静态惩罚，而是通过从输入图像本身中蒸馏**内在的、动态的提示（Prompts）**来重新定义 IVIF。

1. 双教师提示蒸馏（Dual-Teacher Prompt Distillation）
该框架利用两个互补的内在属性，用可学习的、面向过程的引导信号取代了刚性先验：

红外显著性先验 ( $T_{ir}$ )：一个“热辐射显著性教师”（IST），基于 SegFormer-B2 模型，生成显著性图以定位高热辐射目标（行人、车辆）。这些图经过后处理，将特定目标视为前景并作为空间提示。
可见光质量先验 ( $T_{vis}$ )：一个“可见光质量教师”（VQT），利用基于 BRISQUE 的评估器，生成全局质量评分以评估纹理可靠性（例如，识别欠曝或过曝区域）。
这些先验被投影为可学习的提示（ $P_{ir}, P_{vis}$ ）并嵌入到特征流中，将静态约束转化为动态调节器。

2. 基于门控动态专家重校准（GDER）的自适应融合
为了处理热红外轮廓与纹理细节之间的异质性，该架构采用了**门控动态专家重校准（GDER）**模块。不同于用于扩展容量的传统混合专家（MoE）模型，GDER 起到了特征解耦与精炼的自我修正反馈机制作用：

先验响应型模态专家 ( $E_{mod}$ )：显式地消耗动态提示，以强化模态特定的显著信息（如热红外目标或高对比度纹理）。
先验无关注意力专家 ( $E_{att}$ )：独立于提示运行，利用全局注意力机制（CBAM）挖掘内在的长程依赖和细粒度结构细节，充当上下文补偿器。
门控机制：门控网络根据局部特征与全局提示之间的相互一致性计算动态权重。这使得网络能够自适应地重校准融合策略，实现冲突特征的解耦并纠正偏差信号。

3. 优化目标
总损失函数 ( $L_{total}$ ) 结合了感知约束（梯度、强度和 SSIM 损失）与提示蒸馏损失。蒸馏损失（用于可见光质量的 MSE 和用于红外显著性的二元交叉熵）确保可学习的提示在不施加硬编码惩罚的情况下与教师信号保持一致。

核心贡献

“教导融合”范式：作者提出从静态先验约束向动态、基于提示引导的转变。这种方法将惩罚转化为面向过程的引导，最大限度地挖掘了内在的模态属性。
GDER 模块：开发了一种专门的基于 MoE 的自我修正机制，它将先验引导的模态专家与全局感知的注意力专家协同起来，实现了冲突特征的自适应解耦。
全面的基准测试：该框架在五个公开数据集（MSRS, M3FD, FMB, RoadScene, DroneVehicle）和十个以上的基准任务上进行了评估，展示了在烟雾遮挡和极端过曝等多样化场景下的鲁棒性。

实验结果

融合质量：P²Fusion 在四个主要数据集（MSRS, M3FD, FMB, RoadScene）的 16 个关键评估指标中的 12 个，以及 DroneVehicle 数据集的 4 个关键指标中的 2 个（总计 20 个关键指标中的 14 个）上达到了最先进（SOTA）的性能。它在视觉保真度方面持续优于 12 种现有的 SOTA 方法（包括 SAGE, DiTFuse 和 FreeFusion），同时保留了红外显著目标和可见光纹理。
下游感知：融合图像显著提升了下游任务的表现：
- 目标检测：在 MSRS 上 mAP 提升 +3.2%，在 M3FD 上 +0.5%，在 DroneVehicle 上 +0.9%。
- 语义分割：在 MSRS 和 FMB 数据集上实现了 mPA 和 mIoU 的持续提升。
鲁棒性与分布外（OOD）表现：在针对 DroneVehicle 数据集（具有航空视角和严重能见度下降特征）的分布外验证中，P²Fusion 在无需领域特定微调的情况下保持了 SOTA 性能，证明了其在未见过的恶劣环境中的卓越适应能力。

意义与主张

本文声称，P²Fusion 通过将范式从“静态约束”转向“动态内在提示”，有效地解决了传统框架固有的先验依赖问题。通过回归图像数据的本质并利用内生的动态调节器，该方法实现了视觉美学与任务性能之间的稳健平衡。作者断言，这种方法弥合了高层物理引导与自适应特征表示之间的鸿隙，为多模态感知提供了一种通用的解决方案，缓解了以往先验引导方法中存在的优化冲突和粒度失配问题。

P²Fusion 技术摘要：基于双重先验蒸馏的提示驱动渐进式红外-可见光图像融合

问题陈述

方法论

核心贡献

实验结果

意义与主张

类似论文