HP-UniIF: Hierarchical Prompt Learning for Unified Image Fusion
本文提出了 HP-UniIF，这是一个统一的视觉框架，它利用扩散先验和一种新颖的深度逐层条件调制策略，通过在不同的网络阶段解耦这些目标，同时实现异构图像融合、视觉恢复和任务导向型感知。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个相机能够同时看穿雾气、黑暗和模糊的世界，将多个不完美的视角缝合在一起，构成一幅完美的图像。这就是图像融合（image fusion）所承诺的愿景——这是一个致力于结合来自不同来源信息的计算机视觉领域。有时，摄像机会以不同的方式捕捉同一个场景：一个看到的是黑暗中人的热信号，而另一个看到的则是白天的细节色彩。其他时候，同一个场景是在不同的时间或使用不同的对焦设置进行拍摄的。目标是将这些独立的图像合并，使最终结果包含来自每个源的最佳细节，从而创造出一个比任何单一照片都更清晰、信息量更大的视图。然而，现实世界很少是完美的。我们试图组合的图像往往受到噪声、光照不足或薄雾的破坏，而且最终的图像通常是为了让计算机去寻找汽车或行人而使用的，而不只是为了好看。长期以来，科学家们不得不为这些挑战分别构建不同的工具：一个工具用于合并图像，另一个用于修复损伤，第三个用于准备图像以供计算机分析。这意味着，如果一个情况需要同时具备这三项功能，现有的工具就会显得力不从心，产生的结果往往要么模糊，要么多噪，或者让试图读取它们的计算机感到困惑。
一组研究人员现在提出了一种名为 HP-UniIF 的新方法，试图在一个系统中解决所有这些问题。他们没有构建用于合并、修复和分析的独立工具，而是创建了一个统一的框架来共同处理这一切。他们构思的核心依赖于一种被称为“扩散模型”（diffusion model）的人工智能类型。可以将这个模型想象成一位技艺精湛的艺术家，他见过数百万张图像，并且完全知道一张清晰、自然的图像应该是什么样子的。研究人员利用这位艺术家的知识作为基础，但他们添加了一个特殊的指令层来引导这位艺术家。他们意识到，当输入数据很混乱，或者图像是为了执行特定任务（如识别车辆）时，仅仅要求艺术家“画一张好图”是不够的。因此，他们引入了一个“提示词”（prompts）系统，这就像是在绘画过程中传递给艺术家的详细笔记。
研究人员设计这些笔记时采用了层级化的方式，这意味着它们是按深度和用途进行组织的。在最开始阶段，当系统观察原始的、受损的图像时，一组特定的笔记会告诉系统如何在不丢失重要细节的情况下清理噪声和模糊。这就是“退化提示词”（degradation prompt），它充当了一个修复指南，确保艺术家知道哪些部分是受损的且需要修复。一旦图像变得更干净，第二组笔记——“任务提示词”（task-prompt）就会接管。这组笔记告诉系统需要进行哪种类型的融合：是应该结合红外热成像图与可见光图像，还是应该融合一张明亮的图片与一张昏暗的图片？这确保了系统明确知道要执行哪种类型的融合。最后，如果生成的图像旨在帮助计算机寻找特定物体，则会加入第三组笔记——“应用提示词”（application prompt）。这组笔记会引导图像的最后润色，以确保对计算机最重要的特征（如汽车的轮廓或人的轮廓）变得锐利且清晰。
通过将这些指令分离到系统的不同层级中，研究人员发现该模型可以处理复杂的、混乱的情况而不至于产生混淆。在测试中，他们向系统输入了不仅彼此不同，而且受到雪、雾或弱光等因素破坏的图像对。他们要求系统针对各种任务进行合并，例如结合红外线与可见光，或者融合多重曝光的风景图。结果表明，这种新方法产生的图像在视觉上优于以往的尝试。融合后的图片保留了原始来源的清晰细节，同时有效地消除了噪声和失真。更重要的是，当这些图像被交给用于检测物体的计算机系统或用于绘制场景地图的系统时，这些系统的表现比使用其他方法的图像时更好。计算机能够以更高的准确度识别汽车、行人和路标，因为图像保留了完成这些任务所需的特定细节。
研究人员还测试了当改变条件（例如在输入图像中添加不同类型的损伤，或将目标从单纯让图像好看转变为用于特定的计算机任务）时，系统的表现如何。他们发现该系统具有鲁棒性，在所有这些变化下都能持续提供高质量的结果。他们证明了通过使用这种分层提示策略，可以训练系统具备灵活性。如果引入了新的任务类型，他们只需向系统添加一组新的笔记，而无需重建整个引擎。这表明该方法不仅仅是针对特定问题的临时解决方案，而是一个可以随着新需求而增长的、具有适应性的框架。这项工作证实，通过学习自然图像应有的模式，完全可以在一个统一的、连贯的系统中，将提升图像美感、净化图像以及使其对机器有用这三个目标统一起来。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。