Adding Thermal Awareness to Visual Systems in Real-Time via Distilled Diffusion Models
本文介绍了 FusionProxy，这是一个实时、即插即用的图像融合模块，它利用蒸馏扩散模型和互补方差统计，将热成像与 RGB 数据无缝融合，从而在夜间和雾天等挑战性条件下显著提升视觉感知系统的鲁棒性和安全性，且无需联合优化。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正驾驶汽车在浓雾弥漫的夜晚行驶。你的眼睛（或普通相机）只能看到可见光光谱中的景象——就像透过一扇肮脏、昏暗的窗户向外看。你可能会因为光线不足、无法从物体表面反射回来而错过身穿黑色大衣的行人或尾灯损坏的车辆。
现在，想象你还戴着一副“热成像护目镜”（红外相机）。它们不需要光线，只需感知生物和引擎散发出的热量。问题是，热成像护目镜画面模糊且缺乏细节，而你的普通相机虽然清晰，却在黑暗中“失明”。
问题所在：
科学家们曾尝试将这两种视角结合起来。某些方法通过进行数千次猜测并取平均值，生成完美、晶莹剔透的“超级图像”。但这就像在端上桌之前尝了 1000 次蛋糕才决定出炉——耗时太长。等到图像准备好时，你已经撞车了。其他快速方法虽然迅速，却会产生模糊、低质量的混乱图像，几乎无济于事。
解决方案：FusionProxy
本文作者开发了一种新工具，名为FusionProxy。你可以把它想象成一个“智能翻译器”，能瞬间将普通相机的清晰细节与红外相机的热感能力融合在一起。
以下是他们构建该工具的过程，借助了几个简单的类比：
1. “大师级厨师”（教师模型）
首先，研究人员聘请了两位专家级的“大师级厨师”（这些是被称为扩散模型的复杂人工智能模型）。这些厨师极其擅长将两种相机视角混合，生成完美的图像，但速度非常慢。他们花费大量时间，反复品尝和调整图像，以确保万无一失。
- 诀窍： 研究人员没有要求厨师每次开车时都重新烹饪，而是让他们提前烹饪几次，并记录下他们的“笔记”。他们不仅记录了最终成品，还特别记录了两位厨师在哪些地方意见不一致。
2. “快餐学徒”（学生模型）
接下来，他们训练了一位“快餐学徒”（一个轻量级人工智能模型）。这位学徒速度极快，能在瞬间完成烹饪，但通常食物质量不佳。
- 训练过程： 学徒并非仅仅模仿最终成品，而是从大师级厨师留下的笔记中学习。
- “置信度”笔记： 如果两位厨师在某个特定位置（例如行人的脸部）达成一致，学徒就会学会以高置信度描绘该位置。如果厨师们感到困惑或看到了不同的东西，学徒就会学会谨慎行事，不强行猜测。
- “专家”笔记： 研究人员还让学徒透过四位不同的“美食评论家”（专门理解形状、纹理和物体的专用人工智能模型）的视角来观察这道菜。如果某位评论家对图像的某个部分感到困惑，学徒就会学会更仔细地倾听那些对该部分有把握的其他评论家。
3. 结果：即时、高质量的融合
训练完成后，“快餐学徒”（FusionProxy）可以瞬间将普通相机和热成像相机的原始图像融合在一起。
- 速度： 它的速度快到足以在普通笔记本电脑或汽车计算机上运行（每秒约处理 30 到 80 帧）。
- 质量： 尽管速度很快，但生成的图像效果几乎与大师级厨师制作的缓慢而完美的版本一样好。
- 即插即用： 最棒的是，你无需重新训练汽车现有的安全系统。只需将普通相机信号流替换为这种新的“超级信号流”，汽车的“大脑”（原本仅针对普通相机进行训练）就会突然具备“热感知”能力，而无需额外工作。
现实世界的影响
在测试中，他们将此系统置于一个模拟驾驶环境（名为 CARLA 的视频游戏世界）中，环境充满浓雾和黑暗。
- 没有 FusionProxy： 汽车的 AI 无法看到行人，差点撞到人。
- 使用 FusionProxy： “超级信号流”清晰地通过热成像揭示了行人，汽车的 AI 成功转向以避免碰撞。
总结：
FusionProxy 就像是赋予了一台快速、廉价的相机以一台缓慢、昂贵相机的“超能力”。它利用一种巧妙的教学方法，学会瞬间融合热能与光线，使自动驾驶汽车和安全系统在黑暗中更加安全，而无需超级计算机来进行复杂的数学运算。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。