💻 computer science

InfraNet: Quality-Aware RGB Guidance for Efficient Infrared Object Detection

InfraNet 是一个高效的、以红外（IR）为中心的目标检测框架，它利用一个质量感知融合模块（QualGate）在训练期间动态调节 RGB 指导，从而在恶劣条件下实现鲁棒性能，同时支持在 RGB-IR 和仅红外（IR-only）模式下的灵活部署。

原作者： Zichao Feng, Haodong Zhu, Jingying Yang, Sheng Xu, Yangyang Ren, Yuguang Yang, Xuhui Liu, Juan Zhang, Tian Wang, Linlin Yang, Baochang Zhang

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zichao Feng, Haodong Zhu, Jingying Yang, Sheng Xu, Yangyang Ren, Yuguang Yang, Xuhui Liu, Juan Zhang, Tian Wang, Linlin Yang, Baochang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在茂密的森林中寻找一名迷路的徒步旅行者。你有两位朋友在协助你：亚历克斯（Alex），他拥有出色的夜视功能（红外线/IR）；以及本（Ben），他拥有一台高清摄像机（RGB/可见光）。

在阳光明媚的白天，本的表现非常出色。他能看到颜色、纹理和精细的细节，而这些都是亚历克斯的夜视镜所忽略的。但随着夕阳西下，或者浓雾袭来，本的摄像机就开始失效了。他的图像变得黑暗、充满噪点，甚至完全无法使用。

现有方法的缺陷：
大多数现有的“协作”系统将亚历克斯和本视为平等的伙伴。它们强迫团队去听从本的指令，即便本在黑暗中正处于挣扎状态。如果本因为看不清而开始胡言乱语，整个团队就会陷入混乱，从而错过徒步旅行者。这就像是在试图通过一个被蒙住眼睛的人的指示来穿越黑暗的洞穴。

解决方案：InfraNet
开发 InfraNet 的研究人员想出了一个更聪明的运行方式。他们意识到，亚历克斯（红外传感器）是那个在黑暗中依然可靠的人，而本（RGB 传感器）只有在光线充足时才有用。

以下是 InfraNet 的工作原理，通过简单的概念进行拆解：

1. “质量门控”（QualGate）

可以将 QualGate 想象成站在亚历克斯和本之间的一位聪明的管理者。

当阳光明媚时： 管理者看到本表现出色。他会让本那详细的指令流向亚历克斯，从而帮助亚历克斯看得更清楚。
当大雾或天黑时： 管理者看到本的视觉变得模糊且不可靠。为了不让本糟糕的指令误导团队，管理者会让本保持沉默，并告诉亚历克斯：“由你来主导；我会增强你的信号，确保你不会错过任何细节。”

这个管理者不仅仅是简单地开关他们，而是学会了在任何给定时刻精确地判断该信任本多少。如果本有 80% 的可靠性，团队就听取 80% 的意见；如果本只有 10% 的可靠性，团队就只听取 10%。

2. 两种团队配置

研究人员设计了两个版本的团队，以适应不同的场景：

InfraNet-IR（单人夜间值守）：
- 训练阶段： 在练习期间，团队共同训练。亚历克斯通过学习本在“好日子”里的表现来提升自己的工作能力。
- 执行任务（推理阶段）： 当真正的夜间任务开始时，本被送回家了。 团队只使用亚历克斯。因为亚历克斯在训练时得到了本的帮助，他现在变得非常专业，不再需要本。这使得系统快速、廉价且高效，因为它只需要一个摄像头（红外摄像头）。
- 类比： 这就像一个学生通过和导师一起学习来掌握数学。一旦学生掌握了知识，他就可以在没有导师到场的情况下独立参加考试。
InfraNet-RGB-IR（全员小队）：
- 训练与任务： 本和亚历克斯在整个任务过程中都全程参与。管理者（QualGate）会根据天气情况，不断决定要听取本多少的意见。
- 类比： 这适用于同时拥有两个摄像头，并且希望在光线良好时利用本提供的色彩细节，而在光线不足时依赖亚历克斯的情况。

3. 为什么这很重要

研究人员在四个数据集上测试了这个想法（模拟了夜晚、雾天、雨天和无人机视角）。他们发现：

它更强韧： 当“本”的摄像头被恶劣天气破坏时，InfraNet 不会崩溃。它会忽略错误的数据并继续工作。
它更快： “单人夜间值守”版本（InfraNet-IR）极其高效。它运行速度很快，因为在实际任务中，它不需要处理来自 RGB 摄像头的沉重且无用的数据。
它更准确： 即使没有本，这个单人团队的表现也优于那些试图强迫本在黑暗中工作的其他团队。

总结

InfraNet 是一个知道何时信任彩色摄像头、何时忽略它的智能系统。它仅将彩色摄像头作为“训练伙伴”，用以让红外摄像头变得更强大。一旦训练完成，红外摄像头就可以独立作业，即使在最黑暗、雾气最重的条件下，也能提供高质量的检测，而无需依赖不可靠的彩色摄像头。

技术摘要：InfraNet：面向高效红外目标检测的质量感知 RGB 指导机制

1. 问题陈述

在恶劣视觉条件（如低光照、眩光、雾天）下实现鲁棒的目标检测，仍然是多模态感知系统面临的一项重大挑战。虽然红外（IR）传感通过捕捉独立于环境光的热辐射提供了鲁棒性，但现有的基于融合的方法在训练和推理阶段通常对 RGB 和 IR 模态进行等同对待。这种“等同对待”的假设忽略了一个关键缺陷：即 RGB 模态在退化条件下的不可靠性。

当 RGB 图像严重退化（例如变得黑暗或充满噪声）时，不加区别地将它们与可靠的 IR 特征进行融合，会引入无关或有害的信息，从而导致“负迁移”（negative transfer），损害整体检测精度。此外，目前大多数最先进（SOTA）的融合方法都要求在推理时具备双模态输入，这在 RGB 传感器不可用或损坏时显得并不实用。因此，需要一种框架，能够在训练期间利用 RGB 作为指导信号来增强 IR 学习，同时支持高效、高精度的仅 IR 模式部署。

2. 方法论

核心框架：InfraNet

作者提出了 InfraNet，这是一个以红外为中心、具备质量感知能力的框架，旨在通过调节 RGB 指导来进行训练，并支持在 RGB–IR 或仅 IR 模式下的灵活部署。InfraNet 采用了一种非对称架构，由以下部分组成：

主路径 IR 路径： 提取用于预测的多尺度红外特征。
辅助路径 RGB 路径： 在训练期间提供受可靠性控制的监督信号。

核心组件：QualGate

InfraNet 的核心创新是 QualGate，这是一个部署在网络内多个尺度上的质量感知融合模块。QualGate 学习一个任务导向的控制信号，以动态调节跨模态交互。其运行涉及两个平行的机制：

可靠性控制分数 ( $q$ )： 使用轻量级 MLP 从辅助 RGB 特征 ( $A_{in}$ ) 中预测一个标量分数 $q \in (0, 1)$ 。该分数是针对检测目标进行优化的，而非作为手工设计的图像质量指标。
RGB 抑制门控： 辅助贡献由权重 $w_{rgb}(q) = q$ 进行调节。当 RGB 质量较差（ $q$ 值较低）时，RGB 指导会被降低权重，以防止噪声注入。
IR 放大门控： 同时，会对 IR 流应用一个反向可靠性增益 $\alpha(q)$ 。定义为 $\alpha(q) = \text{clip}(1.5 - q; 1.0, 1.5)$ ，该机制在 RGB 指导较弱时增加 IR 特征的贡献，确保 IR 表示保持鲁棒。
融合： 最终输出 $A_{out}$ 是被抑制的辅助项与被放大的 IR 注入的融合：
$A_{out} = w_{rgb}(q) \cdot A_{in} + \sum_{k=1}^{K} \alpha(q) \cdot g_k \cdot F_k$
其中 $F_k$ 代表对齐后的 IR 特征， $g_k$ 是内容门控。

架构变体

基于 InfraNet，设计了两种特定的架构：

InfraNet-IR： 一种轻量级的单分支网络，针对计算效率进行了优化。它使用配对的 RGB–IR 输入进行训练（使用 RGB 作为特权辅助监督），但在仅 IR 推理时进行部署。在测试时，RGB 分支和所有融合模块都会被移除，不会产生额外的开销。
InfraNet-RGB-IR： 一种高容量的双分支结构，在训练和推理阶段均处理 RGB 和 IR 输入，并利用 QualGate 进行可靠性控制的跨模态融合。

训练策略

该框架使用非对称损失函数：
$\mathcal{L} = \mathcal{L}^{(\text{main})}_{\text{det}} + w_{\text{aux}} \mathcal{L}^{(\text{aux})}_{\text{det}}$
其中辅助损失权重 $w_{\text{aux}}$ 设置为 0.25。这确保了优化主要由红外路径主导，而辅助分支则提供自适应指导以增强 IR 表示。

3. 主要贡献

InfraNet 框架： 一个用于红外目标检测的质量感知、RGB 引导框架，它将 RGB 处理为训练期间受可靠性控制的辅助信号，实现了灵活的仅 IR 部署。
QualGate 模块： 一种新型融合机制，通过学习任务导向的控制信号来抑制不可靠的 RGB 指导并补偿 IR 特征，从而减轻了来自退化 RGB 数据导致的负迁移风险。
双模式部署： 设计了两种变体（InfraNet-IR 和 InfraNet-RGB-IR），在高效的单模态推理和高容量的双模态融合方面均取得了具有竞争力的性能。

4. 实验结果

该方法在四个基准数据集上进行了评估：LLVIP、FLIR-Aligned、M3FD 和 DroneVehicle。

性能表现： InfraNet 在所有数据集上均取得了强劲或具有竞争力的准确度。
- 在 LLVIP 上，RGB–IR 变体（YOLOv8）达到了 70.5% mAP，优于 SOTA 的 WaveMamba（66.0%）。其仅 IR 变体在无推理开销的情况下达到了 68.8% mAP。
- 在 FLIR-Aligned 上，仅 IR 变体（ResNet50）实现了 9.4ms 的推理时间，达到 53.0% mAP，在保持竞争力的准确度的同时，显著快于双模态竞争对手。
- 在 DroneVehicle 上，仅 IR 的 YOLOv12 变体达到了 84.7% mAP50，比 WaveMamba 高出 4.9% 的绝对增益，并在小目标检测（如汽车、巴士）方面有显著提升。
- 在 M3FD 上，该方法在 RGB 可见度严重受限的夜间和挑战性子集中表现出了鲁棒性。
效率： InfraNet-IR 在仅 IR 推理时保持了极高的效率，在部署时完全移除了 RGB 分支和融合模块。
消融实验： 实验证实了 QualGate 的 RGB 抑制分支和 IR 放大分支都是必要的；移除其中任何一个都会导致性能下降。研究表明，学习到的控制分数 $q$ 能够有效地适应受控的 RGB 退化（如雾、亮度变化），而无需显式的质量标注。

5. 重要性与主张

论文声称，InfraNet 通过将范式从“等同融合”转向“以红外为中心的质量感知指导”，解决了长期存在的 RGB 在恶劣条件下不可靠的问题。

鲁棒性： 通过抑制不可靠的 RGB 线索并放大 IR 特征，该方法防止了 IR 表示受到污染，从而在低光照和恶劣天气下实现更稳定的检测。
部署灵活性： 与现有的需要在推理时具备双模态输入的融合方法不同，InfraNet-IR 为 RGB 传感器不可用或损坏的场景提供了一个实用的解决方案，在实现高精度的同时，无需承担运行双流架构的计算成本。
效率： 该框架证明了在训练期间使用辅助监督可以显著提升仅 IR 性能，且不会产生部署开销，使其适用于自动驾驶和无人机监控等资源受限的应用场景。