Robust RGB-IR Object Detection under Missing-Modality Conditions via Complementary Feature Restoration and Cross-Modal Fusion

在机器视觉领域，计算机被教导像人类一样通过捕捉可见光的摄像头来观察世界。这些系统是自动驾驶汽车、安防摄像头和自动化工厂背后的“眼睛”。然而，正如人类的双眼在无月的漆黑深夜或浓雾中难以视物一样，这些数字眼睛在光线变暗或天气恶劣时也经常失效。为了解决这个问题，工程师们长期以来一直将标准彩色摄像头与红外传感器配对使用。标准摄像头可以看到颜色和纹理，而红外摄像头则能看到热量，使其即使在全黑的环境下也能发现人和车辆。通过结合这两种视角，系统可以比单一视角看得更清晰。但这种解决方案隐藏着一个弱点：它假设两台摄像头始终能完美运行。在现实世界中，传感器会损坏，镜头会变脏，或者信号会丢失。如果其中一台摄像头失效，整个系统往往会崩溃，导致机器陷入失明状态。

来自台湾的一组研究人员开发了一种全新的构建视觉系统的方法，使其即使在其中一只“眼睛”失明时仍能继续工作。他们的方法（详见最近的一项研究）侧重于创建一个计算机模型，该模型不仅仅是等待两张完美的图像，而是会在其中一张缺失或损坏时主动尝试修复图像。该系统并不将损坏的传感器视为彻底的失败，而是像一位熟练的修复师一样，利用正常工作的摄像头的信息来填补损坏摄像头留下的空白。这使得机器能够保持识别物体能力，无论是在黑暗街道上的行人，还是在多雨高速公路上的车辆，即使在仅拥有通常依赖的一半数据时也是如此。

研究人员使用两个大型图像对集合测试了他们的想法：一个包含数千个在各种光照条件下的汽车、行人和自行车的场景；另一个则专门针对在极暗城市环境中寻找行人。他们训练系统来处理三种不同的场景：两台摄像头都正常工作时、其中一台摄像头完全缺失时，以及系统必须猜测哪台摄像头在不同测试部分正常工作时。在两台摄像头都提供清晰图像的理想情况下，新系统正确识别物体的比例为 80.2%。这一表现与现有的最佳方法不相上下，证明了这种新设计并未为了增强韧性而牺牲准确性。

然而，真正的考验在于研究人员模拟故障时。他们故意移除了其中一个摄像头的输入，以观察系统的应对能力。当系统被迫仅依靠红外摄像头时，它成功地实现了高精度的物体识别，成功率达到 78.2%。当它必须仅依靠标准彩色摄像头时，表现依然良好，正确识别物体的比例为 63.7%。或许最令人印象深刻的是，当研究人员混合了实验条件——即一半的测试图像缺少彩色摄像头，另一半缺少红外摄像头时，系统仍保持了 73.5% 的成功率。这种稳定性与旧系统形成了鲜明对比，旧系统在其中一个输入被移除时，性能会大幅下降甚至完全失效。

为了实现这一点，研究人员构建了一个包含两个主要创新的框架。首先，他们创建了一个旨在修复缺失或退化图像特征的模块。想象一位画家，在注意到画布上有一个洞时，会利用周围区域的颜色和图案来重建缺失的部分。同样，这个计算机模块通过分析正常工作的摄像头数据，来推断缺失的摄像头本应看到的内容，从而在合并两幅图像之前有效地恢复丢失的信息。其次，他们改进了系统融合这两类不同视觉类型的方式。系统不再只是简单地将图像堆叠在一起，而是使用一种复杂的注意力机制，专注于图像中最相关的部分，忽略在尝试将热信号与色彩细节混合时经常产生的噪声和混乱。这确保了最终的决策是基于最清晰的信号做出的。

这项研究表明，对于可靠性比完美条件下峰值性能更重要的实际应用场景，这种方法提供了显著的进步。在现实世界的环境中，例如街角的监控摄像头或送货无人机上的传感器，设备故障是时间问题，而非可能性问题。一个能够优雅处理传感器损坏的系统，比一个仅在一切正常时才能提供完美结果的系统更有价值。通过证明机器视觉系统即使在失去一半感官输入时仍能保持稳健，研究人员为构建更安全、更可靠的技术提供了一份应对实验室之外不可预测世界的蓝图。