FDMA-Net: Four-directional Mamba alignment for tiny object detection in visible and thermal imagery
为了解决配对可见光与热成像无人机图像中微小目标检测面临的空间失配和细节缺失挑战，作者提出了 FDMA-Net，这是一个新颖的框架，其特征在于一个用于跨模态特征对齐的四向 Mamba 对齐模块、一个用于保留精细空间细节的热红外细节增强机制，以及一个用于精确定位的中心-尺寸分布检测头，该框架在 RGBTDronePerson 和 VTUAV-det 基准测试上达到了最先进的性能。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在高空航空监视的世界里，看清事物往往取决于是否拥有正确类型的“眼睛”。捕捉可见光的摄像机类似于人类的眼睛，擅长展示纹理和色彩，但在日落时分或云层遮挡视线时则显得力不从心。热成像摄像机通过探测热量工作，在黑暗或烟雾中表现出色，但它们往往会模糊精细的细节，导致很难将一个渺小的人影与温暖的地面区分开来。多年来，工程师们一直试图将这两种视图结合成一张更清晰的图像，希望能兼得两者的优势。然而，一个持久的问题阻碍了这种融合的完美实现：这两台摄像机观察世界的角度很少完全一致。当一个微小的物体（例如一个在屋顶行走的人）仅占据几个像素时，可见光图像与热成像图像之间哪怕极其微小的偏移，都会导致计算机将那个人与背景混淆。这就像是将两张边界无法对齐的地图缝合在一起；结果会变成一团模糊、混乱的景象，其中最重要的细节也会随之丢失。
韩国嘉真大学（Gachon University）的一个研究小组开发了一种新系统，旨在解决这一特定的对齐问题，特别是针对寻找空中极小目标的情况。他们将这一创造物称为 FDMA-Net，它就像一个高水平的编辑，在图像融合之前，不断检查并调整可见光图像的位置以匹配热成像图像。其创新的核心在于一种观察图像四个方向（上、下、左、右）的方法，以此来确定可见光图像究竟需要移动多少位置。该系统并非靠猜测，而是通过扫描图像的行与列，从周围区域收集线索，从而判定微小目标真实的所在位置。随后，它利用置信度评分来权衡这些不同方向的预测值，信任最可靠的预测，从而实现精确的对齐。这确保了当计算机融合两张图像时，人的热特征与其可见轮廓能够完美重叠，而不是发生漂移。
为了确保这些微小目标在处理过程中不会消失，研究人员添加了第二层保护。他们意识到，热成像图像中最精细的细节（通常出现在处理的早期阶段）过早地被丢弃了。他们的系统现在会保留这些清晰、浅层的热成像细节，并将它们直接输入到最终的检测阶段。这一点至关重要，因为微小目标本身的空间信息就非常有限；通过保留这些细腻的热成像纹理，系统能够留住那些可能原本会融入背景中的微妙线索，从而识别出一个人或一名骑行者。此外，该系统改变了预测物体位置的方式。它不再试图猜测一个单一的精确点，而是计算物体中心位于附近各个位置的概率，以及其尺寸处于某个范围内的概率。这种统计学方法比传统要求单一、僵化答案的方法能更有效地处理发现微小、遥远目标时的不确定性。
当研究人员在包含数千张航空图像的两个不同数据集上测试这一新系统时，结果非常显著。在一个专注于检测人员和人群的数据集上，该系统的检测准确率达到了 49.08%，明显高于以往的最佳方法。在第二个旨在追踪车辆和人员的数据集上，它达到了 75.7% 的准确率。这些进步不仅仅是微小的提升，而是实现了跨越式的飞跃，超越了领先的竞争对手数个百分点。或许更重要的是，研究人员在实现这些结果的同时，所使用的系统效率惊人，消耗的计算资源比许多其他高性能模型都要少。通过专注于图像的精确对齐和精细细节的保留，该团队证明了只要计算机知道如何准确地观察，即使是最小的目标也能被可靠地发现。
这项工作的成功表明，看清“不可见”之物的关键不仅在于拥有更好的传感器，还在于有更聪明的方法来结合这些传感器所看到的内容。研究人员发现，仅仅将图像堆叠在一起是不够的；系统必须主动理解两种视图之间的关系，并实时纠正它们的差异。通过使用一种向四面八方寻找真相的方法，并保留最微弱的热成像细节，该系统克服了通常困扰微小目标检测的混乱问题。这种方法为航空监视、搜救行动以及任何涉及在黑暗或薄雾中精准发现微小、遥远目标的场景，提供了一条切实可行的路径。这项工作证明，只要具备正确的对齐方式和敏锐的细节观察力，技术的局限性就可以被推向新的高度，从而揭示出从高空俯瞰世界时更清晰的景象。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。