Vision-Modulated Soft-Part-Aware Mamba for Video-Based Visible-Infrared Person Re-Identification

在城市监控网络静谧的嗡鸣声中，摄像头时刻注视着，捕捉着昼夜不停的人流。几十年来，安防系统一直依赖可见光摄像头——即捕捉彩色照片的那种——通过衣着和特征来识别个体。但当太阳落山、光线暗淡时，这些摄像头便会显得力不从心；色彩变得褪色，纹理也模糊成难以辨认的阴影。为了解决这个问题，安防团队越来越多地将可见光摄像头与红外传感器配对，后者捕捉的是人体散发的体温，而非衣服反射的光线。这带来了一个新的挑战：计算机如何识别出在颗粒感十足、基于热量的红外视频中看到的这个人，就是那段清晰彩色视频中看到的同一个人？这项被称为“可见光-红外跨模态行人重识别”的任务，要求系统能够忽略两台摄像机观察世界方式的巨大差异，转而专注于行人在画面中移动时所展现出的独特身份。

当目标处于运动状态时，难度进一步加深。一个人很少是静态的图像；他们是一系列动作的序列，是一种随着每一步都在变化的步态。现有的计算机系统通常试图通过观察整体或将图像切割成僵硬、固定的条带（就像切面包片一样）来解决这个问题。然而，人的行走路径并非直线；他们会扭转、转身和倾斜。僵硬的切片可能会在某一帧捕捉到人的头部，而在下一帧捕捉到肩膀，从而破坏了身份的连续性。此外，一个人在黑暗中的样子与在光亮下的样子有着本质的区别，这使得计算机很难在两种不同的视角之间匹配同一个身体部位。常州大学的研究人员提出了一种应对此问题的新方法，这种方法放弃了僵硬的切片，转而采用一种更具流动性、更具自适应性的方法，学习追踪随着移动和变化而变化的特定身体区域。

研究人员开发了一个名为 VM-SPMamba 的系统，它的运作方式是先理解整个场景，然后聚焦于人体特定的、灵活的部分。该系统不再强迫计算机观察图像中固定的水平条带，而是学习识别“软部分”。想象一下，一台计算机可以自主决定在每一帧中人的头部、躯干和腿部位于何处，即使是在人倾斜或相机角度发生偏移的情况下也是如此。该系统通过利用人的全局视图来引导其注意力，从而允许它将像素组合成能够适应人体姿态的有意义区域。这意味着，如果一个人抬起手臂，系统会调整“手臂”区域的边界以跟随动作，而不是固守一个可能会将手臂切成两半的预设方框。

一旦识别出这些灵活的区域，系统就会将每一个区域视为一个独立的故事。它在所有视频帧中追踪“头部”区域，然后在相同的帧中追踪“躯干”区域，以此类推。通过将视频分解为这些不同的运动流，系统可以学习每个特定身体部位随时间演变的方式。这至关重要，因为头部运动的方式与腿部运动的方式不同，而这些差异正是识别一个人的关键。研究人员发现，通过对这些部位进行分别建模并结合它们的“故事”，系统能更好地忽略可见光与红外摄像头之间的混淆差异。它能学习到，红外视角中的特定运动模式与可见光视角中的模式相对应，即便两者的色彩和纹理完全不同。

为了教会系统这项技能，研究人员使用了一种包含“语言”组件的强大训练方法。他们不仅向系统输入图像，还输入了关于身份的文本描述，使计算机能够将人的运动视觉模式与代表其身份的语义概念联系起来。这起到了桥梁作用，帮助系统理解：一个行走的人的热信号特征，就是其彩色图像所代表的同一个身份，尽管两者看起来截然不同。该系统在包含来自真实监控场景数十万张图像的两个大型数据集上进行了测试。在红外到可见光的测试中（即系统在看到热成像视频后，尝试在彩色视频中找到该人），这种新方法达到了 72.3% 的成功率。在反向测试中，它达到了 72.4%。这些数字代表了显著的飞跃，在某些衡量标准上超过了以往的最佳结果十个百分点以上。

研究人员还在一个更庞大且复杂的数据库上测试了他们的系统，该数据库包含超过三千个不同的人员以及更长的视频序列。虽然在这一更具挑战性的测试中，该系统并未在每一项指标上都获得绝对最高分，但它依然保持了极强的竞争力，在红外到可见光的案例中，正确识别出匹配度最高的人员的比例接近 70%，在可见光到红外的案例中也达到了 70%。这表明该方法足以应对现实监控中混乱且不可预测的性质，例如人们在人群中穿梭、改变方向以及出现在不同的光照条件下。研究明确表明，依赖固定不变的图像切片的老旧方法，在人们移动或相机角度发生变化时表现较差。通过证明灵活、自适应的部分优于僵硬的部分，这项研究为构建能可靠地在昼夜间工作的监控系统提供了更清晰的路径。

这种方法的成功在于它能够模仿人类直观追踪人的方式：即关注其身体部位的流动，而非静态快照。系统不需要被告知头部或腿部在哪里；它通过观察像素如何协同运动来学习如何找到它们。这种自适应能力使其能够处理由行走、转身以及不同相机捕捉世界方式所带来的畸变。虽然目前的系统仍依赖标注数据来学习这些模式，并使用固定数量的身体部位，但其结果表明，从僵硬的结构转向流动的、感知内容的表示是一种强大的策略。随着监控网络的不断扩张并日益依赖红外技术进行夜间安防，这类方法为确保无论何时、无论由哪台相机捕捉，都能准确识别正确的人员提供了必要的工具。