💻 computer science

Learning Language-Driven Sequence-Level Modal-Invariant Representations for Video-Based Visible-Infrared Person Re-Identification

本文提出了语言驱动的序列级模态不变表示学习（LSMRL）方法，该方法通过集成由语言提示引导的时空特征学习、语义扩散和跨模态交互模块，有效解决了现有基于视频的可视光-红外行人重识别方法的局限性，并实现了最先进的性能。

原作者： Xiaomei Yang, Antai Liu, Xizhan Gao, Fa Zhu, Sijie Niu, Giancarlo Fortino

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaomei Yang, Antai Liu, Xizhan Gao, Fa Zhu, Sijie Niu, Giancarlo Fortino

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在拥挤人群中寻找特定目标的保安。你有两组监控摄像头：一组能看到彩色世界（就像你白天的眼睛所看到的）；另一组则能看到热成像（就像红外夜视相机，能看到身体的热量）。

挑战在于：这个人在这两个屏幕上看起来完全不同。在彩色摄像头上，你看到的是一件蓝色夹克和一双红色鞋子；而在热成像摄像头上，你只看到一个发光的炽热团块。你的大脑很难将“蓝色夹克男”与“发光团块男”联系起来。

这篇论文介绍了一种名为 LSMRL 的新型 AI 系统，旨在解决这个难题。它就像是给了你的保安一项超能力：一个通用翻译器，帮助他们理解即使在光照变化（从白天到黑夜）的情况下，“蓝色夹克”和“发光团块”其实是同一个人。

以下是该系统的工作原理，通过日常类比分为三个简单的步骤：

1. “智能手表”（时空特征学习）

问题： 旧的 AI 系统就像是一个只拍单张照片的摄影师。它们会错过动作。如果一个人在行走、转身或挥手，单张照片可能会错过关键线索。此外，尝试分析整个视频通常需要超级计算机，这既慢又昂用。

解决方案： 作者构建了一个“智能手表”模块。它不仅仅是看一张静态帧，而是像看电影一样观察视频。

工作原理： 它利用了一个已经能够识别数百万张照片中人物的预训练 AI（称为 CLIP）。他们并没有重建整个大脑，而只是微调了最后几层。
诀窍： 他们将 AI 的注意力分为两组。一组专注于位置（空间），另一组专注于运动（时间）。
类比： 想象你在看一场舞蹈。你大脑的一部分在观察舞者的姿态（空间），而另一部分在观察他们脚步的节奏（时间）。这个模块可以同时完成这两项工作，且不需要庞大的计算机，因此既快速又高效。

2. “通用翻译器”（语义扩散）

问题： 即使 AI 看到了运动，但“彩色人”和“热成像人”仍然说着不同的语言。AI 本身并不知道“正在走路的人”在彩色图像中和在热成像图像中是同一个概念。

解决方案： 他们引入了一个文本翻译器。

工作原理： 系统使用一段文本提示词，例如一句说：“一个在白天和黑夜条件下都被观察到的人。”
诀窍： 这句话充当了桥梁。AI 将这句话的含义注入到彩色视频和热成像视频中。
类比： 想象两个说着不同语言的人（彩色和热成像）试图就一个计划达成一致。你带来了一位使用“通用语言”（文本）的翻译员。翻译员向他们两人低声传达相同的指令，迫使他们的理解趋于一致。现在，彩色摄像头和热成像摄像头都在思考同一个“人”的概念。

3. “团队集会”（跨模态交互）

问题： 即便经过了翻译，可能仍存在细小的误解。彩色摄像头可能关注帽子，而热成像摄像头可能关注躯干。它们需要互相核对。

解决方案： 他们创建了一个“团队集会”模块，让两个摄像头直接进行交流。

工作原理： 系统允许彩色特征和热成像特征相互观察并交换信息。
类比： 想象彩色摄像头和热成像摄像头是两名侦探。侦探 A（彩色）说：“我看到一顶蓝色的帽子！”侦探 B（热成像）说：“我看到一个温暖的头部！”他们交换笔记。侦探 B 意识到：“啊，那个温暖的头部正好对应那顶蓝色的帽子！”他们结合线索，创造出一个单一且完美的嫌疑人描述。这一步消除了困惑，并创造了一个“模态不变”的表示——即一个适用于两种摄像头的描述。

“评分卡”（损失函数）

为了确保 AI 学习正确，研究人员给它制定了一套严格的评分系统（损失函数）。

身份损失（Identity Loss）： “确保你知道这是 A 人，而不是 B 人。”
模态损失（Modality Loss）： “确保无论你使用的是彩色摄像头还是热成像摄像头，对 A 人的描述看起来都是一样的。”
结果： 如果 AI 认错了人，或者在两个摄像头下的描述不一致，它就会受到惩罚。

结果

研究人员在包含数千人的海量视频数据集中测试了这个系统。

成果： 我们的新系统 (LSMRL) 击败了之前所有的最优方法。
数据： 在一项测试中，与之前的最佳系统相比，它在寻找正确目标的准确率上提升了近 6%。在 AI 安防领域，这是一个巨大的飞跃。
效率： 尽管完成了更复杂的任务，它并不需要超级计算机；它实际上比其他高科技方法更快、更轻量。

总结

简而言之，这篇论文提出了一种教导 AI 在不同类型的摄像头（白天 vs 黑夜）之间识别人的新方法。它通过以下方式实现：

像看电影一样观察视频，而不只是看照片。
使用一段文本句子来强制两种类型的摄像头对“人”的概念达成共识。
让两种类型的摄像头互相交流以修正任何剩余的错误。

其结果是一个更擅长在白天或黑夜寻找正确目标的安防系统，且无需昂贵的硬件。

技术摘要：面向视频可见光-红外行人重识别的学习型语言驱动序列级模态不变表示法

1. 问题陈述

基于视频的可见光-红外行人重识别（VVI-ReID）旨在匹配不同光照条件下可见光（RGB）和红外（IR）视频序列中的行人身份。虽然这对 24/7 全天候监控非常有效，但该任务面临两个主要挑战：

模态间隙（The Modality Gap）： 由于成像机制的不同（反射率 vs 热辐射），RGB 和 IR 数据之间存在显著的语义差异，这阻碍了跨模态特征对齐。
时空建模（Spatial-Temporal Modeling）： 现有方法在高效建模视频序列中的动态时间依赖关系的同时，难以维持足够的跨模态交互。

当前最先进的方法，特别是利用 CLIP（对比语言-图像预训练）模型的方法，面临着特定的局限性：

建模效率低下： 诸如 VLD 之类的模型通过向视觉编码器引入额外的标记（时空枢纽），导致计算复杂度呈二次方增长。
交互不足： 共享网络架构往往忽略了显式跨模态特征交互的关键作用，导致生成的模态不变特征缺乏鲁棒性。
缺乏显式引导： 仅依赖身份级损失无法显式地强制执行跨模态一致性，导致模态对齐不充分。

2. 方法论：LSMRL

作者提出了 LSMRL（语言驱动的序列级模态不变表示学习），这是一个基于 CLIP 模型并进行极简修改的框架。该架构由三个互补模块和一个多损失系统组成。

A. 时空特征学习 (STFL) 模块

STFL 模块旨在高效建模视频序列而不产生过高的计算开销，它将 CLIP 视觉编码器分解为三个子模块：

基础视觉编码器： 复用预训练 CLIP 的前 8 个 Transformer 块，以提取单个帧的细粒度空间语义（如轮廓、纹理）。
时空分组 (STG) 编码器： 利用最后 4 个 Transformer 块，但修改了多头自注意力（MHSA）机制。它将注意力头分为两组：
- 时间头（Temporal Heads）： 通过计算当前帧 $t$ 与相邻帧 $t + \Delta t$ 之间的注意力来实现跨帧交互，从而捕捉动态运动模式。
- 空间头（Spatial Heads）： 保留帧内注意力以优化空间关系（如身体部位的位置）。
- 效率： 该设计复用了预训练参数，且没有引入新的标记，保持了计算复杂度不变。
时间补丁偏移 (TPS) 编码器： 增加了一个带有时间补丁偏移机制的 Transformer 块。它在应用自注意力之前，沿时间维度循环移动帧标记。这使得标准的仅空间注意力机制能够自然地捕捉长程时间依赖和稀疏交互，而不会增加参数量。

B. 语义扩散 (SD) 模块

为了弥合 RGB 和 IR 模态之间的语义差距，SD 模块将模态共享的文本语义注入到视觉特征中：

文本提取： 一个可学习的提示词（“A [X]1...[X]m person observed in both day and night conditions”）由冻结的 CLIP 文本编码器进行编码，生成共享的文本语义嵌入（ $T_e$ ）。
扩散机制： $T_e$ 在跨模态注意力机制中作为查询向量，针对源自 RGB 和 IR 序列特征的键（Key）和值（Value）矩阵进行操作。它将共享的语义信息扩散到两种模态中，生成初步的模态不变表示并建立粗粒度的一致性。

C. 跨模态交互 (CMI) 模块

为了精炼表示并消除残余的模态间隙，CMI 模块采用双向跨模态自注意力：

双向交互： RGB 特征作为 IR 特征的查询（Query），反之亦然，使每种模态能够吸收来自另一种模态的身份判别性模式，同时抑制模态特有的噪声。
序列级聚合： 对交互后特征的 [cls] 标记进行时间平均池化（TAP），以生成最终的序列级模态不变表示（ $f^R$ 和 $f^I$ ）。

D. 多损失系统

训练目标结合了多个损失函数，在不同阶段引导学习：

STFL 损失： 将身份（ID）损失和加权正则化三元组（WRT）损失应用于 STG 和 TPS 的输出，以确保模态内的判别力。此外，还使用了视频-文本（V2T）对比损失，使视频特征与共享的文本语义对齐。
模态级损失：
- 模态判别（MD）损失： 强制要求同一身份在不同模态间具有紧凑性，同时区分不同身份。
- 模态共享增强（MSEL）损失： 显式地最小化同一样本跨模态表示之间的距离，确保学习到的特征是真正的模态不变特征。

3. 核心贡献

新颖框架： 提出了 LSMRL，它利用 CLIP 的语义对齐来引导序列级模态不变学习，解决了效率、交互和损失引导方面的局限性。
高效的 STFL 模块： 一种参数高效的设计，通过复用 CLIP 模块并引入 STG 和 TPS 机制，在不增加计算开销或标记数量的情况下捕捉时空动态。
两阶段交互机制： 集成了 SD（粗粒度语义扩散）和 CMI（细粒度双向注意力），逐步减少 RGB/IR 的模态间隙。
显式损失引导： 构建了一个包含 MD 和 MSEL 损失的多损失系统，以显式强化跨模态一致性和特征泛化能力。

4. 实验结果

在两个大规模数据集 HITSZ-VCM 和 BUPTCampus 上进行了广泛的实验。

在 HITSZ-VCM 上的表现： LSMRL 实现了 75.1% (I2V) 和 75.2% (V2I) 的 Rank-1 准确率，分别超过之前的 SOTA 方法 (VLD) 0.8% 和 0.6%，并取得了最高的 mAP 分数（分别为 60.9% 和 58.2%）。
在 BUPTCampus 上的表现： 该方法展现了显著的优越性，实现了 71.1% (I2V) 和 67.0% (V2I) 的 Rank-1 准确率。相比 VLD，其 I2V Rank-1 提升了 5.8%；相比表现最好的非 CLIP 方法 (UCT)，提升了 14.6%。
效率： 尽管性能有所提升，但由于在推理阶段移除了 SD 模块和文本编码器，LSMRL 的推理阶段所需的参数量（88.53M）和 FLOPs 低于 TF-CLIP 和 VLD 等其他基于 CLIP 的方法。
消融实验：
- 仅使用 STFL 模块，Rank-1 比基准提高了约 7-8%。
- 加入 SD 模块带来了最大的单项提升（+13.8% Rank-1），证实了语义扩散的重要性。
- CMI 模块和模态级损失进一步精炼了性能，验证了双向交互和显式一致性约束的必要性。
可视化： T-SNE 和 CAM 可视化证实，与基准方法相比，LSMRL 生成了更紧凑的类内簇、更好的跨模态对齐（RGB/IR 点重叠）以及更聚焦于判别性身体部位的注意力。

5. 重要性与局限性

重要性：
论文声称，LSMRL 展示了预训练视觉语言模型在增强 VVI-ReID 性能方面的巨大潜力。通过将语言驱动的语义引导与高效的时空建模相结合，该方法在保持计算效率的同时，实现了卓越的准确性和鲁棒性。它强调了显式的模态级损失引导和充分的跨模态交互对于学习鲁棒的模态不变表示至关重要。

局限性：
作者承认存在两个主要局限：

粗粒度对齐： 该方法依赖于 CLIP 的粗粒度骨干网络，这可能难以有效地对齐局部、细粒度的语义。
残余模态信息： 学习到的模态不变特征可能仍包含部分模态特定信息，这可能会干扰判别能力。

未来工作：
作者建议在未来的研究中引入细粒度对齐技术，并设计特征解耦网络，以进一步增强判别能力和 ReID 性能。