💻 computer science

NSP-ML: Normality-Guided and Spatiotemporal Prior-Aware Multimodal Learning for Abnormal Behavior Recognition

本文提出了 NSP-ML，这是一个将视觉数据与受正态性引导及时空先验感知的文本日志相结合的多模态学习框架，旨在显著提升对校园环境中上下文相关异常行为的识别能力，并在 CABRH8 数据集上实现了最先进的性能。

原作者： Haichuan Liu, Xianmin Zhao

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Haichuan Liu, Xianmin Zhao

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名保安，正在观看校园繁忙时刻的实时监控画面。你看到一名学生在走廊里奔跑。这是一种危险信号，还是他只是上课迟到了？如果你看到有人在走廊里哭泣，他们是受伤了，还是仅仅心情不好？

这就是 “NSP-ML” 这篇论文试图解决的问题。

问题所在：眼睛具有欺骗性

目前的多数监控摄像头就像是观察力敏锐但缺乏常识的游客。它们非常擅长描述它们“看到了什么”（例如：“一个人正在奔跑”、“一个人正在哭泣”）。然而，它们很难理解这些行为“为什么重要”。

在真实的校园环境中，一个动作的含义会根据发生的地点和时间而发生彻底的变化：

奔跑： 在操场上很正常，但在安静的图书馆里就很可疑。
哭泣： 在心理咨询室里是一种正常的的情绪释放，但在化学实验室里则可能意味着潜在的紧急情况。

现有的系统主要依赖于“视觉证据”（摄像头看到的内容）。由于它们不知道特定时间和地点的“游戏规则”，因此经常会产生混淆。

解决方案：一位“具备上下文感知能力的侦探”

作者提出了一种名为 NSP-ML 的新系统。不要只把它看作是一个摄像头，而要把它看作是一位读过学校规则手册并了解日常日程表的侦探。

该系统不仅仅是观察视频，它在做出判断之前会阅读两份特殊的“日志”（文本笔记）：

“常态日志”（这里通常会发生什么？）： 这就像一本规则手册。它告诉系统：“在图书馆里，人们通常保持安静。”如果视频显示有人在奔跑，系统会因为它违反了“常态”规则而发出警报。
“时空先验日志”（现在的氛围如何？）： 这就像一份日常计划表。它告诉系统：“现在是周一早上 8:00，位于科学大楼；这是事故高风险时段。”或者，“现在是周五下午 3:00，位于体育馆；这是一个高能量的时段。”

它是如何工作的：“假设”游戏

该系统并不只是瞎猜。它在玩一场**“如果……会怎样？”**的游戏。

视觉线索： 它看到一段学生奔跑的视频。
文本线索： 它阅读了“常态日志”（图书馆 = 安静）和“先验日志”（时间 = 考试周）。
假设： 它构建了一个心理故事：“如果这是一个正常的图书馆场景，那么奔跑将是一种异常行为。”
对比： 它将视频与这个故事进行对比。因为视频（奔跑）与故事（安静的图书馆）相冲突，系统正确地识别出这是异常行为。

论文引入了一种特殊的“注意力机制”（一种智能过滤器），帮助系统在视觉线索模糊时，加大对这些文本线索的权重。这就像侦探在说：“视频看起来是在奔跑，但上下文环境却在提示‘危险’，所以我决定信任上下文。”

结果：更聪明、更快速

研究人员在名为 CABRH8 的数据集上测试了这个系统，该数据集充满了复杂的校园场景——在这些场景中，动作看起来很相似，但含义却截然不同。

评分： 新系统（特别是“大型”版本）在识别正确行为方面的准确率达到了 81.52%。这优于以往仅观察视频或使用简单文本标签的方法。
效率： 尽管变得更聪明了，但它并不需要超级计算机来运行。实际上，它比一些重型竞争对手运行得更快，且消耗的计算资源更少。
证明： 他们还在通用动作数据集（UCF-101 和 HMDB-51）上测试了它，以观察它是否只是个“只会一招的专才”。它在这些数据集上也表现出色，证明了理解上下文是任何视频分析领域都通用的有用技能。

核心结论

论文声称，通过教 AI 在观察视频的同时阅读“上下文”（规则和时间表），我们可以停止将“为了赶公交车而奔跑的学生”与“为了逃离火灾而奔跑的学生”混为一谈。该系统不仅看到了动作，还理解了动作背后的故事。

技术摘要：用于异常行为识别的 NSP-ML

问题陈述

校园环境中的异常行为识别对于智能监控和安全管理至关重要。尽管现有方法已取得进展，但它们主要依赖于视觉信息。这种依赖性造成了一个显著的局限：仅凭视觉表示往往无法区分那些在不同上下文约束（如时间、地点和预期活动模式）下表现相似但含义不同的行为。例如，在校园场景中，“跑步”这一动作在操场上可能是正常的，但在实验室走廊内则可能属于异常。目前的多模态方法通常将文本输入视为静态标签或通用描述，未能显式地编码特定时空条件下的情境规范或先验知识。因此，这些模型在处理依赖上下文定义的异常行为时表现挣扎，因为这类行为的定义取决于对预期模式的偏离，而非仅仅取决于视觉外观本身。

方法论

本文提出了 NSP-ML（常态引导与时空先验感知多模态学习），该框架旨在将视觉表示与两种特定类型的上下文文本知识进行融合：常态引导日志和时空先验感知日志。

1. 上下文文本构建

该框架并非使用静态类别标签，而是为每个视频剪辑 $i$ 和候选类别 $c$ 构建一个上下文约束的行为假设（ $H_{i,c}$ ）。该假设通过拼接以下内容形成：

行为原型（ $B_c$ ）： 对行为的简短语义描述。
常态日志（ $N_i$ ）： 描述特定校园条件下预期行为的文本。
时空先验日志（ $P_i$ ）： 总结与特定位置和时间相关的风险水平、活动模式及敏感度的文本。

2. 时空先验嵌入

除了文本日志外，模型还将结构化信号直接编码到文本分支中：

时间嵌入： 时间戳通过正弦/余弦函数转换为周期性嵌入。
地理嵌入： 位置根据坐标、区域密度和管理敏感度进行编码。
这些结构化嵌入被投影到文本特征空间，以与文本先验描述对齐。

3. 先验感知多头注意力机制

框架引入了先验感知多头注意力机制。与标准注意力不同，该模块将投影后的上下文向量（ $\bar{C}_i$ ）注入查询向量（query vectors）中。这使得模型能够进行受时空先验引导的标记级（token-level）推理，从而增强视觉证据与上下文假设之间的交互。

4. 门控上下文融合

一种轻量级的门控机制能够自适应地平衡行为原型、常态日志和先验日志的贡献。这使得模型能够动态地确定在每个特定分类决策中，应为常态预期与先验约束分配多少权重。

5. 优化目标

该框架使用由三个部分组成的复合损失函数（ $L$ ）进行训练：

上下文分类损失（ $L_{cls}$ ）： 用于将视觉表示与上下文约束假设进行匹配的标准交叉熵损失。
对称对比损失（ $L_{con}$ ）： 一种视觉-语言对齐目标，旨在确保视觉特征与其对应的上下文文本假设相匹配。
反事实上下文损失（ $L_{cf}$ ）： 一种新颖的损失函数，通过引入不匹配的假设（例如，将一个场景的常态日志与另一个场景进行交换）来显式地教导模型区分正确的场景逻辑与错误的逻辑，从而强化上下文判别能力。

核心贡献

新型多模态框架： 本研究引入了 NSP-ML，它将视觉数据与常态引导日志和时空先验感知日志相结合。这种集成表示通过利用视觉证据与情境预期之间的协同作用，实现了对细微异常行为更具上下文敏感性的解释。
显式建模上下文先验： 不同于以往将文本视为静态标签的方法，本工作将异常行为建模为相对于上下文预期模式的偏离。结构化时空嵌入和先验感知注意力机制的引入，加强了跨模态交互。
鲁棒性能与泛化能力： 该框架在多个数据集上展示了有效性。它在校园特定的 CABRH8 数据集上达到了 81.52% 的 Top-1 准确率和 99.45% 的 Top-5 准确率，表现优于现有的纯视觉方法（如 TimeSformer, Swin-B）和静态文本引导方法（如 CECL-L，其 Top-1 准确率为 80.26%）。
泛化性： 在 UCF-101 上，NSP-ML-L 达到了 98.68% 的准确率；在 HMDB-51 上达到了 73.32%，超越了多个最先进的基准模型，证明了其对通用动作识别任务的强大迁移能力。

实验结果

实验主要在 CABRH8 数据集（包含 5,950 个剪辑，8 类校园异常行为）上进行，并在 UCF-101 和 HMDB-51 上进行了额外验证。

在 CABRH8 上的表现： 所提出的 NSP-ML-L 变体（使用 ViT-L/14 骨干网络）实现了 81.52% 的 Top-1 准确率和 99.45% 的 Top-5 准确率。这超越了现有的纯视觉方法（如 TimeSformer, Swin-B）和静态文本引导方法（如 CECL-L，其 Top-1 准确率为 80.26%）。
效率： 尽管准确率更高，NSP-ML-L 仍保持了良好的效率水平，仅需 295 GFLOPs 并以 32 FPS 运行，明显比高成本的竞争对手 HCMT（992 GFLOPs）更高效。
泛化性： 在 UCF-101 上，NSP-ML-L 达到了 98.68% 的准确率，在 HMDB-51 上达到了 73.32%，优于多个最先进的基准模型，并展示了向通用动作识别任务的强迁移性。
消融实验： 实验证实了：
- 结合常态日志和时空先验比单独使用其中之一或仅使用行为原型效果更好。
- 结构化时空嵌入（时间与位置）比单纯的文本先验提供了补充性的增益。
- 反事实上下文损失（ $L_{cf}$ ）对于提高模型区分正确场景逻辑与错误逻辑的能力至关重要。

意义

本文认为，引入常态引导和时空先验为提高智能校园环境下具有上下文敏感性的异常行为识别提供了一条有效的途径。通过从纯粹的视觉匹配转向对上下文约束行为假设的推理，NSP-ML 框架解决了动态、拥挤且依赖上下文的场景中固有的歧义问题。结果表明，这种方法能够让模型更好地区分在情境约束下虽然视觉相似但性质不同的行为，为智能监控系统提供了一种更鲁棒的解决方案。