🤖 AI

FuseMamba-VD: Dual Branch VideoMamba with Gated Class Token Fusion for Violence Detection

该论文提出了 FuseMamba-VD，一种高效的双支路 VideoMamba 架构，通过带有门控类别标记融合（gated class token fusion）的设计，利用状态空间模型骨干网络在有效平衡准确率与计算效率的同时，在多个基准测试上实现了最先进的暴力检测性能。

原作者： Damith Chamalke Senadeera, Muhammad Awais, Shibo Li, Dimitrios Kollias, Gregory Slabaugh

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Damith Chamalke Senadeera, Muhammad Awais, Shibo Li, Dimitrios Kollias, Gregory Slabaugh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过监控录像在拥挤的城市广场中发现正在发生的斗殴。这是一项艰巨的任务。如果你只看一张静态照片，你可能会看到两个人站得很近，但你无法判断他们是在拥抱还是在打架。如果你只观察动作而不关注细节，你可能会错过将一次推搡变成一记重拳的关键手势。

这篇论文介绍了一种名为 FuseMamba-VD 的新型计算机程序，旨在解决这个问题。你可以把它想象成一名受过高度训练的保安，利用一种特殊的“双脑”方法来观察监控摄像头。

以下是其工作原理，通过简单的概念进行拆解：

1. 旧方法的缺陷

以前的计算机程序尝试通过两种方式来实现这一目标，但两者都存在缺陷：

“慢速”方法 (CNNs)： 这些程序就像每隔几秒钟拍一张照片。它们擅长观察细节，但会错过冲突是如何开始并结束的整个漫长过程。
“昂贵”方法 (Transformers)： 这些程序就像试图同时阅读图书馆里的每一个单词来理解一个故事。它们非常聪明，但需要消耗极高的计算能力，以至于在处理现实世界的摄像头时运行缓慢且成本高昂。

2. 新方案：两人搭档

作者构建了一个拥有**两个独立“大脑”（分支）**同时工作的系统，其灵感来源于一种名为 Mamba（状态空间模型）的新型高效技术。

大脑 A（细节侦探）： 这个分支逐帧观察视频，专注于空间细节。它会询问：“这些人的样子如何？他们的拳头握紧了吗？他们靠得有多近？”它优先考虑场景的形状和外观。
大脑 B（运动追踪器）： 这个分支将视频视为一个连续的流，专注于时间动态。它会询问：“他们在如何移动？速度是否在增加？是否有突然的冲刺？”它优先考虑运动和时机。

3. 秘诀：“门控融合”

通常情况下，你可能会等到最后阶段才让这两个大脑进行交流。但 FuseMamba-VD 与众不同。它使用了一种称为门控类标记融合 (Gated Class Token Fusion, GCTF) 的机制。

想象一下，这两个大脑在观察视频的过程中，每一步都在进行对话。

“细节侦探”（大脑 A）不断地向“运动追踪器”（大脑 B）传递线索。
一个特殊的**门（智能开关）**决定在任何给定时刻允许多少信息通过。如果动作难以辨认，门可能会说：“多听听细节。”如果细节模糊不清，它可能会说：“专注于运动。”

这种持续的、逐层进行的对话使得系统能够不断优化其理解，而不是等到最后才汇总笔记。

4. “裁剪”技巧

在两个大脑开始观察之前，系统有一个裁剪模块。你可以把它想象成一名摄像师，他会对视频中的人物进行缩放，并切掉背景（如树木、汽车或空旷的天空）。这确保了计算机不会在无关事物上浪费能量，从而使其在识别人类互动时更加快速和准确。

5. 结果：更快、更聪明

作者在海量的真实监控视频集（将四个不同的数据集合并为一个巨大的测试集）以及一个名为 DVD 的新数据集上测试了这一新系统。

准确性： 它击败了所有之前的“最先进”模型。它在识别暴力行为方面比那些旧的重量级选手表现得更好。
效率： 这是最大的胜利。新模型要轻量得多。与它最接近的竞争对手 CUE-Net 相比，它使用的计算量 (FLOPs) 更少，且“神经元”（参数）也更少。
速度： 由于其高效性，该模型在高端硬件上的运行速度比之前的最佳模型快了约 4.7 倍。

总结

简而言之，FuseMamba-VD 是一种视频暴力检测器，它不仅仅是在“观看”视频；它拥有两名专门的专家，在缩放动作的同时不断进行交流。这种团队协作使它能够比以往更准确地发现打斗，同时仅使用一小部分计算资源，使其成为现实世界监控摄像头的实用解决方案。

技术摘要：FuseMamba-VD

问题陈述

监控摄像头的快速普及产生了海量的视频数据，使得针对暴力检测进行持续的人工监控变得既不切实际也不可靠。虽然现有的深度学习方法（如 3D 卷积神经网络 (CNNs) 和基于 Transformer 的架构）在提取时空特征方面取得了成功，但它们也面临着显著的局限性。3D CNN 在捕捉长程依赖关系方面表现乏力，而 Transformer 的计算复杂度相对于序列长度呈二次方增长，限制了其在长视频、高分辨率监控场景下的可扩展性。此外，许多用于训练的现有数据集要么是经过人工设计的（例如电影场景），要么是弱标签的，无法代表真实世界监控场景的复杂性。

方法论

作者提出了 FuseMamba-VD，这是一种旨在用于监督暴力检测的高效架构，它利用了状态空间模型 (SSMs)。其核心创新在于结合了门控类标记融合 (GCTF) 机制的双分支设计。

1. 架构概览

该模型构建在 VideoMamba 主干网络之上，利用双向状态空间模块。它由四个主要部分组成：

裁剪模块 (Cropping Module)： 为了将计算资源集中在相关的人类交互上，系统根据“暴力通常涉及多个人”这一观察结果，提取每帧中包含所有检测到的人员的区域。
双分支流水线 (Dual-Branch Pipeline)： 在将视频输入 ( $X \in \mathbb{R}^{3 \times T \times H \times W}$ $X \in R^{3 \times T \times H \times W}$ ) 分解为时空补丁 (patches) 后，两个并行流水线处理输入：
- 分支-1 (空间优先扫描)： 标记被重新组织，以在跨时间拼接之前优先考虑帧内的空间布局。该分支旨在捕捉细粒度的局部空间线索。
- 分支-2 (时间优先扫描)： 标记保持其自然的顺序并在空间维度上堆叠。该分支侧重于动态运动模式和全局时间依赖关系。
- 两个分支均使用预训练的 VideoMamba 权重并采用双向扫描。

2. 门控类标记融合 (GCTF)

引入了一种新型的连续融合机制来整合两个分支之间的信息。与后期融合方法不同，GCTF 在网络的每一层都进行操作：

每个分支在每一层都会产生一个类标记 ($CLS$)。
一个可学习的门控机制将空间分支的 $CLS $标记 ($ CLS^1 $) 自适应地合并到时间分支的$ CLS $标记 ($ CLS^2$) 中。
融合定义为： $CLS^2_{fused} = \sigma' \odot CLS^2 + (1 - \sigma') \odot CLS^1$ ，其中 $\sigma'$ 是经 Sigmoid 激活的可学习参数。
这实现了空间和时间表示的渐进式精炼，而不会在网络早期过度偏向于其中一种模态。

3. 最终融合

在最后一层，来自两个分支的 $CLS$ 标记被拼接在一起，并通过一个全连接投影层来生成最终的分类概率。

核心贡献

论文概述了三个主要贡献：

双分支状态空间架构： 首个用于监督视频暴力检测的双分支状态空间设计。它显式地解耦了空间推理和时间推理，同时通过类标记实现连续的语义交互，这与以往依赖后期融合或重度注意力机制的模型形成了对比。
门控类标记融合 (GCTF)： 一种连续的、层级化的融合机制，能够自适应地整合分支特定的类标记。这实现了特征的逐渐对齐，并防止了对单一分支的过早过度承诺。
集成监控基准与效率： 作者通过合并四个具有强标签的开源数据集（RWF-2000、RLVS、SURV 和 VioPeru）构建了一个新的基准，并实施了严格的控制以防止训练集和测试集之间的数据泄露。他们证明了 FuseMamba-VD 在显著减少参数和 FLOPs 的同时，实现了最先进的性能。

实验结果

模型在新建的组合基准和最近推出的 DVD 数据集上进行了评估。

组合基准： FuseMamba-VD 达到了 95.85% 的 Top-1 准确率，超越了包括 SlowFast、VideoSwin、UniFormer-V2、CUE-Net 在内的基准模型以及各种 VideoMamba 变体。它实现了 95.89%（暴力）和 95.81%（非暴力）的 F1 分数。
DVD 数据集： 在这个具有现实世界变异性和类别不平衡挑战更大的数据集上，该模型达到了 74.13% 的 Top-1 准确率，超过了所有基准模型（其得分 $\le$ 71%）。
效率： 尽管在准确率上优于 CUE-Net（最接近的竞争对手），但 FuseMamba-VD 使用的资源显著更少：
- 参数量： 154.3M 对比 354M (CUE-Net)。
- FLOPs： 1912 GFLOPs 对比 5906 GFLOPs。
- 推理速度： 在 NVIDIA H100 GPU 上，FuseMamba-VD 达到了 343.53 FPS，比 CUE-Net (72.64 FPS) 快了约 4.7 倍。
消融实验： 实验证实，双分支设计优于单分支变体。此外，在每个模块进行连续横向连接的表现优于仅在特定层（起始、中间或结束）应用连接的配置。

意义与主张

论文声称 FuseMamba-VD 在准确性和计算效率之间提供了最佳平衡，展示了状态空间模型 (SSMs) 在可扩展、资源高效的视频暴力检测方面的潜力。通过有效地分离空间和时间推理，并利用门控机制维持连续交互，该模型提高了对指示暴力的细微运动差异的敏感度。作者将这项工作定位为迈向实际、现实世界监控应用的重要一步，在这些应用中，高准确率和低计算成本同样至关重要。代码和预训练模型已向社区开放。