🤖 AI

CoLoRSMamba: Conditional LoRA-Steered Mamba for Supervised Multimodal Violence Detection

本文提出了 CoLoRSMamba，一种通过 CLS 引导的条件 LoRA 将 VideoMamba 与 AudioMamba 耦合的方向性视频到音频多模态架构，利用视频 CLS 令牌动态调节音频状态空间参数以实现场景感知，并在 NTU-CCTV 和 DVD 数据集上实现了优于现有基线的暴力检测精度与效率。

原作者： Damith Chamalke Senadeera, Dimitrios Kollias, Gregory Slabaugh

发布于 2026-04-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Damith Chamalke Senadeera, Dimitrios Kollias, Gregory Slabaugh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 CoLoRSMamba 的新人工智能系统，它的任务是在监控视频或网络视频中自动识别“暴力行为”。

为了让你更容易理解，我们可以把这项技术想象成训练一位“超级安保侦探”。

1. 核心挑战：侦探的“眼睛”和“耳朵”

想象一下，这位侦探（AI 模型）正在看一段监控录像。

眼睛（视频）：能看到有人跑动、推搡，但有时候画面太模糊、被人群挡住了，或者动作太快看不清。
耳朵（音频）：能听到尖叫声、玻璃破碎声或枪声。但在现实世界里，环境很嘈杂，有时候背景里的音乐或风声会干扰判断，甚至让人误以为有暴力发生。

以前的系统通常要么只信眼睛，要么把眼睛和耳朵的信息简单粗暴地混在一起（比如把视频和音频的“特征”直接拼起来），这就像让侦探同时看和听，但大脑处理不过来，或者被噪音带偏了。

2. CoLoRSMamba 的绝招：聪明的“指挥家”

这篇论文提出的 CoLoRSMamba 系统，设计了一个非常巧妙的**“指挥家”机制**。

视频是“总指挥”（语义锚点）：
系统认为，在判断暴力时，画面（视频）通常是最可靠、最核心的证据。所以，它让视频部分（VideoMamba）充当“总指挥”。
音频是“被指挥的乐手”（受控分支）：
音频部分（AudioMamba）就像一位乐手。以前，乐手是独立演奏的，或者只是被动地跟着总指挥的节奏。
CoLoRSMamba 的创新（条件性 LoRA steering）：
这个系统发明了一种**“动态指挥棒”**（Conditional LoRA）。
- 怎么做？ 当“总指挥”（视频）看到画面时，它会实时生成一个**“调节信号”**。
- 调节什么？ 它不是简单地告诉乐手“大声点”或“小声点”，而是直接修改乐手的“演奏规则”（即修改音频模型内部生成声音特征的数学参数）。
- 比喻：如果画面显示“一群人安静地跳舞”，指挥棒就会告诉音频乐手：“别太敏感，把那些像尖叫的噪音过滤掉，因为画面很和平。”如果画面显示“有人推搡但看不清”，指挥棒就会告诉乐手：“竖起耳朵，仔细听有没有打斗声，那可能是关键线索！”

简单来说： 它不是把视频和音频“混”在一起，而是让视频动态地指导音频如何“听”这个世界。这让系统既利用了声音，又不会被噪音带偏。

3. 为什么它这么厉害？

更聪明（方向性）：它知道视频比音频更可靠，所以是“视频指挥音频”，而不是反过来。这符合现实逻辑（比如你看到有人打架，听到尖叫声是合理的；但你听到尖叫声，不一定代表有人打架，可能是电影配乐）。
更高效（省资源）：以前的方法为了融合信息，需要巨大的计算量（像两个大脑疯狂对话）。CoLoRSMamba 通过这种“微调规则”的方式，用更少的计算资源（参数更少、速度更快）达到了更好的效果。
更公平（数据清洗）：作者发现，很多旧数据集里的视频片段其实根本没有声音，或者声音和画面完全对不上（比如画面是打架，声音是背景音乐）。他们专门清洗了数据，只保留那些“画面和声音都真实相关”的片段来训练，这样模型学到的才是真本事。

4. 实际效果如何？

在两个著名的暴力检测数据集（NTU-CCTV 和 DVD）上，这位“超级侦探”表现惊人：

准确率极高：在 NTU-CCTV 数据集上达到了 88.63% 的准确率，在 DVD 数据集上也达到了 75.77%。
超越对手：它比之前所有的“只靠眼睛”、“只靠耳朵”或者“简单混合”的模型都要强。
性价比之王：它比那些体型庞大、计算量巨大的模型（像那些几百亿参数的 Transformer 模型）要轻得多，但效果却更好。

5. 总结

CoLoRSMamba 就像给 AI 装上了一双**“会思考的耳朵”**。它不再盲目地听，而是根据眼睛看到的场景，实时调整耳朵的灵敏度。

当画面模糊时，它让耳朵更专注；
当画面很和平但背景很吵时，它让耳朵忽略噪音；
当画面和声音冲突时，它优先相信画面，但保留声音作为辅助线索。

这项技术不仅让暴力检测更准确，也为未来在监控、内容审核等安全关键领域的应用提供了一种既聪明又省电的新思路。

这是一篇关于CoLoRSMamba（Conditional LoRA-Steered Mamba）的论文技术总结，该模型旨在解决监督式多模态暴力检测（Supervised Multimodal Violence Detection）问题。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义

核心任务：自动化暴力检测，应用于监控、公共安全及内容审核。
现有挑战：
- 视觉局限性：暴力行为在视频中可能表现为微小的动作、模糊、遮挡或嵌入在拥挤场景中，仅靠视觉难以识别。
- 音频的复杂性：虽然音频（如尖叫、撞击声）能提供关键线索，但现实环境中的声音往往嘈杂、微弱，甚至与画面无关（如背景音乐、画外音）。
- 不对称性：在监控场景中，视觉证据通常是主要且可靠的，而音频可能是稀疏或误导性的。现有的多模态模型往往采用对称融合或弱监督学习，未能充分利用这种“视觉主导、音频辅助”的不对称特性。
- 基准缺陷：现有的数据集（如 NTU-CCTV, DVD）中，许多剪辑片段缺乏可用的场景相关音频，导致对音频分支的评估不公平。

2. 核心方法论：CoLoRSMamba

作者提出了一种定向的 Video → Audio 多模态架构，基于 VideoMamba 和 AudioMamba 构建。

2.1 架构设计

语义锚点（Semantic Anchor）：将 VideoMamba 作为主分支（锚点），负责提取视觉语义。
定向引导：利用 VideoMamba 每一层的 CLS token 来动态引导 AudioMamba 分支。
无 Token 级交叉注意力：避免了计算昂贵的 Token 级交叉注意力机制，通过条件化操作符来实现模态融合。

2.2 关键技术：条件 LoRA steering (Conditional LoRA Steering)

这是论文的核心创新点。传统的 LoRA 通常用于静态微调，而 CoLoRSMamba 提出了一种**动态的、操作符级别（Operator-level）**的条件化机制：

条件化对象：不是直接调制生成的特征，而是直接调制生成 选择性状态空间模型（Selective SSM） 参数的操作符（即生成 $\Delta, B, C$ $Δ, B, C$ 的投影层）。
- $\Delta$ ：控制状态更新速率（时间步长）。
- $B, C$ ：控制输入接纳和输出读取。
机制实现：
- 利用 VideoMamba 的 CLS token 作为条件信号 $z$ 。
- 通过一个 通道级调制向量 $s(z)$ 和一个 稳定门控（Stabilization Gate） $g(z)$ 来动态调整 AudioMamba 的低秩因子（Low-rank factors）。
- 公式逻辑： $W_{cond}(z) = W + g(z) \frac{\alpha}{r} U \text{diag}(s(z)) V$ 。
效果：视觉上下文能够重塑音频分支的时间动态特性（例如：决定关注哪些频率、状态遗忘的速度），而不仅仅是重新加权已计算的特征。这使得模型能够根据场景动态调整对音频的依赖程度。

2.3 训练目标

主任务：二分类暴力检测（Binary Classification）。
辅助任务：对称的 AV-InfoNCE 对比损失。用于对齐成对的音视频片段嵌入，增强共享表示空间的鲁棒性。

3. 数据集与评估协议

为了公平评估多模态性能，作者对现有数据集进行了严格的音频过滤：

数据集：NTU-CCTV 和 DVD。
过滤协议：
1. 剔除无音频流的片段。
2. 剔除静音（低于 -80dB）片段。
3. 人工检查：剔除以背景音乐、旁白或无关声音为主的片段，仅保留包含场景相关声音的片段。
意义：消除了因音频缺失或无关导致的偏差，确保评估的是模型真正利用场景音频的能力。

4. 实验结果

在过滤后的 NTU-CCTV 和 DVD 数据集上，CoLoRSMamba 取得了 State-of-the-Art (SOTA) 性能：

NTU-CCTV：
- 准确率：88.63%
- 暴力类 F1 分数 (F1-V)：86.24%
- 相比最强的视频单模态模型（DBVideoMamba）提升约 4.64% 准确率。
- 相比最强的多模态基线（LAVISH）提升 2.19% 准确率。
DVD：
- 准确率：75.77%
- 暴力类 F1 分数 (F1-V)：72.94%
- 相比 LAVISH 提升 1.37% 准确率。
效率优势：
- 参数量（158M）和计算量（1.81 GFLOPs）显著低于 LAVISH (238M, 2.17 GFLOPs) 和 MBT (174M, 1.86 GFLOPs)，但精度更高。
- 实现了极佳的精度 - 效率权衡。

5. 消融研究与分析

融合策略：连续层间融合（Continuous Fusion）优于早期或晚期融合。
方向性：Video → Audio 的定向引导显著优于 Audio → Video 或双向交叉，证实了视觉作为主要锚点的合理性。
门控机制：引入稳定门控 $g(z)$ 能显著提升性能（从 69.76% 提升至 71.48%），证明在视觉与音频冲突时抑制音频噪声的重要性。
操作符级 vs 特征级：直接条件化生成 SSM 参数的操作符（Operator-level）优于 FiLM 等特征级调制方法。
音频贡献分析：音频帮助纠正了 56 个视觉错误，仅引入 21 个新错误（帮助/伤害比为 2.67:1）。音频特别有助于减少“假阳性”（如将剧烈运动误判为暴力），但在视觉清晰而音频被严重噪声掩盖时可能产生负面影响。

6. 主要贡献与意义

首个强监督多模态 Mamba 暴力检测器：提出了基于 Mamba 架构的强监督多模态暴力检测框架。
创新的定向引导机制：首次将输入条件化的 LoRA 用于选择性状态空间模型（SSM）内部，作为跨模态控制信号，直接调节 SSM 的核心参数（ $\Delta, B, C$ ），实现了无需交叉注意力的动态时间建模。
公平的多模态基准：构建了经过严格音频过滤的 NTU-CCTV 和 DVD 子集，为多模态暴力检测研究提供了更可靠的评估标准。
实际部署价值：模型在保持高精度的同时，显著降低了计算成本，适合在资源受限的监控网络中部署。

总结：CoLoRSMamba 通过让视觉上下文动态“指挥”音频分支的内部状态更新机制，成功解决了多模态暴力检测中音频噪声大、依赖关系不对称的难题，在精度和效率上均超越了现有的 Transformer 和 SSM 基线模型。