🤖 AI

VideoSEMA: a scalable and efficient Mamba-like attention for video understanding

该论文介绍了 VideoSEMA，这是一种可扩展且高效的视频分类模型，它结合了类 Mamba 的分层时空注意力机制与 Softmax 时间注意力机制，在 K400 和 SSv2 基准测试中，证明了其相比现有 Vision Transformer 和 Mamba 模型具有更优越的准确率和分辨率鲁棒性。

原作者： Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nhat Thanh Tran, Fanghui Xue, Shuai Zhang, Jiancheng Lyu, Yunling Zheng, Yingyong Qi, Jack Xin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人理解一部电影。你不能只给它看一张照片；你必须向它展示一整串随时间变化的图像流。这就是**视频理解（video understanding）**的世界，它是计算机科学的一个分支，旨在让机器学会识别动作，比如有人在削土豆或汽车在转弯。长期以来，实现这一目标的最佳方法是使用一个庞大且“饥肠辘辘”的大脑，叫做 Transformer。你可以把 Transformer 想象成一位超级组织有序的图书管理员，他会同时阅读图书馆里每一本书的每一页，以寻找其中的联系。它非常聪明，但当图书馆（视频）变得太大或书籍（帧）变得过于详细时，它就会感到不堪重负并变得缓慢。

为了解决这个问题，科学家们最近发明了一种新型大脑，叫做 Mamba。如果说 Transformer 是一个同时阅读所有内容的图书管理员，那么 Mamba 就是一名在走廊里穿行、边走边记住线索的侦探，这要快得多。然而，即使是 Mamba，在面对高清晰度或超长视频时也会感到吃力。研究人员面临的一个大问题是：我们能否构建出一个既拥有像沉重的 Transformer 那样聪明，又像新的 Mamba 侦探那样快速高效的视频大脑？这正是论文《VideoSEMA》试图解决的谜题。

本文的作者们与高通 AI 研究院（Qualcomm AI Research）以及加州大学欧文分校（University of California, Irvine）的研究人员合作，构建了一个名为 VideoSEMA 的新模型。他们不仅仅是在锅里加入了一种新食材，而是创造了一个聪明的拆分系统。想象一下你在看一部电影，你有两种不同的注意力观察方式。首先，你观察单个帧（静态图片），并使用一种特殊的、类似于 Mamba 的眼睛，叫做 SEMA。这只眼睛足够聪明，既能观察一小块细节窗口（比如土豆皮的纹理），又能对整个场景进行快速的全局平均，而且不会感到疲劳。然后，为了理解故事是如何移动的，该模型使用一种标准的“软”注意力机制，来观察事物在帧与帧之间是如何变化的。

论文表明，这种拆分方法不仅仅是一个幸运的直觉；他们实际上从数学上证明了，在特定条件下，这种拆分方法与同时观察整个视频的效果是一样好的。当他们在著名的视频数据集上测试 VideoSEMA 时——包括包含 400 种人类动作的 K400 和专注于复杂精细动作的 SSv2——结果令人印象深刻。在 K400 数据集上，VideoSEMA 打败了许多更大、更重的模型，包括其他基于 Mamba 的模型和大型 Transformer，同时使用的计算资源更少。例如，在分辨率为 16 × 224² 时，VideoSEMA 达到了 82.4% 的准确率，超过了之前的 Mamba 模型（VideoMamba，得分为 80.8%），尽管 VideoSEMA 的参数量更少。

最令人兴奋的发现之一是 VideoSEMA 处理高清晰度视频的方式。研究人员测试了在不重新训练模型的情况下，将输入的视频分辨率从 224² 提升到 1024²（这是一个巨大的细节跨越）时会发生什么。旧的 Mamba 模型（VideoMamba）出现了严重的崩溃，准确率从 80.8% 大幅下降到了 40.8%。相比之下，VideoSEMA 表现得稳健得多，仅下降到了 54.6%。这表明 VideoSEMA 在视觉细节变得复杂时具有更强的鲁棒性。他们还发现，在 SSv2 数据集上，VideoSEMA 仅用 8 帧 视频就能达到比其他模型使用 16 帧 才能达到的效果，这证明了它在快速抓取正确信息方面的极高效率。

论文还排除了一些想法。他们测试了使用简单的 3D 卷积（一种观察视频的标准方式）以及一个纯 Mamba 模块来处理视频的时间维度，但发现两者在处理时间维度时都不如使用标准注意力机制的效果好。他们表明，虽然 Mamba 在空间处理方面表现出色，但在处理该特定设置下的时间维度时并不是最佳选择。作者谨慎地指出，虽然他们的模型非常有前景，但仍处于开发阶段。他们建议，对于更长的视频，未来可能需要加入“稀疏”或“空洞”注意力，以在不减慢速度的情况下处理额外的时间维度。但就目前而言，VideoSEMA 为计算机理解周围运动的世界提供了一种强大、高效且可扩展的新途径。

技术摘要：VideoSEMA：一种用于视频理解的可扩展且高效的类 Mamba 注意力机制

问题陈述
理解视频中复杂的时空模式是计算机视觉领域的一个基本挑战，这对于从动作分类到自动驾驶系统世界建模等广泛应用至关重要。尽管利用 Transformer 架构和大型基础模型的最新进展已取得显著成就，但这些模型主要依赖于视觉 Transformer (ViT) 骨干网络。由于全时空注意力机制具有二次方复杂度，这些模型在处理大规模视频输入时会产生极高的计算成本。虽然像 Mamba 这样的状态空间模型 (SSM) 已被探索用于降低长序列的成本，且线性注意力提供了另一种效率路径，但仍需要一种能够高效捕捉空间和时间特征，同时避免全联合注意力带来的沉重计算负担或现有 Mamba 实现中视频上下文局限性的骨干网络。

方法论：VideoSEMA
作者提出了 VideoSEMA，一种基于拆分时空注意力框架 (split space-time attention framework) 的新型视频分类模型。该架构通过解耦空间和时间处理来实现可扩展性和高效性：

空间处理 (SEMA 模块)： 该模型并未采用全全局注意力或标准的 Mamba 递归，而是针对空间维度采用了类 Mamba 注意力 (SEMA) 模块。SEMA 通过结合局部窗口注意力 (local window attention) 与全局平均 (global averaging) 操作，模拟了 Mamba 的指数遗忘特性。这种设计使模型能够高效地获取全局信息，同时保持相对于空间维度的线性计算复杂度 ( $O(N)$ )，避免了全 Softmax 注意力的 $O(N^2)$ 成本。
时间处理： 模型在帧序列上应用标准的Softmax 时间注意力。作者认为，对于中等长度的视频（例如 16–32 帧），时间维度的全局 Softmax 注意力在计算上是可承受且有效的，因此无需在时间维度进行线性近似。
架构： 模型使用 3D 卷积对输入视频进行标记化 (tokenization)，添加一个可学习的分类器 token，并加入位置和时间嵌入。核心处理过程涉及交替进行的 SEMA 空间层与时间注意力层，随后通过卷积层进行层次化下采样。
理论等价性： 论文提供了一个理论证明，表明在特定秩条件下，这种拆分时空注意力在数学上等价于全时空注意力。具体而言，只要时间与空间评分矩阵相对于模型的头维度满足特定的秩约束，拆分注意力即作为全注意力矩阵的精确边缘-条件分解 (marginal-conditional decomposition)。

核心贡献

新颖架构： 开发了首个在视频应用中使用类 Mamba 可扩展且高效图像骨干网络 (SEMA) 的视频模型。
理论洞察： 通过证明建立了拆分时空注意力与全时空注意力在特定秩条件下的等价性，验证了该分解在理论上的完备性。
效率与性能： 证明了 VideoSEMA 在标准基准测试中优于参数量或 FLOPs 更重的 Vision Transformer 和基于 Mamba 的视频模型，同时保持了显著更低的参数量和 FLops。
分辨率鲁棒性： 证据表明，当输入分辨率扩大（从 $224^2$ 到 $1024^2$ ）且无需微调时，VideoSEMA 的性能下降远比 VideoMamba 更加平缓。

实验结果
模型在 Kinetics-400 (K400) 和 Something-Something v2 (SSv2) 数据集上进行了评估：

K400 性能： VideoSEMA 在 Top-1 和 Top-5 准确率上均优于参数规模或 FLOPs 相当或更大的模型。例如，在 $16 \times 224^2$ 分辨率下，VideoSEMA (31M 参数) 实现了 82.4% 的 Top-1 准确率，超过了 VideoMamba-S (26M 参数, 80.8%)，并显著超过了像 TimeSformer-L (121M 参数, 80.7%) 这样更大的模型。
SSv2 性能： VideoSEMA 在同类参数规模的模型中领先 Top-1 准确率。值得注意的是，它仅使用 8 帧就比 VideoMamba-S 高出约 2%，并比使用 16 帧的 VideoMAE 高出 0.5%。
消融实验： 实验证实，将空间维度的 SEMA 与时间维度的 Softmax 注意力相结合，能实现准确率与效率之间的最佳权衡，其表现优于使用 3D 卷积或 Mamba 进行时间处理的变体。
可扩展性： 在未经微调的情况下测试更高分辨率（ $512^2$ 和 $1024^2$ ）时，VideoSEMA 保持了鲁棒性，而 VideoMamba 则出现了剧烈的准确率下降（例如，在 $1024^2$ 时，VideoMamba 降至 40.8%，而 VideoSEMA 为 54.6%）。

意义与主张
论文声称，VideoSEMA 通过成功地将类 Mamba 原理应用于空间域并保留有效的时序建模，代表了高效视频理解迈出的重要一步。作者强调，这是首个专门针对视频应用探索类 Mamba 骨干网络的工作。该模型能够超越更大、计算成本更高的架构，这表明基于理论等价于全注意力的拆分时空方法，为捕获时空依赖关系提供了一种极其高效的替代方案。此外，该模型在无需微调的情况下对高分辨率输入的鲁棒性，突显了其在视频质量多变的现实场景中进行可扩展部署的潜力。作者建议未来的工作可以利用扩张 (dilated) 或稀疏时间注意力来扩展该框架以处理更长的视频。

技术摘要：VideoSEMA：一种用于视频理解的可扩展且高效的类 Mamba 注意力机制

类似论文