💻 computer science

Manta: Enhancing Mamba for Few-Shot Action Recognition of Long Sub-Sequence

本文提出了名为 Manta 的框架，通过引入嵌套式 Mamba 结构以增强局部特征建模与隐式时间对齐，并结合混合对比学习范式来缓解长视频子序列中的类内方差累积问题，从而在多个基准数据集上实现了小样本动作识别的新的最先进性能。

原作者： Wenbo Huang, Jinghui Zhang, Guang Li, Lei Zhang, Shuoyuan Wang, Fang Dong, Jiahui Jin, Takahiro Ogawa, Miki Haseyama

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wenbo Huang, Jinghui Zhang, Guang Li, Lei Zhang, Shuoyuan Wang, Fang Dong, Jiahui Jin, Takahiro Ogawa, Miki Haseyama

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 Manta（中文可译为“曼塔”）的新人工智能模型。它的主要任务是**“少样本动作识别”**，简单来说，就是让 AI 在只看过很少几个视频样本的情况下，就能认出视频里的人在做什么动作。

为了让你更容易理解，我们可以把这篇论文的核心思想想象成**“教一个刚入职的侦探如何快速破案”**。

1. 背景：侦探面临的两个难题

现在的 AI 侦探（以前的模型）在识别长视频动作时，主要面临两个大麻烦：

难题一：只见森林，不见树木（全局 vs 局部）
- 比喻：想象你要识别“跳水”这个动作。视频很长，大部分时间运动员都在走路、热身、甚至发呆。只有中间那一两秒是真正的“跳水”和“入水”。
- 旧模型的问题：以前的 AI 像是一个只看“大画面”的侦探。它把整个视频当成一个整体来看，结果被那些无关紧要的“走路”画面干扰了，忽略了最关键的“入水”瞬间。
- 长视频的副作用：视频越长，这种“无关画面”就越多，AI 越容易晕头转向。
难题二：同一个人，不同的样子（类内方差积累）
- 比喻：同样是“跳水”，有人从左边跳，有人从右边跳；有人光线好，有人光线暗；有人穿红衣服，有人穿蓝衣服。
- 旧模型的问题：以前的 AI 觉得这些画面差异太大了，根本认不出它们其实是同一个动作。视频越长，这些差异（比如光线变化、角度变化）就积累得越多，AI 就越容易把“跳水”误判成“游泳”或“跑步”。

2. Manta 的解决方案：两个超级法宝

Manta 模型通过两个创新设计来解决上述问题，我们可以把它们想象成侦探的**“放大镜”和“心理战术”**。

法宝一：套娃式 Mamba（Matryoshka Mamba）—— 像俄罗斯套娃一样看视频

以前的 AI 像是一个只会看全景图的广角镜头。Manta 换了一种思路，它像俄罗斯套娃一样，分层次地观察视频：

内层模块（Inner Modules）—— 拿着放大镜找细节
- 做法：它不直接看整个长视频，而是把视频切成很多小片段。
- 作用：就像侦探拿着放大镜，专门盯着那些关键的“小片段”（比如“入水”的那一瞬间）。不管这个关键动作在视频的开头、中间还是结尾，它都能精准捕捉到。
外层模块（Outer Module）—— 把碎片拼成时间线
- 做法：在找完细节后，它再把这些碎片按照时间顺序重新拼起来。
- 作用：这就像侦探把线索串起来，不仅知道“发生了什么”，还知道“什么时候发生的”。它自动对齐了时间线，解决了“动作发生时间不一致”的问题。
为什么叫“套娃”？
- 因为它用了多尺度（Multi-scale）设计。就像套娃有大有小，Manta 会同时用“大框”看整体趋势，用“小框”看细节，最后把不同尺度的观察结果融合在一起，既全面又精准。

法宝二：混合对比学习（Hybrid Contrastive Learning）—— 让相似者更近，相异者更远

为了解决“同一个人长得不一样”的问题，Manta 引入了对比学习，这就像是在训练侦探的“直觉”：

有监督学习（给标签）：告诉 AI，“这两个视频虽然光线不同，但都是‘跳水’，把它们归为一类”。
无监督学习（没标签）：即使没有标签，AI 也要自己发现，“这两个视频虽然看起来有点乱，但核心动作很像，应该也是一类”。
混合威力：通过这种“双管齐下”的训练，AI 学会了忽略那些无关紧要的干扰（比如光线、背景、衣服颜色），只抓住动作的核心本质。这样，无论视频多长、干扰多大，它都能把属于同一类的动作紧紧聚在一起，把不同的动作分开。

3. 为什么 Mamba 比 Transformer 好？

以前的 AI 模型（基于 Transformer）在处理长视频时，就像是在读一本几千页的书，每读一页都要回头翻一遍前面的内容，计算量巨大，速度很慢，甚至电脑会卡死（显存溢出）。

Manta 使用的 Mamba 架构，则像是一个高效的速记员。它不需要回头反复翻书，而是顺着读下去，同时智能地记住重点、遗忘废话。这使得 Manta 不仅能处理超长视频（以前只能处理很短的片段），而且速度更快、更省电。

4. 总结：Manta 的成就

简单来说，Manta 就是一个**“既眼尖（能抓细节），又心细（能对齐时间），还记性好（能抗干扰）”**的超级侦探。

它做到了什么？ 在多个国际权威的动作识别比赛（如 SSv2, Kinetics 等）中，它都拿到了第一名（SOTA，State-of-the-Art）。
它的优势？ 即使视频很长、样本很少、画面很乱，它也能准确识别出动作是什么。
实际意义？ 这意味着未来的智能监控、医疗康复分析、体育训练辅助等应用，可以更高效、更准确地理解人类的长视频动作，而不再需要海量的标注数据。

一句话总结： Manta 就像给 AI 装上了一套“俄罗斯套娃”式的观察镜和一套“去伪存真”的过滤网，让它能在又长又乱的视频里，一眼看穿动作的本质。

这是一份关于论文 《Manta: Enhancing Mamba for Few-Shot Action Recognition of Long Sub-Sequence》 的详细技术总结。

1. 研究背景与问题定义 (Problem)

背景：
少样本动作识别（FSAR）旨在利用极少量的标注视频样本识别未见过的动作。长视频子序列（Long Sub-sequences）比短序列包含更丰富的上下文信息，能更完整地表达动作（如“跳水”包含助跑、起跳、入水等全过程）。然而，主流基于 Transformer 的方法由于计算复杂度高，通常仅限于处理短序列（如 8 帧），难以直接应用于长序列。

核心挑战：
尽管 Mamba（基于状态空间模型 SSM）在处理长序列方面具有高效性，但直接将其应用于长序列 FSAR 面临两个主要挑战：

局部特征建模与对齐的缺失 (Challenge 1)：
- 局部特征： 长序列中关键的动作特征（如“下落”）往往只占一小部分，且被大量次要特征淹没。Mamba 倾向于全局建模，容易忽略这些关键局部特征。
- 时间对齐： 不同样本中关键局部特征出现的时间点不一致（未对齐）。缺乏显式或隐式的时间对齐机制会导致性能下降。
类内方差累积 (Challenge 2)：
- 随着序列长度增加，受拍摄条件、后处理等因素影响，同一类动作的不同样本间视觉差异（类内方差）会显著累积。这使得同类样本难以聚类，导致分类错误。

2. 方法论 (Methodology)

作者提出了 Manta 框架，全称为 Matryoshka MAmba and CoNtrasTive LeArning（套娃 Mamba 与对比学习）。该框架包含两个并行分支：

A. 套娃 Mamba (Matryoshka Mamba)

旨在解决局部特征建模和时间对齐问题。

内层模块 (Inner Modules)： 将长序列分割为多个非重叠片段，利用多个 Inner Modules 分别增强每个片段的局部特征。这避免了直接对全局特征建模而忽略关键细节的问题。
外层模块 (Outer Module)： 负责隐式时间对齐。它通过双向扫描（Forward/Backward）捕捉局部特征之间的时间依赖关系，将分散的局部特征进行融合。
多尺度设计 (Multi-scale)： 引入超参数集合 $O$ 代表不同的时间尺度（如 $o=1, 2, 4$ 帧）。Inner Modules 在不同尺度下提取特征，Outer Module 进行融合。
可学习权重： 设计可学习权重 $w_o$ 对不同尺度的输出进行加权平均，动态调整各尺度特征的重要性。
交叉距离计算 (Cross Distance)： 在原型构建后，计算查询样本与原型在正向和反向序列上的距离，取倒数并平均，以增强时间对齐的鲁棒性。

B. 混合对比学习范式 (Hybrid Contrastive Learning)

旨在缓解长序列带来的类内方差累积问题。

监督对比学习 (Supervised)： 针对有标签的支持集（Support Set），拉近同类样本，推远异类样本。
无监督对比学习 (Unsupervised)： 针对无标签的查询集（Query Set）以及所有样本的混合集，利用无标签信息进行特征聚类。
混合损失： 将上述三种对比损失（支持集、查询集、混合集）结合，形成混合对比损失 $L_{hc}$ ，有效增强样本聚类能力，抑制类内方差。

C. 整体架构

特征提取： 使用骨干网络（如 ResNet-50, ViT, VMamba）提取帧级特征。
双分支训练： Mamba 分支输出分类预测（计算交叉熵损失 $L_{ce}$ ），对比分支输出特征优化（计算混合对比损失 $L_{hc}$ ）。
总目标函数： $L_{total} = \lambda L_{ce} + L_{hc}$ 。

3. 主要贡献 (Key Contributions)

首创长序列 FSAR 与 Mamba 的结合： 首次将长视频子序列和 Mamba 架构引入少样本动作识别领域。
提出套娃 Mamba 架构：
- 通过嵌套的 Inner/Outer 模块，实现了从局部特征增强到全局时间依赖捕捉的层级化建模。
- 多尺度设计使得模型能同时捕捉细粒度和粗粒度的时间模式，实现了隐式的时间对齐。
设计混合对比学习范式：
- 结合监督和无监督方法，专门针对长序列中累积的类内方差问题，显著提升了特征空间的聚类质量。
SOTA 性能与高效性：
- 在 SSv2, Kinetics, UCF101, HMDB51 等多个基准上取得了新的最先进（SOTA）性能。
- 相比 Transformer 方法，Manta 在处理长序列时具有更低的计算复杂度和推理延迟。

4. 实验结果 (Results)

基准测试表现：
- 在 SSv2 (时序敏感) 和 Kinetics 等数据集上，Manta 在 1-shot 和 5-shot 设置下均大幅超越了现有的 Transformer 方法（如 TRX, HyRSM, MoLo）以及多模态方法（如 AMFAR）。
- 例如，在 SSv2 的 1-shot 设置下，使用 ResNet-50 骨干网络，Manta 将准确率从 SOTA 的 61.7% 提升至 63.4%；在 5-shot 下提升至 87.4%。
长序列适应性：
- 实验显示，随着序列长度 $F$ 从 8 增加到 128，传统方法因显存溢出（OOM）或性能下降而失效，而 Manta 在 $F=128$ 时仍能保持稳定的高性能。
鲁棒性分析：
- 噪声测试： 在帧级噪声（无关帧混入）和样本级噪声（类别混淆）测试中，Manta 的性能下降幅度远小于对比方法，证明了其对类内方差的缓解能力。
- 背景噪声： 在高斯噪声、雨噪和光照变化下，Manta 表现出更强的鲁棒性。
- 跨数据集测试： 在 Kinetics 和 SSv2 之间进行跨域测试时，Manta 的性能下降不明显，证明了其良好的泛化能力。
效率： 在单 GPU 上，Manta 的推理速度显著快于基于 Transformer 的方法（例如在 SSv2 上快约 2 倍），且显存占用更低。

5. 意义与价值 (Significance)

理论突破： 证明了 Mamba 架构在处理长序列视频任务中的巨大潜力，并解决了其直接应用于 FSAR 时缺乏局部特征建模和对齐机制的缺陷。
实际应用： 为智能监控、视频理解等需要处理长视频且标注数据稀缺的场景提供了高效、准确的解决方案。
方法论启示： 提出的“局部增强 + 全局对齐”的套娃结构以及“混合对比学习”策略，为未来的长序列少样本学习研究提供了新的设计范式。

总结： Manta 通过创新的套娃 Mamba 结构解决了长序列中的局部特征提取和时间对齐难题，并利用混合对比学习有效抑制了类内方差累积，成功实现了在长视频子序列少样本动作识别任务上的性能突破，同时保持了极高的计算效率。