💻 computer science

MobileSAM2: Lightweight Segment Anything for Spatial Intelligence

本文介绍了 MobileSAM2，这是一个用于在资源受限设备上对图像和视频中的物体进行分割的轻量级模型家族，其通过利用一种新颖的超图知识蒸馏（HyperKD）框架来有效迁移时序和多粒度知识，从而对重量级的 SAM2 进行蒸馏来实现。

原作者： Kai Jiang, Jiaxing Huang, Jingyi Zhang, Weiying Xie, Yunsong Li, Yufei Wang, Aoran Xiao, Dacheng Tao

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Kai Jiang, Jiaxing Huang, Jingyi Zhang, Weiying Xie, Yunsong Li, Yufei Wang, Aoran Xiao, Dacheng Tao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人大脑，叫做 SAM2。它能观察任何视频，并瞬间指出其中每一个物体——汽车、猫咪，甚至是树上细小的叶子。它就像一位天才艺术家，通过研究超过 113,800 个视频和 4,090 万个不同的“掩码”（mask）绘图（可以把它们理解为数字剪纸）来学习如何观察世界。但问题在于，这个天才大脑如此庞大且沉重，以至于无法装进普通的手机或笔记本电脑中。这就像是试图把一座图书馆塞进一个背包里。

这篇论文的研究人员提出了一个简单的问题：我们能否将这个巨大的天才缩小到可以装进兜里，同时又不让他变得不再聪明？

他们的答案是一个名为 MobileSAM2 的轻量化模型家族。为了实现这一目标，他们并没有只是简单地切掉大脑的一部分，而是发明了一种特殊的教学方法，叫做 HyperKD（超图知识蒸馏）。

“超图”的魔力

通常，当你教一个小型学生模型去学习一个大型教师模型时，你只是向他们展示答案。但作者意识到，SAM2 的真正魔力不仅在于它看到了什么，还在于它如何连接事物。他们使用了一个被称为**超图（hypergraph）**的概念，这就像是一个高级版的蜘蛛网。

在普通的网中，一根线连接两个点。但在超图中，一根“线”（称为超边）可以同时连接许多个点。研究人员利用这一点，教会了 MobileSAM2 两项特定的超能力：

时空穿梭（时间性知识）： 想象你在看一段球滚动的视频。普通的模型可能会在第 1 秒看到“球”，然后在第 2 秒又看到“球”。但 SAM2 理解第 1 秒的球就是第 2 秒的那个球，并且它正在平滑地移动。研究人员构建了一个“时间超图”，将球在所有帧中的状态同时连接起来，向学生模型展示如何追踪物体随时间移动的过程。
缩放自如（粒度知识）： 想象你在看一只狗。你可以看到整只狗，也可以只看到它的耳朵，甚至是一根细小的胡须。SAM2 能同时理解所有这些层级。研究人员构建了一个“粒度超图”，将整体的狗与其部分及子部分同时连接在一起。这教会了学生模型从宏观到微观细节的理解能力。

结果：口袋里的天才

通过使用这种“超级网”教学法，他们成功地将庞大的 SAM2 模型缩小成了三个较小的版本：MobileSAM2-5M、MobileSAM2-10M 和 MobileSAM2-23M（这些数字指的是它们的“参数”或“脑细胞”数量）。

以下是实验展示的结果：

它可以在高效硬件上运行： 虽然原始的 SAM2 非常庞大，需要巨大的资源（例如拥有 80GB 显存的 A100）才能运行，但 MobileSAM2 是为效率而设计的。它可以在标准的桌面级 GPU（如 RTX 4060）上流畅运行，处理视频的速度例如 580 万参数的版本可以达到 每秒 13.3 帧。这种效率是使其能够适用于手机和笔记本电脑等资源受限设备的至关重要的一步。
它出奇地聪明： 尽管它很小，但它以巨大的优势击败了其他小型模型。例如，在名为 LVOS 的测试中，2300 万参数的版本得分 69.0，而其他规模相似的模型得分仅在 44.8 或 60.6 左右。
这不仅仅是一个技巧： 研究人员在另一个机器人大脑 TrackAnything（其设计与 SAM2 无关）上测试了该方法。当他们将这种“超图”教学法应用到该模型时，它也变得更聪明了。这表明该方法本身才是“秘密配方”，而不仅仅是复制某种特定的设计。

他们没有做的事情

了解这篇论文没有声称的内容也很重要。他们并没有说 MobileSAM2 是完美的，或者它能做所有 SAM2 能做的事。他们明确排除了“仅仅使用一个微型模型而不使用这种特殊教学方法”的可能性；他们的测试显示，没有这种“超图”训练的微型模型表现要差得多（在 LVOS 上仅得 44.8 分，而使用该方法后为 69.0 分）。

他们也没有声称这对于所有的机器人来说都是一个“已解决”的问题。他们在一组特定的机器人任务（称为 LIBERO-PRO）上进行了测试，结果显示它帮助机器人手臂成功的概率提升了约 21.8%，这虽然比其他小型模型要好，但仍有改进空间。

核心结论

这篇论文表明，通过使用这些“超级网”连接来教授小型模型如何观察时间和细节，我们终于可以将强大的视频理解大脑放入口袋中。它不是一个让一切都变得完美的魔杖，但它是朝着让智能机器人和视频应用真正适配我们日常携带的设备迈出的重要一步。

技术摘要：MobileSAM2：面向空间智能的轻量化 Segment Anything

问题陈述

Segment Anything Model 2 (SAM2) 代表了视频和图像分割领域的重大进展，它利用包含 11.38 万个视频和 4090 万个掩码标注的海量数据集，学习了鲁棒的时刻相关性和多粒度视觉概念。然而，SAM2 庞大的参数量（例如，其 Hiera-L 主干网络超过 2.12 亿个参数）和高计算需求阻碍了其在移动电话、笔记本电脑、无人机和机器人等资源受限设备上的部署。现有的轻量化分割模型往往无法保留使 SAM2 在动态视频流中实现“分割一切”任务时如此有效的全面时间一致性和多级粒度理解能力。核心挑战在于如何在不牺牲其在时间分割和由粗到精理解方面的鲁棒性的前提下，将 SAM2 的泛化知识蒸馏到轻量化模型中。

方法论

1. 超图化知识蒸馏 (HyperKD)

为了解决直接访问 SAM2 参数中隐式编码的时间和多粒度知识的困难，作者提出了 HyperKD。该框架将超图的概念引入知识蒸馏，以显式地建模并迁移这些特定的知识类型。与传统的成对图结构不同，超图允许单个超边连接多个节点，从而有效地捕捉高阶关联。

HyperKD 由两个不同的组件组成：

时间性超图知识蒸馏 (Temporal HyperKD)： 该组件针对跨视频帧的可泛化时间知识。
- 提取： 它构建两种类型的超图：基于 Patch 的（将网格 Patch 视为节点）和基于实例的（将高置信度的分割实体视为节点）。
- 构建： 对于每一帧，节点通过在中心顶点周围由 $\epsilon$ -球距离阈值形成的超边进行连接。随后，这些局部超边在帧间进行融合，以创建一个时间超图，用于建模视频序列中相关节点之间的关系。
- 蒸馏： 学生模型通过最小化其自身构建的时间超图与教师模型（SAM2）之间关联矩阵的 Frobenius 范数距离来进行训练，从而实现对齐。
粒度超图知识蒸馏 (Granularity HyperKD)： 该组件针对全面的多粒度知识（物体、部分、子部分）。
- 提取： 它将单个粒度层级内的分割实体视为节点。
  sentido 构建： 通过融合不同粒度层级之间的边来形成超边（例如，将一个物体与其组成的各个部分及子部分相连）。
- 蒸馏： 与时间组件类似，学生模型通过对齐其粒度超图与教师模型的粒度超图，使其能够学习层次化的、由粗到精的语义关系。

总体的训练目标结合了标准的特征对齐 (FitNet) 与 HyperKD 损失函数：
$\text{Loss} = \|z^I_t - z^I_s\|_1 + \alpha \cdot \mathcal{L}_{THKD} + \beta \cdot \mathcal{L}_{GHKD}$

2. MobileSAM2 架构搜索

基于 HyperKD，作者推出了 MobileSAM2 系列轻量化模型。他们采用了一种渐进式模型收缩策略来缩减庞大的 Hiera-L 主干网络。

在关键架构组件上定义了一个参数化搜索空间：嵌入维度 ( $\Gamma_{Emb}$ )、块数量 ( $\Gamma_{Blk}$ )、窗口大小 ( $\Gamma_{WinSiz}$ ) 以及注意力头扩展比例 ( $\Gamma_{HExp}$ )。
搜索过程迭代地识别出能够最小化 HyperKD 损失的架构，确保生成的较小模型能够保留教师模型的时空和多粒度能力。
文中展示了三个变体：MobileSAM2-5M、MobileSAM2-10M 和 MobileSAM2-23M。

核心贡献

超图化知识蒸馏： 本文首次将超图应用于视频分割知识蒸馏。这种方法显式地建模并迁移了 SAM2 的可泛化时间知识和全面的多粒度知识，而这些知识是标准成对蒸馏方法难以捕获的。
MobileSAM2 系列： 作者提出了一个新的轻量化 SAM2 模型系列，在模型大小和性能之间实现了理想的权衡。这些模型是通过 HyperKD 引导的架构搜索进行专门优化的。
全面评估： 通过在包括通用视频目标分割 (VOS)、长期 VOS 以及“视频中分割一切”数据集在内的多个基准测试上的广泛实验，验证了 MobileSAM2 的有效性。与其它轻量化主干相比，这些模型在具身智能任务中表现出了卓越的泛化能力。

实验结果

作者在五个数据集上评估了 MobileSAM2：MOSE、DAVIS 2017、LVOS (长期)、SA-V-val 和 SA-V-test。

性能： MobileSAM2 显著优于现有的知识蒸馏方法 (FitNet, CIRKD, FAKD 等) 和轻量化基线 (SAM2-TinyViT)。
- 在 LVOS 数据集上，MobileSAM2-23M 达到了 69.0 的 J&F 分数，大幅超过了次优方法 (FAKD 为 63.4)，并显著优于非蒸馏基线 (44.8)。
- 在 DAVIS 2017 上，MobileSAM2-23M 达到了 72.1 J&F，而 FAKD 为 65.0。
- 在 SA-V test 上，MobileSAM2-23M 达到了 67.8 J&F，优于 FAKD 的 62.7。
效率： 在 RTX 4060 移动 GPU 上的推理测试表明，MobileSAM2 在大幅减少参数的同时保持了具有竞争力的 FPS。例如，MobileSAM2-23M (23.7M 参数) 的运行速度为 8.2 FPS，而原始的 SAM2 Large (212M 参数) 则会因内存溢出而无法运行。
消融实验：
- 移除时间性或粒度超图知识蒸馏中的任一组件都会导致性能显著下降，证实了两者组件的必要性。
- HyperKD 优于传统的基于图的蒸馏 (Context Matters, IntRA-KD)，验证了超图在捕获高阶语义关系方面的优越性。
- 研究表明该方法适用于其他基础模型（如 TrackAnything），这表明收益源于蒸馏目标而非特定的架构协同作用。
具身智能： 当集成到用于 LIBERO-PRO 基准测试的 CaP-Agent0 中时，MobileSAM2-23M 实现了 21.8% 的平均成功率，优于 SAM2-TinyViT-21M 基线 (19.3%)，并接近全量 SAM3 驱动智能体 (23.2%) 的性能。

重要意义

本文声称 MobileSAM2 成功弥合了高性能大型视频基础模型与移动及机器人平台约束之间的差距。通过利用 HyperKD，作者证明了将复杂的、高阶的时间和层次化知识蒸馏到紧凑模型中是可行的。这使得在资源受限的设备上实现“分割一切”的能力成为可能，促进了在自动驾驶、机器人技术和移动视频编辑等对实时处理和有限内存要求极高的应用场景中的实际部署。这项工作通过超越简单的特征对齐，转向通过超图进行知识的显式结构化建模，为基础模型的蒸馏建立了一种新的范式。