💻 computer science

Mamba-based Selective State Space Modeling Improves the Accuracy-Complexity Tradeoff of SmolVLA Vision-Language-Action Experts

本文证明了将基于 Mamba 的选择性状态空间模型集成到 SmolVLA 动作专家中，能显著改善视觉-语言-动作模型的精度-复杂度权衡，在每动作重规划下，通过在长程执行过程中实现优于 Transformer 基准模型的成功率，同时将参数复杂度降低了 24%。

原作者： Farida Mohsen, Thowayba Elkaffash, Mohammad Reza Chalak Qazani, Mohamed Mabrok, Nader Meskin, Ali Safa

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Farida Mohsen, Thowayba Elkaffash, Mohammad Reza Chalak Qazani, Mohamed Mabrok, Nader Meskin, Ali Safa

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

机器人正在学习如何理解世界，不仅是通过视觉，还通过阅读指令并移动手臂来完成工作。这一被称为“视觉-语言-动作”（vision-language-action）的领域，依赖于强大的计算机大脑，它能够接收场景图像和描述任务的句子，然后计算出如何精确移动机械臂以完成任务。工程师面临的挑战是在速度与智能之间取得平衡。如果机器人在每一个微小动作前思考过多，它的动作会变得极其缓慢，从而失去实用价值。但如果为了节省时间而一次性规划一段长序列动作，它又面临出错的风险，因为在执行这些预设步骤时，世界可能会发生变化。目标是找到一种方法，让机器人既快速又准确，而这种平衡一直难以达成。

一组研究人员发现了一种新方法，能够在不牺牲准确性的情况下，使平衡向速度倾斜。他们测试了一种最初为处理语言而设计的全新计算机架构，并将其植入机器人的大脑中。通过将标准的思维引擎更换为这种新设计，他们发现机器人可以规划更长的动作序列且依然能取得成功。在测试中，当机器人被允许在再次观察环境前执行完整的五十个动作序列时，新设计的成功率比旧设计高出近百分之八。这一进步意义重大，因为这意味着机器人可以在现实世界中运行得更快，减少因思考而产生的停顿，同时仍能正确完成任务。

研究人员从一个名为 SmolVLA 的流行机器人大脑开始，该系统已因其高效和准确而闻名。该系统通过观察摄像机画面和文本指令，然后预测未来动作的一个“块”（chunk）。它不是只决定一个动作，而是预测一系列动作，就像一段关于机械臂下一步该如何行动的短片。机器人随后执行该系列中的前几个动作，停下来，再次观察世界，然后规划新的系列。机器人停止前执行的动作数量被称为“执行时界”（execution horizon）。如果它每做一个动作就停下来，它会非常准确但非常缓慢；如果它在不停止的情况下运行整个序列，它会很快，但在环境变化时容易出错。

为了解决这个问题，团队更换了处理这些动作序列时序的部分。原始系统使用一种称为“自注意力机制”（self-attention）的标准方法，这就像一个聚光灯，让动作计划的每个部分都能回顾其他部分以保持协调。研究人员将其替换为一种称为 Mamba 的不同方法，这种方法处理信息的方式更像是一种持续的更新流，而不是聚光灯。这种新方法对计算机资源的消耗更轻，所需的学习参数减少了约百分之二十四，但它处理时间流的方式有所不同。

团队在充满四十种不同任务（从堆叠积木到将物体移动到特定目标）的模拟环境中对两个版本的机器人大脑进行了测试。他们让机器人在三种不同条件下执行任务：在每一个动作后停止、在二十五个动作后停止，以及在完整的五十个动作后停止。当机器人要求在每个动作后都停止时，两个版本表现得几乎完全一样，新设计达到了与旧设计相同的成功率。然而，随着机器人被要求在不停止的情况下运行更长的序列，差异变得明显了。采用新 Mamba 设计的机器人表现得更加稳健。当要求在进行五十个动作前进行检查时，新设计的试验成功率为百分之六十一点八，而旧设计仅为百分之五十三点九。

这种差距在特定类型的任务中变得更加显著。当机器人需要将物体移动到精确位置时，在新时界下，新设计的成功率提高了近百分之十八。即使在涉及空间排列的任务中，它也提高了百分之十。研究人员发现，新设计特别擅长让序列中的后期动作与前期动作保持协调，即使机器人在执行一个不再根据新鲜视觉信息进行更新的计划时也是如此。这表明，新架构在预测动作序列随时间如何展开方面具有天然优势。

这项研究证实，机器人如何规划其动作，与其检查环境的频率同样重要。通过改变协调动作序列的内部引擎，研究人员展示了可以让机器人变得更快、更高效，而不会变得笨拙。新设计不仅提高了长序列的成功率，还减少了运行系统所需的总计算参数。这意味着在未来，机器人可以部署在需要快速连续行动的现实环境中，依靠能够长时间保持准确的长程计划进行作业。这项工作表明，正确的架构选择可以解锁速度与精度之间更好的权衡，使快速、可靠的机器人助手之梦离现实又近了一步。

技术摘要：用于 VLA 专家的基于 Mamba 的选择性状态空间建模

1. 问题陈述

视觉-语言-动作（VLA）模型面临着任务成功率与计算延迟之间的根本权衡，这受限于执行时界（Execution Horizon, $N$ ）。

高频执行（ $N=1$ ）： 每次推理执行单个动作可确保策略始终贴近当前观测，从而保持高精度。然而，频繁的策略调用会产生显著的计算开销，使得实时部署难以实现。
低频执行（ $N \gg 1$ ）： 在重新规划前执行较长的动作时界（块/Chunks）可以降低计算复杂度和延迟。然而，机器人在较长时间内是基于过时的观测进行动作，这通常会导致任务成功率下降。

目前的方法通常通过事后机制（例如推理时补全或块截断）来解决这一问题，而保持底层策略架构固定不变。本文研究了是否可以通过优化动作专家（Action Expert）内部的时间架构元素来改善精度-复杂度权衡，具体方法是将标准的因果自注意力机制替换为 Mamba 式的选择性状态空间模型（SSMs）。

2. 方法论

本研究使用 SmolVLA 架构作为参考骨干网络，该架构结合了预训练的视觉-语言模型（VLM）与条件流匹配（Conditional Flow-Matching）动作专家（AE）。

核心架构修改

作者在动作专家内部提出了直接替换方案：

基准模型（ $B_0$ ）： 使用原始 SmolVLA 结构，其中 AE 在交叉注意力接地层（将动作与多模态输入连接）与因果自注意力层（对动作块内的时序依赖进行建模）之间交替进行。
提议变体（ $M_1$ ）： 保留所有的交叉注意力接地层和冻结的 VLM 骨干网络，但将八个块内因果自注意力层替换为 Mamba-1 选择性状态空间块。

技术原理

归纳偏置（Inductive Bias）： 一个动作块是一个有序序列，其中后继指令必须与前序指令保持兼容。Mamba 通过因果递归实现输入依赖的状态空间动力学。作者假设，这种选择性递归表示相比于 Transformer 使用的显式因果掩码，能为块内协调提供更合适的归纳偏置。
参数效率： 基于 Mamba 的变体将动作专家的可训练参数量从 99.9M 大幅减少至 76.3M（约 24% 的降幅），同时保持骨干网络和接地路径完全一致。
训练与推理： 两种模型均使用条件流匹配目标在 LIBERO 基准测试上进行训练。在推理阶段，两者均生成长度为 $H=50$ 的固定动作块。通过遍历执行时界 $N \in \{1, 25, 50\}$ 来评估不同重新规划频率下的性能。

3. 核心贡献

新颖的架构研究： 本文首次通过将 Transformer 自注意力替换为 Mamba SSMs，隔离研究了在流匹配 VLA 专家中进行块内时序混合的影响。
时界感知评估： 模型在标准 LIBERO 基准测试集（Spatial, Object, Goal, Long）上，针对三种执行时界（ $N=1, 25, 50$ ）进行了严格评估。
证明了权衡改进： 研究表明，随着执行时界的增加，Mamba 专家显著提升了成功率保持能力，在长时界场景下表现优于 Transformer 基准模型。
效率增益： Mamba 变体在 $N=1$ 时实现了与 Transformer 基准相当的性能，同时降低了 24% 的模型复杂度。

4. 实验结果

评估在 LIBERO 多任务仿真基准（涵盖 4 个套件共 40 个任务）上进行，使用了三个随机种子。

成功率 vs. 执行时界

$N=1$ （逐动作重新规划）： Mamba 变体（ $M_1$ ）实现的平均成功率为 76.2%，在统计学上与 Transformer 基准（ $B_0$ ）的 75.9% 持平。
$N=25$ （中等时界）： $M_1$ 比 $B_0$ 高出 3.7%（74.7% 对比 71.0%）。
$N=50$ （全块执行）： $M_1$ 显著超越 $B_0$ ，领先 7.8%（61.8% 对比 53.9%）。这是最关键的发现，因为 $N=50$ 对应于重新规划频率较低、可行的实时部署场景。

成功率保持（Success Retention）

从 $N=1$ 移动到 $N=50$ 时：

Transformer 基准（ $B_0$ ）的性能下降了 22.0 个百分点。
Mamba 变体（ $M_1$ ）的性能仅下降了 14.5 个百分点。
这表明在长程开环执行下， $M_1$ 多保持了 7.5 个百分点 的成功率。

各类套件分析

Mamba 的优势并非在所有场景下都一致：

Object 套件： 展现出最大的增益， $M_1$ 在 $N=1$ 时落后 $B_0$ 6.0 个点，但在 $N=50$ 时反超 17.7 个点。
Spatial 套件： $M_1$ 在 $N=50$ 时比 $B_0$ 领先 10.0 个点。
Goal 套件： $B_0$ 在 $N=50$ 时保持微弱领先（1.0 个点）。
Long 套件： 两种模型都表现挣扎，但 $M_1$ 保持了稳定的微弱领先（+4.7 个点）。

5. 意义与结论

论文指出，Mamba 专家在长时界执行中的优越性可能源于其输入依赖的因果递归，相比于 Transformer 的显式因果注意力掩码，它能为块内有序动作位置的协调提供更有效的归纳偏置。

这项工作的意义在于证明了动作专家内部的时序建模是影响 VLA 性能的关键因素，且该因素独立于观测值的陈旧程度。通过采用 Mamba，系统实现了更好的精度-复杂度权衡：

它实现了可行的实时部署（通过更长的执行时界），而不会出现 Transformer 基准模型中常见的严重精度退化。
它在保持或提升性能的同时，降低了计算足迹（更少的训练参数）。

作者总结道，未来的工作应在物理机器人及其他 VLA 架构上验证这些发现，但目前的结果已经确立了 Mamba 式 SSMs 是替代 Transformer 进行流匹配 VLA 策略中块内时序混合的一种可行且更优的选择。