💻 computer science

DySL-VLA: Efficient Vision-Language-Action Model Inference via Dynamic-Static Layer-Skipping for Robot Manipulation

该论文提出了 DySL-VLA 框架，通过根据动作重要性动态跳过 VLA 模型中的增量层，并配合先验 - 后验跳过引导机制与感知跳过两阶段知识蒸馏算法，在显著提升机器人操作任务成功率的同时实现了参数大幅精简与推理速度倍增。

原作者： Zebin Yang, Yijiahao Qi, Tong Xie, Bo Yu, Shaoshan Liu, Meng Li

发布于 2026-03-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Zebin Yang, Yijiahao Qi, Tong Xie, Bo Yu, Shaoshan Liu, Meng Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 DySL-VLA 的新方法，旨在让机器人变得更聪明、反应更快，同时还能省电费、省算力。

为了让你更容易理解，我们可以把机器人想象成一个正在学习做菜的“新手大厨”，而这篇论文就是教他如何**“聪明地偷懒”**。

1. 背景：大厨的烦恼（VLA 模型的问题）

现在的机器人（大厨）非常依赖一种叫 VLA（视觉 - 语言 - 动作） 的“超级大脑”。

它是怎么工作的？ 你给它看一张图片（比如桌上有个杯子），再给它一句指令（“把杯子拿起来”），它就要在脑子里疯狂计算，然后指挥手臂去抓杯子。
问题在哪？ 这个“超级大脑”太聪明了，但也太重了。它每次做决定都要把全身（所有神经网络层）都过一遍，就像大厨不管切菜还是炒菜，都要先背诵整本《烹饪大全》。
后果： 机器人反应太慢（延迟高），而且特别费电，没法在真实的、需要快速反应的场合（比如接住掉落的鸡蛋）里使用。

2. 核心发现：并不是每一步都同样重要

作者观察到一个有趣的现象：机器人做任务时，有些步骤是“生死攸关”的，有些步骤则是“随便混混”的。

关键步骤（Critical Steps）： 比如“手刚碰到杯子”或者“松开杯子”的那一瞬间。这时候如果算得不准，杯子就掉了，任务失败。这就像大厨在**“收汁”或“摆盘”**的关键时刻，必须全神贯注，不能出错。
非关键步骤（Less Important Steps）： 比如手在空中慢慢移动到杯子旁边的过程。这时候稍微慢一点、或者计算得稍微粗糙一点，完全没关系。这就像大厨在**“洗菜”或“切葱”**的常规动作，不需要每次都背诵《烹饪大全》。

以前的做法： 不管是在切菜还是收汁，都让机器人用同样的“超级大脑”全速运转。这就像让大厨在切葱时也要背诵整本百科全书，纯属浪费。

3. 解决方案：DySL-VLA（动态 - 静态层跳过）

作者给机器人设计了一套**“智能偷懒系统”**，叫 DySL-VLA。它的核心思想是：该认真时认真，该偷懒时偷懒。

A. 把大脑分成“固定层”和“动态层”

固定层（Static Layers）： 就像大厨的**“核心肌肉记忆”**。无论做什么，这些关键步骤（比如判断物体位置、决定抓取力度）必须保留，不能跳过。
动态层（Dynamic Layers）： 就像大厨的**“临时思考”**。在移动手臂这种不重要的时候，这些层是可以被“跳过”的。

B. 怎么知道什么时候该偷懒？（前后引导机制）

这是最精彩的部分。作者设计了一个**“交通指挥官”**（Skipping Guidance）：

看路况（前向预测）： 指挥官会观察机器人手臂移动的轨迹。
- 如果手臂移动很平滑、匀速（比如在空中划直线），说明现在处于“非关键期”，指挥官会下令：“跳过中间那些复杂的思考层，直接走捷径！”
- 如果手臂突然停顿、抖动或微调（比如快要抓到杯子了），说明“关键期”到了，指挥官会立刻下令：“停止偷懒！全速运转，必须算准！”
事后检查（后向验证）： 万一指挥官看走眼了，在关键时刻真的偷懒了怎么办？
- 系统会立刻**“回炉重造”**：重新用全速模式算一遍刚才那个动作，确保没出错。这就像大厨在摆盘前最后检查一眼，确保没摆歪。

C. 怎么训练？（两阶段蒸馏）

让机器人学会这套“偷懒技巧”很难，因为如果直接教，它可能会在关键时刻也偷懒，导致任务失败。
作者发明了一种**“两阶段教学法”**：

第一阶段（先练肌肉）： 先不管什么时候偷懒，先教机器人怎么在“跳过”某些层后，依然能猜对下一步该干嘛（训练适配器）。
第二阶段（再练判断）： 等机器人有了基础，再教它什么时候该偷懒，什么时候该认真（训练控制器）。
这样既省了训练成本（不用把整个大脑重练一遍），又保证了它不会在关键时刻掉链子。

4. 效果如何？（成绩单）

这套方法效果惊人：

速度快了 3.75 倍： 机器人反应速度大幅提升，从“慢吞吞”变成了“敏捷侠”。
更聪明： 在测试中，它的任务成功率比之前的先进方法（Deer-VLA）还高了 2.1%。
更省钱： 训练时需要的参数减少了 85.7 倍，训练步骤减少了 13.7 倍。这意味着以前需要超级计算机跑几天的训练，现在普通设备跑一下午就行。

总结

DySL-VLA 就像是给机器人装上了一个**“智能节能模式”。它不再盲目地全功率运行，而是学会了“抓大放小”**：在关键时刻全神贯注，在无关紧要时果断“划水”。

这不仅让机器人跑得更快、更省电，还让它们能像真正的人类一样，灵活地应对现实世界中复杂多变的任务。这对于未来让机器人走进家庭、工厂，真正帮我们要干活，是一个巨大的进步。

DySL-VLA 技术总结

1. 研究背景与问题 (Problem)

视觉 - 语言 - 动作 (VLA) 模型（如 OpenVLA, RT-2）通过融合大语言模型的推理能力和视觉模型的 3D 理解能力，在机器人操作任务中展现了强大的泛化能力。然而，将其部署到真实世界的机器人上面临巨大挑战：

高计算成本与延迟：VLA 模型通常基于庞大的 LLM 骨干网络，导致推理延迟高、功耗大，难以满足实时物理交互（通常需要 20-50+ Hz 的控制频率）的需求。
现有加速方法的局限性：
- 量化/剪枝：往往忽略不同动作步骤的重要性差异，对所有预测一视同仁，加速潜力有限，且需要专用算子，部署困难。
- 早退 (Early Exit)：虽然能动态调整计算量，但过早退出可能导致关键信息丢失，损害模型精度。
- 混合层 (Mixture-of-Layers)：如 DeeR-VLA，虽然尝试动态调整，但通常需要训练大量参数（如多个动作头或全量微调骨干），训练成本高昂。
核心洞察：机器人操作任务中，不同动作步骤的重要性是不均匀的。关键步骤（如抓取、释放物体）对精度要求极高，容错率低；而非关键步骤（如预抓取移动）则允许更大的方差。现有的均匀加速策略浪费了在非关键步骤上的加速机会。

2. 方法论 (Methodology)

作者提出了 DySL-VLA (Dynamic-Static Layer-Skipping VLA)，一种通过动态跳过非关键层来加速推理的框架。其核心包含三个主要组件：

2.1 动态 - 静态层跳过机制 (Dynamic-Static Layer Skipping)

分层策略：将 VLA 模型层分为两类：
- 静态层 (Static Layers)：被识别为“信息丰富”的层（激活分布发生显著变化的层），在推理过程中始终保留，以确保核心信息不丢失。
- 动态层 (Dynamic Layers)：信息量相对较少的层，可以根据情况选择性跳过。
跳过执行：当决定跳过动态层时，直接跳过至下一个静态层，并使用轻量级的适配器 (Adapters) 来拟合被跳过层的输出，以补偿信息损失。
优势：相比每次只跳过一层或跳过所有尾部层，该方法能实现更高的加速比，同时保持低信息损失。

2.2 前后跳过引导机制 (Prior-Post Skipping Guidance)

为了在不牺牲关键动作精度的前提下智能决定跳过时机，提出了基于轨迹连续性 (Trajectory Continuity) 的引导机制：

动作重要性评估：定义动作连续性 $C_t$ 。在平滑移动时连续性高，而在关键操作（如抓取）时，由于频繁停止和微调，连续性会突然下降。
前向预测 (Pre-skip Prediction)：
- 在静态层之间定义“允许跳过点 (Skipping-allow Point)"。
- 根据前 $k$ 步的连续性变化动态调整该点位置：当检测到连续性下降（预示关键动作）时，迅速将跳过点前移，强制保留更多层；当连续性恢复时，逐渐后移。
- 在跳过点之前的层，跳过控制器被禁用，强制执行。
后向验证 (Post-skip Verification)：
- 由于无法在推理前预知当前动作，仅靠前向预测可能误判。
- 当检测到连续性下降时，系统会重新预测当前动作（不进行层跳过），并重新计算连续性。
- 这一反馈机制确保了关键动作预测的正确性，且由于关键动作占比小，额外开销可控。

2.3 跳过感知的两阶段知识蒸馏 (Skip-aware Two-stage Knowledge Distillation)

为了高效训练 DySL-VLA（仅训练轻量级控制器和适配器，冻结 LLM 骨干），提出两阶段训练策略以解决收敛问题：

第一阶段：仅训练适配器。目标是让适配器学会总结被跳过动态层的信息，拟合下一个静态层的输入。
第二阶段：联合训练控制器和适配器。
- 采用谐波衰减概率选择动态层进行训练，确保早期动态层（需要总结更多信息）被更频繁地训练。
- 引入归一化损失，鼓励控制器在安全范围内尽可能多地跳过层。
优势：避免了控制器和适配器同时随机初始化导致的相互干扰，显著降低了训练成本。

3. 主要贡献 (Key Contributions)

深入分析：首次系统性地分析了 VLA 模型中不同层对动作预测的贡献差异，以及不同动作步骤的重要性差异。
DySL-VLA 框架：提出了动态 - 静态层跳过机制，结合前后跳过引导，实现了在保持高精度的同时大幅降低推理延迟。
高效训练策略：设计了跳过感知的两阶段知识蒸馏算法，仅需训练极少量的参数（轻量级模块），解决了训练收敛难题。
性能突破：在多个基准测试中实现了显著的性能提升和加速效果。

4. 实验结果 (Results)

实验在 CALVIN (RoboFlamingo 模型) 和 LIBERO (OpenVLA-oft 模型) 数据集上进行，并在 Jetson Orin 边缘设备上进行了部署测试。

精度提升：
- 在 CALVIN 数据集上，DySL-VLA 的平均成功长度 (Average Successful Length) 比 DeeR-VLA 提高了 2.1%。
- 在 LIBERO 数据集上，相比 FlexiDepth 提高了 41.3% 的平均成功率 (SR)。
加速效果：
- 相比 RoboFlamingo 基线，推理延迟降低了 3.75 倍 (3.75× speedup)。
- 相比 DeeR-VLA，延迟降低了 1.42 倍。
- 在 Jetson Orin 上，控制频率可达 23.2 Hz，满足实时控制需求。
资源效率：
- 可训练参数量：相比 DeeR-VLA 减少了 85.7 倍。
- 训练步数：减少了 13.7 倍。
- 训练成本（GPU 小时）显著降低。

5. 意义与影响 (Significance)

推动具身智能落地：DySL-VLA 有效解决了 VLA 模型在资源受限的边缘设备（如机器人本体）上部署的延迟和功耗瓶颈，使其能够以更高的频率进行实时控制。
新的优化范式：打破了传统“均匀加速”或“全量微调”的思维定式，提出基于任务重要性感知的动态计算分配策略，为后续大模型在机器人领域的轻量化提供了新思路。
低成本高效能：证明了通过轻量级模块（适配器 + 控制器）和巧妙的训练策略，可以在不牺牲甚至提升模型性能的前提下，实现巨大的加速效果，降低了机器人开发者的门槛。

总结：DySL-VLA 通过识别任务中的关键与非关键步骤，动态调整计算资源分配，成功在保持甚至提升机器人操作精度的同时，实现了显著的推理加速和训练成本降低，是迈向高效、实时具身智能的重要一步。