🤖 AI

Drop-Then-Recovery: How Redundant Are Vision-Language-Action Models?

本文通过引入“先丢弃后恢复”（Drop-Then-Recovery, DTR）协议和 GateProbe 指标，证明了视觉-语言-动作（Vision-Language-Action）模型的语言骨干网络中存在显著的架构冗余，且这些冗余可以在不牺牲机器人操控任务性能的情况下被大量移除，这表明当前的基准测试可能未能充分利用深层的语言理解能力。

原作者： Guoheng Sun, Kaixi Feng, Shwai He, Xiaochuan Gong, Yexiao He, Ziyao Wang, Zheyu Shen, Wanghao Ye, Ramana Rao Kompella, Gaowen Liu, Ang Li

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Guoheng Sun, Kaixi Feng, Shwai He, Xiaochuan Gong, Yexiao He, Ziyao Wang, Zheyu Shen, Wanghao Ye, Ramana Rao Kompella, Gaowen Liu, Ang Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你雇佣了一位世界闻名、受过高等教育的大厨来做一份简单的烤奶酪三明治。这位大厨读遍了所有现存的食谱，了解面包的历史，甚至能从博士水平的角度讨论奶酪融化的化学原理。但当你只是要求他“做个三明治”时，他却花了 90% 的时间在思考面包的历史，只有 10% 的时间在涂抹面包和融化奶酪。

这正是研究人员在 视觉-语言-动作（VLA）模型（目前用于教机器人如何移动和抓取物体的“大脑”）中发现的情况。

以下是对《先丢弃后恢复》（Drop-Then-Recovery）这篇论文发现的简单解析：

1. 问题所在：大脑对于这项工作来说太大了

如今的机器人是使用庞大的 AI 模型构建的，这些模型结合了视觉（眼睛）、语言（理解指令）和动作（移动手臂）。

视觉部分就像机器人的眼睛。
动作部分就像机器人的肌肉和反射。
语言部分则像是一个从巨大的文本阅读 AI 模型中继承而来的巨型知识库。

研究人员意识到，对于简单的机器人任务（比如“拿起红色的杯子”），机器人并不需要博士级别的语言理解能力。它只需要知道哪个词代表“杯子”，哪个词代表“红色”。机器人内部那个庞大的语言库大部分都是冗余的——这就像是为了玩一场井字游戏而带了一本 500 页的百科全书。

2. 实验过程：“先丢弃后恢复”的手术

为了证明这一点，研究人员发明了一种名为**“先丢弃后恢复”（Drop-Then-Recovery, DTR）**的方法。你可以把它想象成对机器人大脑进行的一次手术：

第 1 步：丢弃（手术）： 他们物理性地移除了机器人语言部分的一部分（具体来说是“Transformer 块”，即处理语言的神经元）。他们不只是关闭了这些部分，而是直接将它们切除了。
第 2 恢复（物理治疗）： 一个缺失了大脑部分的机器人通常会变得毫无用处。因此，他们为机器人安排了一场“物理治疗”课程（微调），让它用这个新的、更小的脑子再次练习这项任务。

目标： 如果机器人在手术和治疗后能像以前一样出色地完成任务，那就证明被移除的部分确实是不必要的。

3. 结果：语言部分属于过度设计

结果令人惊讶且非常明确：

语言部分： 研究人员移除了一半的语言大脑，结果机器人反而做得更好了（成功率从之前的 95.0% 提升到了 98.3%）。即使他们只保留了巨大堆栈中仅有的两个微小的语言块，机器人依然表现完美。
- 类比： 这就像是意识到机器人并不需要整个图书馆，它只需要一张写着“杯子”一词的索引卡片。
视觉和动作部分： 当他们尝试移除“眼睛”或“肌肉”的部分时，机器人失败得很惨。这些部分至关重要，无法削减。

4. 他们是如何决定切除哪些部分的：“GateProbe”

你可能会问：“他们是如何在不杀死机器人的情况下，知道该切除哪些特定的脑细胞的？”
他们使用了一个名为 GateProbe 的工具。

类比： 想象机器人的大脑是一条繁忙的高速公路。GateProbe 就像一个传感器，在每个车道上设置一个临时的、隐形的闸门，观察当机器人试图抓取杯子时，实际有多少流量（数据）流经该车道。如果某个车道是空的（没有流量），他们就知道可以永久关闭该车道。这帮助他们挑选出精确的“无用”模块进行移除。

5. 为什么这很重要（根据论文内容）

更快、更便宜： 通过移除不必要的语言部分，机器人变得更小、占用内存更少、运行速度更快。这就像是为了短途旅行，把沉重的卡车换成了灵活的跑车。
更好的基准测试： 论文指出，目前的机器人测试过于简单。因为即使拥有极小的语言大脑，机器人仍然可以成功，这意味着这些测试并没有真正挑战机器人的语言推理能力。我们需要更难、需要真正语言推理能力的测试。
现实世界的证明： 他们在仓库环境（移动包裹）中使用真实的机械臂进行了测试。尽管在光照变化或物体移动时，“被切除过”的机器人鲁棒性稍差，但它们执行主要任务的表现几乎与完整的、庞大的机器人一样出色。

总结

论文结论认为，目前的机器人大脑对于简单的任务来说是过度设计的。它们携带了一个几乎用不到的庞大语言库。通过手术式地移除多余的语言能力并让机器人重新学习任务，我们可以创造出更小、更快、更高效的机器人，且不会丧失完成工作的能力。

技术摘要：视觉-语言-动作模型（VLA）中的“丢弃后恢复”（DTR）研究

1. 问题陈述

视觉-语言-动作（VLA）模型已成为指令驱动机器人操控领域的主流框架，这类模型通常继承了大规模预训练的视觉-语言模型（VLM）骨干网络，以提供广泛的视觉和语言知识。然而，作者指出，这些骨干网络对于标准的机器人任务而言可能过于庞大，因为这些任务的指令通常较短、具有模板化特征，且所需的语义深度有限（例如，“拿起红色的杯子”）。

核心问题在于：一个 VLA 模型中究竟有多少部分对于闭环控制是真正必要的？ 现有的压缩方法（如量化、剪枝）通常根据即时性能下降或单步预测损失来评估模型。作者认为这对于机器人领域是不充分的，因为在长程任务中，微小的动作误差会不断累积，导致任务失败。因此，冗余度必须通过**可恢复性（recoverability）**来衡量：即在进行结构化缩减及随后的微调后，模型是否能重新获得其任务成功率。

2. 方法论

2.1 丢弃后恢复（DTR）协议

本文引入了 DTR，这是一种旨在探测架构冗余性的受控分析协议。与权重级的压缩不同，DTR 作用于明确的架构单元（Transformer 块）。该过程包含两个阶段：

丢弃（Drop）： 从预训练的 VLA 模型中物理移除选定的 Transformer 块。这创建了一个真正的更小的稠密模型，具有更低的 FLOPs、内存占用和延迟。
恢复（Recovery）： 对剪枝后的模型进行下游机器人任务的微调。最终指标是可恢复性——即经过此次恢复微调后所达到的任务成功率。如果模型恢复到了基准性能，则说明被移除的容量对于该任务分布是冗余的。

2.2 GateProbe：用于块选择的敏感性指标

DTR 中的一个关键挑战是确定哪些块应该被移除。现有的指标（如余弦相似度、参数量级、即时困惑度下降）往往无法预测可恢复性，尤其是在激进压缩的情况下。

作者提出了 GateProbe，一种单次运行的虚拟门控敏感性指标：

机制： 在每个块 $B_i$ 的残差分支上概念性地放置一个虚拟标量门 $\alpha_i$ 。隐藏状态建模为 $\tilde{h}_i = h_{i-1} + \alpha_i \cdot F_i(h_{i-1}; \theta_i)$ 。
敏感性： 重要性得分 $I_{gate}(B_i)$ 是当 $\alpha_i=1$ 时，任务损失对该门控的期望绝对敏感度：
$I_{gate}(B_i) = \mathbb{E}_{x \sim \mathcal{D}} \left[ \left| \frac{\partial \mathcal{L}(x)}{\partial \alpha_i} \right|_{\alpha_i=1} \right]$
计算： 通过链式法则，这可以通过下游梯度（ $\partial \mathcal{L} / \partial h_i$ ）与块的残差贡献（ $F_i(h_{i-1}) = h_i - h_{i-1}$ ）的内积来计算。这仅需在校准集上进行一次前向-反向传播，避免了其他方法所需的重训或多次前向传播的计算成本。

3. 核心贡献

发现不对称冗余： 本文展示了 VLA 组件中显著的不对称性。语言骨干网络对于标准操控基准测试具有高度冗余性，而视觉和动作路径对移除的容忍度则显著较低。
DTR 协议： 一种简单、与硬件无关的方法，通过物理移除块并进行微调来测量和利用冗余，从而产生更小的稠密模型，而非依赖专门的稀疏算子。
GateProbe 指标： 一种鲁棒的基于梯度的指标，在选择待移除的块方面优于静态指标（如 CosSim 或 Magnitude），特别是在其他方法失效的激进压缩场景下。
基准测试分析： 有证据表明，当前的 VLA 基准测试（如 LIBERO）对深层语言理解和组合指令理解的压力有限，因为模型在移除大部分语言块后仍能恢复性能。

4. 实验结果

4.1 仿真基准测试（LIBERO, LIBERO-Plus, RoboTwin 2.0）

语言冗余性： 在 LIBERO 基准测试中，在匹配训练计算量的情况下，移除 OpenVLA-OFT 中 50% 的 LLM 块（在 18 层模型中移除 9 层）使成功率从 95.0% 提升至 98.3%。甚至仅保留两个语言块（Keep 2），模型也能恢复到基准水平的性能（95.1%）。
视觉/动作敏感性： 相比之下，移除 50% 的视觉块会导致显著下降（例如，OpenVLA-OFT 下降至 83.9%），而移除动作块则会导致灾难性的失败。
粒度： 整个块的丢弃比仅丢弃 MHA 或 MLP 子层更为有效。
指标表现： GateProbe 在所有丢弃水平下均一致地实现了最高或第二高的成功率，在极端压缩场景下（例如仅保留 1-2 个块时）表现优于 Taylor、Fisher 和 CosSim 指标。

4.2 真实世界部署

设置： 作者将 $\pi0.5$ 部署在带有 Jetson Thor 边缘设备的 UFACTORY xArm 850 机器人上，执行仓库包裹分拣任务。
结果： 在接近训练条件的条件下，丢弃一半的语言块（Drop-9）保持了与全量模型相当的性能（成功率分别为 65.0% vs 63.3%）。
鲁棒性： 虽然在标准条件下性能得以保持，但丢弃后的模型（特别是仅保留 2 个块的模型）在分布偏移（如光照变化、新物体、容器移除）下的鲁棒性有所下降，这表明被移除的语言容量有助于增强针对物理扰动的泛化能力。

4.3 效率增益

训练： DTR 允许在固定计算预算下实现更高的训练吞吐量。通过移除块，模型训练更快，从而允许进行更多步数或使用更大的 Batch Size。
推理： 与量化或稀疏剪枝不同，DTR 产生的是标准的稠密模型。这带来了与硬件无关的加速。例如，DTR-16 在 OpenVLA-OFT 上实现了 1.64× 的任务加速和 42% 的内存减少，且无需专门的低比特算子。
对比： 零样本丢弃（不进行恢复微调）通常会导致端到端任务完成时间变长（由于失败率增加导致步数增加），这凸显了“恢复”阶段的必要性。

5. 重要性与主张

本文声称，当前的 VLA 架构存在容量失配问题：它们继承的语言骨干网络远大于处理当前机器人基准测试中典型的短促、模板化指令所需的规模。

架构启示： 未来的 VLA 设计应更审慎地分配容量，可能会通过减少语言组件来更好地匹配任务难度，而不是盲目扩大 VLM 骨干网络的规模。
基准测试启示： 能够从大规模语言块移除中轻松恢复，这一事实表明标准的操控基准测试并未充分测试组合推理或丰富的语言接地能力。作者呼吁开发具有更复杂指令和更强语言调节控制要求的基准测试。
实际影响： DTR 提供了一条实现高效、可边缘部署的 VLA 模型的路径，这些模型不依赖于特定硬件的优化（如量化算子），使其在不同的机器人平台上更具移植性。

研究结论认为，虽然语言骨干网络目前在许多任务中存在过度参数化的问题，但视觉和动作组件仍然至关重要，而“丢弃后恢复”框架提供了一个必要的工具，用以区分闭环机器人控制中哪些是本质容量，哪些是冗余容量。