💻 computer science

Revisiting Parameter Redundancy in Vision-Language-Action Models: Insights from VLM-to-VLA Adaptation

本文通过揭示从视觉语言模型（VLM）向视觉语言动作（VLA）适配过程中存在的结构化差异模式，挑战了 VLA 模型参数冗余是均匀分布的这一假设，并提出了一种新型的多模块联合剪枝策略，在无需进行剪枝后恢复的情况下，实现了显著的参数缩减（12%–30%）并保持了原性能的 90%。

原作者： Fengnian Zhang, Tao Huang, Siyu Xu, Zhong Jin, Chang Xu

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fengnian Zhang, Tao Huang, Siyu Xu, Zhong Jin, Chang Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢、世界级的厨师（即视觉-语言模型，或 VLM），他能够描述食谱、识别食材，并能极其详细地谈论食物。现在，你想把这位厨师变成一个能在真实厨房里实际烹饪的机器人（即视觉-语言-动作模型，或 VLA）。

为了实现这一点，你取出了这位厨师的大脑，并为他添加了一些新的“肌肉”连接，以便他能拿起刀并搅拌锅里的东西。但问题在于，这位厨师的大脑非常庞大，充满了数百万个神经元。而机器人运行起来既慢又昂贵，而且占用的空间很大。你想把这个大脑精简下来，让它变得更快，但你又非常害怕切错了地方，导致机器人变成一堆无用的废铁。

旧方法：“切割并祈祷”

传统上，当工程师试图缩小这些机器人的大脑时，他们只会开始切除他们认为“多余”的部分。

结果： 机器人会立即停止工作。它会忘记如何拿杯子或移动手臂。
补救措施： 工程师们会说：“噢，这是预料之中的。”然后他们会花费数天或数周的时间重新教导机器人（微调），以让它恢复工作。
论文的核心问题： 该论文的作者提出了这样一个疑问：“如果我们必须在切割之后重新教导机器人所有知识，那么我们移除的真的是‘多余’的东西吗？还是我们不小心切掉了它的手和眼睛？”

他们认为，依赖于“重新教导”掩盖了一个事实，即我们切掉的是至关重要的部分。如果一个部分真的是没用的，那么即使你在移除它之后，机器人也应该能正常工作，而不需要任何帮助。

新发现：“增长图谱”

作者观察了机器人在学习烹饪之前和之后的大脑。他们对比了“旧厨师大脑”（VLM）与“新机器人大脑”（VLA）。

他们发现，大脑的变化并不是随机的。它以非常特定、有组织的方式发生变化，就像一张地图，精确地展示了新的“肌肉”连接是在哪里生长的。

有些部分变化很大： 这些是学习控制机器人手臂的部分。
有些部分保持不变： 这些是仍然只需要识别西红柿或勺子的部分。
有些部分变化得很奇怪： 在某些层中，变化巨大；而在另一些层中，变化却微乎其微。

他们意识到这个“变化图谱”（他们称之为 $\Delta$ W）是一个秘密指南。它准确地告诉了你，哪些部分正在为机器人的运作提供核心动力，而哪些部分只是来自厨师旧生活的残留物。

实验：“受控手术”

为了证明他们的理论，他们对机器人的大脑进行了一场“受控手术”。他们没有靠猜，而是利用这个“变化图谱”来决定切除哪些部分。

错误的切割： 他们尝试切除那些变化不大的部分（认为它们是安全的残留物）。结果： 机器人立即崩溃了。它无法移动。
正确的切割： 他们尝试切除那些变化很大的部分（认为这些是新的、活跃的部分）。结果： 令人惊讶的是，机器人几乎完美地保持了正常运作！

类比： 想象一座房子。旧厨师住在这里，拥有一个装满书籍的图书馆（VLM）。当机器人搬进来时，它在地下室建造了一个新的健身房（VLA 适配）。

旧方法是随机拆除墙壁。如果房子塌了，他们稍后再重建墙壁。
新方法是查看新健身房的蓝图。他们意识到，健身房的新支撑梁就是那些发生变化的部分。他们发现，那些完全没有变化的旧图书馆书籍，实际上才是撑起屋顶的部分！通过切除那些冗余的（或保留那些至关重要的改变后的）健身房部分，他们可以在不导致房屋坍塌的情况下缩小房屋的规模。

结果：更小、更快、无需重新教导

利用这种“变化图谱”策略，他们成功地将两个著名的机器人大脑（OpenVLA 和 $\pi$ 0.5）缩小了 12% 到 30%。

神奇之处： 他们在没有任何重新教导或微调的情况下完成了这一切。机器人在切割后能立即工作。
对比： 当他们尝试其他流行的切割方法（如“切掉最大的数字”或“切掉使用最多的数字”）时，机器人会完全失效，除非经过长时间的重新训练。
效率： 他们节省了大量内存（使机器人能运行在更小、更便宜的计算机上），同时保留了约 90% 的原始性能。

核心启示

论文得出结论：我们不应该仅仅靠猜测来决定切除什么，或者依赖于事后修复错误。通过观察大脑在学习运动时如何变化，我们可以精准地找到“多余”的部分。这使得我们能够构建更小、更快、更高效的机器人，使其能在有限的资源下运行，而这一切仅仅是通过理解从厨师转变为机器人时所发生的特定“增长”来实现的。

技术摘要：重新审视视觉-语言-动作（VLA）模型中的参数冗余

问题陈述
视觉-语言-动作（VLA）模型通过将大规模预训练视觉-语言模型（VLM）适配到机器人控制任务中，推动了具身智能的发展。然而，这些模型继承了庞大的参数规模，造成了显著的计算和存储负担。目前的效率优化工作，特别是参数剪枝，面临着一个关键瓶颈：VLA 模型对参数移除表现出极高的敏感性。即使是适度的剪枝也往往会导致“性能悬崖”，必须依赖监督微调（SFT）或低秩自适应（LoRA）等事后恢复机制来恢复功能。

作者挑战了将这种性能退化视为剪枝必然代价的流行工程范式。他们认为，广泛依赖恢复机制掩盖了一个根本问题：如果一个剪枝后的模型必须重新学习如何运作，那么被移除的参数很可能不是冗余的，而是至关重要的。这引发了一个疑问：当前的剪枝准则是否在不加区分地移除那些在 VLM 到 VLA 适配过程中正在进行功能重组的关键参数？

方法论
本文提出了一个诊断框架，将 VLA 剪枝重新定义为一种用于分析参数功能角色的受控干预，而非仅仅是一个优化目标。该方法由三个核心部分组成：

量化适配信号： 作者定义了预训练 VLM 权重（ $W^{VLM}$ ）与适配后的 VLA 权重（ $W^{VLA}$ ）之间的相对参数差异（ $\Delta W$ ）。他们可视化了这种差异在不同模块（视觉编码器、语言主干网络和跨模态投影器）中的空间分布，以识别结构化模式而非随机噪声。
作为诊断探针的受控剪枝： 为了建立差异信号与功能重要性之间的因果联系，作者引入了一种“无需恢复”的评估协议。他们在不进行后续微调的情况下直接对模型进行剪枝。他们比较了两种策略：
- 最高差异剪枝： 移除具有最大 $|\Delta W|$ 的参数。
- 最低差异剪枝： 移除具有最小 $|\Delta W|$ 的参数。
  通过观察对任务成功率（SR）的即时影响，他们确定了哪些差异信号与冗余相关。
多模块联合剪枝方案： 基于发现冗余信号在不同模块间存在显著差异（模块异质性）这一事实，他们设计了一种差异化的剪枝策略。该方案根据视觉编码器、语言主干网络和投影器独特的差异特征，对它们应用特定的剪枝规则，旨在减少参数而不触发性能崩溃。

核心贡献

诊断框架： 作者引入了一个全新的框架，将剪枝视为一种受控干预，用以建立适配诱导的差异与参数功能重要性之间的因果联系，从而将冗余识别与性能恢复解耦。
揭示“恢复陷阱”： 研究表明，目前普遍依赖的剪枝后恢复机制掩盖了对关键参数的不加区分的移除。他们证明了 $\Delta W$ 信号表现出强烈的模块异质性，这意味着统一的剪枝策略是无效的。
无需恢复的剪枝策略： 他们提出了一种多模块联合剪枝方案，利用适配信号实现显著压缩（12%–30% 的参数减少），同时保持约 90% 的原始性能，且完全无需剪枝后的微调或补偿。

实验结果
该方法在 LIBERO 基准测试上通过两组代表性的模型对进行了评估：OpenVLA（基于 Prismatic/Llama-2）和 $\pi0.5$ （基于 PaLI-Gemma）。

假设验证：
- 假设 I： 实验证实，在剪枝后需要恢复的模型很可能丢失了关键参数。使用“最低差异”策略剪枝的模型会立即崩溃（例如 0.0% SR），但在经过 LoRA 微调后得以恢复，这证明被移除的参数并非冗余。
- 假设 II & III： $\Delta W$ 信号的效用随模块而异。例如，在 OpenVLA 的 DINOv2 中，剪枝最高差异的注意力头会导致崩溃，而剪枝最低差异的 FFN 通道也会导致崩溃。相反，在投影器（Projector）模块中，两种策略都会导致崩溃，表明它是一个需要保护的脆弱瓶颈。
- 假设 IV： 所提出的多模块方案成功实现了无需恢复的参数减少。
性能指标：
- OpenVLA： “中等（Moderate）”配置将参数从 7.5B 减少到 6.2B（12.4GB 显存），同时在 LIBERO 上保持了 62.3% 的平均成功率，相比之下，基准方法如 LLM-Pruner 在相同的无需恢复条件下会出现灾难性的失败（1.0% SR）。
- $\pi0.5$ ： “中等”配置将显存从 7.3GB 减少到 5.6GB，保持了 89.0% 的平均成功率（低于基准的 96.9%），而现有的准则会导致性能彻底崩溃。

意义与主张
本文声称为在资源受限的环境中部署高效、鲁棒的机器人策略提供了一条新路径。通过将重心从“如何剪枝更多并进行恢复”转向“如何通过适配信号识别真正的冗余”，作者证明了 VLA 模型包含显著且具有结构的冗余，可以安全地移除而无需昂贵的恢复机制。该研究表明，理解从通用感知到具身动作的参数演变对于高效部署 VLA 至关重要，为当前的“剪枝后恢复”范式提供了一种原则性的替代方案。