2D or 3D: Who Governs Salience in VLA Models? -- Tri-Stage Token Pruning Framework with Modality Salience Awareness

该论文针对多模态视觉 - 语言 - 动作（MVLA）模型中 2D 与 3D 模态显著性差异被忽视的问题，提出了一种基于三阶段分析的 Token 剪枝框架，在仅增加 5.8% 开销的情况下实现了最高 2.55 倍的推理加速且几乎无损精度。

要点

这篇文章介绍了一种让机器人“思考”得更快、更聪明的新方法。为了让你轻松理解，我们可以把机器人（VLA 模型）想象成一个正在学做饭的超级大厨，而2D 和 3D 数据就是大厨用来观察厨房的两种不同工具。

🍳 背景：大厨的困境

以前的机器人（大厨）主要靠2D 照片（像看手机相册一样）来认东西。这虽然能认出“那是苹果”，但很难判断“苹果离手有多远”或者“苹果是不是圆的”。

现在的机器人升级了，同时用2D 照片和3D 点云（像戴了 3D 眼镜，能看清深度和立体结构）。这确实让机器人更聪明了，能完成更复杂的任务（比如把苹果稳稳放进盘子）。

但是，问题来了：
这就好比大厨一边看照片，一边还要看 3D 全息投影，大脑（计算芯片）要处理的信息量爆炸式增长。结果就是，机器人动作变得非常慢，甚至慢到无法实时反应（比如你让它接住飞来的球，它可能还没算好，球就砸脸上了）。

🔍 核心发现：谁才是“显眼包”？

为了解决慢的问题，研究人员想了一个办法：“剪枝”（Token Pruning）。简单说，就是把不重要的信息扔掉，只保留最重要的。

以前的方法像是一个不懂行的助手，不管三七二十一，把照片和 3D 数据里的信息随机砍掉一半。结果往往是：把关键的 3D 深度信息砍了，机器人就撞墙了；或者把关键的 2D 颜色信息砍了，机器人就分不清红苹果和绿苹果了。

这篇论文的作者发现了一个秘密：2D 和 3D 信息的重要性是动态变化的，而且它们在不同阶段“说了算”的人不一样！

作者把机器人的思考过程分成了三个阶段，就像大厨做饭的三个步骤：

第一阶段：备菜（数据预处理）

• 场景：刚把食材端上桌，还没开始切。
• 发现：这时候，2D 照片（看颜色、纹理）通常比 3D 数据更重要。
• 比喻：就像你刚看到一盘菜，首先看到的是“这是红烧肉”（颜色），而不是“这块肉有多厚”（深度）。
• 策略：在这个阶段，如果 3D 数据看起来没啥用（比如背景里的墙），就大胆地把 3D 数据扔掉，只留 2D 的。

第二阶段：切菜与摆盘（语义合成）

• 场景：开始处理具体的食材，比如切肉、摆盘。
• 发现：这时候，3D 数据（看形状、距离）变得超级重要，尤其是对于“机器人手臂”和“目标物体”。
• 比喻：当你伸手去拿杯子时，你不再只看杯子的颜色（2D），你必须知道杯子离手有多远（3D），否则手会穿过去或者抓空。
• 策略：在这个阶段，对于“目标物体”和“机械臂”，必须2D 和 3D 都保留；但对于“背景”（比如墙壁、地板），可以大胆地扔掉，因为它们不重要。

第三阶段：炒菜与出锅（动作迭代）

• 场景：动作在连续进行中，上一秒和下一秒的情况在变。
• 发现：重要性是随时间跳动的。
• 比喻：就像炒菜时，火苗忽大忽小。有时候你需要盯着锅里的油（3D 距离），有时候只需要看菜的颜色（2D 状态）。如果每一秒都重新计算，太累了。
• 策略：利用**“惯性”**（数学上的 EMA 滑动平均）。如果上一秒 3D 数据很重要，这一秒大概率也重要，不用每次都重新算，直接参考上一秒的结论，这样能省大劲。

🚀 解决方案：三阶段智能修剪框架

基于以上发现，作者设计了一个**“三阶段智能修剪框架”。这就像给机器人配了一个超级聪明的副手**：

1. 第一阶段副手：在刚看到画面时，快速判断“是不是 3D 数据在凑数？如果是，直接删掉 3D，留 2D。”
2. 第二阶段副手：在分析画面内容时，精准识别“这是背景吗？是背景就全删。这是目标吗？是目标就 2D 和 3D 全留着。”
3. 第三阶段副手：在动作连续进行时，利用“惯性”预测下一帧，避免重复计算，平滑决策。

这三个副手配合默契，只保留真正需要的信息，把冗余的垃圾信息统统扔掉。

🏆 成果：快如闪电，稳如泰山

实验结果显示，这套方法非常厉害：

• 速度快：机器人的反应速度提升了 2.55 倍（从 3-5 次/秒 提升到 10-12 次/秒以上，接近实时）。
• 准度稳：虽然扔掉了一半以上的数据，但任务成功率几乎没有下降（只损失了极少的精度）。
• 成本低：为了做这个“修剪”决策，只多花了 5.8% 的计算成本，性价比极高。

💡 总结

这就好比给一个正在学做菜的机器人，从“盲目地看所有资料”变成了“在备菜时看照片，在切菜时看模型，在炒菜时凭经验”。

这篇论文的核心贡献就是告诉我们要**“看人下菜碟”：在不同的阶段，2D 和 3D 数据谁更重要，要动态调整。通过这种聪明的“做减法”，让机器人既跑得快，又看得准，真正实现了高效、实时的智能操作**。

技术摘要

这是一篇关于多模态视觉 - 语言 - 动作（MVLA）模型推理加速的学术论文总结。该论文针对从 2D 单模态向 2D+3D 多模态扩展的 VLA 模型，提出了一种三阶段令牌剪枝框架（Tri-Stage Token Pruning Framework），旨在解决模态扩展带来的计算开销激增问题，同时保持任务性能。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：视觉 - 语言 - 动作（VLA）模型是具身智能的主流范式。为了提升空间感知能力，最新的 VLA 模型已从仅使用 2D 图像（SVLA）扩展到结合 2D 图像和 3D 点云（MVLA）。
• 核心挑战：
  1. 计算开销剧增：引入 3D 模态导致输入 Token 数量大幅增加（例如 2D 和 3D 各需 256 个 Token），使得推理延迟远超实时控制要求（目前仅 3-5Hz，需达到 20-30Hz）。
  2. 现有方法失效：现有的令牌剪枝（Token Pruning）方法主要针对 2D 单模态模型设计，直接应用于 MVLA 时忽略了2D 与 3D 模态在不同阶段的重要性（显著性）差异。
  3. 显著性动态变化：2D 和 3D 模态的贡献并非恒定，它们随数据处理阶段、语义区域（背景/机器人/目标）以及动作迭代过程的时间动态而变化。简单的随机剪枝或统一剪枝会导致任务成功率（SR）大幅下降。

2. 核心方法论 (Methodology)

作者首先对 MVLA 模型的数据利用范式进行了三阶段分析，揭示了 2D/3D 模态显著性的差异与动态规律，并据此提出了三阶段令牌剪枝框架。

2.1 三阶段显著性分析 (Tri-Stage Modality Salience Analysis)

1. 数据预处理阶段 (Data Preprocessing)：
   • 发现：2D 模态通常比 3D 模态具有更高的显著性（贡献度更大）。
   • 量化：提出基于模型最终层特征范数（Feature Norm）的指标 $MS^1$，用于量化不同 Patch 中 2D 和 3D 特征的相对重要性。
2. 语义合成阶段 (Semantic Synthesis)：
   • 发现：显著性随语义区域变化。在“背景”区域，2D 主导；在“机器人”和“目标物体”区域，3D 模态的几何信息变得至关重要，甚至超过 2D。
   • 量化：利用注意力分数（Attention Scores）将 Patch 聚类为背景、机器人、目标三类。提出将 3D 注意力分解为与 2D 平行的部分（冗余）和正交部分（独特信息），量化不同语义下的模态依赖。
3. 动作迭代阶段 (Action Iteration)：
   • 发现：在连续的动作执行过程中，模态显著性随时间动态波动（例如在关键交互阶段，3D 几何信息的需求会突增）。
   • 策略：需要一种能够捕捉时间动态的预测机制，而非静态剪枝。

2.2 三阶段令牌剪枝框架 (Tri-Stage Token Pruning Framework)

基于上述分析，框架包含三个协同工作的模块：

1. 基于预处理的候选确定 (Dual-Threshold Mechanism)：
   • 利用 $MS^1$ 指标，设定双阈值（$\tau_{2D}, \tau_{3D}$）。
   • 若 3D 特征占比过低，仅保留 2D；若过高，仅保留 3D；若适中，则保留双模态。
2. 基于语义合成的候选确定 (Semantic-Baseline Mechanism)：
   • 根据语义聚类结果（背景/机器人/目标）设定不同的剪枝策略。
   • 背景：高比例随机剪枝（90%），因为背景信息冗余。
   • 机器人/目标：根据 $MS^2$ 指标动态调整。若 3D 依赖度高（如避障），保留双模态；若 2D 纹理主导，则仅保留 2D。
3. 基于动作迭代的候选选择 (Temporal Dynamics & EMA)：
   • 引入**指数移动平均（EMA）**机制和滑动窗口，利用历史帧信息平滑当前的剪枝决策。
   • 避免单帧噪声导致的决策抖动，确保剪枝策略在时间序列上的稳定性。
4. 融合策略：
   • 采用“由粗到细”的级联策略：先通过语义阶段进行空间粗剪枝（剔除背景），再通过预处理阶段进行模态细剪枝（剔除冗余模态）。
   • 设置冲突解决机制，确保关键区域的特征不被误删。

3. 主要贡献 (Key Contributions)

1. 理论分析：首次系统性地揭示了 MVLA 模型中 2D/3D 模态显著性在数据处理、语义合成和动作迭代三个阶段的差异与动态变化规律，回答了“谁在何时主导显著性”的问题。
2. 框架创新：提出了首个针对 MVLA 模型的三阶段自适应令牌剪枝框架，能够自动根据模态重要性和语义上下文选择最优剪枝配置。
3. 性能突破：在保持极低精度损失的前提下，实现了显著的推理加速，并验证了该方法在仿真和真实世界机器人任务中的有效性。

4. 实验结果 (Results)

• 仿真基准 (RLBench)：
  • 加速比：在平均任务成功率（SR）仅下降约 1.3%~2.5% 的情况下，实现了 2.49x ~ 2.55x 的端到端推理加速。
  • 对比基线：相比现有的 SOTA 剪枝方法（如 SP-VLA, VLA-Pruner），在相同剪枝率下，SR 高出 20%~40%。例如在"Close Box"任务中，基线方法在 50% 剪枝率下 SR 降至 13.3%，而本文方法保持在 70.0%。
  • 模态感知：实现了非均匀的剪枝率（例如 2D 剪枝 37%，3D 剪枝 62%），证明了自适应策略的有效性。
• 真实世界实验：
  • 在 Songling Piper 机械臂上验证，平均加速比达 2.3x，任务成功率下降小于 5%。
  • 观察到在关键交互阶段，3D Token 的剪枝率显著降低，符合理论分析。
• 开销分析：
  • 剪枝策略本身的计算开销极低（约 61ms），仅占总推理时间的 5.8%，远小于其带来的推理时间节省。
• 消融实验：
  • 证明了三个阶段缺一不可。特别是“语义阶段”对于防止关键 Token 被误删至关重要；“时间迭代阶段”对于利用 EMA 平滑决策、进一步提升速度至关重要。

5. 意义与价值 (Significance)

• 解决落地瓶颈：直接解决了 MVLA 模型因模态扩展导致的推理延迟过高问题，使其更有可能满足机器人实时控制（20-30Hz）的需求。
• 通用性启示：提出的“模态显著性分析”思想不仅适用于 VLA，也为未来多模态大模型（MLLM）的推理优化提供了新的视角，即不能简单地将单模态优化方法直接迁移，必须考虑模态间的动态交互与差异。
• 资源效率：在边缘设备或资源受限场景下，该框架能以极小的额外计算成本换取巨大的推理效率提升，推动了具身智能的普及。

总结：该论文通过深入分析 2D/3D 模态在 VLA 推理全过程中的动态显著性，设计了一套精细化的三阶段剪枝框架，成功在大幅加速推理的同时，最大程度地保留了模型对复杂空间任务的理解与执行能力。