技术摘要：WA-SpecDec

问题陈述

视觉-语言-动作（VLA）模型以自回归方式生成机器人控制指令，这产生了一个由重复的目标模型前向传播所导致的延迟瓶颈。虽然投机采样（Speculative Decoding）通过并行验证草拟标记块来加速这一过程，但近期的 VLA 方法引入了**松弛接受（relaxed acceptance）**规则。这些规则规定，如果草拟标记在动作标记空间内落在目标标记的固定容差（$\rho$）范围内，则予以接受，因为这承认了微小的标记偏差通常对应于相似的连续控制。

然而，本文指出，现有的松弛接受方案存在一个关键的场景无关性局限（scene-agnostic limitation）。固定的标记距离容差将所有偏差视为同等安全，而忽略了物理状态的影响。作者认为，在自由空间中无害的偏差在接近接触时（例如导致碰撞或抓取失败）可能是灾难性的。标准的 VLA 策略依赖于视觉补丁嵌入（visual patch embeddings），虽然这些嵌入语义丰富，但缺乏对预测物理状态（如物体姿态演变、夹具与物体距离或接触阶段）进行显式训练的能力。因此，松弛验证应用的是全局距离测试，而偏差的物理代价随场景而异，这迫使模型采用保守的容差，从而限制了加速效果。

方法论：WA-SpecDec

作者提出了 WA-SpecDec（世界感知投机采样，World-Aware Speculative Decoding），该框架在不改变松弛接受规则本身的情况下，将源自世界模型的物理场景感知注入到 VLA 的预填充（prefill）阶段。

核心架构

1. 世界感知偏差（World-Aware Bias, WAB）模块：

   • WAB 不通过添加额外的标记，而是生成一个与现有视觉补丁嵌入形状相匹配的空间对齐偏差向量（$w_t$）。
   • 输入处理： 当前的 RGB 观测值通过一个冻结的 VAE 编码器生成潜在场景图。该场景图经过标记化并由可训练的**空间视频编码器（Spatial VideoEncoder）**进行细化，以捕捉诸如物体姿态、遮挡和局部几何结构等与动作相关的因素。
   • 对齐： 这些“世界标记”在空间上与视觉补丁网格对齐，并投影到 VLA 的隐藏宽度，从而形成偏差 $w_t$。

2. 世界感知预填充（World-Aware Prefill）：

   • 在进行预填充计算之前，将偏差 $w_t$ 以逐元素方式添加到视觉补丁嵌入（$V_t$）中：$V_t^{wa} = V_t + w_t$。
   • 这创建了世界感知预填充隐藏状态（$h_t^{wa}$），它作为草拟提议（draft proposal）和目标验证（target verification）的共享条件状态。
   • 至关重要的是，这保留了原始 VLA 的动作标记接口和序列长度，避免了额外的自注意力计算开销。

3. 训练目标：

   • 动作预测： 模型被训练使用世界感知隐藏状态来预测演示动作标记。
   • 辅助下一帧潜在目标（Auxiliary Next-Frame Latent Objective）： 一个仅用于训练的 VideoHead 根据当前的世界标记预测下一帧的 VAE 潜在场景图。这种稠密预测损失（$L_{video}$）强制要求 WAB 模块编码能够预测短期物理变化的具有空间分辨率的线索。
   • 推理： 在推理阶段，辅助 VideoHead 被丢弃。仅使用当前观测值来计算 $w_t$，不再进行未来帧预测。

4. 投机采样循环：

   • 草拟模型被蒸馏，以便从与目标模型相同的世界感知隐藏状态（$h_t^{wa}$）中提出标记。
   • 目标模型使用标准的松弛接受规则（$Accept_\rho$）验证这些提议，但其参考分布现在是基于物理感知的 $h_t^{wa}$ 进行调节的。
   • 这种方法通过确保提议和验证均植根于相同的物理场景信号，改善了“接受-成功前沿（acceptance–success frontier）”。

核心贡献

1. 识别可靠性瓶颈： 本文强调了松弛投机采样中固定的标记距离容差无法考虑到随场景变化的物理风险，特别是在接近接触时。
2. WA-SpecDec 框架： 这是第一个将源自世界模型的物理场景感知集成到 VLA 投机采样中的框架。它通过在预填充计算前注入空间对齐的偏差来实现，从而产生共享的世界感知状态，且无需修改接受规则或增加序列长度。
3. 近接触失败（Near-Contact Failure, NCF）指标： 作者引入了 NCF 来量化接触敏感型的性能退化。它衡量了在失败发生时，夹具处于目标物体或容器临界阈值范围内的失败回合百分比。

实验结果

作者在四个 LIBERO 任务套件（Spatial, Object, Goal, Long）和 SIMPLER-Env 基准测试中评估了 WA-SpecDec，使用了三种不同的松弛接受方案（基于 $\rho$、KERV 和 HeiSD）以及多种目标策略（OpenVLA, ActionCodec）。

• 任务成功率： 与标准投机采样相比，在更宽松的松弛设置下，WA-SpecDec 保留了更高的任务成功率。
• 加速比： 在具有相当任务成功率的操作点上，WA-SpecDec 实现了比单纯 VLA 投机采样高出 1.5× 的匹配成功加速（matched-success speedup）。
• 可靠性： 相对于相应的投机采样基准，该方法将 NCF 平均降低了 18.6%。
• 接受长度： 该框架在更宽松的松弛设置下实现了更长的接受前缀，这表明世界感知调节允许更安全的偏差。

意义与主张

本文声称，WA-SpecDec 通过改进共享的条件状态而非改变接受逻辑，解决了松弛投机采样中的表示瓶颈。通过确保草拟提议和目标验证都植根于相同的预测性物理场景信号，该方法允许进行更激进的松弛（实现更快速度）而不牺牲接触附近的安全性。

作者强调，其方法具有模块化特征，且与现有的松弛接受方案兼容。它不需要更大的草拟模型或后验接受器；相反，它精炼了目标参考本身。实验结果表明，引入源自世界模型的物理感知对于在保持接触密集型操作任务可靠性的同时，提升具身 VLA 策略的速度至关重要。