技术摘要：ROAD-VLA

问题陈述

视觉-语言-动作（VLA）模型（如 OpenVLA）通过大规模预训练展示了强大的泛化能力。然而，由于在预训练期间未涵盖的分布偏移（例如：新颖的物体外观、传感器噪声、执行错误），将这些模型部署在现实世界场景中仍然具有挑战性。

虽然强化学习（RL）提供了一个无需新专家演示即可进行在线适应的框架，但标准的算法（如近端策略优化 PPO）在 VLA 背景下面临着显著障碍：

1. 稀疏奖励： 机器人任务通常提供延迟且稀疏的奖励，导致策略梯度具有高方差。
2. 优化不稳定性： 高维自回归动作策略难以使用稀疏信号进行优化，往往会导致对预训练能力的灾难性遗忘。
3. 基于文本的自我蒸馏无效： 先前尝试使用基于文本的“特权”教师（以演示、检索到的经验或高层规划为条件）进行自我蒸馏的尝试均告失败。作者指出存在一个模态间隙（modality gap）：符号化的语言引导无法有效地弥合与底层连续机器人动作之间的差距，尤其是在模型经过指令-动作对后训练后，其对于通用语言提示的推理能力可能会下降。

方法论：ROAD-VLA

作者提出了 ROAD-VLA（通过自我蒸馏实现的鲁棒在线适应），该框架直接在动作空间中构建了一个近端教师（proximal teacher），从而将稀疏的标量奖励转换为稠密的、标记级（token-level）的监督信号。

核心机制

ROAD-VLA 不依赖于外部教师或文本提示，而是通过基于**优势估计（advantage estimates）**对当前学生策略的动作标记逻辑值（action-token logits）进行扰动，从而生成教师分布。

1. 优势引导的特权上下文：

   • 系统利用优势估计 ($\hat{A}_t$) 来确定哪些动作是有益的。
   • 为了确保稳定性，优势是一个校准后的混合体，结合了内在估计（来自当前策略）和参考估计（来自冻结的 PPO 评论家/critic）。
   • 应用了符号一致性门控（sign-agreement gate）：只有当参考估计在符号上与内在估计一致时，才会进行混合，以防止失准的评论家覆盖掉在策略内的证据。

2. 近端教师构建：

   • 教师分布 $q^*$ 通过使用校准后的优势权重 ($\omega_t$) 扰动学生逻辑值 ($z_{t,k}$) 来导出：
     $$q^*_{t,k} = \text{softmax}(z_{t,k} + \eta \omega_t e_{\hat{a}_{t,k}})$$
   • 这种扰动是 KL 正则化局部改进问题的闭式解。它有效地提升了被估计为有益的动作的概率，并降低了其他动作的概率，从而创建了一个“局部改进版”的学生策略。

3. 蒸馏目标：

   • 学生策略通过最小化学生分布与优势引导的教师分布之间的 前向 KL 散度（Forward KL divergence） 进行训练。
   • 与 PPO 不同（PPO 将优势作为单个采样动作的标量权重），ROAD-VLA 将此信号扩展为覆盖所有动作标记的完整分布。这在每个时间步和每个标记维度上都提供了稠密监督。

理论保证

论文推导了一个策略改进下界（定理 1）。它证明了在温和的校准条件下（即整形后的奖励与真实优势一致）以及准确的教师匹配下，向该优势引导的近端教师进行蒸馏可以保证策略的改进。该界限将改进项与教师和原始策略之间的 KL 散度联系起来，同时将蒸馏代价限制在学生与教师的不匹配程度之内。

核心贡献

1. 框架提出： 引入了 ROAD-VLA，这是一个自我蒸馏框架，通过利用校准后的优势扰动动作空间的逻辑值来构建近端教师，消除了对外部教师模型或额外演示数据的需求。
2. 理论分析： 通过正式证明表明，在特定的校准条件下，优势引导的自我蒸馏具有策略改进保证。
3. 实验验证： 在涵盖视觉、组合性和执行分布偏移的七个机器人操控环境中进行了全面的评估。

实验结果

作者使用 OpenVLA-7B 作为基础架构对 ROAD-VLA 进行了评估，并在分布内（ID）和分布外（OOD）设置下将其与强力的 PPO 基线进行了对比。

• 性能表现： ROAD-VLA 在几乎所有设置下均优于 PPO。
  • ID 性能： 从 85% (PPO) 提升至 88% (ROAD-VLA)。
  • OOD 性能： 从 69% (PPO) 提升至 73% (ROAD-VLA)。
  • 鲁棒性： 从 ID 到 OOD 的性能下降幅度 ($\Delta$) 从 16.3% (PPO) 降低至 14.6% (ROAD-VLA)。
• 特定环境： 在视觉鲁棒性（如 VR-DynamicTexture）和执行鲁棒性（如 ER-Repositioning）方面观察到了显著的改进，其中 ROAD-VLA 表现出更快的收敛速度和更高的峰值成功率。
• 消融实验：
  • 基于文本的特权信息： 用基于文本的提示（如 MCTS、空间描述）替换优势引导信号会导致性能崩溃，证实了模态间隙的存在。
  • 损失函数： 使用 Jensen-Shannon 散度（JSD）代替前向 KL 会降低性能，表明在前向上下文中，前向 KL 更擅长实现模式覆盖（mode-covering）。
  • 门控机制： 去除符号一致性门控会导致性能轻微下降，凸显了其在防止来自冲突评论家信号的“蒸馏反转”方面的作用。

意义与主张

论文声称 ROAD-VLA 为大规模具身智能体的微调提供了一条可扩展的路径。其主要意义在于解决了 VLA 适应中稀疏奖励的根本局限性。通过将标量优势估计转换为稠密的标记级监督，该方法稳定了在线学习，并防止了标准 RL 方法中常见的灾难性遗忘。

作者强调，这种方法使机器人能够在保持预训练骨干网络基础知识的同时，精炼其物理精度。他们明确指出，这项工作超越了“直觉化但往往无效的文本驱动蒸馏”，确立了以动作为中心、基于价值的信号对于有效的 VLA 适应是必要的。

作者注明的局限性：

• 实验是在模拟器中进行的（取放任务）。
• 该框架依赖于一个参考 PPO 评论家，该评论家在面对巨大的分布偏移时可能会退化。
• 需要在物理机器人、长时程任务以及更广泛的任务分布上进一步验证该方法。