技术摘要：信任你的直觉：面向视觉-语言-动作模型的置信度驱动测试时强化学习

问题陈述

视觉-语言-动作（VLA）模型已成为具身智能领域的一种变革性范式，然而其通过强化学习（RL）进行的优化面临着一个关键瓶颈：对外部环境反馈的高度依赖。现有的 VLA 强化学习方法通常需要预定义的成功信号、模拟器提供的奖励或人类标注来引导策略更新。这种依赖性将其效能局限于预定义场景，阻碍了真正的自主自我提升。

虽然测试时强化学习在离散领域（如数学和编程，通过多数投票法）中已展现出潜力，但将其转化为机器人操控任务却极具挑战。与具有单一、可验证答案的数学问题不同，机器人任务涉及连续的轨迹，其中多个不同的动作序列可以实现相同的目标，这消除了直观的地面真值（ground truth）进行自我反思。因此，目前缺乏能够使 VLA 模型在无需外部奖励监督的情况下，仅利用无标签轨迹进行自我优化的方法。

方法论：T2VLA 框架

作者提出了 T2VLA (Test-time VLA)，这是一个与架构无关的框架，通过利用模型的内部评估能力来实现自我引导的策略提升。其核心假设是：对于基于 Token 的 VLA 策略，生成置信度较高的轨迹在物理执行上成功的可能性显著更高。

该方法由四个关键部分组成：

1. 实证动机：置信度作为代理指标

作者通过实验证明，内部生成置信度（定义为生成的动作的长度归一化平均对数概率）与任务成功率之间存在强正相关性。这一观察结果验证了使用内在置信度作为自主自我引导可靠信号的可行性，从而取代了对外部环境奖励 ($R_{env}$) 的需求，转而使用内在奖励 ($R_{self}$)。

2. 置信度驱动的双专家引导机制

为了在没有外部验证的情况下提取高质量的参考轨迹，T2VLA 采用了双专家机制：

• 局部伪专家 (Local Pseudo-Expert)： 从当前批次的探索性展开（rollouts）中，选出针对特定任务置信度得分最高的轨迹作为“局部伪专家”。它作为一种即时的、在线策略（on-policy）的锚点，用于进行激进的探索。
• 全局专家池 (Global Expert Pool)： 为了确保训练稳定性并防止在次优探索期间发生策略崩溃，系统维护了一个动态的全局专家池。该池存储了每个任务中历史置信度最高的 $K$ 个专家。它作为一个稳定的行为基准，防止在当前展开效果较差时出现性能退化。

3. 基于 DTW 的混合相似度奖励

为了将专家引导转化为奖励信号，T2VLA 计算了探索性轨迹与专家之间的相似度分数。

• 动态时间规整 (Dynamic Time Warping, DTW)： 标准的欧几里得距离由于时间异质性（例如步调变化）无法捕捉连续控制中的相似性。T2VLA 利用 DTW 根据空间形态而非严格的时间索引来对齐轨迹，从而提供鲁棒的相似度度量。
• 自适应权重： 最终的内在奖励是与局部伪专家和全局专家池相似度的加权组合。权重 $w$ 根据局部专家的相对置信度进行动态调整。高置信度的局部发现会被优先考虑（$w \to 1$），而当处于不确定状态的批次时，则回退到历史专家（$w \to 0$）以确保稳定性。
• KL 惩罚： 应用 Kullback-Leibler 散度惩罚项来约束初始的有监督微调（SFT）模型，以防止过度优化并保持有效的行为分布。

4. 策略优化

该框架利用 群体相对策略优化 (Group Relative Policy Optimization, GRPO)。通过基于混合相似度机制计算出的内在奖励来计算优势函数（advantages），进而更新 VLA 策略。这创建了一个闭环，使模型能够仅利用内在信号不断精炼其执行能力。

核心贡献

1. 自我引导框架： 提出了 T2VLA，这是首个与架构无关的 VLA 测试时强化学习框架，它通过利用生成置信度与物理成功之间的内在相关性，消除了对外部监督信号的需求。
2. 双专家机制： 引入了一种置信度驱动机制，通过结合用于探索的局部伪专家和用于稳定性的全局专家池，并辅以基于 DTW 的自适应奖励，以防止误差累积。
3. 架构无关性： 证明了该框架兼容多种 VLA 范式，包括离散动作模型（OpenVLA-OFT）和连续流匹配模型（$\pi_0$, $\pi_{0.5}$）。

实验结果

研究在 LIBERO 和 RoboTwin 2.0 基准测试上进行了广泛实验。

• LIBERO 基准测试：
  • 基于 OpenVLA-OFT 的 T2VLA 实现了 97.2% 的平均成功率，超越了最先进的 SFT 模型（UniVLA 为 95.2%）以及同步进行的测试时训练方法 EVOLVE-VLA（95.8%）。
  • 其表现接近于拥有真实环境反馈的 Oracle 引导 RL 方法（SimpleVLA-RL 为 99.1%），尽管 T2VLA 未使用任何外部奖励。
  • 对于连续动作模型，T2VLA 将 $\pi_0$ 的平均成功率提升了 24.2%（从 57.7% 提升至 81.9%），并将 $\pi_{0.5}$ 提升了 8.0%。
• RoboTwin 2.0（双臂控制）：
  • T2VLA 在不同的执行时界（execution horizons）下均表现出显著增益，平均比 SFT 基线提升了 21.3%。值得注意的是，它将“敲击锤子 (Beat Hammer)”任务的成功率从 28.1% 提升到了 68.0%。
• 消融实验：
  • 双专家设计（结合局部和全局专家）的表现优于仅使用其中任一组件的设计，验证了它们的互补作用。
  • 确定了最优池容量（$K=5$），在参考多样性和质量控制之间取得了平衡。
  • DTW 对齐被证明优于欧几里得距离，在时间偏移的情况下恢复了更鲁棒的空间相似度分数（0.9460 对比 0.6914）。
  • 该框架在长时程任务的极端 1-shot 设置下表现出局限性，表明存在一个“先验阈值”，即初始化不足会导致策略崩溃。

意义与主张

本文声称 T2VLA 建立了一种可扩展的、由内在奖励驱动的范式，用于具身智能。通过证明模型的内部信号可以有效地引导连续且自主的策略提升，这项工作为机器人的“经验时代”指明了路径，即模型可以直接从其自身的无标注轨迹中学习。

作者强调，这种方法打破了对预定义场景和外部奖励工程的依赖，使 VLA 模型能够实现与 Oracle 引导的 RL 相媲美的自我提升。该框架适配不同 VLA 架构（离散与连续）的能力，进一步凸显了其作为机器人领域测试时强化学习通用解决方案的潜力。