技术摘要：轨迹中的捉迷藏 (Hide-and-Seek in Trajectories)

问题陈述

视觉-语言-动作（VLA）模型在使机器人能够遵循自然语言指令并在多样化任务中实现泛化方面展现了巨大潜力。然而，其在现实环境中的部署受到执行失败（例如掉落物体）的影响，这可能导致灾难性的后果。在执行过程中检测这些失败对于提高鲁棒性至关重要。

目前的失败检测方法面临两个主要局限性：

1. 监督成本： 获取步级（step-level）失败标注（即识别错误的精确时间戳）既昂贵又难以规模化，尤其是在长程、随机的轨迹中。现有的依赖于轨迹级标签的方法通常将这些标签均匀地传播到每个时间步。这种“均匀传播”会将失败前的正常动作错误地标记为失败，从而引入大量的标签噪声并掩盖了局部化的失败信号。
2. 计算实用性： 依赖于动作重采样或外部视觉语言模型（VLM）判别器的方法会产生极高的推理开销，阻碍了实时部署。此外，许多现有的检测器是为固定任务上的专用策略设计的，限制了它们在开放世界设置下作为通用型 VLA 应用的能力。

核心挑战在于解决粗监督失败检测（Coarsely Supervised Failure Detection）：即仅使用轨迹级的结局标签（成功/失败），在没有任何步级标注的情况下，学习一个精细化的逐步失败检测器。

方法论：捉迷藏 (Hide-and-Seek)

作者提出了 Hide-and-Seek，这是一个轻量级的运行时失败检测框架，它将该问题视为一个粗监督学习任务。该方法以“捉迷藏”命名，其隐喻是：失败信号“隐藏”在轨迹中大部分正常的行为之中，而检测器必须仅利用轨迹级的结局作为线索来“寻找”它们。

核心框架

该框架学习一个序列检测器 $f_\phi$，它将轨迹前缀 $\tau_{\le t}$（由内部动作嵌入组成）映射为一个标量失败得分 $s_t \in [0, 1]$。该方法并没有均匀地分配轨迹标签，而是采用了在两个互补粒度上的**对比目标（contrastive objective）**来定位具有指示性的失败动作：

1. 轨迹间对比损失 ($\mathcal{L}_{inter}$):

   • 目标： 从失败轨迹中区分出最具失败指示性的动作，并将其与成功轨迹中最像失败的动作（最难的假阳性）区分开。
   • 机制： 对于一对失败轨迹 ($\tau_f$) 和成功轨迹 ($\tau_s$)，该损失强制要求 $\tau_f$ 中的最大失败得分超过 $\tau_s$ 中的最大得分，且差值至少为一个边际值 $m_r$。
   • 效果： 这引导模型关注最显著的失败信号，而无需假设这些信号发生的具体位置，从而自适应地发现关键步骤。

2. 轨迹内对比损失 ($\mathcal{L}_{intra}$):

   • 目标： 构建失败轨迹内的时序动态，以分离“失败前（正常）”和“失败后”阶段。
   • 机制： 该方法将代理失败起始点 $t_{onset}$ 定义为得分增长最剧烈的点（$\arg\max_t (s_t - s_{t-1})$）。损失函数鼓励 $t_{onset}$ 之后的平均得分超过 $t_{onset}$ 之前的平均得分，且差值至少为一个边际值 $m_o$。
   • 效果： 这将粗粒度的轨迹级监督转化为具有时序结构的信号，确保得分在正常执行期间保持低位，并在失败起始点时急剧上升。

总目标函数为 $\mathcal{L} = \mathcal{L}_{inter} + \lambda \mathcal{L}_{intra}$。

运行时监控

在推理期间，检测器在每个时间步生成一个得分 $s_t$。为了确定失败报警，系统采用了函数式符合预测（Functional Conformal Prediction, CP）。系统从一组用于校准的成功轨迹集中构建一个随时间变化的阈值 $\zeta_t$。这保证了对于任何新的成功运行，轨迹级的误报率都被限制在用户指定的显著性水平 $\alpha$ 之内。当出现第一个满足 $s_t \ge \zeta_t$ 的时间步时，系统宣布发生失败。

架构

检测器 $f_\phi$ 是一个轻量级的序列模型（默认：单层 LSTM），处理从 VLA 的动作 Token 或动作头中提取的动作嵌入。为了减轻时间冗余，作者使用了带有平均池化的非重叠滑动窗口聚合。

核心贡献

1. 新颖框架： 引入了 Hide-and-Seek，它连接了粗监督学习与具身失败检测，使得仅通过轨迹级监督即可实现失败指示性动作的发现。
2. 对比目标设计： 采用双重损失机制（轨迹间和轨迹内）来区分不同轨迹之间以及同一轨迹内的失败信号，有效地将粗监督转化为具有时序结构的信号，而无需步级标注。
3. 全面评估： 在模拟基准测试（LIBERO-10, VLABench）和真实机器人平台（UFactory xArm 6）上，针对三种代表性的 VLA 策略（OpenVLA（自回归）、$\pi_0$ 和 $\pi_0.5$（流匹配））进行了广泛评估。

实验结果

该方法与 12 种基线方法进行了对比，包括 OOD 检测方法、多采样方法以及基于分类器的方法（如 SAFE）。

• 性能： Hide-and-Seek 在所有指标（平衡准确率 Balanced Accuracy, 加权准确率 Weighted Accuracy, 时间加权准确率 Time-weighted Accuracy）以及已见任务和未见任务上均达到了最先进的性能（SOTA）。
  • 在使用 OpenVLA 的 LIBERO-10 上，它在已见任务上的 bACC 比最强的分类器基线（SAFE-MLP）高出 +6.8%，在未见任务上高出 +7.2%。
  • 在使用 $\pi_0.5$ 的 VLABench 上，它在已见任务上的 TWA 比 SAFE-MLP 高出 +8.1%，在未见任务上高出 +10.8%。
  • 在真实世界实验中，它在已见和未见任务中均保持了稳定的性能，在未见任务上比 SAFE-MLP 的 bACC 提升了 +11.7%。
• 效率： 与基于 VLM 的运行时监控器（Qwen3-VL-8B）相比，Hide-and-Seek 的速度快了 >2,000 倍（每步 0.001s vs 2.343s），同时准确率高出 +13.1%。
• 消融研究：
  • 均匀标注： 本文提出的方法显著优于将轨迹标签均匀分配给所有时间步的基线方法（在 OpenVLA 上提升了 +19.4% bACC），证实了均匀传播会引入标签噪声。
  • 架构： 循环神经网络骨干（LSTM, GRU）的表现优于 MLP 和 Transformer，表明了建模时序上下文的益处。
  • 损失组件： $\mathcal{L}_{inter}$ 和 $\mathcal{L}_{intra}$ 都是必要的；虽然仅使用 $\mathcal{L}_{inter}$ 也能表现良好，但结合两者可以获得持续的改进。

重要性与主张

论文声称 Hide-and-Seek 为具身智能中的实时失败监控提供了一个实用且轻量级的解决方案。其意义在于：

• 消除标注成本： 它无需昂贵的步级失败标注，仅依赖于天然可获得的轨迹级结局。
• 泛化能力： 它展示了对未见任务和不同 VLA 架构（自回归和流匹配）的强大泛化能力，解决了以往专注于特定任务的方法的主要局限。
• 现实世界的可行性： 通过避免沉重的推理开销（不像重采样或 VLM 判别器），并通过符合预测实现理想的准确性-及时性权衡，它使得在真实机器人系统中进行鲁棒部署成为可能。

作者将这项工作定位为弱监督学习范式与具身智能特有挑战之间的一种新颖联系，为实现可靠的 VLA 部署提供了一条可扩展的路径。