🤖 machine learning

BOKBO (Best of K Bad Options): Calibrated Abstention for VLA Policies

本文介绍了 BOKBO，这是首个针对 K-样本 VLA 推理的符合性弃权层（conformal abstention layer），它通过解决现有非符合性评分中的结构性失效并纠正力阈值设定中的方法论陷阱，为执行违规率提供了有限样本分布无关的保证，从而显著提升了在多种基准测试和分布偏移下的安全性校准与任务成功率。

原作者： Anya Singh, Cabrel Happi, Jai Relan, Varun Nair, Vidyut Baradwaj

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Anya Singh, Cabrel Happi, Jai Relan, Varun Nair, Vidyut Baradwaj

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一个机器人执行精细的任务，比如倒番茄酱或抹黄油。为了让机器人更安全、更可靠，工程师们使用了一个叫做 K-样本缩放（K-Sample Scaling） 的技巧。他们不是要求机器人只做一个动作，而是让它想象 K 种不同的可能动作（比如 8 种不同的倒番茄酱方式），然后从中选出“最好”的一个来实际执行。

问题在于：如果这 8 个想象中的动作全都是危险的怎么办？

现有的方法有一个盲点。它们假设只要生成的选项足够多，其中至少会有一个是安全的。如果 8 个都很糟糕，机器人仍然会选择那个“没那么糟”的动作并执行它，从而导致碰撞或洒出。这就像是让一位厨师从 8 个烂苹果中选出一个最好的；他们还是会选一个，结果你得到了一盘烂沙拉。

这篇论文介绍了一种名为 BOKBO（Best of K Bad Options，即“K 个糟糕选项中的最佳选择”）的新型安全层，旨在解决这个问题。以下是它的工作原理，我们使用简单的类比来解释：

1. “安全守门员”（共形弃权/Conformal Abstention）

把 BOKBO 想象成站在机器人面前的一位严格的安全守门员。

旧方法： 守门员看着 8 个选项，选出“最好”的一个并放行。如果 8 个都很糟糕，守门员还是会将那个最差的放行。
BOKBO 的做法： 守门员有一条特殊规则：“如果我无法保证所选动作是安全的，我会直接让机器人停止动作。”
结果： 机器人有时可能无法完成任务（它选择了“弃权”），但当它行动时，你可以获得一个数学保证，即发生安全违规的概率极低（在他们的测试中低于 5%）。

2. “坏掉的指南针”（为什么旧方法会失败）

研究人员发现了为什么之前的安全检查会失效。他们尝试使用机器人已经生成的两个“免费”信号：

置信度（Confidence）： 机器人对自己的动作有多确定。
分歧度（Disagreement）： 这 8 个选项彼此之间有多不同。

类比： 想象你正在尝试预测天气。

错误之处： 研究人员意识到，“分歧度”信号实际上并没有测量机器人对天气的“不确定性”。相反，它只是在测量研究人员在投掷骰子前摇晃了多少次。
现实情况： 在他们的设置中，机器人通过添加随机“噪声”（摇晃骰子）来生成 8 个选项。他们添加的噪声越多，选项之间的分歧就越大。机器人的“分歧度”得分仅仅是一个衡量噪声水平的温度计，而不是危险探测器。这就像是一个烟雾报警器，只有在你对着它喷香水时才会响，但真正的火灾发生时却保持沉默。

3. “聪明的侦探”（学习型预测器）

由于机器人的内部信号在撒谎（或者说，它们测量的是错误的对象），研究人员构建了一个小型、独立的 AI 侦探（“学习型违规预测器”）。

这个侦探会观察机器人的选项以及视觉场景（通过摄像头）。
它专门针对识别危险进行了训练，从而忽略了机器人产生的“噪声”。
结果： 这个侦探能够真正分辨出安全动作与危险动作，从而让安全守门员做出正确的判断。

4. “量体裁衣” vs “一刀切”

论文还发现，安全性对于每项任务来说并不相同。

问题： 一个“全局性”的安全规则（例如“不要施加超过 50 牛顿的力量”）对于处理软质物体（如处理番茄）来说太严苛，而对于处理硬质物体（如处理重瓶子）来说又太宽松。这会导致误报或漏掉危险。
解决方法（Mondrian）： BOKBO 为每个特定任务创建定制的安全规则。它学习人类专家在处理番茄酱与处理黄油时分别施加了多大的力，并据此设定安全限制。这使得系统更加可靠。

5. “模拟现实检验”

研究人员在高度逼真的计算机模拟环境（MuJoCo）中测试了该系统。

他们发现 BOKBO 成功地阻止了机器人做出危险动作，覆盖了 86% 的测试案例，同时仍让机器人完成了任务 70% 的时间。
如果没有 BOKBO，机器人虽然会通过停止动作来实现“安全失败”，但当它行动时，出错率会达到 8.6%。有了 BOKBO，这个错误率降到了大约 3%。

总结

论文指出，如果不知道如何表达“这些选项都不安全”，那么仅仅要求机器人“尝试几种方法并选出最好的”是不够的。

旧方法： “在糟糕的选项中选最好的。”（无声的失败）。
BOKBO： “如果没有任何选项是安全的，那就停止。”（安全的失败）。
核心洞察： 当你在人工添加噪声以生成选项时，你不能信任机器人自身的“置信度”或“分歧度”得分。你需要一个专门的“侦探”来寻找真正的危险。

论文结论认为，这种方法在模拟环境中表现良好，并提供了数学上的安全保证，但也指出，在真实的物理机器人上进行测试是下一步的必要步骤。

技术摘要：BOKBO —— 最优的 K 个糟糕选项 (Best of K Bad Options)

问题陈述
针对视觉-语言-动作（VLA）策略的测试时缩放（test-time scaling）已成为一种标准的可靠性技术，即采样 $K$ 个候选动作块并由验证器或评分器选出“最优”的一个。然而，这种范式依赖于一个关键且往往无法实现的假设：即在 $K$ 个候选样本中，至少有一个是安全且能完成任务的。当所有 $K$ 个候选样本都不安全时，系统仍会执行“验证器最优”的候选样本，无论其绝对质量如何，从而导致没有任何警告机制的“沉默失败”。现有方法缺乏检测这些“全不安全”单元或在具备安全性保证的情况下进行弃权执行的正式机制。此外，先前的工作假设“免费”信号（指无需额外推理成本即可获得的信号，如基础策略置信度或 $K$ 样本不一致性）与策略不确定性相关；本文证明，在基于扰动的采样下，这一假设会发生灾难性的失效。

方法论：BOKBO
作者引入了 BOKBO（Best of K Bad Options），这是首个专门为 $K$ 样本 VLA 推理设计的共形弃权层（conformal abstention layer）。BOKBO 根据校准后的分数决定执行还是弃权，为非弃权决策中的不安全执行率提供有限样本、分布无关的上界。

共形风险控制 (CRC)： 该方法将 CRC 应用于 $K$ 样本设置。它训练一个预测器来估计违反安全性（ $v=1$ ）的概率，并在留置校准集上校准阈值 $\hat{\tau}$ 。仅当预测器得分 $s_\theta \le \hat{\tau}$ 时，系统才会执行。
非一致性得分 (Nonconformity Scores)： 本文评估了三种评分机制：
1. VLA 置信度代理： 所选动作块的基础策略对数概率。
2. $K$ -样本不一致性： 候选样本间最大成对 $L_2$ 距离。
3. 学习型违规预测器： 一个小型 MLP，通过语义视觉特征（DINOv2）、本体感受状态和任务身份进行训练，直接预测违规情况。
Mondrian 校准： 为了解决不同任务间违规率异质性的问题，作者实现了 CRC 的 Mondrian（逐任务）变体。这确保了安全性边界在每个特定任务上是条件成立的，而不仅仅是在整个数据集上进行边际成立。
安全性标注： 一个关键的方法论修正涉及定义安全性标签。作者发现，全局设置的力阈值（例如 50N）会导致违规率虚高 5 倍，因为对于许多任务而言，该阈值超过了专家典型的操作力。他们提出了基于每任务专家校准的阈值，定义为 $\max(50\text{N}, p99(\text{专家最大力}) + 10\text{N})$ 。

关键发现与诊断分析
论文最重要的诊断性发现是基于扰动的 $K$ 采样下“免费”信号的结构性失效。

扰动 vs. 不确定性： 在动作空间高斯扰动下（其中候选样本生成方式为 $a_k = a_0 + \sigma\xi_k$ ），VLA 置信度代理和 $K$ -样本不一致性与噪声超参数 $\sigma$ 的相关性为 0.98，但与实际的安全违规的相关性极低（Spearman $\approx -0.05$ ）。
机制： 这些信号测量的是注入扰动的幅度，而非策略内部的不确定性。
边界条件： 作者测试了标记级温度采样（通过策略随机性而非注入噪声产生多样性）。在此机制下，免费信号与采样超参数的相关性下降（从 0.98 降至 0.41），且信号重新获得了一些安全性信息。然而，学习型预测器在两种机制下均表现更优。

实验结果
实验在 OpenVLA-OFT 和 $\pi_0$ -FAST 主干网络上进行，并在 LIBERO 套件（具体为 libero_object_temp_x0.1 和 libero_spatial_temp_x0.1）上进行了微调。

安全性保证： 在目标违规率 $\epsilon = 0.05$ 下，针对 libero_object，条件 CRC 边界在 86% 的自助抽样拆分中成立；针对 libero_spatial 则为 83%。
性能： 使用学习型预测器，BOKBO 在 libero_object 上实现了 78% 的覆盖率 和 70% 的净任务成功率，恢复了 87% 的 Oracle 安全性提升。
Mondrian 变体： 每任务变体将最低每任务条件成立率从 0.71（全局）提升至 0.93，显著提高了对“番茄酱”和“牛奶”等高风险任务的可靠性。
分布偏移： 该边界在四种套件内分布偏移（温度、物体和跨套件偏移）下依然成立，但在动作噪声水平 $\sigma$ 超出校准范围时会发生退化。
架构特异性： 学习型预测器具有策略特异性；在 OpenVLA-OFT 数据上训练的预测器直接应用于 $\pi_0$ -FAST 时会失效（条件成立率降至 0.42），因此需要针对特定的主干网络进行校准。

意义与主张
该论文声称了三个主要贡献：

形式化保证： BOKBO 为 $K$ 样本 VLA 推理提供了首个形式化的、有限样本的、分布无关的弃权保证，使系统能够拒绝不安全的动作，而不是发生沉默失败。
结构性诊断： 该工作揭示了在基于扰动的采样中依赖“免费”信号进行安全保障的根本缺陷。它阐明了此类信号追踪的是扰动机制而非策略不确定性，这一区别对于设计可靠的机器人控制器至关重要。
方法论修正： 论文通过展示全局力阈值对于操作任务是不充分的，纠正了安全性评估中的陷阱，并提出了能够产生现实违规率的每任务专家校准方法。

局限性
作者指出，目前所有的实验均在 MuJoCo 仿真 中进行。实际世界的部署需要验证每任务力阈值向物理机器人的迁移，并集成运行时力监测。此外，该方法需要每任务专家演示（每个任务 25 个）来进行校准，目前仅限于 LIBERO 系列基准测试和特定的 VLA 主干网络。