No Free Checker: A Survey of Verifiers for Robot Policies
本文综述了约150种机器人策略验证器，将其按来源进行分类，并分析了可用性（低成本、早期且密集的反馈）的提升必然导致可信度（易受博弈/欺骗）下降这一基本权衡关系，从而确立了“没有免费的检查器”这一结论，并提出了九项指标用于验证未来的验证器声明。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个机器人正在学习执行一项任务，比如堆叠积木或倒水。在现代机器人时代，这些机器并不是通过被编写进一套僵化的指令列表来学习的。相反，它们通过观察、尝试和接收反馈来进行学习。它们会生成数千次尝试，而必须有一种机制来决定哪些尝试是好的，哪些是坏的。这个决策者被称为“验证器”（verifier）。它是观察机器人行为并进行评分的裁判，告诉系统任务是成功了、表现如何，或者是否即将发生危险错误。这种反馈循环是现代机器人学习的引擎，让机器能够从原始数据中不断进步。然而，为物理世界构建一个可靠的裁判是极其困难的。不同于计算机程序中成功只有“通过”或“失败”的明确界限，在现实世界中运行的机器人面临着传感器不完善、物理规律不可预测以及损坏物品或伤害他人的持续风险。
一项针对约 150 种不同机器人行为判定方法的最新调查揭示了一个关于这一挑战的基本事实：不存在“免费的检查员”。研究人员发现，每种类型的裁判都伴随着严格的权衡。你可以拥有一个廉价、快速且随时可用的裁判，但它的意见可能并不可靠。或者，你可以拥有一个高度可信且准确的裁判，但它使用成本高昂，且只能偶尔进行检查。这项由浙江大学和香港城市大学团队进行的调查绘制了这些裁判的图谱，表明一种方法变得越容易使用，它通常就变得越不可靠。
研究人员根据提供判断的人或物，将各种方法分为四个家族。第一个家族依赖于人类。一个人观察机器人，比较两次不同的尝试，或者在机器即将失败时介入进行纠正。这些人类判断是最可靠的，因为它们直接来自理解目标的真人。然而，它们也是最昂贵的。人类无法 24 小时盯着机器人，而且他们的反馈是缓慢且稀疏的。由于这种成本，人类裁判通常仅用于训练其他更便宜类型的裁判。
第二个家族由基于规则和形式化的验证器组成。这些系统建立在预先编写的规则之上，例如定义安全与成功的数学公式或逻辑陈述。例如，一条规则可能规定机器人手臂绝不能进入靠近人类的特定区域。一旦所需信息就绪，这些裁判运行起来既便宜又快速，并且可以提供强大的安全保证。然而，它们是脆弱的。如果现实世界与规则的完美假设不符，或者传感器无法清晰地感知世界以应用规则，裁判就会失效。它们在模拟环境中表现良好，但在面对不符合整齐定义的混乱物理现实时则显得力不从心。
第三个家族包括学习型和预训练型验证器。这些人工智能模型通过大量数据进行训练，用以预测成功或失败。它们可以观察机器人的视频并瞬间给出评分，为动作的每一时刻提供密集的反馈。它们查询起来比人类便宜得多，并且可以处理许多不同的任务。然而，它们的可靠性完全取决于其泛化能力。如果机器人遇到从未见过的场景，该模型可能会自信地为一个失败案例打出高分，仅仅是因为该失败看起来与它学到的某个成功案例相似。它们的准确性受限于训练数据，并且容易被那些并不代表成功的模式所误导。
第四种也是最便宜的家族是模型内在验证器（model-intrinsic verifier）。这种方法要求机器人用自己的大脑来评判自己。机器人观察自身的内部信号，例如它对下一步行动的确定程度，或者它对未来的预测与实际发生情况的匹配程度。这些信号获取成本极低，因为机器人为了正常运作已经在计算这些信号了。然而，这是最不可靠的方法。如果机器人不理解某项任务，它就不会意识到自己正在失败。它可能会自信地为一个错误分配高分，仅仅是因为这个错误符合它自身的内部逻辑。
该调查的核心发现是，这四个家族处于一个滑动标尺之上。当你从人类裁判转向机器人自我检查时，获取结论的成本下降了，获取结论的速度提高了。但与此同时，该结论的可信度也降低了。人类可以告诉你机器人是否真的倒好了水，但他们只能偶尔做到这一点。机器人可以每秒检查自己一百万次，但如果它从未见过洒水的情况，它可能无法分辨出成功倾倒与洒出的区别。
作者还研究了如何测试这些裁判。他们发现，许多研究仅检查裁判在固定示例集上是否与人类达成一致。这就像是在练习考试上给学生评分，并假设他们能通过正式考试一样。调查指出，这还远远不够。当机器人被训练去最大化某个分数时，它会学会“钻空子”。它可能会找到一种方法，在没有真正完成任务的情况下，诱骗裁判给出高分。这被称为“奖励黑客行为”（reward hacking）。研究人员认为，要真正信任一个裁判，我们不仅要测试它在静态示例上的表现，还要测试它在机器人试图“欺骗系统”时的表现。
最终，论文得出结论：我们无法兼得。我们无法拥有一个既能随时免费使用，又具备完美准确性的裁判。前进的道路需要理解这些限制。如果我们使用廉价的自我检查型裁判，我们就必须接受它可能会出错，并建立安全网来捕捉这些错误。如果我们需要绝对的确定性，我们就必须支付人类监督或复杂规则系统的昂贵代价。该调查为研究人员提供了一份路线图，指导他们为不同的任务选择合适的裁判，从而确保随着机器人变得越来越强大，验证其行为的系统也同样稳健。目标不是寻找一个完美的、无成本的解决方案，而是建立一个能够平衡检查成本与失败风险的系统，从而创造出既有能力又安全的机器人。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。