An Abstract Architecture for Explainable Autonomy in Hazardous Environments
本文提出了一种抽象架构，旨在为危险环境下的自主机器人系统嵌入可解释性，从而培养人类信任，并通过一个民用核工业案例展示了其设计模板。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在雇佣一个高技能机器人去从事一项危险的工作，比如清理核废料场。你不仅想要一个能够胜任这项工作的机器人，你还想要一个你可以信任的机器人。但是，对于一个会自主做出决策的机器，你该如何建立信任呢？根据这篇论文的观点，答案在于构建一个能够解释自身行为的机器人。
作者 Matt Luckcuck、Hazel M. Taylor 和 Marie Farrell 提出了一种特定的“蓝图”（一种抽象架构），用于构建这些值得信赖且具备自我解释能力的机器人。以下是他们构思的具体运作方式，通过简单的概念进行了拆解：
1. 问题所在：“黑箱”困境
通常情况下，当我们使用复杂的软件时，它就像一个黑箱：你输入一些东西，然后得到一些输出，但你完全不知道内部发生了什么。如果机器人在危险环境中做出了令人恐惧或意外的决定，人类（工人和监管人员）需要知道其背后的原因。如果他们不理解其中的“为什么”，他们就会失去信任，从而导致机器人变得毫无用处。
论文指出，你不能在最后才强行添加一个解释功能，就像在汽车造好后再加装后视镜一样。相反，解释的能力必须从一开始就植入机器人的大脑中，就像安全特性一样。
2. 解决方案：“中央执行器”
作者建议为机器人的大脑设计一种特定的架构。想象一下，机器人拥有一个中央执行器（Central Executive），它充当整个行动的首席执行官（CEO）。这位 CEO 有两名主要助手：
规划者（BDI 智能体）： 这是机器人的“思考”部分。它使用一种被称为**信念-欲望-意图（BDI）**的逻辑系统。
- 信念（Beliefs）： 机器人对世界的认知（例如：“这里有一面墙”）。
- 欲望（Desires）： 机器人想要实现的目标（例如：“我需要检查 B 点的辐射水平”）。
- 意图（Intentions）： 机器人目前为了实现目标正在采取的行动（例如：“我正在向 B 点行驶”）。
- 类比： 这就像人类驾驶员。他们相信前方有交通堵塞，他们渴望回到家，所以他们打算绕道行驶。由于这种思考过程是基于清晰、逻辑化的规则（类似于数学）进行的，因此很容易检查其逻辑是否严密。
解释者（The Explainer）： 这是机器人的“发言人”。它紧挨着 CEO 坐着，并倾听着发生的一切。它并不只是在猜测；它与 CEO 的记录和决策有着直接的联系。
3. “全知之眼”是如何运作的
在许多机器人设计中，不同的部件直接相互通信，导致“大脑”可能会遗漏“手”或“眼”正在发生的事情。
在这种新架构中，所有信息首先流向中央执行器。
- 类比： 想象一家繁忙的餐厅。通常情况下，服务员可能会直接与厨师交流。但在这种设计中，每一份订单和每一次更新都必须先经过店长的办公桌。店长能看到一切：顾客的订单、厨师的准备时间以及服务员的路线。
- 由于“解释者”是中央执行器的组成部分，它拥有关于机器人所知及所做决定的完整记录。当人类问“你为什么要那样做？”时，解释者可以立即调取精确的事件日志。
4. 两种类型的解释
论文强调，该系统可以回答两种特定类型的问题：
A. “你为什么要那样做？”（回顾过去）
- 场景： 机器人原本正驶向 A 点，但突然转向了 B 点。
- 解释： 解释者检查日志并说明：“我的传感器探测到 A 点和 B 点之间有障碍物（信念）。我的规则是‘不要撞击障碍物’（欲望）。因此，我选择了前往 B 点（意图）。”
- 作用： 这证明了机器人并非出现了故障，而是做出了基于安全逻辑的选择。
B. “你为什么不能那样做？”（展望未来）
- 场景： 一位检查员问道：“你为什么不能直接开到那个放射性桶旁边？”
- 解释： 机器人不会只说“不行”。它会在大脑中进行一次模拟（“演习”）。它尝试规划这一动作，发现这违反了一项安全规则，然后反馈道：“我不能去那里，因为我的地图显示那里离桶太近，且我的安全规则禁止这样做。”
- 作用： 这让人们可以在机器人实际移动之前，测试其决策的安全性。这就像是机器人的决策飞行模拟器。
5. 现实世界测试案例
作者在核废料检测漫游车上测试了这个想法。
- 工作内容： 在核存储设施周围行驶，检查辐射水平，并与放射性桶保持安全距离。
- 结果： 他们展示了如果出现障碍物，机器人可以解释为何改变路径。如果人类询问为何无法前往某处，它能够解释阻碍它的安全规则。
总结
这篇论文提出了一个让机器人实现设计即透明的蓝图。通过强制要求所有决策都通过一个使用清晰逻辑规则（BDI）的中央“CEO”，并让一个“发言人”（解释者）紧随其后，这些机器人能够向人类证明其行为的正当性。这建立了必要的信任，使人类能够让机器人在核设施、极端天气或深海等危险环境中开展工作。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。