Engineering Reliable Autonomous Systems: Challenges and Solutions
本研讨会报告综合了 2024 年 6 月 ERAS 活动的讨论内容，旨在呈现构建可靠自主系统所面临的挑战全集以及解决方案的战略路线图，从而弥合学术验证技术与工业实践之间的鸿沟。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正在组建一支机器人助手团队，去执行危险、困难或枯燥的工作——比如清理太空垃圾、灭火，或者帮助医生进行患者分诊。你希望这些机器人足够聪明，能够自主解决问题，但同时你也需要它们百分之百可靠。如果它们犯了错，后果可能是灾难性的。
这篇论文是一份来自专家会议（“研讨会”）的报告，他们聚集在一起，研究如何安全地构建这些机器人。他们意识到，构建机器人“大脑”（人工智能与逻辑）的人与构建“安全网”（检查错误的工程师）的人，一直在使用不同的语言。这次会议的目的就是让他们能够使用同一种语言。
以下是利用简单类比对他们研究结果的解读：
1. 问题所在：两个不同的世界
将形式化方法（数学证明）的世界想象成一群在纸上绘制完美蓝图的建筑师。他们非常擅长证明一座建筑在理论上应该屹立不倒，但他们有时会忘记现实中还存在风和雨。
将认知机器人学（人工智能与智能体）的世界想象成一群优秀的飞行员。他们非常擅长在风暴中飞行并应对突发状况，但有时他们并没有一份完美的蓝图来证明自己为什么要做出特定的转向。
论文指出，为了构建可靠的自主系统，我们需要将完美的蓝图与技术精湛的飞行员结合起来。
2. “试驾”案例（案例研究）
专家们研究了 11 个真实的案例，以观察哪些地方做得好，哪些地方出了错。可以将这些视为不同类型的机器人“驾驶测试”：
- 太空碎片清除： 一个试图抓取太空中漂浮垃圾的机器人。挑战在于？如果它抓偏了，垃圾可能会撞击到其他物体。
- 矿井检测： 一架在没有 GPS 的黑暗矿井中飞行的无人机。如果失去信号，它必须知道如何安全地飞回原处而不发生碰撞。
- 医院分诊： 一个帮助医生决定哪位患者需要优先救治的机器人。这里的挑战不仅是物理层面的，还涉及信任。机器人必须解释它为什么做出某个选择，这样医生才能信任它。
- 消防无人机： 一个寻找火源并喷洒水的机器人。它必须在烟雾中识别火源，并在靠近燃烧建筑时进行导航。
教训： 在所有案例中，机器人在“练习场”（模拟环境）中表现良好，但现实世界是混乱且多变的。“练习场”与“现实世界”之间的差距是最大的障碍。
3. 什么是“好”的机器人？（品质与能力）
论文认为，一个机器人不仅仅是在不发生碰撞的情况下才算“可靠”。它需要具备一整套优秀的特质：
- 可信赖性： 它不仅要安全，还要公平、诚实并尊重人类规则。
- 可解释性： 如果机器人在红灯前停下，它应该能告诉你：“我停下是因为我看到了红灯”，而不仅仅是说“我停下了”。
- 适应性： 如果道路发生了变化或传感器损坏，机器人应该能够调整其计划，就像人类驾驶员在遇到交通拥堵时重新规划路线一样。
- 隐私性： 它不应该窥探人们的数据。
4. 我们如何检查它们是否安全？（验证）
如何证明一个机器人不会伤害任何人？你不能仅仅通过测试一百万次来证明，因为世界实在太大了。
- “黑盒”问题： 许多机器人使用“神经网络”（像大脑一样学习的 AI）。这就像一个黑盒：你输入数据，它输出答案，但你并不清楚这个“大脑”究竟是如何做出决策的。检查这些系统非常困难。
- 解决方案： 论文建议使用多种工具组合。
- 数学证明： 用于那些需要绝对完美的部分（例如“绝不撞到人类”）。
- 运行时监控器（Runtime Monitors）： 一个在机器人工作时进行监视的“安全卫士”。如果机器人开始做出异常行为，卫士会按下刹车。
- 模拟仿真： 先在视频游戏世界中进行测试。
5. 未来的蓝图（架构）
专家们讨论了构建机器人大脑的两种主要方式：
- MAPE-K： 这就像一个具有自我调节功能的恒温器。它不断地监测温度，分析是否过热，计划开启空调，并执行开关动作。它非常擅长保持系统的稳定。
- BDI： 这就像一个目标导向的规划器。它拥有信念（它认为什么是真实的）、欲望（它想做什么）和意图（它当前正在做什么）。它非常擅长处理复杂的决策。
核心思想： 不要在这两者之间做单选题。将它们结合起来！利用**恒温器（MAPE-K）来保持机器人的安全与稳定，并利用规划器（BDI）**来帮助它做出智能的目标驱动决策。这将创造出一个既安全又聪明的机器人。
6. 路线图：我们该走向何方？
论文概述了一条前进的路径，分为三个问题：
- 未来应该是怎样的？
一个机器人被用于造福人类的世界（例如在核电站救援、太空探索），且安全性是从第一天起就内置其中的，而不是事后才添加的补丁。 - 我们将如何实现它？
通过让数学家、工程师、律师和公众共同参与。我们需要更好的工具、统一的标准以及一种向监管机构证明这些机器人是安全的方法。 - 里程碑有哪些？
- 短期： 创建大家公认的更好“试驾测试”（基准测试）。
- 中期： 构建能够自动检查机器人代码是否符合其安全规则的工具。
- 长期： 创建“自我验证型”机器人——即在工作的同时能够检查自身工作，并在发现错误时自我修复的机器。
总结
构建可靠的机器人就像教孩子开车。你不能只是把钥匙交给他们然后听天由命。你要给他们一张地图（规则）、一个副驾驶（安全系统），并在上高速公路之前先在停车场进行练习。
这篇论文是对科学家和工程师的行动号召：停止各自为政，开始构建一个统一的系统，让机器人不仅聪明，而且安全、透明且值得信赖。技术正在进步，但我们需要建立与之配套的“安全网”和“交通规则”。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。