AUDITA: certified auditing and causal attribution of adverse outcomes in autonomous multi-agent systems
本文介绍了 AUDITA，这是一个针对自主多智能体系统的认证审计框架，它将防篡改的指令记录与分级因果归因引擎相结合，旨在从数学上保证公平的责任分配，防止推卸责任，并准确解决传统单责任人方法无法处理的复杂、多因果型不良后果问题。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在不久的将来，工厂、仓库和公共场所将不再由人类领班管理，而是由受单一人工智能大脑引导的一群机器集群运营。这个大脑并不向单个机器人发布指令，而是协调数十个专业软件代理之间的复杂对话，每个代理都有特定的职责，从规划路径到抓取重型箱子。当这些系统正常运作时，它们的移动速度和效率比任何人类团队都更高。但当问题发生时——一名工人受伤、一批货物损坏或一台机器发生碰撞——关于谁该负责的问题就变成了一个乱麻。机器制造商、软件开发商、工厂运营商和保险公司都在互相推诿。目前，还没有可靠的方法来解开这个乱麻。记录发生了什么的数字日志可能会被篡改，而分析这些系统的程序往往会强迫一个人或一个程序承担责任，即使事故是由一系列事件、一个丢失的信号或两个足以导致灾难的不同指令共同造成的。
杜克大学的一个研究小组构建了一个名为 Audita 的新系统来解决这个问题。Audita 不根据不完整或易于伪造的记录来猜测责任归属，而是为软件代理之间发送的每一条命令创建一个永久、不可更改的账本。可以将这个账本想象成一本密封、防篡改的日记，其中的每一项条目都由发送者签名并与前一项条目相连，使得删除一页或更改一个字都不可能在不被所有人察觉的情况下完成。当事故发生时，Audita 不仅仅是在寻找一个“坏人”。它使用一种严密的、循序渐进的调查方法来追踪伤害是如何发生的。它会检查一条命令是否确实被执行了，是否忽略了一个必要的指令，或者是否多个代理共同导致了失败。然后，系统会为每个参与方分配一个具体的责任程度，范围从零到全责，并提供一份证明其决策依据的证书。
研究人员通过两种截然不同的方式测试了这个系统。首先，他们在一个运行中的实时系统中使用了它，其中的人工智能代理正在解决复杂的数学问题。在这些测试中，现有的用于分配责任的标准方法有一半的时间是错误的，通常会忽略多个代理共同承担责任的事实。相比之下，Audita 将错误率降低了约三倍，正确地识别出失败通常是规划代理和检查代理共同作用的结果。其次，团队在一个基于现实世界机器人碰撞的模拟事故库上测试了 Audita，其中包括机器因为没有人告诉它停止而停止，或者两台机器试图执行同一项任务且都失败了等场景。在这些受控测试中，旧方法完全失效，经常指责错误的机器，或者在不存在罪魁祸虎的情况下凭空捏造出一个责任人。然而，Audita 能够准确无误地识别出每起事故的确切原因，即使研究人员试图通过删除记录的部分内容或试图嫁祸给一台无辜的机器来欺骗系统。
这项发现的一个关键部分是系统证明了什么是不可能伪造的。研究人员表明，虽然恶意行为者可能会尝试通过发送虚假指令让一台无辜的机器看起来像是导致了事故，但系统会捕捉到这种企图，并将责任归于攻击者。系统还证明，你不能简单地删除证据来让有罪的一方看起来无辜；如果证据缺失，系统会将其标记为一个缺口，并拒绝判定被指控者清白，而不是假装缺失的部分从未存在过。这意味着系统可以区分一台真正违反规则的机器和一台仅仅是他人错误信使的机器。它还可以处理那些机器本身没有做错事，但因为从未收到行动指令而未能阻止事故的情况，而目前的系统往往会忽略这类失败。
该研究还探讨了任何此类系统的局限性。研究人员发现，如果数字记录是不完整的——例如机器通过系统无法看到的秘密渠道进行通信——那么系统就无法分配全责。它只能根据现有的证据说明发生了什么。然而，在这些限制范围内，该系统在数学上被证明是公平的。它不会被误导去指责一台顺从的机器，也不会被误骗而让一台有罪的机器脱罪。研究人员展示了随着人工智能模型变得更加强大，系统寻找真相的能力也会随之提高，而旧方法则始终停留在同样的错误水平。
这项工作表明，为了让自主机器在现实世界中获得信任，我们需要一种新的计分方式。目前的做法——寻找单一的罪魁祸捕——从根本上说是破碎的，因为它不符合复杂系统实际失效的方式。通过将不可更改的事件记录与理解共享责任细微差别的算法相结合，Audita 提供了一种将关于责任归属的争论转化为基于硬性证据的计算的方法。研究人员并不是声称这解决了所有的法律或伦理问题，但他们已经证明，创建一个能够以此前认为不可能的确定性来回答责任问题的系统是可能的。虽然该系统尚未在物理机器人或生产堆栈上得到演示，但研究人员提议将其作为未来自主集合体的一个必要层级，为实现一个可以以公平、透明且在数学上严谨的方式追究机器责任的路径提供了可能。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。