Explainable Decision Graphs for Trustworthy Autonomous Multi-Agent Systems

技术摘要：用于可信自主多智能体系统的可解释决策图

问题陈述
自主多智能体系统（MAS）正越来越多地部署在医疗、金融、网络安全和自主交通等关键领域。虽然这些系统通过分布式决策提供了灵活性和可扩展性，但其协作性质产生了一个“黑盒”问题。最终决策往往源于复杂的观测序列、智能体间的通信、中间推理、冲突以及验证步骤。现有的可解释人工智能（XAI）技术，特别是局部可解释模型无关解释（LIME）和 SHAP（SHapley Additive exPlanations），主要旨在解释单个机器学习模型的预测。它们缺乏表示系统级现象的能力，例如哪些特定智能体对决策做出了贡献、证据是如何交换的、冲突是如何解决的，以及验证规则是如何应用的。因此，在将多智能体系统的分布式推理过程转化为可理解、可追溯且可验证的形式方面，存在着表征能力的空白。

方法论：可解释决策图 (EDG)
为了填补这一空白，本文提出了可解释决策图（EDG）框架。该框架作为一个解释和追溯层，与底层自主智能体并行运行，而非取代它们。该方法由四个主要模块组成：

1. 智能体执行与监控： 该模块监控自主智能体的运行情况，记录包括智能体标识符、输入/观测值、中间决策、置信度得分、支持性证据和时间戳在内的事件。
2. 智能体间交互追踪： 该模块记录智能体之间的通信，定义为（发送者、接收者、消息、时间）元组。它特别追踪智能体提出分歧决策时的冲突情况。
3. 可解释决策图构建： 框架的核心是构建一个有向图 $G = (V, E)$。节点集 $V$ 是智能体节点、输入/观测节点、证据节点、决策节点、验证节点和动作节点的并集。边代表“支持”、“影响”、“通信”、“矛盾”、“验证”和“产生”等关系。这种结构允许将最终的系统动作向后追溯至其贡献的智能体和证据。
4. 验证与解释生成： 验证层根据预定义的安全性与策略约束检查决策是否符合要求（$D |= R$）。基于图结构，系统可生成三个层级的解释：
   • 用户级： 关于决策主要原因的简明摘要。
   • 开发者级： 关于智能体、证据、交互和验证的详细信息。
   • 审计员级： 决策事件和验证结果的完整追踪。

该框架利用 MAESTRO MAS 基准测试进行实验评估，该基准测试提供了来自 12 个多智能体系统的执行轨迹。提出的评估方法侧重于指标，如解释保真度、完备性、决策可追溯性、人类理解力、决策准确性、解释一致性和计算开销。

核心贡献
本文概述了对可信 AI 领域的五项主要贡献：

1. 系统级图表示： 一种用于解释多智能体决策的新型基于图的结构，其范围超越了单个模型的解释。
2. 交互感知可追溯性： 一种能够显式连接智能体、证据、中间决策和最终动作的机制，捕捉智能体间的依赖关系。
3. 验证感知解释： 一种集成机制，确保决策路径可以针对安全性与策略约束进行审查。
4. 多层级解释： 根据相同的底层图数据，为不同利益相关者（用户、开发者、审计员）定制化解释的能力。
5. 实验方法论： 一个提出的用于根据定量和定性指标将 EDG 与现有方法（LIME、SHAP、智能体级 XAI）进行对比评估的框架。

结果与实验状态
论文明确指出，实证数值结果保留至实现与评估阶段。因此，“结果”部分并未呈现性能数据、准确率得分或延迟测量。相反，它提供了：

• 概念对比： 表 I 展示了与 LIME 或 SHAP 不同，所提出的 EDG 支持智能体级、交互级、可追溯性和验证能力。
• 测量就绪的可视化： 图形和表格（如图 4、表 II、图 7）作为未来数据的模板呈现。它们表明，图复杂度将根据参与智能体的数量进行衡量，并且性能对比将针对基准模型进行。
• 统计框架： 论文定义了将在执行框架后，利用 MAESTRO 数据集分析数据的统计方法（描述性统计、t 检验、ANOVA、置信区间）。

意义与主张
论文适度地声称，EDG 框架为自主多智能体系统的系统级可追溯性、透明度和问责制提供了基础结构。论文认为，虽然 LIME 和 SHAP 等现有方法对单个模型很有价值，但对于多智能体系统中的协作推理而言是不够的。这项工作的意义在于其能够：

• 表示完整的决策路径，包括冲突和验证事件。
• 使用户能够将最终决策追溯到特定的智能体和证据。
• 支持针对安全约束对决策进行验证。

作者承认了局限性，指出随着智能体数量的增加，决策图可能会变得庞大，从而可能增加计算开销和人类理解的难度。论文总结道，该框架是迈向可信 AI 的一步，但强调需要通过实证验证来证实有关性能提升或统计显著性的主张。未来的工作确定将聚焦于实时构建、因果推理、与大语言模型（LLM）的集成以及形式化验证。