🤖 AI

CoAX: Cognitive-Oriented Attribution eXplanation User Model of Human Understanding of AI Explanations

本文介绍了 CoAX 用户模型，该模型利用认知建模来分析和模拟用户在解释表格数据的人工智能解释时的推理策略，从而提供了一种可扩展的方法，以诊断当前可解释人工智能方法为何往往无法提升用户理解，并指导开发更有效的解释。

原作者： Louth Bin Rawshan, Zhuoyu Wang, Brian Y. Lim

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Louth Bin Rawshan, Zhuoyu Wang, Brian Y. Lim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明但神秘莫测的机器人朋友，它替你做出决策——比如告诉你某款葡萄酒是“好”还是“坏”，或者某项贷款申请是否应该获批。为了让你信任这个机器人，它会给你一张小纸条，解释为什么它做出了那个选择。这被称为可解释人工智能（XAI）。

但问题在于：即使有了这张纸条，人们往往仍然感到困惑，或者对机器人接下来会做什么做出错误的猜测。就像机器人说的是一种你不太懂的语言，尽管那些字就摆在眼前。

这篇题为CoAX的论文，就像是一个“翻译器”和“调试器”，用于理解人类在试图解读这些机器人纸条时的思维方式。研究人员构建了一个虚拟人类（一个模拟人类行为的计算机程序），以精确弄清楚我们的大脑是如何处理这些解释的，以及为何我们有时会理解错误。

以下是他们发现的故事，简化分解如下：

1. 问题：“黑箱”与困惑的用户

研究人员注意到，尽管科学家们发明了许多解释 AI 决策的方法，但真实的人仍然难以有效利用它们。有些解释甚至让人更不擅长预测 AI 会做什么。作者问道：“为什么？当人们看着这些图表和数字时，他们的大脑内部究竟发生了什么？”

2. 解决方案：构建“虚拟人类”（CoAX）

与其凭空猜测，研究人员构建了CoAX（面向认知的归因解释）。把 CoAX 想象成一个视频游戏角色，它被编程为像真实人类一样思考。

工作原理：研究人员首先观察真实的人（在一项“形成性研究”中），并让他们在查看 AI 解释时“大声说出想法”。他们发现，人们会使用特定的心理技巧或“策略”来理解数据。
这些策略包括：
- “忽略其余”策略：有些人只挑选一两个他们认为重要的特征（比如“酒精含量”），而忽略其他一切。
- “高亮笔”策略：当看到一张显示哪些特征“重要”的图表时，人们只关注最高的柱状图，并试图回忆类似的过往案例。
- “数学求和”策略：当看到详细的分解（正分和负分）时，人们试图在脑海中将这些数字相加，看看哪一方占优。
模型：CoAX 将这些策略转化为数学模型。它模拟了一个拥有有限记忆（会忘记旧案例）和有限注意力（一次只能关注少数事物）的人类。

3. 实验：测试虚拟人类

随后，研究人员进行了一项大规模实验，涉及 300 多名真实的人。他们要求这些人在三种条件下，猜测 AI 会对不同场景（如葡萄酒质量或收入水平）做出何种预测：

无帮助：仅提供数据。
简单帮助：提供一份“重要”特征列表。
详细帮助：提供带有正分和负分的特征列表（归因）。

他们将真实人类的回答与虚拟人类的回答进行了对比。

重大发现：
虚拟人类（CoAX）在预测真实人类的行为方面，比标准的计算机程序（如典型的机器学习模型）准确得多。

标准计算机模型只是在数据中寻找模式。
CoAX 寻找的是推理模式。它意识到，人类不仅仅是在计算；他们在使用心理捷径，因信息过多而感到困惑，或者误解特征的“重要性”。

4. 关于人类思维的发现

利用他们的虚拟人类，他们发现了一些关于我们为何无法理解 AI 的有趣事实：

“数学求和”最佳：当人们获得详细的“归因”解释（确切显示每个因素在多大程度上推动决策向上或向下）时，他们倾向于使用“求和”策略。这效果最好。就像在纸上把优缺点加起来一样。
“简单列表”很棘手：当人们获得一份简单的“重要”特征列表（未显示这些特征是正面还是负面）时，他们会感到困惑。有些人试图猜测影响的方向，而其他人则完全忽略列表，回到他们旧有的习惯。
困惑导致忽视：如果解释过于令人困惑，人们就会直接将其抛在一边，仅根据他们记忆中过去的情况来猜测，实际上忽略了 AI 的帮助。

5. 为何这很重要（“虚拟实验室”）

这篇论文最酷的部分在于，一旦他们构建了这个虚拟人类，就可以将其用作模拟实验室。

研究人员不再需要雇佣 300 人、支付报酬并运行数周的实验来测试新想法；现在他们只需“询问”虚拟人类即可。

例如：“如果我们展示 9 个特征而不是 5 个，会发生什么？”虚拟人类可以瞬间模拟这种情况并告诉你：“哦，人们会感到不知所措，他们的准确率会下降。”
这使得设计师能够在向真实人类展示 AI 解释之前就对其进行调试。他们可以先在计算机模型中修复那些令人困惑的部分。

核心结论

该论文认为，为了改进 AI 解释，我们需要停止将人类视为简单的数据处理者。我们需要认识到人类拥有有限的记忆、选择性的注意力以及特定的心理习惯。

通过构建一个模仿这些习惯的虚拟人类，我们可以弄清楚当前的 AI 解释为何失败，并设计出真正能帮助人们理解机器人思维的解释，而不是进一步造成混淆。这就像将收音机调谐到正确的频率，让人类的大脑最终能够清晰地接收到信号。

以下是论文《CoAX：面向人类理解 AI 解释的认知导向归因解释用户模型》的详细技术总结。

1. 问题陈述

尽管可解释人工智能（XAI）取得了显著进展，但仍存在一个关键差距：许多 XAI 技术未能提升用户的实际理解或决策能力。先前的研究表明，解释有时会令用户困惑、导致过度依赖，或无法帮助用户检测模型错误。

核心问题：现有研究往往依赖表层行为指标（如准确率）或推测来解释为何用户会 struggle。缺乏严谨的、机制性的模型来解释用户在解读 XAI 时所采用的认知过程和推理策略。
后果：如果不理解底层的认知机制（例如，用户如何处理特征重要性与特征归因），就难以设计有效的解释，或无法调试为何特定的 XAI 方法会失效。

2. 方法论

作者提出了CoAX，这是一个将**基于实例的学习（IBL）**理论与认知约束（记忆衰减、注意力限制）相结合以模拟人类 XAI 推理的认知模型。该研究遵循以用户为中心的五步设计流程：

A. 形成性用户研究（策略 elicitation）

目标：识别人类在使用 XAI 时实际的推理方式。
参与者：20 名本科生。
任务：“前向模拟”（给定输入实例和解释，预测 AI 的输出）。
条件：无 XAI、特征重要性（非负分数）和特征归因（带符号分数，如 SHAP/LIME）。
方法：通过扎根理论分析“出声思维”协议。
结果：识别出四种不同的推理策略：
1. 敏感特征分类：专注于被认为重要的一组固定属性，忽略其他属性。
2. 显著特征分类：动态选择重要性分数最高的前 $k$ 个特征，并回忆相似的过往实例。
3. 归因求和：对带符号的归因分数进行求和（或估算），以权衡支持或反对某个标签的证据。
4. 重要性分类：将重要性分数误读为直接属性值用于模式匹配（一种有缺陷的策略）。

B. CoAX 认知模型实现

该模型利用 IBL 模拟人类决策：

记忆：存储过往范例（实例），其激活水平基于近期性和频率。
检索：基于欧几里得距离检索相似的过往实例，并根据激活水平进行加权。
策略扩展：基础 IBL 模型被扩展以实现上述四种识别出的策略：
- 敏感/显著：修改距离度量，仅关注特定特征子集。
- 归因求和：通过加权特征贡献求和来计算对数几率分数。
- 重要性分类：将重要性分数视为特征值而非权重。
参数：包括距离敏感度（ $\alpha$ ）、检索阈值（ $\rho$ ）、关注的特征数量（ $k$ ）以及特征类别敏感度（ $\zeta$ ）。

C. 总结性用户研究（验证）

参与者：335 名参与者（Prolific 平台）。
设计：XAI 类型（无、重要性、归因）采用被试间设计，测试条件（有/无 XAI）采用被试内设计。
数据集：葡萄酒质量、森林覆盖类型、成人收入（二分类，5 个属性）。
目标：通过将模型拟合到人类决策数据，并将其预测能力与标准机器学习（ML）代理（决策树、KNN、MLP）进行比较，以验证 CoAX。

D. 虚拟假设测试

目标：利用已验证的 CoAX 模型运行“虚拟实验”，这些实验若用真实人类进行则成本过高或耗时过长。
变量：训练实例数量、属性数量以及不同的 XAI 算法（SHAP、LIME、积分梯度、输入梯度）。

3. 主要贡献

推理策略分类学：实证 elicitation 并分类了用户在解读基于归因的 XAI 时采用的四种不同认知策略，包括特定的失败模式（例如，误读重要性分数）。
CoAX 认知模型：开发了一个形式化的认知模型，利用基于实例的学习模拟这些策略，捕捉人类推理的程序逻辑，而不仅仅是统计相关性。
优于 ML 代理：证明 CoAX 拟合人类决策数据的效果显著优于标准 ML 代理（DT、KNN、MLP），证实了 XAI 背景下的人类推理是由特定的认知启发式驱动的，而不仅仅是数据模式。
虚拟实验框架：建立了一个利用 CoAX 进行假设生成和调试 XAI 可用性的流程，减少了早期原型设计对昂贵的人类受试者研究的依赖。

4. 关键结果

模型拟合：与 ML 基线相比，CoAX 实现了更低的负对数似然（NLL）和贝叶斯信息准则（BIC），表明它更准确地捕捉了底层的人类决策过程。
策略有效性：
- 归因求和（使用带符号分数）是最有效的策略，带来了最高的预测准确率。
- 重要性 XAI（非负分数）导致了多样化且通常次优的策略，包括有缺陷的“重要性分类”。
- 学习迁移：接受过归因 XAI 训练的参与者在移除 XAI 后仍保留“归因求和”策略，而接受过重要性 XAI 训练的参与者往往退回到“敏感特征”策略。
XAI 类型的影响：
- 归因 XAI 始终优于重要性 XAI 和无 XAI。
- 特征数量：增加属性数量会降低“无 XAI"和“重要性 XAI"的性能（信息过载），但“归因 XAI"缓解了这一问题。
虚拟实验：该模型成功模拟了增加训练实例如何提升理解（出现平台期效应），以及不同 XAI 算法（如 LIME 与 SHAP）如何影响用户表现，验证了该模型在可扩展测试中的实用性。

5. 意义与启示

调试 XAI：CoAX 提供了一种诊断工具，用于识别为何解释会失效（例如，它是否触发了有缺陷的“重要性分类”策略？）。
设计建议：
- UI 设计：设计者应鼓励“归因求和”策略（例如，通过显示带符号的值），并抑制“重要性分类”（例如，避免将重要性分数作为原始值呈现）。
- 培训：教程应明确教导用户如何聚合带符号的归因，而不仅仅是查看“最重要”的特征。
成本降低：通过在运行大规模用户研究之前用虚拟人类（CoAX）验证假设，研究人员可以更快、更具成本效益地迭代 XAI 设计。
未来方向：该框架可扩展至其他模态（图像、文本）、不同的决策任务（信任、依赖）以及多样化的人群，以超越“一刀切”的 XAI。

总之，CoAX 弥合了认知科学与 XAI 之间的差距，提供了一种对人类-AI 交互的机制性理解，将关注点从“它是否有效？”转向“用户是如何思考的？”。