Evaluation Cards for XAI Metrics
为了解决可解释人工智能（XAI）方法评估中缺乏标准化和透明度的问题，本文提出了"XAI 评估卡”，这是一种文档模板，旨在系统性地记录任何新 XAI 指标的关键细节，如目标属性、假设和验证证据。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你身处这样一个世界：每个人都建造着能够做出决策的“黑箱”机器（AI 模型）。为了让这些机器值得信赖，人们发明了“解释工具”（XAI），试图告诉我们机器为何会做出某个特定决策。
但问题在于：没有人就如何对这些解释工具进行评级达成一致。
一些研究人员说：“我的工具很棒，因为它很快！”另一些人则说：“不，我的更好，因为它更准确！”他们使用不同的尺子来衡量同一件事，甚至都不告诉你他们用的是哪种尺子。这使得人们无法判断哪种解释工具才是真正最好的。
本文提出了一种简单的解决方案：XAI 评估卡。
将这张卡片想象成食品的营养标签，或是新车的规格表。正如你不会在不知道燃油效率、安全评级和发动机类型的情况下购买汽车一样，如果没有一张标准化的卡片来确切说明它衡量了什么以及在何处有效，你也不应信任任何 AI 解释。
以下是本文的分解说明：
1. 问题：混乱的厨房
作者审视了数十项近期研究，发现了三大混乱之处：
- 名称混淆：两个不同的工具可能拥有相同的名称，却衡量完全不同的事物。或者，两个衡量完全相同事物的工具却拥有截然不同的名称。这就像仅仅因为喜欢某个词的发音，就把“勺子”称为“叉子”。
- 错误的试驾：大多数研究人员仅使用基于计算机的数学测试（功能基础测试）来检验这些工具。他们很少用真实人类或在现实世界情境中进行测试，尽管那才是建立信任的关键所在。
- 缺失的说明书：许多研究人员提出了一种衡量解释的新方法，却从未分享实际代码。这就像出售食谱却不列出食材或烹饪步骤。
2. 解决方案：指标的“身份证”
为了解决这一问题，作者创建了一个名为XAI 评估卡的模板。每当有人发明一种新的 AI 解释测试方法时，都必须填写这张卡片。它包含四个主要部分：
第一部分：身份（名称标签）
- 它询问什么：这个指标叫什么？它具体衡量什么质量（如“诚实度”或“稳定性”）？它是在计算机上、人类身上，还是在实际工作环境中进行测试的？
- 类比：这就像药瓶上的标签，写着“此药治疗头痛，而非胃痛，且仅限成人使用”。
第二部分：范围与背景（“何时何地”）
- 它询问什么：该指标适用于哪种 AI 模型？适用于何种数据？它是针对单个特定决策有效，还是对整个系统有效？我们做出了哪些假设？
- 类比：这就像轮胎上“切勿在极端高温下使用”的警告。它确切地告诉你该工具在何处有效，在何处可能会失效。
第三部分：实施与验证（证明）
- 它询问什么：代码是否可供他人检查？你是否测试了该工具的稳定性？是否存在有人为了获得高分而“作弊”测试，却并未真正提升 AI 性能的风险？
- 类比：这就像碰撞测试视频和保修单。它证明该工具确实有效，并警告你如果有人伪造结果该如何识别。
第四部分：关系与局限性（家族树）
- 它询问什么：该工具与其他工具相比如何？如果它与另一个工具意见相左，我们应该信任哪一个？该工具在何处失效？
- 类比：这就像一份汽车评测，上面写着“这辆车在高速公路上表现极佳，但切勿用于越野，且速度不如 X 型号”。
3. 为何这很重要
作者认为，如果整个 AI 社区同意使用这些卡片，就能消除混乱。
- 不再猜测：你将确切知道某个指标衡量的是什么。
- 更佳的比较：既然大家都使用相同的“营养标签”，你终于可以公平地比较工具 A 和工具 B 了。
- 更加诚实：研究人员将不得不承认其工具的失败之处以及它们如何被“操纵”。
核心结论
本文并未发明新的 AI 工具或新的 AI 解释方法。相反，它发明了一种标准化的报告表格。这是一个谦逊却有力的理念：在我们能够改进如何评估 AI 解释之前，我们需要停止隐藏细节。通过迫使研究人员填写这张“评估卡”，我们终于能够开始进行诚实、清晰的对话，探讨哪些 AI 解释是我们真正可以信任的。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。