📊 statistics

Rule of Thumb: Explaining Artificial Intelligence Systems using Partial Information

本文介绍了“经验法则”（Rule of Thumb, RoT），这是一种新颖、与模型无关且计算高效的可解释人工智能框架，它能够识别针对特定预测的最相关特征，从而在符合人工智能法规的同时，有效地支持零样本大语言模型分类、不透明系统审计以及科学发现。

原作者： Kaivalya Rawal, Daria Onitiu, Brent Mittelstadt, Sandra Wachter, Chris Russell

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kaivalya Rawal, Daria Onitiu, Brent Mittelstadt, Sandra Wachter, Chris Russell

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图弄清楚为什么一个神秘的、无所不知的机器人做出了某个特定的决定。也许它拒绝了你的工作申请，或者它判定一张照片是猫而不是狗。这个机器人是一个“人工智能”（AI），在计算机科学领域，我们把理解其大脑的过程称为“可解释人工智能”（XAI）。一个大问题是，许多现代 AI 都是“黑盒”。我们可以输入数据并得到答案，但无法窥视内部的齿轮是如何运转的。长期以来，科学家们尝试通过用不同的输入去“戳”机器人来解决这个问题——比如改变句子中的一个词或照片中的一个像素——观察答案会如何变化。这被称为“敏感性分析”。这就像是试图通过用锤子敲击一个锁着的保险箱并观察门是否会晃动来了解它。但如果保险箱太重敲不动，或者敲击会损坏机器人怎么办？这正是这篇论文中介绍的新方法所要解决的问题，它提供了一种更聪明、更快且更少破坏性的方式，无需掌握万能钥匙即可窥视黑盒内部。

这篇论文介绍了一种解释 AI 的新方法，称为**“经验法则”（Rule of Thumb，简称 ROT）**。把旧的解释 AI 的方法想象成一名侦探，他必须运行成千上万个虚构的情景来弄清楚什么才是重要的。如果侦探想知道“鞋子”是否对决策很重要，他必须想象一个没有鞋子的世界，然后有鞋子的世界，然后不同鞋子的世界，并观察每次决策的变化。这既耗时又昂贵，尤其是如果这位“侦探”必须要求一个巨大的、昂贵的云端计算机（比如大语言模型）为每个场景运行一次测试。

ROT 颠覆了这种逻辑。与其问“如果我改变这个会发生什么？”，ROT 问的是“仅仅知道这个已经能在多大程度上告诉我们答案？”这就像一位厨师在品尝汤的味道。他不需要先加盐，再拿出来，再加更多盐来观察味道的变化，厨师只需尝一勺，就能说：“啊，盐是这里的主要风味。” ROT 查看 AI 已经看到的数据，并计算哪些信息片段对最终结果最具“预测性”。它基于它发现的模式，构建了一个简单、易懂的地图，展示了 AI 的思考过程，而无需破坏 AI 或要求它运行数百万次新的测试。

作者在三种其他方法通常会失败的棘手情况下测试了这种“经验法则”。首先，他们将其应用于表现得像魔法一样的大语言模型（LLMs）：你向它们提问，它们立即回答，但你无法触碰它们的内部代码。旧方法必须向 AI 提出成千上万个额外问题才能弄清楚它为什么那样回答，这既慢又贵。然而，ROT 通过观察 AI 已经给出 的答案，在几秒钟内就找出了重要的词汇。在一次涉及机器人阅读法律判例的测试中，ROT 能够高亮显示关键句子，其结果与人类律师的选择相匹配，但对于第一个解释之后的每一次新解释，它的速度比次优方法快了 1300 万倍。

其次，论文研究了审计秘密 AI 系统的情况，例如亚马逊的产品推荐引擎。通常，为了检查一个秘密的 AI 是否存在偏见或故障，科学家会构建一个“模仿者”机器人——一个行为与真实机器人相似的虚假版本——然后研究这个虚假版本。但作者发现了一个问题：如果你构建了两个行为都与真实机器人相似的虚假机器人，它们可能会对决策的原因给出完全不同的解释。这就像是询问两个不同的人关于一个你看不见的规则的游戏，他们可能对得分的判断都正确，但对规则的理解却各不相同。这使得审计变得不可靠。ROT 跳过了虚假机器人，直接观察真实 AI 过去的决策并寻找真相。在他们的测试中，当虚假机器人在争论哪些特征重要时，ROT 始终如一地表明亚马逊的系统在严重偏袒“由亚马逊销售”的产品，而这正是虚假机器人错过或产生争议的隐藏偏见。

最后，研究人员将 ROT 测试用于科学发现，即 AI 被用于发现关于世界的各种新事实，比如是什么导致了糖尿病。在这里，危险在于 AI 可能会被“诱饵”线索所误导。想象一个试图预测降雨的机器人，但有人偷偷添加了一个感应器，只要下雨该感应器就会发出鸣响。标准方法可能会认为鸣响的感应器导致了降雨！作者创造了一个用误导性的“伪特征”来欺骗 AI 的场景。旧方法被骗了，指向了这些诱饵，但 ROT 正确地忽略了噪声，仅指向了真实的、重要的因素。它证明了 ROT 更难被欺骗，并且能更好地找到支配数据的真实“经验法则”。

论文总结道，ROT 是一个游戏规则改变者，因为它不需要看到 AI 的大脑，不需要通过破坏 AI 来进行测试，也不需要构建一个虚假的副本来进行研究。它是一个快速、与模型无关的工具，即使在 AI 是封闭黑盒的情况下也能发挥作用，使其成为监管者、科学家以及任何想要了解机器为何做出决策的人手中的强大新工具。

技术摘要：经验法则（Rule of Thumb）：利用部分信息解释人工智能系统

问题陈述

可解释人工智能（XAI）在三个新兴应用领域面临着关键局限性：大型语言模型（LLM）中的零样本分类、审计不透明的专有 AI 系统，以及将 AI 用于科学发现。现有的方法主要基于敏感性分析（例如 SHAP、LIME、集成梯度），依赖于通过扰动输入特征来观察模型输出的变化。这种方法遇到了根本性的障碍：

不可访问性： 基于敏感性的方法通常需要访问模型权重（梯度）或能够使用合成的扰动数据查询模型。对于仅通过 API 访问的闭源 LLM 而言，这在技术上是无法实现的；而对于需要大量 API 调用（例如每次解释需要 500–5000 次调用）的情况，其成本也高得令人望而却步。
审计中的拉肖莫效应（Rashomon Effect）： 在审计专有系统时，研究人员通常会构建“模仿”模型来近似目标系统。然而，具有相似准确率的不同模仿模型可能拥有不同的内部机制，从而导致相互矛盾的解释（即拉肖莫效应）。这削弱了基于模仿模型进行审计的有效性。
科学有效性： 敏感性分析假设模型在分布外（合成）数据上的行为反映了现实世界的因果关系。这可能导致伪假设的产生，即无信息的特征仅仅因为模型对合成扰动的反应具有随机性，而被误认为具有重要性。

方法论：经验法则 (ROT)

作者提出了“经验法则”（Rule of Thumb, ROT），这是一种全新的 XAI 公式化方法，它将特征重要性定义为预测性（predictiveness）而非敏感性（sensitivity）。ROT 不再询问改变一个特征如何改变输出，而是询问了解某个特定特征值如何更新对 AI 系统行为的预测。

公式化表达

ROT 将 AI 系统的输出 $C(x)$ 建模为表示单个特征值所提供信息的加性函数的总和。对于数据集 $X$ 和特征集 $\mathcal{J}$ ，该模型估计：
$C(x) \approx F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)$
其中：

$F$ 是 Sigmoid（分类）或恒等（回归）函数。
$f_{\theta_j}(x_j)$ 是一个学习到的函数，代表特征 $j$ 取值为 $x_j$ 时的重要性。
$G$ 是全局偏置项。
该估计对任何特征子集 $J \subseteq \mathcal{J}$ 均成立。

优化

目标是找到最优权重 $\theta$ ，使得在所有数据点和所有可能的特征子集上的损失最小化。损失函数 $L$ 对所有数据点和所有特征子集进行边缘化处理：
$\min_{\theta} L = \min_{\theta} \sum_{J \subseteq \mathcal{J}} \sum_{x \in X} p^{|J|} (1-p)^{(|\mathcal{J}|-|J|)} \cdot \ell\left[C(x), F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)\right]$
至关重要的是，这一优化过程通过在训练期间对特征重要性应用 Dropout 来高效解决。这使得模型可以在整个未受扰动的数据集上进行拟合，而无需为每个解释进行额外的模型查询。一旦拟合完成，特定数据点的特征重要性即为 $f_{\theta_j}(x_j)$ 的值。

核心区别

无需扰动： ROT 不需要生成合成数据或扰动输入。
非输入特征： 通过在扩展数据集上进行拟合，ROT 可以纳入外部的、非输入的特征（例如未传递给模型的人口统计属性），从而实现对偏差的检测，即使模型声称未使用这些特征。
模型无关性： 它仅需要能够观察现有数据上的预测，而不需要访问权重或能够查询新的输入。

核心贡献与结果

1. LLM 的零样本分类

实验： 作者将 ROT 应用于零样本图像分类（GPT-4o-mini API）和文本分类（司法案件判决和电影评论）。
结果： ROT 的解释与人类标注高度一致（司法案件的加权 AUROC 为 0.77，与 SHAP 的 0.74 相当）。
效率： 虽然第一个 ROT 解释需要训练过程（针对司法数据集约为 1160 秒），但随后的解释几乎是瞬时完成的（<0.1 毫秒）。相比之下，SHAP 每次解释需要约 1320 秒。ROT 实现了对 LLM 的解释，而对于这类系统，基于敏感性的方法在计算上是不可行的。

2. 审计专有黑盒系统

实验： 作者审计了亚马逊（Amazon）的电子商务推荐系统，复现了一项由 The Markup 进行的研究，该研究曾使用随机森林模仿模型。
结果：
- 拉肖莫效应： 不同的模仿模型（由于超参数或算法不同）在特征重要性方面产生了相互矛盾的 SHAP/LIME 解释（例如，关于“产品评论”还是“亚马逊品牌”更重要的争议）。
- ROT 的优势： ROT 在无需任何模仿模型的情况下提供了连贯的解释。它识别出“亚马逊品牌”是最重要的特征，但也独特地强调了“亚马逊销售”是一个显著因素，揭示了模仿模型审计所忽略的潜在自我优待行为。

3. 科学发现

实验： 作者在糖尿病预测、累犯风险和贷款审批数据集上测试了 ROT，特别设计了某些特征被数学上脱钩或被对抗性“伪特征（foil features）”掩盖的情景。
结果：
- 无信息特征： 当“年龄”在数学上与糖尿病结果脱钩时，SHAP 和 LIME 仍然分配了重要性（产生了伪假设），而 ROT 则正确地识别出其不重要。
- 对抗鲁棒性： 在旨在误导解释器优先考虑“伪特征”而非敏感特征（如种族或性别）的对抗设置中，SHAP 和 LIME 失败了（恢复敏感特征的成功率 <5%）。ROT 则保持了 >89% 的成功率，正确识别了真实的敏感特征。

4. 计算效率与环境影响

ROT 的规模化解释速度比 SHAP 和 LIME 快数个数量级。论文指出，在初始拟合之后，ROT 在计算一个 SHAP 解释的时间内可以计算数百万个解释，从而显著降低了 XAI 的环境足迹。

意义与主张

论文声称 ROT 通过将范式从敏感性分析转向特征预测性，解决了 XAI 中长期存在的有效性和实用性问题。

监管合规： ROT 被定位为满足《欧盟 AI 法案》（例如第 15 条和第 74 条）审计高风险系统要求的工具，在这些场景下，监管机构可能拥有数据集，但无法获得完整的模型访问权限或查询新输入的能力。
科学严谨性： 通过避免对因果机制或分布外行为的假设，ROT 为生成科学假设提供了更稳健的基准，相比于基于敏感性的方法。
实际部署： ROT 被呈现为一种模型无关、更快速且能够解释此前无法解释的系统（如仅通过 API 访问的 LLM）的现有 XAI 代码库的即插即用替代方案。

作者强调，ROT 并不声称解决了因果推断问题，而是提供了一种基于观测数据预测性来理解模型行为的可靠方法，这使其在应对现代专有 AI 系统的约束时具有独特优势。