🤖 machine learning

Reliability, Faithfulness, and the Limits of Post-hoc Explanations of Opaque Scientific Models

本文认为，虽然可靠性和忠实性是解释科学机器学习模型的必要条件，但若没有外部佐证，仅凭这两者本身不足以验证关于底层现象真实结构机制的断言。

原作者： Nick Oh, Helen Jin

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Nick Oh, Helen Jin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观： “黑盒”侦探

想象一下，科学家们正在试图理解一种复杂的自然现象（比如某种疾病是如何运作的，或者一颗恒星是如何燃烧的）。他们构建了一个超级智能的计算机模型（AI）来预测会发生什么。这个模型非常准确——它几乎每次都能得到正确答案。这就是可靠性（Reliability）。

但这个模型是一个“黑盒”。我们不知道它是如何得出这些答案的。因此，科学家们使用特殊的工具（如 SHAP 或 LIME）来窥探内部，并询问：“你用哪些线索做出了那个决定？”工具会给出一个答案，例如：“模型观察了患者的年龄和皮肤颜色。”这就是忠实度（Faithfulness）。

论文的核心观点：
作者认为，即使一个模型是完美可靠的（总是正确的）且解释是完美忠实的（如实反映了模型的行为），你仍然无法得出该模型确实理解了现实世界运作方式的结论。

你可以知道机器做了什么，但你不知道它做这件事的理由是否正确。

三步链条

论文描述了科学家们经常尝试使用的一种逻辑链条，看起来如下：

现实世界（现象）： 我们正在研究的实际事物（例如，真实的疾病）。
模型： 预测该疾病的 AI。
解释： 告诉我们 AI 在想什么的工具。

误区： 科学家们经常假设：

“模型匹配现实世界（可靠性）。”
“解释匹配模型（忠实度）。”
因此： “解释匹配现实世界。”

论文指出： 这种逻辑是破碎的。这个链条缺少了一个至关重要的环节。

类比 1：作弊的学生 vs. 天才

想象一个正在参加数学考试的学生。

可靠性： 这个学生每一道题都答对了。他们是正确答案的完美预测者。
忠实度： 一名监考员观察着这个学生，并如实报告了学生的行为。报告显示：“学生通过观察题目编号的最后一位数字，并根据试卷中的某种模式来猜测答案。”

陷阱：
如果你只看可靠性（满分）和忠实度（监考员诚实的报告），你可能会想：“哇，这个学生掌握了一种解决问题的绝妙新方法！”

但实际上，这个学生只是在利用一个仅对这套特定试卷有效的“窍门”进行作弊。他们并没有学到数学（现象的结构）；他们只是找到了一个恰好奏效的捷径。

论文认为，AI 模型经常会出现这种情况。它们找到了“捷径”（比如观察照片的背景而不是疾病本身），这些捷径让它们表现得很准确，但这些捷径并不是现实世界运作的方式。

类比 2：两座时钟

想象你有两座时钟。

时钟 A 是一座高质量的真实时钟，其齿轮运动与太阳的移动相匹配。
时钟 B 是一座坏掉的时钟，它恰好停在了太阳当前所在的时间点，但这仅仅是因为有人把它设定成了那个时间。

两座时钟都显示了正确的时间（可靠性）。
如果你拍下一张两座时钟内部的照片，你会得到对它们内部结构的忠实描述（忠实度）。

时钟 A 的内部显示齿轮正在转动。
时钟 B 的内部显示指针是静止的。

如果你只知道两座时钟都显示了正确的时间，并且拥有对它们内部结构的忠实描述，你仍然无法知道哪一座是真的在追踪太阳。其中一座仅仅是运气好。

论文指出，可靠性和忠实度就像是检查时钟是否显示了正确的时间以及描述它们的内部构造。这两项检查都无法告诉你，时钟是否真的与太阳建立了连接（即真实的机制）。

“完美”的情景也无济于事

你可能会想：“如果模型是完美的呢？如果它从不出错呢？”

论文说：即便如此，也无关紧要。

想象一个能 100% 完美预测某种疾病的模型。

场景 1： 模型学习到了真实的生物学诱因（“正确”的结构）。
场景 2： 模型学习到了数据中一种奇怪的、不可见的模式（比如患者接受治疗的医院），这种模式恰好与疾病相关，但并不是病因。

这两个模型都是 100% 可靠的。
这两个模型都有 100% 忠实的解释（准确告诉了你它们观察了什么）。

但在场景 2 中，尽管解释对于模型而言是真实的，但它对于疾病的成因来说是在撒谎。模型对结果是对的，但对原因是错的。

结论：我们到底能做什么？

论文得出结论：我们不能仅仅通过观察模型及其解释，就对现实世界是如何运作的（机制）做出强有力的断言。

这个链条“能”做什么： 它可以提供想法或假设。它可以说：“嘿，模型认为这个特征很重要。也许我们应该去现实世界中调查一下这个特征。”
这个链条“不能”做什么： 它不能证明该特征确实是真正的诱因。

要了解真相，科学家需要外部帮助。他们需要引入其他知识、进行现实世界的实验，或利用现有的理论来验证模型的“捷径”是否真的是一种真实的机制。单靠模型和它的解释，不足以跨越“计算机是对的”与“我们理解了宇宙”之间的鸿沟。

技术摘要：可靠性、忠实性以及事后解释对不透明科学模型的局限性

问题陈述
本文探讨了科学应用中可解释人工智能（XAI）存在的一个关键认识论差距。在科学领域（如神经科学、物理学、生物化学）中，不透明机器学习模型的使用不仅是为了预测，更是为了获取对所建模底层现象的洞察。普遍的假设是：如果一个模型具有足够的可靠性（其预测与现象的结果相匹配），且其事后解释具有足够的忠实性（解释准确反映了模型的内部计算），那么该解释就为现象本身的结构提供了合理的论证。

作者认为，这种推论在结构上是无效的。虽然可靠性和忠实性是必要条件，但它们不足以弥合“理解模型”与“理解世界”之间的鸿沟。具体而言，这两项指标都无法验证模型的内部结构是否对应于现象的因果、机制或反事实结构。

方法论与形式化
本文采用形式化认识论分析而非经验实验。它构建了一个近似链来分析现象、模型与解释之间的推论关系：

现象 ( $f$ )： 代表自然现象的真实函数。
模型 ( $h^*$ )： 从空间 $H$ （例如深度神经网络）中选出的假设，用以近似 $f$ 。
解释 ( $g^*$ )： 由事后方法 $E$ （例如 SHAP、LIME、注意力图）生成的表示，用以近似 $h^*$ 。

该链条表示为 $f \xleftarrow{\phi} h^* \xleftarrow{E} g^*$ ，其中：

$\phi$ （模型-世界链接）代表 $h^*$ 追踪 $f$ 的可靠性。
$E$ （模型-模型的链接）代表 $g^*$ 描述 $h^*$ 的忠实性。

作者区分了两种类型的认识论判决：

描述性判决（Descriptive Verdicts）： 对模型计算内容的评估（忠实性）。
证明性判决（Justificatory Verdicts）： 对模型追踪现象能力的评估（可靠性）。

核心方法论论点是：科学家寻求的是第三种判决——关于现象结构的证明性主张。本文证明，通过组合关于 $g^*$ 的描述性判决和关于 $h^*$ 的证明性判决，在逻辑上无法得出关于 $f$ 结构的证明性判决。

核心贡献与论点

结构的失效性组合：
本文认为，即使在完美可靠性和完美忠实性的极限情况下，模型与世界之间的差距也不会消失。

可靠性检查输出是否与结果匹配，但不要求共享内部结构。模型可以通过伪相关或非机制性的捷径（例如依赖图像边缘而非病理特征）来完美追踪现象。
忠实性检查解释是否与模型的计算相匹配，但这完全局限于模型内部。它无法确定模型的计算是否对应于现象的机制。
因此，一个“完美”的链条（ $f \approx h^* \approx g^*$ ）仍然无法回答结构对齐的问题。该链条缺乏将“模型事实”转化为“世界事实”所需的“共享结构”前提。

三种误导性链条的情形（附录 A）：
作者通过三个场景说明了这种差距的持续存在：

情形 1（分布偏移）： 模型依赖于一个伪特征（例如 X 射线中的侧向标记），该特征在训练期间有效，但在新人群中失效。忠实性正确报告了对该特征的依赖，但可靠性仅在分布发生偏移时才失效。解释对于错误的机制保持了忠实。
情形 2（不变混杂因素）： 模型依赖于一个在所有可测试人群中都与目标相关的伪特征（例如患者体位）。在此情况下，可靠性在任何地方都是完美的，忠实性也是完美的，但模型仍然未能捕捉到真实的机制。如果两个模型产生相同的预测，任何验证数据都无法区分伪模型与机制模型。
情形 3（完美追踪，结构分歧）： 模型在所有输入上都完美追踪现象，但使用的内部结构与现象的结构完全不同。该模型的忠实解释描述了一种并非现象结构的结构。对于“真实结构”模型和“分歧结构”模型，可靠性和忠实性是相同的，这使得这些指标无法区分真相与运气。

“强”与“弱”解读的区别：

强解读（如何实际/How-Actually）： 声称模型的结构就是现象的结构。本文认为该链条本身无法支持这一主张。
弱解读（如何可能/如何对象化理解/How-Possibly/Objectual Understanding）： 声称模型提供了一个候选假设，或抓住了领域内的联系。本文承认，只要将输出置于外部验证（先验理论、独立证据或实验干预）之下，该链条可以支持这种解读。

结果与主张
本文并未呈现实验结果，而是提供了一个关于局限性的哲学与逻辑证明：

不存在自洽的证明： 仅仅依靠可靠的模型配以忠实的解释，本身并不能证明关于现象的因果或机制结构的主张。
需要外部验证： 要从对模型的描述转向对世界的断言，必须引入外部前提（独立理论、已知机制或干预）。这些前提并非由 XAI 链条本身生成。
理想化的角色： 本文与关于科学理想化的文献（如 Sullivan, Elgin）保持一致，认为不透明模型充当了理想化的工具。它们可以提供“对象化理解”（掌握联系与可能性），但若没有外部验证，则无法提供“解释性理解”（识别实际机制）。

意义
本文的意义在于澄清了事后 XAI 在科学中的认识论边界。它挑战了将“对可靠模型的忠实解释”视为“科学现实之直接窗口”的常规做法。

它指出，无法区分“模型如何运作”与“世界如何运作”并非一个可以通过更好的算法或更高保真度来解决的技术缺陷，而是一个结构性限制。
它重新定位了科学使用 XAI 的方式：与其将解释视为机制的确定性证明，不如将其视为需要严格外部测试和理论整合的候选假设的生成器。
本文总结道，虽然该链条支持生成“如何可能”的主张，但它不能在没有外部验证的情况下授权“如何实际”的主张，这一区别对于利用不透明模型进行科学发现的完整性至关重要。