💻 computer science

I-SAFE: Wasserstein Coherence Metrics for Structural Auditing of Scientific AI Models

本文介绍了 I-SAFE，这是一个事后审计框架，它利用 Wasserstein 一致性度量，通过输入扰动来评估科学人工智能模型与领域知识在结构上的一致性，从而揭示出基于标准准确性的基准测试无法发现的分布不一致性。

原作者： Barbara Tarantino, Gennaro Auricchio, Paolo Giudici

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Barbara Tarantino, Gennaro Auricchio, Paolo Giudici

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在聘请一位厨师来烹制一道复杂的菜肴。你品尝了最终成品，发现它美味可口。你给了他们高分。但问题在于：他们究竟是用正确的食材和技法烹制了这道菜，还是仅仅死记硬背了一份恰好在这个夜晚尝起来不错的特定食谱？

在“科学人工智能”（即试图解决药物发现等现实世界科学问题的计算机）领域，我们常常犯同样的错误。我们查看模型的测试分数（即其预测能力），便假定它理解了科学原理。但论文指出，高分是脆弱的。人工智能可能通过察觉数据中微小且无关的模式（例如文本的字体大小或特定的背景噪声）来“作弊”，而非理解实际的生物结构。

本文作者 Barbara Tarantino、Gennaro Auricchio 和 Paolo Giudici 提出了一种名为 I-SAFE 的新方法来审计这些人工智能模型。

以下是 I-SAFE 的工作原理，通过简单的类比进行解释：

1. 问题所在：“魔法 8 号球”与“懂行的厨师”

当前的人工智能模型就像魔法 8 号球。你摇晃它（输入数据），它就会给出一个答案。如果答案有 90% 的时间是正确的，我们就会感到满意。但我们不知道它们为什么是正确的。

风险： 人工智能之所以正确，可能是因为它死记硬背了测试题，而非因为它理解了化学原理。如果你稍微改变问题（例如改变药物中的某种特定成分），“聪明”的模型应该做出合乎逻辑的反应。而“作弊”的模型可能会随机反应，或者毫无反应。

2. 解决方案：“干预式审计”

I-SAFE 不再仅仅询问人工智能“答案是什么？”，而是问：“如果我们戳一下输入端，会发生什么？”

将人工智能模型视为一个黑箱。科学家们拥有一张关于什么应该重要的地图（称为结构先验）。在他们的实验中，这张地图是一份特定的“结合口袋”列表，即药物实际附着在蛋白质上的位置。

测试： 他们取一种药物和一种蛋白质，创建该蛋白质的两个版本：
1. “真实”的戳刺： 他们干扰地图中指示为重要的部分（即结合口袋）。
2. “虚假”的戳刺： 他们干扰地图中指示为不重要的部分（蛋白质上的随机部分）。
目标： 他们希望观察人工智能对“真实”戳刺的反应是否与对“虚假”戳刺的反应不同。如果人工智能真正具备科学性，改变重要部分应导致其预测发生合乎逻辑、有组织的变化；而改变不重要部分则应导致更混乱、组织性较差的变化。

3. 三把“尺子”（指标）

论文提出了三种具体的方法来衡量人工智能反应的“有序性”。它们使用了复杂的数学术语，但你可以将其视为三把不同的尺子：

尺子 1：“位置”尺（QBM）
- 类比： 想象一排按身高排列的人。如果你改变了重要的人，整排人是否以平滑、可预测的方式整体向上或向下移动？
- 检查内容： 平均预测值是否向合乎逻辑的方向移动了？
尺子 2：“顺序”尺（WCM）
- 类比： 想象一场比赛。如果你改变跑者的鞋子，他们的完赛时间是否以合乎逻辑的方式重新洗牌？或者，冠军是否无缘无故地突然变成了最后一名？
- 检查内容： 人工智能是否保持了其预测的排名一致性？（例如：如果药物 A 之前优于药物 B，改变后它是否仍然更优？）
尺子 3：“形状”尺（TI-WCM）
- 类比： 想象一个气球。如果你挤压它，它只是变小（位移），还是改变了其怪异、凹凸不平的形状？
- 检查内容： 答案的模式是否发生了变化，而不仅仅是数值？这把尺子忽略简单的位移，以查看数据的底层“形状”是否保持连贯。

4. 实验：测试三位“厨师”

作者将此方法应用于三种不同的人工智能模型，这些模型旨在预测药物与蛋白质（具体为激酶）的相互作用。

设置： 他们使用了标准数据集（Davis）和“结合口袋”地图（KLIFS）作为指南。
意外发现： 所有三种模型在测试中都表现出相似的“口味分数”（准确率）。它们看起来都像是优秀的厨师。
审计结果：
- 模型 A 和 B（DeepDTA, DeepConvDTI）： 当科学家戳刺“重要”部分时，这些模型的反应与戳刺“不重要”部分时的反应几乎相同。它们没有表现出有序性。它们可能只是在猜测或依赖捷径。
- 模型 C（TAPB）： 这个模型的反应截然不同！当“重要”部分被改变时，其答案以非常有序、合乎逻辑的方式发生了偏移。而当“不重要”部分被改变时，答案则显得混乱。
- 结论： 尽管所有三种模型在期末考试中都获得了相似的分数，但只有 TAPB 似乎真正理解了问题的结构。

5. 为何这很重要

论文得出结论：仅凭准确率是不够的。 你可以拥有一个正确率达到 90% 的模型，但由于它在“作弊”，它在科学上毫无用处。

I-SAFE 就像人工智能的测谎仪。它不在乎模型在单次猜测中是对是错；它在乎的是模型的“大脑”是否布线正确。它检查模型的逻辑在科学认为重要的地方受到“戳刺”时是否依然成立。

简而言之：

旧方法： “你得到正确答案了吗？”（是/否）
I-SAFE 方法： “如果我改变问题的这个特定部分，你的答案是否以符合科学意义的方式发生了变化？”（连贯/不连贯）

这一框架使科学家能够在无需查看其内部代码的情况下审计“黑箱”人工智能模型，从而确保人工智能真正在学习科学，而不仅仅是在死记硬背测试题。

技术摘要：I-SAFE – 干预式安全、准确、公平且可解释

1. 问题陈述

在科学机器学习中，深度学习模型通常基于保留集的预测性能（如准确率、AUROC）进行评估。然而，高基准性能是科学有意义行为的脆弱指标。模型可能通过利用“捷径”特征、数据集特有的规律性或分布偏差（如目标偏差或支架效应）来实现强大的预测分数，而非学习该领域底层的结构属性。

标准评估方法无法区分模型是学习了相关的科学结构，还是仅仅记住了统计相关性。此外，现有的事后审计方法通常依赖标量摘要（如平均灵敏度或单点归因），这可能遗漏当科学相关的输入结构受到扰动时，完整输出分布如何重组的信息。因此，需要一种框架从观察式评估转向干预式评估，不仅评估模型是否预测正确，还评估其预测在受控的、结构引导的扰动下如何变化。

2. 方法论：I-SAFE 框架

作者引入了I-SAFE（干预式安全、准确、公平且可解释），这是一个针对黑盒科学预测器的事后、模型无关的审计框架。该框架评估模型输出分布在由外部结构先验引导的干预下的连贯性。

核心组件：

黑盒预测器 ( $f_{BB}$ )：一个仅通过其输入 - 输出映射访问的训练模型。
结构先验 ( $P$ )：一个源自领域知识（独立于模型）的外部映射，用于识别给定任务中哪些输入组件具有科学相关性。例如，在药物 - 靶点相互作用（DTI）中，该先验识别蛋白质结合口袋中的特定氨基酸残基。
干预设计：该框架构建匹配扰动对：
- 机制扰动 ( $\phi_{mech}$ )：应用于由结构先验 ( $P(x)$ ) 选定的组件的修改。
- 虚假扰动 ( $\phi_{spur}$ )：应用于先验之外组件 ( $S_{spur} \subset P(x)^c$ ) 的修改，使用相同的扰动算子和基数。
干预响应概况：该框架在固定的审计集上比较模型在这些扰动前后的原始输出分布。

三个连贯性指标：
I-SAFE 使用三个互补指标量化输出分布的“排序连贯性”。与标量摘要不同，这些指标捕捉分布偏移的几何特征。

基于分位数的指标 (QBM)：测量位置级连贯性。它比较原始输出与扰动输出之间经验分位数（如四分位数）的位移与总均方误差。较低的值表示分布位置的较大偏移。
Wasserstein 连贯性指标 (WCM)：测量序数连贯性。基于最优传输理论，它评估扰动后输入与输出的自然配对在多大程度上得以保留。它比较自然对应下的位移与输出的最优重排（置换）下的位移。该指标具有尺度不变性且经过归一化。
平移不变 WCM (TI-WCM)：测量形状连贯性。该变体消除了全局均值偏移（平移）的影响，隔离分布形状（方差和高阶矩）的变化。

审计逻辑：
审计为每个指标计算先验相对对比 ( $\Delta M = M_{spurious} - M_{mech}$ )。正对比值表明，先验选定组件的扰动比非先验组件的扰动引发了更连贯（即更具结构性和可预测性）的输出分布重组。

3. 主要贡献

框架引入：提出 I-SAFE 作为事后审计工具，将评估对象从标量摘要转变为干预下的完整输出分布变化。
指标定义：形式化了三个特定指标（QBM、WCM、TI-WCM），将分布响应分解为位置、序数结构和形状。这些指标基于最优传输理论，旨在实现模型无关性。
先验相对对比：引入了一种对比评估策略，通过将机制扰动与匹配的虚假对照进行比较，隔离结构先验的影响，同时控制扰动规则和基数。
理论性质：证明了指标被限制在 $[0, 1]$ 范围内，具有尺度不变性（针对 WCM），并且能够区分不同类型的分布重组。

4. 实验结果

该框架在用于药物 - 靶点相互作用（DTI）预测的Davis 激酶基准上进行了实例化。

设置：审计了三个基于序列的 DTI 模型：DeepDTA、DeepConvDTI 和 TAPB。结构先验源自 KLIFS（激酶 - 配体相互作用指纹与结构）结合口袋注释。
预测模式：所有三个模型在 Davis 测试集上表现出可比的预测性能（AUROC），处于相似的预测模式内。
发现：
- TAPB：在 QBM 和 WCM 方面显示出显著正的先验相对对比 ( $\Delta QBM \approx +0.093$ , $\Delta WCM \approx +0.063$ )。这表明，当 KLIFS 结合口袋残基受到扰动时，与口袋外残基受到扰动相比，TAPB 的输出分布以高度连贯的方式重组（保留了位置和秩）。
- DeepDTA 和 DeepConvDTI：显示出可忽略不计或负的对比值。DeepDTA 未显示出先验对齐的优势，而 DeepConvDTI 显示出负的序数对比，表明其连贯响应并非特定地绑定于结合口袋结构。
- 形状分析：所有模型的 TI-WCM 对比值均为负值或接近零，表明在 TAPB 中检测到的连贯信号是由位置和排序偏移驱动的，而非残留形状保留。

实验结论：尽管准确率相似，但这些模型表现出根本不同的干预行为。只有 TAPB 证明了其预测是围绕科学相关的结合口袋结构组织的，这一区别在基于准确率的常规评估中是不可见的。

5. 意义与主张

本文声称，I-SAFE 提供了一种基于统计的、先验相对的测试，用于评估训练有素的科学预测器在具有结构意义的扰动下如何运作。

与因果主张的区别：作者明确指出，I-SAFE 不确立模型的因果有效性，也不证明模型已恢复真实的因果机制。相反，它提供了可重用的指标，以评估模型的输出分布是否相对于外部、特定领域的先验进行了连贯的组织。
超越标量审计：该框架通过捕捉聚合性能指标无法看到的分布偏移几何特征（位置、顺序、形状），解决了标量审计的局限性。
模型无关的实用性：该方法适用于任何输入允许结构化分解且可获得外部结构先验的领域，使其成为黑盒科学 AI 结构审计的通用工具。
适度范围：作者强调，该审计是现有模型的诊断工具，而非训练过程。它有助于识别模型的成功是由相关结构特征驱动还是由虚假相关性驱动，从而支持科学 AI 中更精确的评估主张。