ISAAC: Auditing Causal Reasoning in Deep Models for Drug-Target Interaction

技术摘要：ISAAC——针对药物 - 靶点相互作用预测中深度模型因果推理的审计

1. 问题陈述

深度学习模型在科学基准测试中经常实现高预测精度，然而这种性能并不一定意味着模型已经学到了基于机制的推理。相反，模型可能依赖于虚假相关性、特定数据集的伪影或与分布内目标相关但缺乏因果有效性的“捷径”特征。这一问题在药物 - 靶点相互作用（DTI）预测等科学领域尤为关键，因为在这些领域中，有效的输出必须依赖于潜在的分子机制（例如局部的蛋白质 - 配体相互作用），而非表层的统计模式。

当前的评估范式严重依赖预测精度，这是一种观测性指标，用于评估在固定数据分布上与标签的一致性。仅凭精度无法区分因果依赖与虚假关联。虽然现有的可解释性方法（例如显著性图）提供了相关性解释，但它们不能保证因果有效性，而基于鲁棒性的方法通常关注训练目标，而非对冻结的已训练模型的推理行为进行审计。因此，目前缺乏一个标准框架来明确测试预测是否由具有结构意义的输入组件所驱动。

2. 方法论：ISAAC 框架

为了填补这一空白，作者引入了ISAAC（基于干预的因果推理结构审计方法）。ISAAC 是一个事后结构审计框架，它利用受控的输入级干预，将模型的推理评估为其在特定预测机制下的行为属性。

核心概念：

• 干预行为： 通过对输入 $x$ 应用确定性算子 $I$ 来探测推理，生成干预后的输入 $x^I$。模型 $f_\theta$ 被视为固定系统；输出的变化完全由干预引起。
• 结构化输入： 输入被分解为可识别的组件（例如蛋白质序列中的氨基酸残基）。
• 匹配的干预类别： 该框架基于外部指定的结构先验（例如已知的结合口袋）定义了两类干预：
  • 机制干预（$I_{mech}$）： 对由结构先验识别为相关的组件（$S \subseteq S_{prior}$）施加的扰动。
  • 虚假干预（$I_{spur}$）： 对先验定义区域之外的组件（$S' \subseteq S_{comp}$）施加的扰动，其基数和算子与机制集相匹配。
• 干预响应差异： 定义为 $\delta_\theta(x, I) = f_\theta(x^I) - f_\theta(x)$，捕捉模型输出的相对变化。

指标：
ISAAC 通过以下三个指标量化推理的一致性：

1. 推理分数（RS）： 定义为每个输入的度量 $RS(x) = \frac{|m_{mech}(x)|}{|m_{mech}(x)| + |m_{spur}(x)|}$，其中 $m$ 代表有符号干预响应的中位数。RS 量化了对机制对齐扰动相对于未对齐扰动的相对偏好。
2. 分离系数（$C_{sep}$）： 衡量机制响应与虚假响应分布之间的几何分离度，并通过机制效应的内在变异性进行归一化。
3. 重叠率： 落入机制响应四分位距范围内的虚假响应的比例。

3. 实验设置

该框架在药物 - 靶点相互作用（DTI）预测的背景下，利用Davis 基准（激酶抑制剂相互作用）进行了实例化。

• 模型： 审计了三种具有不同归纳偏置的序列架构：DeepDTA、DeepConvDTI 和 TAPB（靶点感知预测基准）。
• 干预设计： 干预仅应用于蛋白质靶点序列（$t$），而药物（$d$）保持固定。
  • 结构先验： 源自KLIFS结合口袋注释，用于识别机制相关的残基。
  • 干预： 包括掩码和物理化学约束的替换。机制范围从 KLIFS 口袋中采样；虚假范围从非口袋残基中采样，并保持基数匹配。
• 协议： 模型使用标准程序进行训练和验证。验证了预测性能（AUROC），以确保所有模型都在可比的机制下运行。审计是在测试数据的结构有效子集（208 个靶点）上事后进行的，无需重新训练。

4. 关键结果

实验揭示了预测精度与推理行为之间存在显著的不一致性：

• 预测性能： 所有三个模型在审计子集上实现了几乎无法区分的 AUROC 分数（范围从 0.876 到 0.907），证实它们运行在可比的预测机制下。
• 推理分数（RS）： 尽管精度相似，但模型在推理分数上表现出显著且可重复的差异：
  • TAPB： 实现了最高的 RS（0.521）和高分离系数（0.458），表明机制响应与虚假响应之间存在连贯的分离。
  • DeepDTA： 显示出中等的 RS（0.441），但分离度较低。
  • DeepConvDTI： 表现出最低的 RS（0.414）和接近零的分离度（0.061），表明对机制扰动的敏感性较弱，且缺乏对对齐结构的连贯偏好。
• 关于精度的结论： 约 3% 的 AUROC 差异与推理分数差异的幅度（范围从 0.414 到 0.521）不相关。这表明基于精度的评估无法检测到模型响应结构组织中的差异。

5. 意义与主张

该论文主张，在科学机器学习中，仅凭预测精度不足以表征模型推理。主要贡献包括：

• ISAAC 框架： 一种原则性的、基于干预的审计协议，独立于预测精度评估相对于先验的结构敏感性。
• 行为区分： 能够揭示推理行为中的系统性差异（例如，依赖局部结合位点与依赖全局序列统计），这些差异在标准的基于精度的评估下是不可见的。
• 模型无关审计： 该方法在事后对冻结模型进行操作，无需重新训练、内部模型访问或干预级监督，使其适用于具有结构化输入的各种架构和领域。

作者强调，他们的发现突出了“预测成功”与“推理组织”之间的区别。通过对比对结构对齐与未对齐扰动的响应，ISAAC 为区分在常规基准下无法区分的模型提供了基础，为机制有效性至关重要的科学应用提供了更透明的评估。

承认的局限性：

• 结构先验（KLIFS）可能无法捕捉所有决定亲和力的残基；因此，指标反映的是相对于先验的敏感性，而非绝对的因果有效性。
• 虚假控制在基数上匹配，但在空间连续性上不匹配，引入了几何不对称性。
• 目前的研究仅限于单个数据集上的靶点侧干预和三种特定架构。