Source- and Release-Aware Calibration Recovers EGFR Potency Prediction Under Cross-Source and Future-Release Domain Shift

技术摘要：面向 EGFR 效能预测的源与版本感知校准

问题陈述
基于配体的表皮生长因子受体（EGFR）效能模型在通过随机拆分进行评估时，通常表现出很强的内部准确性。然而，本文指出，这些指标由于共享的同系物系列、重复的化学结构以及特定来源的实验规范而存在虚高现象。在实际的药物化学部署中，模型面临着严重的领域偏移（domain shifts），具体表现为：

1. 骨架与时间偏移：泛化到新的化学骨架或未来的时间段。
2. 跨源偏移：从 ChEMBL 迁移到独立的数据库（如 BindingDB）。
3. 未来版本偏移：在训练截止日期之后（例如使用 ChEMBL30 训练的模型预测 ChEMBL36 中的分子）对数据库新增分子进行预测。

在严格的评估协议下，本文证明了标准模型（指纹、集成模型、图神经网络，甚至成对活性悬崖感知模型）在这些偏移分布上会发生崩溃。具体而言，在包含 2,907 个非重叠 ChEMBL36 分子的真实未来版本面板上，基于 ChEMBL30 训练的模型 $R^2$ 得分为负值，表现甚至差于简单的均值基准线。

方法论
本研究采用了一个严谨且可复现的框架来诊断并解决这些失效问题：

• 严格的数据清洗：利用严格的规则从 ChEMBL（及 BindingDB）中重建了一个高质量的 EGFR $\text{IC}_{50}$ 基准数据集：等价关系、nM 单位、有效的实验类型、移除冲突的重复项（SD > 0.5）以及基于骨架的拆分。
• 基准构建：
  • 未来版本面板：训练被锁定在 ChEMBL30，评估在 ChEMBL36 的 2,907 个非重叠分子上进行。
  • 跨源面板：在经过严格重叠移除后的 BindingDB 数据上进行评估。
  • 公共基准：在 MoleculeACE 和 ACNet 活性悬崖数据集上进行评估。
• 基准模型：研究测试了广泛的架构，包括 Morgan 指纹、岭回归/随机森林/XGBoost 以及现代定向消息传递神经网络（GINE/D-MPNN）。
• 提出的解决方案：源与版本感知的残差校准：
  • 作者并未重新训练基础模型，而是提出了一个轻量级的、无需反向传播的校准头。
  • 机制：使用来自偏移分布（如 BindingDB 或 ChEMBL36）的一小组“支持”标签（数十到数百个分子）来估计基础模型的残差误差 $r(x) = y - f(x)$。
  • 校准头：测试了多种估计器，包括均值偏移、线性回归、Morgan 残差岭回归（将残差回归到指纹上）以及 Morgan kNN 残差（将残差从最近邻转移）。
  • 预测：校准后的预测值为 $\hat{y}_{cal}(x) = f(x) + \hat{r}(x)$。
  • 不确定性：使用来自偏移支持集的残差对拆分共形预测区间（split conformal prediction intervals）进行重新校准，以恢复有效的覆盖率。

关键结果

1. 模型在偏移下的崩溃：

   • 在 ChEMBL30 $\to$ ChEMBL36 未来版本面板上，未校准的模型（包括 GNN）实现的 $R^2$ 值在 -0.33 到 -2.52 之间，未能超越均值基准线。
   • 在 BindingDB 和时间外部拆分上也观察到了类似的崩溃。
   • 成对活性悬崖目标虽然改善了局部 SAR 指标，但并未解决全局领域偏移问题。

2. 通过少样本校准实现恢复：

   • 仅使用来自偏移分布的少量骨架不相交的支持标签，残差校准头即可恢复正值的 $R^2$。
   • BindingDB：使用 512 个支持标签时，RMSE 从 1.5959（零样本）提升至 0.8285。
   • 未来版本 (ChEMBL36)：仅使用 64 个标签时，RMSE 从 1.42 ($R^2$ -0.33) 提升至 1.00 ($R^2$ +0.33)；使用 512 个标签时提升至 0.85 ($R^2$ +0.52)。
   • 该方法在仅有 16–64 个分布匹配的标签时即表现有效。

3. 泛化性与效率：

   • 目标迁移：相同的校准方案成功恢复了在独立非 EGFR 激酶靶点（ABL1 和 BRAF）上的性能，这些靶点的零样本 $R^2$ 值分别为 -1.81 和 -2.45。
   • 计算效率：在小标签预算（16–64 个标签）下，无需反向传播的校准匹配或优于全量 GNN 微调，且所需的计算时间减少了约一个数量级（例如，0.01s vs 0.38s）。
   • 不确定性：域内共形区间在未来版本数据上的覆盖率严重不足。通过在少量偏移标签上重新校准共形半径，恢复了接近标称的覆盖率（例如，0.90 目标 $\to$ 0.90 经验覆盖率），尽管区间变得更宽、更诚实。

意义与主张
本文主张，观察到的 EGFR 效能预测退化并非表示学习（representation learning）固有的失败（因为 GNN 也失败了），而是一个可解决的领域偏移问题。其核心贡献是一个实用的、可操作的部署方案：

• 不要仅仅依赖于表示迁移或内部验证指标。
• 在移动到跨源或未来版本场景时，部署模型进行初步筛选，但要收集一小组、分布匹配的支持集（数十个分子）。
• 利用该支持集进行残差校准，以恢复有效的预测和不确定性估计。

作者强调，这种方法将一个“失败的”前向发布模型转变为一个可用的模型，且不会带来全量微调所带来的计算成本或灾难性遗忘风险。研究还强调，活性悬崖感知目标对于局部 SAR 是有价值的，但在没有源感知校准的情况下，不足以应对全局领域适应。

承认的局限性
论文指出，严格的清洗减少了活性悬崖的数量，少样本校准假设了目标源标签的可获得性，并且虽然 ChEMBL30-to-36 实验是一个强大的回顾性压力测试，但真正的临床前湿实验验证仍是最高水平的证据。此外，目前的 XAI 标签是弱结构注释，而非专家精选的药效团。