🤖 machine learning

Conformal Prediction for Molecular Properties under Label Shift

本文介绍了一种针对标签偏移量身定制的符合性预测框架，该框架通过利用边际标签概率比对评分进行加权，为分子特性生成具有统计严谨性的预测区间，从而在无需模型重训的情况下，增强了人工智能驱动药物研发的可靠性与监管合规性。

原作者： Hyeonsu Lee, Juyeon Kim, Erkhembayar Jadamba, Seungjin Choi, Hyunjin Shin

发布于 2026-08-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Hyeonsu Lee, Juyeon Kim, Erkhembayar Jadamba, Seungjin Choi, Hyunjin Shin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

将一种化学化合物转化为救命药物的过程，是一场充满不确定性的马拉松。这个过程可能耗时十多年，耗资数十亿美元，而且往往以失败告终，因为在计算机模型中看起来完美的分子，在生物体内可能会表现出不可预测的行为。为了加速这一进程，科学家们越来越多地依赖人工智能来预测新分子的作用方式，例如它是否能在水中溶解，或者是否会对细胞产生毒性。然而，这些数字预测的质量取决于它们所训练的数据。当模型遇到与所学习示例显著不同的新型分子时，其信心可能成为一种负担，提供一个看似精确但实际上却自信地错误的单一数值。为了使这些工具在现实世界中安全使用，研究人员需要一种不仅能衡量答案，还能衡量该答案可靠性的方法，尤其是在游戏规则发生变化的时候。

在最近的一项研究中，莫加姆生物医学研究所（Mogam Institute for Biomedical Research）和 Intellicode 的研究人员针对这一特定的“规则变化”问题进行了攻关，这在技术术语中被称为“标签偏移”（label shift）。这种情况发生在模型试图预测的属性分布在训练阶段和实际应用阶段之间发生了变化。例如，一个模型可能是在各种常见的分子上进行训练的，但随后被要求寻找具有极高效能的罕见化合物。在这种情况下，标准的测量不确定性的方法会失效，往往导致预测区间过窄，无法捕捉到真实值。该团队开发了一个新的框架，可以在无需重新训练昂贵的基础模型的情况下，调整这些人工智能预测的置信区间。通过使用一种称为“符合性预测”（conformal prediction）的统计技术——该技术构建的是可能值的范围而非单一的点估计值——他们创建了一个即使在数据分布发生漂移时也能保持可靠的系统。

研究人员使用了一个包含近一万种已知溶解度水平的化合物大型数据集来测试他们的方法，溶解度是药物设计中的一个关键因素。他们采用了一个经过数亿种化学结构训练的高级语言模型来进行初步预测。为了模拟标签偏移这一现实世界的挑战，他们人为地改变了测试数据的分布，使其溶解度值的分布与训练集不同。当他们将标准的、未经调整的方法应用于这些偏移后的数据时，系统未能像预期那样频繁地将真实值捕捉在预测范围内，导致结果表现出危险的过度自信。这种假设测试数据与训练数据一致的传统方法，根本无法跟上这种变化。

为了解决这个问题，团队引入了一个充当预测“校正透镜”的权重系统。他们首先将可用数据分为三个不同的组：一组用于训练模型，一组用于估算数据分布发生了怎样的偏移，第三组用于校准最终的预测范围。利用第二组数据，他们计算了新环境中不同溶解度水平的预期频率与旧环境相比的比率。然后，他们将这些比率作为权重应用于模型在校准期间产生的误差。这一过程有效地告诉系统：要更多地关注那些在新数据中变得越来越常见的误差类型，而减少对那些正在消退的误差类型的关注。通过这样做，他们可以构建出保持统计有效性的预测区间，无论数据如何偏移，都能确保真实值落在预期的置信水平范围内。

他们在模拟实验中重复了一千次以确保稳健性，结果显示出明显的改进。虽然标准方法在标签偏移下经常无法捕捉到真实值，但新的加权方法始终能将覆盖率恢复到目标水平。研究人员发现，当使用一种称为“极大似然估计”（maximum likelihood estimation）的特定统计技术来计算必要的权重时，该方法效果最好，尽管其他方法也展现出了潜力。有趣的是，能够最准确恢复覆盖率的方法往往会产生略宽的区间，这种权衡反映了一种更诚实的对不确定性的评估。研究表明，在无需承担从头开始重新训练的昂贵成本的情况下，使现有的强大人工智能模型适应新的、变化的化学景观是完全可能的。

这项工作为将人工智能整合到高风险的药物研发环境中提供了一条切实可行的路径。通过提供一种能够适应变化条件的、具有统计严谨性的置信度测量方法，该框架有助于弥合理论模型性能与监管透明度要求之间的差距。它确保了当科学家观察一种新型分子的预测结果时，他们看到的不仅仅是一个数字，而是一个对其潜在特性的现实评估，并伴随着对相关风险的清晰理解。这种从“盲目自信”向“审慎可靠”的转变，是使人工智能成为将新药带给患者这一价值数十亿美元事业中值得信赖的伙伴的关键一步。

技术摘要：针对标签偏移下分子属性的符合预测

问题陈述
人工智能（AI）在药物发现中的应用面临着一个关键的可靠性瓶颈：分布偏移（distribution shift）。虽然 AI 模型加速了分子属性（如溶解度、效力、毒性）的预测，但当测试数据与训练分布发生偏离时，其性能往往会下降。具体而言，本研究针对的是**标签偏移（label shift）**场景，即在源域（训练集）与目标域之间，目标属性的边缘分布 $P(y)$ 发生了变化，而给定标签的特征条件分布 $P(x|y)$ 保持不变。这种情况在药物发现中非常普遍，例如当研究重点转向发现具有特定属性值（如极高药效或低毒性）的分子时，这些分子在原始训练数据中可能代表性不足。

标准的符合预测（conformal prediction）框架旨在生成具有有限样本有效性的统计严谨预测区间，但它依赖于训练数据与测试数据之间满足可交换性（exchangeability）的假设。在标签偏移下，这一假设被破坏，导致标准方法产生过度自信且不可靠的预测，其覆盖率会显著低于标称置信水平。此外，传统的点预测对于高风险实验设计提供的指导有限，且现有的分布偏移解决方案通常需要昂贵的模型重训，或者主要关注回归任务中的协变量偏移而非标签偏移。

方法论
作者提出了一种专门用于处理连续回归任务中标签偏移的**加权符合预测（Weighted Conformal Prediction, WCP）**框架，该框架无需对基础模型进行重训。其方法流程如下：

数据划分： 将源数据集 ( $D_s$ ) 分为三个不相交的子集，以防止数据泄露：
- 训练集 ( $D_{train}$ )：用于训练基础预测模型 ( $f$ )。
- 权重集 ( $D_{weight}$ )：用于估计代表目标与源标签分布比例的重要性权重。
- 校准集 ( $D_{cal}$ )：用于计算非符合性得分（nonconformity scores）。
- 目标数据集 ( $D_t$ ) 被划分为无偏移和偏移子集用于评估。
离散化与权重估计： 由于目标属性是连续的，响应变量 $y$ 被离散化为 $K$ 个箱体（bins）以创建伪标签。重要性权重 ( $w$ ) 被估计为目标边缘标签概率与源边缘标签概率的比值 ( $w(\tilde{y}) = q(\tilde{y})/p(\tilde{y})$ )。作者采用了三种不同的技术来从无标签的目标数据中估计目标分布 $q(\tilde{y})$ ：
- 黑盒偏移估计 (BBSE)
- 标签偏移下的正则化学习 (RLLS)
- 带有偏差修正温度缩放 (BCTS) 的极大似然估计 (MLE)
- 对于 MLE，一种概率方法将预测建模为以模型输出为中心、标准差等于 RMSE 的高斯分布，并通过累积分布函数 (CDF) 的差值来计算箱体概率。
加权符合预测：
- 为校准集计算非符合性得分 ( $s_i$ )，通常采用绝对残差 ( $|y_i - f(x_i)|$ )。
- 每个得分根据其所属标签的箱体被分配一个估计的重要性权重 ( $\hat{w}_i$ )。
- 计算加权分位数 ( $\hat{q}_w$ )，使得低于阈值的得分的加权比例达到期望的置信水平 ( $1-\alpha$ )。
- 最终为新测试点 $x_t$ 构建预测区间为 $C(x_t) = [f(x_t) - \hat{q}_w, f(x_t) + \hat{q}_w]$ 。

核心贡献

标签偏移自适应： 本文引入了针对连续回归任务的符合预测特定适配方案，填补了以往研究中相对于协变量偏移而言在标签偏移领域探索不足的空白。
模型无关框架： 该方法与各种基础模型兼容（本文通过大型语言模型进行了演示），且不需要昂贵的模型重训。它仅依赖于对校准步骤的重新加权。
集成估计技术： 该框架系统地评估并集成了用于估计边缘概率比的 BBSE、RLLS 和 MLE，展示了如何仅利用预测模型的输出进行分布偏移校正。
统计严谨性： 该方法即使在属性分布发生漂移时，也能恢复边缘覆盖保证 ( $P(y_{test} \in C(x_{test})) \geq 1-\alpha$ )，提供了统计有效的确定性量化。

实验结果
该框架在 AqSolDB 数据集（9,982 个化合物）上进行了评估，该数据集使用了一个基于 BART 架构的化学大语言模型（LLM），该模型在约 2 亿个 SMILES 字符串上进行了预训练，并针对溶解度（logS）预测进行了微调。

基准失效： 标准拆分符合预测 (CP) 在标签偏移的测试数据上表现出显著的覆盖率下降，平均覆盖率大幅低于标称目标值。
性能恢复： 提出的加权符合预测 (WCP) 方法成功恢复了覆盖率。WCP 的覆盖率分布相对于标准 CP 向右偏移，表明其区间更频繁地包含真实标签。
估计器比较： 在权重估计技术中，MLE 实现了最高的覆盖率，其次是 RLLS 和 BBSE。MLE 在关于离散化所用箱体数量方面表现出了鲁棒性。
权衡： 虽然 MLE 提供了最佳的覆盖率恢复，但与 BBSE 和 RLLS 相比，它产生的预测区间略宽。

意义与主张
作者将这项工作定位为实现 AI 在药物发现领域监管合规和实际应用的关键一步。通过超越单一数值的准确性，转而提供可操作的、统计严谨的置信度度量，该方法解决了 FDA 2025 年指南中关于要求 AI 系统在监管提交中提供“适当置信区间”和“不确定性估计”的要求。

论文声称，该框架增强了 AI 驱动预测在数十亿美元开发管线中的可信度。它即使在属性分布发生漂移时，也能实现稳健的不确定性量化，直接解决了将 AI 应用于新颖化学空间时的普遍障碍。最终，这项工作提供了一种通用的、模型无关的解决方案，确保模型在应对药物开发中不确定的前沿领域时保持可靠，使预测建模符合高风险科学决策对透明度和可靠性的需求。

类似论文