技术摘要：APOSM —— 用于小分子设计的成对偏好学习

问题陈述

小分子先导化合物的优化本质上受限于合成与检测候选化合物的高成本和低通量。因此，设计过程高度依赖于替代模型（surrogate models）来优先排序用于实验测试的候选者。然而，由于实验筛选数据中固有的噪声、稀疏性和偏差，这些替代模型的可靠性往往受到挑战。

目前的生成式框架通常训练评分函数来预测绝对属性值（例如 $\text{IC}_{50}$、结合亲和力）进行回归。作者认为，在特定生物靶点典型的低数据量场景下，学习预测绝对得分是不可靠的，因为现有的测量数据不足以训练出一个鲁棒的回归器。相反，实验数据通常足以确定两个候选者中哪一个更有前景，即使无法准确量化它们之间差异的具体幅度。这表明，对于分子替代模型而言，一种基于相对性的、基于偏好的方法可能比绝对预测更具可行性。

方法论：APOSM

作者提出了 APOSM（主动偏好优化用于小分子设计），这是一种将先导化合物优化视为偏好引导优化问题的主动学习算法。该框架将分子生成器与评分机制解耦，从而实现生成器无关（generator-agnostic）的实现。

APOSM 循环按轮次运行，其结构与湿实验室筛选的批次节奏相匹配：

1. 生成（基于片段的扰动）：

   • 系统将当前的一群父本分子（parent molecules）扩展为更大规模的子代集合。
   • 该实现采用了 CReM（化学合理突变），这是一种基于片段的生成器，通过使用来自精选库（源自 ChEMBL）的子片段替换现有片段来进行局部结构扰动（突变与生长）。
   • 这种局部方法确保了子代在化学空间内保持化学合理性并靠近父本，从而保留了核心骨架。

2. 评分（成对偏好替代模型）：

   • 该模型不预测绝对得分，而是训练一个 消息传递图神经网络（MPGNN） 来预测分子对 $(s_i, s_j)$ 之间的相对偏好。
   • 网络对每一对中的两个分子图使用共享编码器，随后通过一个偏好头输出一个标量对数几率 $z_{ij}$。
   • 训练过程由预言机（oracle）得分差异的符号（$\Delta y_{ij} = y(s_i) - y(s_j)$）监督。模型最小化二元交叉熵损失，以预测标签 $t_{ij} = \mathbb{1}[\Delta y_{ij} > 0]$。
   • 这种方法将“哪个更好”的信号从“好多少”的噪声中分离出来。

3. 排序（全局 Bradley-Terry 序）：

   • 为了选择下一轮的候选者，系统需要对所有子代进行全局排序，而不仅仅是成对比较。
   • Bradley-Terry 模型将预测的成对偏好聚合为全局排名。
   • 为了处理计算规模问题（每轮高达 $10^5$ 个候选者），作者采用了 迭代 Luce 谱排序（ILSR） 算法，该算法比传统的极大化最小化（majorization-minimization）程序收敛更快。
   • 采用两阶段架构：替代模型首先为每个父本生成一个顶部的 $K$ 个子代短名单，随后仅对该短名单应用全局 Bradley-Terry 拟合，并设置多样性上限以防止单个父本在下一代中占据主导地位。

4. 主动学习循环：

   • 将排名靠前的子集提交给预言机（实验测定或计算机模拟代理）进行查询。
   • 新获得预言机标签的分子被添加到训练集中，并在下一轮开始前重新训练替代模型。

核心贡献

• 范式转变： 本文将偏好引导的隐式生成建模概念应用于小分子设计。它将成对偏好的范式（此前已在蛋白质设计和定向进化领域得到确立）扩展到了小分子先导化合物的优化领域。
• 算法框架： APOSM 提供了一个原则性的主动偏好优化实例，结合了基于片段的生成器、基于偏好的图神经网络替代模型以及概率排序。
• 生成器无关性： 该框架旨在独立于特定的分子生成器，尽管作者使用了 CReM 进行实例化。
• 消融研究： 该工作包含针对逐点回归基线（使用 Chemprop 预测绝对得分）的严格比较，以隔离偏好监督带来的贡献。

结果

作者在两种互补的设置下评估了 APOSM：

1. GPCR 配体再发现（热启动）：

   • 任务： 在给定 300 个已知配体的热启动库的情况下，恢复高亲和力多巴胺受体配体。
   • 结果： 与无引导的基于片段的优化或 Graph-GA 遗传算法相比，APOSM 更紧密地追踪了化学空间的高适应度脊线（high-fitness ridge）。它实现了更高的平均得分和累积最佳值，且代内多样性较低，表明其探索过程更加聚焦且高效。

2. 实际分子优化（PMO）基准（冷启动）：

   • 任务： 涵盖相似性、多参数优化（MPO）、再发现、骨架跃迁、对接和属性优化等 25 个任务，限制在 1,000 次预言机评估内。
   • 结果：
     • 在大多数任务组（相似性、MPO、再发现、骨架跃迁、对接）中，APOSM 优于无引导的基于片段的优化和 Graph-GA。
     • 在综合优化指标上，APOSM 达到或超过了逐点回归消融模型。
     • 在绝对评分最难校准的任务组（如对接）中，观察到的增益最为显著。
     • 分布对齐： 以 Kullback-Leibler 散度和最大均值差异（MMD）衡量，APOSM 的提案比基线更接近高可合成药物化合物（ENAMINE Real）的得分分布（除 MPO 任务外）。

3. 替代模型层面的验证：

   • 在分布外（OOD-1）条件下的预优化“预检”验证扫描中，成对偏好替代模型在大多数任务中表现出比逐点回归模型更高的排序准确度（符号准确度和 Spearman 相关性）。在绝对回归最难学习的任务中，这种优势尤为明显。

重要性与主张

本文声称，在典型的筛选活动所面临的低数据、高噪声环境下，成对偏好学习是比绝对回归更可靠的替代目标。

• 可靠性： 作者认为，虽然绝对得分可能存在噪声或稀疏，但候选者的相对排序通常是稳健可辨的。
• 效率： 通过在主动学习循环中利用这种更可靠的信号，APOSM 比无引导生成和遗传算法提高了目标达成率和采样效率。
• 概念扩展： 这项工作架起了蛋白质工程（其中定向进化和直接偏好优化已展示出成对比较的成功）与小分子设计之间的桥梁。它证明了在局部编辑之上进行迭代比较选择，是导航大型离散化学空间的有效策略。
• 实用性： 该框架的设计符合湿实验室筛选（批次获取）的操作现实，并通过 CReM 生成器利用具有化学有效性和可合成性的提案。

作者指出，虽然目前的实现侧重于单目标优化，但该框架是先前研究的自然延伸，即在实验约束下，相对属性预测可能是更易行的替代方案。他们将 APOSM 定位为并非要取代所有生成方法，而是一个针对先导化合物优化中数据匮乏且多噪情况下的特定、原则性的解决方案。