Do Larger Models Really Win in Drug Discovery?A Benchmark Assessment of Model Scaling in AI-Driven Molecular Property and Activity Prediction

这项基准研究挑战了“更大的人工智能模型在药物发现中普遍优于较小模型”的假设，证明与大型基础模型相比，紧凑且专业化的模型在多种分子性质和活性任务中往往能实现更优或相当的预测准确性。

要点

想象一下，你正在尝试预测一种新化学原料在配方中的表现。长期以来，人工智能领域的一个核心观念是：“越大越好。”其假设是，如果你构建一个基于海量数据训练的、无所不知的巨型人工智能大脑（即“大模型”），它会自动比专为单一特定任务构建的小型专用工具更聪明、更准确。

本文决定在药物发现领域对这一假设进行检验。他们并非凭空猜测，而是组织了一场涉及167,056 个不同挑战的宏大竞赛（预测分子与身体的相互作用、是否具有毒性，或是否能对抗结核病和疟疾等疾病）。

以下是他们发现的结果，通过一些简单的类比来呈现：

竞赛：巨人 vs. 专家

将参赛者想象为三种不同类型的赛跑者：

1. “经典”赛跑者：它们就像专业技工。它们小巧、快速，使用简单且经过验证的工具（如扳手或螺丝刀）来解决特定问题。在研究中，这些是使用标准化学指纹的传统机器学习模型。
2. “图”赛跑者：它们就像建筑师，关注建筑部件如何连接。它们稍微复杂一些，着眼于分子的形状和结构。
3. “巨人”赛跑者：它们是超级英雄（大型语言模型）。它们几乎读遍了图书馆里的每一本书。它们庞大、强大，几乎能谈论任何话题。人们曾希望，其巨大的规模将使它们在预测化学行为方面表现最佳。

结果：小个子选手获胜更多

当竞赛开始时，“巨人”赛跑者并未以压倒性优势获胜。事实上，结果相当令人惊讶：

• 专业技工赢得了 22 场比赛中的 10 场。它们在预测结果方面最为准确。
• 建筑师赢得了 9 场。它们紧随其后，差距很小。
• 超级英雄巨人仅赢得了 3 场。尽管拥有巨大的规模和海量的训练数据，它们并未自动击败更小、更专注的模型。

“魔法 8 号球”基线

研究人员还测试了一种“基于规则”的方法，这就像让一本非常聪明但僵化的规则书（或特定的 AI 提示词）仅根据以往见过的模式进行猜测。这些方法也未赢得主要比赛，尽管它们在解释预测背后的原因方面很有帮助，有点像教练在赛后进行的分析。

主要启示

本文的主要教训是：规模并非万能。

• 没有通用赢家：仅仅因为一个模型庞大且通用，并不意味着它在每一项具体任务上都更出色。
• 取决于匹配度：模型能否获胜，取决于其“大脑”与特定问题类型、可用数据量以及所提出的具体生物学问题的匹配程度。
• 巨人的闪光点：本文指出，虽然大模型在预测确切数值方面可能并非最佳，但它们在零样本推理（在未训练的情况下解决从未见过的问题）、解释结果以及生成新想法（假设）方面仍然很有价值。

简而言之：如果你需要精确预测药物分子将如何起作用，一个小型的专用工具通常比一个庞大的通用 AI 更能胜任工作。“越大越好”的规则在这里并不适用；更重要的是拥有针对特定工作的正确工具。

技术摘要

以下是论文《更大的模型真的能在药物发现中胜出吗？AI 驱动分子性质与活性预测中的模型扩展基准评估》的详细技术总结。

1. 问题陈述

药物发现领域目前由一种“以规模为中心”的范式主导，这一范式受大语言模型（LLM）和分子基础模型成功的驱动。普遍存在一种假设，即更大、通用的预训练模型将不可避免地取代传统的紧凑化学信息学模型和特定任务的图神经网络（GNN），在预测任务中占据主导地位。

然而，这一假设缺乏跨多种分子终点的严格实证验证。本研究解决的核心问题是：模型规模和泛化能力是否真的能转化为特定药物发现场景（ADMET、毒性和抗感染活性）中的优越预测性能，或者专业化的小型模型是否仍然更有效。

2. 方法论

作者进行了一项全面的基准评估，旨在消除数据泄露并确保不同模型架构之间的公平比较。

• 数据集与范围：
  • 终点： 22 个不同的分子性质和活性终点。
  • 来源： 公共基准（ADMET、Tox21）以及两个内部抗感染活性数据集（抗结核和抗疟疾）。
  • 评估规模： 总计 167,056 次保留任务–分子评估。
• 验证协议：
  • 结构相似性分离的五折交叉验证： 这是一个关键的方法论选择。与随机划分不同，这种方法确保测试集中的分子在结构上与训练集中的分子不相似，从而严格测试模型泛化到新化学空间的能力，而不仅仅是记忆相似结构。
• 评估模型：
  • 经典机器学习（ML）： 使用 ECFP4 指纹的随机森林（RF）和使用 RDKit 描述符的 ExtraTrees。
  • 图神经网络（GNNs）： GIN（图同构网络）和 Ligandformer。
  • 预训练分子序列模型： MoLFormer 和 ChemBERTa2（代表“大模型”类别）。
  • 基于规则的 SAR 推理基线： GPT5.5-SAR 和 Opus4.7-SAR（代表基于 LLM 的推理）。
• 指标： 性能使用针对每个终点的主要指标进行衡量，重点关注预测准确性和泛化能力。

3. 主要贡献

• 系统基准测试： 本研究提供了药物发现中模型扩展最大、最严格的比较分析之一，涵盖了跨不同化学空间的超过 16 万次评估。
• 对“规模假设”的挑战： 它实证检验了行业趋势，即“越大越好”，具体隔离了模型规模和预训练对专门架构的影响。
• 用例区分： 该论文区分了预测性能（定量准确性）和解释/推理能力（定性见解），提供了关于大模型实际在何处增加价值的细致观点。

4. 主要结果

结果挑战了大模型普遍占主导地位的观念：

• 获胜分布：
  • 经典机器学习（RF、ExtraTrees）： 赢得了 10 个主要指标任务。
  • GNNs（GIN、Ligandformer）： 赢得了 9 个任务。
  • 预训练序列模型（MoLFormer、ChemBERTa2）： 仅赢得了 3 个任务。
  • 基于规则的 SAR（GPT5.5、Opus4.7）： 在预设的主要指标下未赢得任何任务。
• 性能特征：
  • 经典机器学习、GNNs 和预训练序列模型之间的性能差异通常微小，且高度依赖于终点。
  • 更大或更通用的模型并未提供通用的预测优势。
  • SAR 推理： 虽然基于规则的 SAR 基线未在主要预测指标上获胜，但结合从训练折中推导出的 SAR 知识，在推理和解释任务中提供了可衡量（尽管不均匀）的提升。

5. 意义与启示

• 重新评估模型选择： 研究结果表明，对于分子性质和活性预测这一特定任务，紧凑、专业化的模型仍然非常有效。药物发现从业者不应在未经考虑特定数据机制和终点生物学的情况下，自动默认选择庞大的基础模型。
• 依赖上下文的性能： 预测成功不仅仅是模型规模的函数。它取决于以下方面的对齐：
  • 分子表示（例如，指纹 vs. 图 vs. 序列）。
  • 模型的归纳偏置。
  • 数据机制（规模和多样性）。
  • 终点的特定生物学特性。
  • 验证协议（例如，结构分离划分）。
• 大模型的作用： 虽然大模型目前在原始预测准确性上可能未优于专业化模型，但它们在零样本推理、构效关系（SAR）解释和假设生成方面仍保留潜在价值。
• 未来方向： 该论文倡导从“以规模为中心”的观点转向“适用目的”的方法，即模型架构的选择应基于药物发现任务的具体约束和目标，而不仅仅是模型参数量。