💻 computer science

Closed-loop Auto Research for Molecular Property Prediction: Discovering and Certifying Generalizable Improvements

本文介绍了一种闭环自动研究框架，该框架利用语言模型智能体来编辑分子表示、代码模型和外部证据，通过严谨的留出测试，在多个分子特性基准测试中成功发现并验证了具有泛化能力的改进，同时将真实的迁移增益与非迁移的选择方差及分布偏移区分开来。

原作者： Jingjie Ning, Xiaochuan Li, Ji Zeng, Chenyan Xiong, Guolin Ke

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Jingjie Ning, Xiaochuan Li, Ji Zeng, Chenyan Xiong, Guolin Ke

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜题的侦探：我们如何让计算机更好地预测药物在人体内的行为？

通常，科学家们尝试调整计算机程序，就像是在调节收音机的旋钮，希望能找到最清晰的信号。但这篇文章提出了一个更大胆的问题：如果计算机不仅能调整自己的收音机，还能更换天线，甚至能走到现实世界中去寻找新的、秘密的广播电台来收听呢？

这就是闭环自动研究（Closed-loop Auto Research）。这是一个由 AI 智能体组成的团队，它们不只是微调设置；它们实际上会修改代码、改变它们观察分子的方式，并搜寻新的数据。但这里有个陷阱：仅仅因为计算机认为它找到了更好的信号，并不意味着这个信号是真的。它可能只是在“幻觉”——因为它背下了练习题的答案。

大实验：三种改进方法

研究人员设置了一个大规模挑战，包含 36 个不同的药物预测任务（例如检查某种药物是否有毒或在体内停留多久）。他们给了这些 AI 智能体三种特定的“工具”来修复计算机的性能，但有一个严格的规则：智能体一次只能使用一种工具。

特征工具（The Feature Tool）： 改变计算机“观察”分子的方式（比如从黑白照片切换到 3D 模型）。
模型工具（The Model Tool）： 改变计算机的“大脑”（切换用于做出预测的数学引擎）。
数据工具（The Data Tool）： 出去寻找新的、外部的事实来教导计算机（比如阅读一本新的教科书）。

“魔术戏法” vs. “真本事”

这里是这篇论文最聪明的地方。通常，AI 研究人员会观察一个模型在“验证集”（练习测试）上的表现，然后说：“做得好！”但本文认为这是危险的。这就像一个学生背下了练习测验的所有答案，却在正式考试中不及格。

为了证明他们的 AI 真的聪明而不是仅仅运气好，他们使用了**“留出认证”（Held-Out Certification）**协议。

第一步： AI 根据练习测试选出它表现最好的“单工具”修复方案。
第二步： 他们冻结这个修复方案。他们从头开始重新训练计算机。
第三步： 他们在一组全新的、AI 从未见过的问题集上进行仅有一次的测试。

这是终极的现实检验。如果分数下降了，说明 AI 只是在瞎猜。如果分数保持在高位，说明 AI 确实学到了真本事。

研究发现：取决于你在玩哪种游戏

结果令人惊讶，因为“最佳工具”取决于 AI 在处理哪个药物基准测试时。

在 TDC 基准测试（22 个任务）中： 数据工具是赢家。通过寻找新的、干净的外部数据，AI 将其真实世界的得分提高了 0.013。
在 Polaris 基准测试（4 个任务）中： 模型工具成为了冠军。改变计算机的大脑使真实得分大幅提升了 0.042。
在 MoleculeNet（10 个任务）中： 特征工具和模型工具都奏效了，带来了 0.011 的综合真实世界提升。

核心结论： 没有单一的“魔法棒”。正确的修复方法完全取决于你试图解决的具体问题。

两大陷阱：当 AI 对你撒谎时

论文还揭示了 AI 会如何误导自己，让它以为自己在进步，而实际上却在退步。他们称之为**“非迁移特征”（Non-Transfer Signatures）**。

“幸运猜题”陷阱（选择方差/Selection Variance）：
在 TDC 基准测试中，AI 试图通过改变大脑（模型工具）来解决问题。在练习测试中，它的表现看起来非常出色，比之前高出了 0.041。但在真实测试中呢？它几乎纹丝不动，仅提升了 0.003。
为什么？ AI 找到了一个“幸运”的设置，它完美契合了练习题，但其实只是噪声。这就像一个学生在练习测试中通过在每道题都猜“C”而获得了完美分数，但由于纯属巧合，在真正的考试中却不及格。
“错位教室”陷阱（分布偏移/Distribution Shift）：
在 Polaris 基准测试中，AI 试图通过添加新数据（数据工具）来解决问题。它在练习测试中表现很好（提升了 0.22），但在真实测试中，它反而变差了（-0.019）。
为什么？ AI 找到的新数据来自于与测试题目不同的“宇宙”。这就像你在学习关于法国烹饪的教科书，而考试却是关于意大利烹饪的。尽管 AI 很聪明，但数据与它需要预测的现实并不匹配。

安全网：禁止作弊

这项研究最酷的部分之一是他们如何处理“数据工具”。由于 AI 被允许去寻找新数据，因此存在它可能会意外“作弊”——即找到它本该被测试的那些精确分子的风险。

研究人员建立了一个**“污染过滤器”（Contamination Filter）**——一个严格的保安。

如果一个新的数据文件包含哪怕一丁点测试分子（超过 5% 的重叠），保安就会拒绝整个文件。
他们拒绝了三个主要的数据库，因为这些数据与测试集的重叠率高达 64% 到 89%。
只有通过了这种严格检查的数据才被允许进入。

即便有了这个安全员，在 Polaris 测试中仍然发生了“错位教室”的陷阱，这证明了仅仅避免作弊是不够的；数据必须是“正确类型”的数据。

最终对决：AI vs. 标准工具

为了确保他们的“自动研究”团队不仅仅是在做标准计算机程序就能做到的事情，他们与一个**“匹配试验的 AutoML 控制组”**（一个标准的、非智能体的 AI，仅进行参数微调）进行了一场比赛。

标准 AI 在真实测试中仅实现了 0.006 的微小提升。
自动研究智能体则拿到了 0.042。

论文指出，该智能体能够真正重写代码并整理新证据的能力，赋予了它远超标准调优的巨大优势。

底线

这篇论文表明，AI 确实可以发现药物研发中真实且有用的改进，但前提是必须在它从未见过的数据上进行测试。

如果你只看练习分数，你可能会被幸运的猜测或不匹配的数据所蒙蔽。但如果你使用这种“留出认证”方法，你就能将真正的发现与虚假的幻觉区分开来。这个教训不仅适用于药物研发，也适用于任何试图学习的 AI：不要相信练习测验，要相信最终考试。

技术摘要：用于分子属性预测的闭环自动研究

问题陈述
自动化机器学习（AutoML）通常侧重于在固定数据集和预定义搜索空间内进行超参数调优。然而，“闭环自动研究”（Closed-loop Auto Research）旨在将自动化扩展到研究工作流本身，即语言模型（LM）智能体可以编辑分子表示、修改模型代码并获取外部证据。本研究解决的核心挑战是此类智能体所发现的改进的可靠性。在分子属性预测领域，由于数据集通常规模较小且终点（endpoints）具有异质性，一个优化验证信号的自适应循环可能会产生两种结果：一是由于选择方差导致的伪增益（对特定验证集的过拟合），二是由于分布偏移导致的伪增益（获取的数据虽然改善了验证集表现，但未能实现泛化）。本文探讨的问题是：由智能体选出的改进方案，是否能泛化到其从未观测到的留出测试集（held-out test partition）上。

方法论
本研究采用了一个闭环自动研究框架，该框架运行在一个强大的紧凑基准之上（采用基于 CatBoost 的 MapLight 式流水线，结合了 ECFP、Avalon、ErG 和 RDKit 描述符）。该方法论由三个核心组件定义：

轴向隔离干预（Axis-Isolated Intervention）： 研究空间被划分为三个不同的维度：特征（分子表示）、模型（估计器、优化、正则化）和数据（外部证据）。通过“文件级消融锁”（file-level ablation lock）确保每次实验尝试仅修改一个维度，同时保持其他维度不变。这使得任何性能提升都可以归因于特定的研究方向。
留出认证协议（Held-Out Certification Protocol）： 不同于仅报告验证得分的标准 AutoML 工作流，本研究实施了严格的认证步骤。一旦搜索过程根据验证性能选定了某个维度的最佳配置，该配置将被冻结，并在内部训练集上从头开始重新训练，然后仅在一次在留出的测试集上进行评分。在搜索循环期间，测试标签从未被读取。
安全性保障的外部证据获取： 对于数据维度，智能体会提议外部数据集。一个由程序强制执行的过滤器在任何数据合并前会应用三层安全过滤：
- 标准化身份去重： 通过 InChIKey 去除盐类、电荷和互变异构体。
- 同源拒绝： 如果测试分子中超过 5% 存在于整个文件中，则拒绝该文件（表明其为基准测试本身的来源）。
- 近邻类似物过滤： 移除与测试结构 ECFP4 Tanimoto 相似度 $\ge$ 0.9 的分子。

评估涵盖了三个基准测试集中的 36 个终点：TDC ADMET（22 个终点）、MoleculeNet（10 个终点）以及 Polaris adme-fang 数据集（4 个终点）。

核心贡献

发现可迁移的改进： 研究表明，轴向隔离的自动研究可以发现超越验证信号的泛化改进。一个根据验证情况为每个终点选择最佳维度的路由流水线，在 TDC 上实现了 +0.013、在 MoleculeNet 上实现了 +0.011 以及在 Polaris 上实现了 +0.042 的正向留出测试增益。
识别非迁移特征（Non-Transfer Signatures）： 留出认证协议成功区分了真实的泛化与两种经验性的“非迁移特征”：
- 选择方差（Selection Variance）： 在 TDC 模型维度中观察到，巨大的验证增益（0.041）在测试集上坍缩至接近于零（0.003），表明该增益是噪声验证试验中的极大值，而非可重复的效果。
- 分布偏移（Distribution Shift）： 在 Polaris 数据维度中观察到，外部数据改善了验证性能（0.022）但降低了测试性能（-0.019），表明尽管通过了污染过滤，但添加的数据使训练分布偏离了测试分布。
可审计的数据获取： 本工作引入了可重构的数据获取审计追踪，证明了虽然控制污染（去除测试重叠）是必要的，但对于实现迁移而言还不够，数据源也必须与测定（assay）分布相匹配。
对比验证： 实验证明，智能体的代码级干预在 Polaris 模型维度上优于匹配试验的 AutoML 对照组（FLAML）（0.042 对比 0.006），证明其收益并非仅能通过标准超参数搜索获得。此外，生成的基于 CPU 的流水线在大多数留出终点上仍能与拥有 8400 万参数的预训练 3D 模型（Uni-Mol）竞争。

结果

依赖于机制的迁移性（Regime-Dependent Transfer）： 有效的维度随基准测试的变化而变化。数据策展是 TDC 的主要驱动力（由精选的外部数据提升了 CYP2C9 底物性能 +0.17 和半衰期 +0.08）。模型干预（如多种子集成、估计器选择）在 Polaris 上表现领先。特征和模型干预在 MoleculeNet 上均实现了迁移。
特定终点增益： 来自数据维度的个体改进最为显著，特别是在 TDC 的 CYP2C9 底物（+0.17）和半衰期（+0.08）方面。
对照组表现： 匹配的 AutoML 对照组未能复现智能体的增益，证实了智能体的特定代码级编辑（如集成策略）提供了超越标准搜索空间的价值。
基准竞争力： 优化的 CPU 流水线在大多数终点上达到了或超过了重型 3D 预训练模型的性能，尽管两者并未共享预训练数据。

意义与主张
本文主张，将发现过程与留出认证分离是任何针对留出量（held-out quantity）进行优化的闭环系统都适用的领域无关教训。研究认为，在分子属性预测中，仅仅报告基于验证选出的性能对于科学主张是不充分的。通过隔离维度并在未读取的测试数据上强制执行“冻结并重训”协议，本研究提供了一种方法，用以区分可迁移的发现与选择方差或分布偏移产生的伪影。

作者强调，虽然具体的机制（如分子过滤器）是领域特定的，但认证逻辑是通用的。本研究并不声称自动研究解决了所有的药物研发挑战，而是建立了一个严谨的框架，用于验证自动化研究行为究竟产生了真实的、可泛化的科学改进，还是仅仅产生了过拟合的验证信号。研究结果表明，对于分子属性预测而言，“有用的研究行动”是特定任务环境（机制）的属性，而非通用的配方。