🤖 machine learning

Active Flow Expansion for Out-of-Distribution Discovery: from Theory to Molecules

本文介绍了一种名为主动流扩展（ActFlow）的新型持续预训练方法，该方法利用验证器反馈和主动探索来从统计学上保证生成模型有效设计空间的扩张，在发现分布外分子和蛋白质方面显著优于标准方法。

原作者： Riccardo De Santi, Bruce Lee, Cristian Perez Jensen, Kimon Protopapas, Sophia Tang, Cheng-Hao Liu, Pranam Chatterjee, Yisong Yue, Andreas Krause

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Riccardo De Santi, Bruce Lee, Cristian Perez Jensen, Kimon Protopapas, Sophia Tang, Cheng-Hao Liu, Pranam Chatterjee, Yisong Yue, Andreas Krause

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位大师级厨师，他一生都只根据一本特定的、磨损严重的食谱来烹饪。这位厨师在重现书中的菜肴方面极其出色。然而，科学界需要一些全新的东西：一道从未被烹饪过的、全新的“自然之味”。

问题在于，如果你要求这位厨师发明一道新菜，他很可能会只是制作一个他已知菜肴的变体，因为他的大脑（AI 模型）是根据旧食谱的模式进行训练的。他被困在了“舒适区”的已知食谱中。

这篇论文介绍了一种名为 ACTFLOW（主动流扩展，Active Flow Expansion）的新方法，旨在帮助这位厨师跳出舒适区，发现全新的、有效的食谱。

以下是其工作原理的拆解，通过简单的概念进行说明：

1. 问题：“舒适区”陷阱

用于创造分子或蛋白质的标准 AI 模型就像这位厨师：它们经过训练，旨在完美模仿给定的数据（我们已知的“有效”分子）。

局限性： 如果你要求它们创造新事物，它们通常会失败。它们要么创造出看起来像旧数据的东西（乏味），要么创造出化学上不可能存在的物质（垃圾）。
目标： 我们想要找到“有效前沿”——即可能存在但尚未被发现的边界。

2. 解决方案：“探索者”策略

ACTFLOW 不仅仅是尝试复制旧食谱，它将 AI 模型视为一名探索者。它不满足于仅仅匹配过去，它想要扩展“可能实现”的版图。

这个过程就像是在一位安全检查员的监督下玩一场“热还是冷”的游戏：

探索者（AI）： AI 生成一批新的、奇特的方案。
安全检查员（验证器）： 一个独立的工具会对这些方案进行检查。
- 如果设计是有效的（一个工作的分子），检查员会说“是”。
- 如果设计是无效的，检查员会说“否”。
转折点（主动探索）： 大多数方法只是不断重复寻找已发现的“是”的内容。ACTFLOW 则更聪明。它专门寻找那些具有不确定性的设计。
- 想象 AI 正走在浓雾中。它知道自己脚下的路径是安全的。但它不想停留在路径上；它想走进迷雾中，那些它不确定地面是否坚实的区域。
- ACTFLOW 引导 AI 在这些“多雾”的区域（模型感到不确定的地方）生成设计，因为那里隐藏着新的发现。
反馈循环：
- 如果这个“多雾”的设计最终被证明是有效的，AI 会学习到：“啊！地图比我想象的要大。我可以去那里。”
- 如果它是无效的，AI 会学习：“好吧，那个方向是死胡同。下次我会避开它。”
- 随着时间的推移，AI 的“地图”会变得越来越大，覆盖了它以前无法触及的区域。

3. “可生成集”（可达领地）

论文引入了一个高级术语，叫做**“可生成集”（Generable Set）**。你可以将其理解为 AI 能够以高置信度实际到达并创造的领地。

使用 ACTFLOW 之前： AI 的领地是广阔海洋中一个微小的岛屿。
使用 ACTFLOW 之后： AI 向新的岛屿架起了桥梁。它扩展了自己的领地，以覆盖更多的海洋，找到了此前对它而言不可见的有效设计。

4. 结果：寻找新宝藏

研究人员在四种不同类型的“食谱”上测试了该方法：

小分子： 类似于药物的基础构建模块。
类药分子： 用于医药的更复杂的结构。
治疗性多肽： 用于药物的短氨基酸链。
蛋白质序列： 构建复杂生物机器的指令。

在所有案例中，ACTFLOW 都能：

覆盖更广的范围： 它找到了比以往方法多得多的独特且有效的设计。
保持安全： 它不仅找到了更多的东西，还找到了有效的东西。它没有制造垃圾。
多样化： 新的设计彼此之间非常不同，为科学家提供了更广泛的选择。

总结类比

想象一个拿着森林地图的徒步旅行者。

旧方法： 徒步旅行者只在他们已经熟知的标记路径上行走。他们永远看不到隐藏的瀑布。
ACTFLOW： 徒步旅行者得到了一枚指南针，指向“未知但潜在安全”的区域。他们走下标记好的路径，检查地面是否坚实（验证器），如果地面坚实，他们就会在地图上画出一条新线。最终，他们绘制出了整片森林的地图，发现了以前无人知晓的瀑布和洞穴。

论文声称，这种方法在数学上被证明可以安全且有效地扩展 AI 的触达范围，其表现优于那些仅仅试图复制或轻微修改现有数据的其他方法。这是一个关于发现的工具，而不仅仅是模仿。

技术摘要：用于分布外发现的主动流扩展 (Active Flow Expansion)

问题陈述

标准的生成模型（包括流模型和扩散模型）通常通过数据分布匹配进行预训练。这一目标迫使模型去逼近现有训练数据的分布（ $p_{data}$ ），而该分布通常仅覆盖有效设计空间（ $\Omega^*$ ）的一小部分。虽然这种方法在行为克隆或重现观测样本的任务中非常有效，但对于分布外（Out-of-Distribution, OOD）发现而言，它存在根本性的局限。在科学发现（例如设计自然界中不存在的新型分子或蛋白质）中，目标是采样那些在观测数据分布下概率极低、且与现有样本差异极大的有效设计。标准预训练模型无法访问这些区域，因为它们的“可生成集”（即能够以非显著概率进行采样的区域）严格包含在观测数据分布之内。

方法论：主动流扩展 (ACTFLOW)

作者提出了主动流扩展 (ACTFLOW)，这是一个持续预训练框架，旨在扩展模型的生成集，使其覆盖更大比例的有效设计空间。该方法背离了被动的分布匹配，转而将生成模型视为有效设计空间的逼近器。

核心概念

可生成集 ( $\Omega^\tau_\theta$ )： 定义为模型终端密度 $p^\theta_1(x)$ 超过阈值 $\tau$ 的设计空间区域。标准预训练导致 $\Omega^\tau_{\theta_{pre}} \subset \Omega^*$ 且 $\text{Vol}(\Omega^\tau_{\theta_{pre}}) \ll \text{Vol}(\Omega^*)$ 。
可生成集扩展： 新的学习原则旨在学习参数 $\theta$ ，使得 $\Omega^\tau_\theta \approx \Omega^*$ ，从而有效地将模型的覆盖范围扩展到有效的 OOD 区域。

算法工作流

ACTFLOW 通过主动探索与模型自适应的迭代循环运行：

在学习表征中进行主动探索： ACTFLOW 并非从当前模型的优势模态（dominant modes）中采样，而是在学习到的流表征 $Z_s$ （从中间噪声水平 $s \in (0,1)$ 的速度网络中提取）中进行主动探索。
不确定性倾斜采样 (Uncertainty-Tilted Sampling)： 该方法将采样导向高验证器不确定性的区域。它求解一个优化问题（公式 9），在最大化预期验证器不确定性 $\sigma_t(\phi_s(x))$ 的同时，通过 KL 散度项进行正则化，以确保搜索过程仍靠近当前的模型密度。这平衡了对新有效前沿的探索与对模型先验知识的利用。
验证器反馈： 黑盒验证器 $\tilde{v}$ （例如分子有效性检查器或蛋白质折叠性预测器）评估生成的样本，并提供二元标签（有效/无效）。
基于符号重放的更新 (Signed Replay-Based Update)： 模型使用符号损失函数进行更新。接受的样本（有效）贡献正梯度（吸引模型），而拒绝的样本（无效）贡献负梯度（排斥模型）。这可以被视为一种符号重放目标： $L_{signed} = L_{accepted} - \alpha_t L_{rejected}$ ，其本质上是一种针对无效区域的“数据遗忘”过程。

理论框架

论文为 OOD 流建模建立了统计学习保证，将其框架化为一个局部到全局的可达性 (local-to-global reachability) 问题：

验证器建模： 验证器被建模为基于学习表征空间的逻辑带状反馈机制（logistic bandit feedback mechanism），其中有效性由未知的潜在得分 $g(z)$ 决定。
可达算子： 作者定义了一个一步可达算子 $R_\epsilon(S)$ ，代表在一定的误差范围内，可以从已知安全集 $S$ 证实的有效点集合。
主要定理： 在验证器规格明确且近似不确定性采样的假设下，ACTFLOW 保证在经过 $T^*$ 次验证样本后，模型的生成集将覆盖初始有效种子集的 $H$ 次递归扩展（即 $R^H_\epsilon(S_0) \subseteq \Omega^\tau_{T^*}$ ）。这为流模型中生成集的扩展提供了首个理论保证。

主要贡献

生成集扩展： 引入了一个严谨的数学框架，用于基于扩展模型生成集而非匹配数据分布的 OOD 流建模。
ACTFLOW 算法： 一种实用的、任务无关的持续预训练方法，利用验证器反馈和中间噪声表征中的主动探索来发现新的有效区域。
理论保证： 提供了首个 OOD 流建模的统计学习保证，证明了 ACTFLOW 通过局部到全局的过程扩展生成集以覆盖可达的有效区域。
实验验证： 在多个领域（小分子、类药分子、治疗性多肽和蛋白质序列）进行了全面的评估，证明了其优于递归自我生成基准模型的性能。

实验结果

作者将 ACTFLOW 与两种广泛采用的基准模型进行了对比：

REC-NF： 在未经过滤的模型样本上进行持续预训练。
REC-F： 在经验证器过滤后的样本（仅限有效样本）上进行持续预训练。

性能指标： 覆盖率（有效簇的数量）、多样性（Vendi 分数）以及有效性（有效样本百分比）。

有机小分子 (QM9)： ACTFLOW 将有效覆盖范围扩展至 88.40 个簇（相比之下，REC-F 为 45.40，REC-NF 为 42.80），同时保持了高有效性 (95.90%)。REC-NF 的有效性严重下降（12.26%）。
类药分子 (GEOM-Drugs)： ACTFLOW 实现了 144.3 个有效簇，显著优于 REC-F (89.33) 和 REC-NF (44.67)。它还提升了有效性（从预训练基准的 56.6% 提升至 39.31% 左右的水平，注：此处原文逻辑为提升了有效性）。
治疗性多肽： ACTFLOW 将覆盖范围从 61 增加到 358 个簇，并实现了最高的多样性 (58.87 Vendi 分数)。相比之下，REC-NF 的有效性坍缩至 0%。
蛋白质序列： ACTFLOW 将覆盖范围从 66.50 增加到 102.75 个簇，并提升了多样性 (42.14 Vendi)，同时将有效性提高到 83.74%。REC-F 虽然获得了更高的有效性 (88.12%)，但在覆盖率和多样性方面出现了坍缩。

在所有任务中，ACTFLOW 在覆盖率、多样性和有效性的权衡方面显著优于基准模型，成功地扩展到了递归基准模型无法触及的新有效区域。

意义与主张

本文声称为分布外生成建模提供了首个兼具理论与实践的方法。通过将范式从“分布匹配”转向“生成集扩展”，ACTFLOW 使预训练模型能够访问那些标准采样或简单微调无法触及的有效设计空间。作者强调，该方法架起了安全探索理论与生成建模之间的桥梁，为发现“新颖于自然界”的设计提供了可证明的保证。

就现实世界的发现而言，该研究的范围相对适中：虽然该框架允许向此前不可及的有效区域进行任务无关的扩展，但作者指出，未来仍需进一步评估这种探索是否能在特定的现实应用场景中产生具体的科学发现。其核心贡献在于为实现此类发现提供了算法和理论基础。