🤖 machine learning

Routing by Reaching: Composition of Pre-trained GFlowNets for Multi-Objective Generation

本文提出了一种在推理阶段组合预训练 GFlowNet 的框架，旨在无需重新训练的情况下高效处理多目标生成任务，该框架能实现对线性标量化的精确恢复以及对非线性算子的有界近似，同时达到与联合训练基准模型相当的性能。

原作者： Seokwon Yoon, Youngbin Choi, Seunghyuk Cho, Seungbeom Lee, MoonJeong Park, Dongwoo Kim

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Seokwon Yoon, Youngbin Choi, Seunghyuk Cho, Seungbeom Lee, MoonJeong Park, Dongwoo Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位试图发明完美新菜品的顶级大厨。你有一份食材清单，但同时你也有一份规则清单：它必须是辣的，但不能太辣；它必须是甜的，但不能甜得腻人；它必须成本低廉，但看起来依然高级。在人工智能的世界里，科学家们使用一种被称为“生成流网络”（Generative Flow Networks，简称 GFlowNets）的特殊工具，让它们扮演这些大厨的角色。它们不负责烹饪，而是负责“创造”出像药物分子或复杂图结构之类的新事物。这些工具非常出色，因为它们不仅仅是寻找一个“最佳”答案，而是探索一整个充满多样化、有前景选择的“厨房”，从而为你提供符合不同口味的一系列佳肴。

然而，现实生活是混乱的。通常，你不仅仅想要一样东西；你想要同时平衡好几件事，比如制造一种既强效又安全的分子。问题在于，旧的方法就像是为每一种规则组合都聘请一位新大厨。如果你想把食谱从“辣且便宜”改为“甜且安全”，你必须解雇旧大厨并从头开始训练一个全新的模型。这既缓慢、昂贵又浪费。科学家们一直在问一个大问题：我们能否让一群已经是特定菜肴专家的厨师团队协作，在无需重新训练的情况下，瞬间创造出一种全新的、复杂的风味？

这篇论文介绍了一种名为“通过到达进行路由”（Routing by Reaching）的聪明新方法，它回答了对上述问题的“是”。作者提出了一个框架，充当一名聪明的指挥家，通过提取一组预训练好的 AI 大厨（GFlowNets）的指令，并即时混合这些指令，来创造出新的多目标食谱。该系统并非为每种新的目标组合都训练一个新模型，而是简单地观察每个现有模型到达某个步骤的可能性，并将其作为权重来融合它们的决策。

研究人员发现，对于简单的组合，例如对不同目标进行加权求和（这个过程称为线性标量化），这种混合方法在数学上是完美的——它能创造出与你从头训练一个新模型所得到的完全一致的结果分布。对于更复杂的非线性组合（例如使用逻辑来表达“必须是 A 但不能是 B”），该方法在所有情况下并非在数学上都完美无缺，但作者通过模拟证明，它在最重要的区域——即你真正想要寻找解的高质量、高回报区域——表现得极其精确。

为了测试这一点，团队在两个完全不同的阶段进行了实验。首先，他们使用了一个简单的 2D 网格游戏（类似于视频游戏地图），在那里他们可以清晰地看到 AI 如何导航至奖励区域。在这里，他们的方法比以往的方法更精确，尤其是在加入更多目标时。然后，他们转向了现实世界：生成用于药物研发的新分子。他们在两种不同类型的分子构建方式上进行了测试：一种是将预制块（片段）拼接在一起，另一种是逐个原子进行构建。在这些现实世界的测试中，他们的方法匹配甚至超越了那些需要为每个新目标进行大规模重训的模型。或许最令人印象深刻的是，当他们使用“逻辑”规则（如“高结合亲和力但低毒性”）时，他们的生成速度比之前最好的方法快了大约 30 到 65 倍，而后者在每一步都需要进行繁重的计算。

这篇论文表明，这种方法将预训练的 AI 模型变成了可重复使用的构建模块。正如音乐家可以通过混合不同的预录音轨来创作一首新歌，而无需重新录制乐器一样，这种方法允许科学家即时创作出新的 AI 行为。虽然该方法并非解决所有可能问题的“万灵药”（它在底层模型训练良好且目标不至于过于矛盾时效果最好），但它为探索复杂的科学问题提供了一种灵活、快速且高度准确的方式，而无需承担不断重训的高昂成本。

技术摘要：通过到达进行路由 (Routing by Reaching)

问题陈述

生成式流网络 (GFlowNets) 在根据奖励函数采样多样化候选对象方面表现出色，这一能力对于分子生成等科学发现任务至关重要。然而，现实世界的应用通常需要平衡多个往往相互冲突的目标（例如：结合亲和力、合成可及性和药物相似性）。现有的多目标 GFlowNet 方法通常分为两类：标量化（训练一个以偏好向量为条件的单一模型）和逻辑算子（通过分类器组合分布）。

这些现有方法存在两个关键局限性：

缺乏可重用性： 它们需要针对每种特定的目标组合进行联合训练。引入一个新的目标或新的权衡偏好需要从头开始重新训练模型或训练一个新的辅助分类器，从而产生巨大的计算开销。
框架碎片化： 当前的方法通常孤立地处理标量化或逻辑组合，缺乏一个能够处理多种组合方案（从线性求和到复杂的非线性算子）而无需重新训练的统一框架。

方法论

作者提出了一个名为“通过到达进行路由 (Routing by Reaching)”的框架，该框架通过在推理时混合其前向策略来组合预训练的 GFlowNet。其核心洞察在于，到达概率 $u(s)$ —— 即在特定前向策略下访问状态 $s$ 的概率 —— 为组合生成过程提供了天然的权重。直观地说，一个向当前状态路由更多概率质量的模型，被认为与该状态的目标更相关。

混合规则

给定 $k$ 个具有前向策略 $p_{i,F}$ 、到达概率 $u_i$ 和终止分布 $p_i$ 的预训练 GFlowNet，所提出的混合策略 $p_{M,F}$ 对于从状态 $s$ 到 $s'$ 的转移定义为：

$p_{M,F}(s'|s) = \frac{G(u_1(s)p_{1,F}(s'|s), \dots, u_k(s)p_{k,F}(s'|s))}{N_M(s)}$

其中：

$G$ 是组合函数（例如，用于标量化的加权和，或用于合取运算的调和平均值）。
$N_M(s)$ 是局部归一化常数，确保策略之和为 1。
到达概率 $u_i(s)$ 作为权重，缩放第 $i$ 个模型的转移概率。

计算到达概率

为了在不重新训练的情况下实现这一点，作者提供了两种从预训练模型获取 $u_i(s)$ 的途径：

模型 F： 对于使用流匹配 (Flow Matching)、详细平衡 (Detailed Balance) 或子轨迹平衡 (Sub-Trajectory Balance) 训练的模型，状态流 $F_i(s)$ 是显式参数化的。 $u_i(s)$ 直接由 $F_i(s)/Z_i$ 推导得出。
DB F： 对于使用轨迹平衡 (Trajectory Balance) 训练的模型（其中状态流并非显式），在轨迹生成过程中使用详细平衡恒等式在线重建 $u_i(s)$ ： $u_i(s_t) = \prod_{j=1}^t \frac{p_{i,F}(s_j|s_{j-1})}{p_{i,B}(s_{j-1}|s_j)}$ 。

理论分析

线性标量化 ( $\beta=1$ )： 作者证明了对于奖励的线性加权和，混合策略精确地恢复了目标分布。诱导分布与目标分布之间的失真因子变为常数。
非线性算子： 对于非线性组合（例如 $\beta \neq 1$ 、调和平均值、差集运算），无法保证失真因子为常数。然而，经验分析表明，在（目标奖励较高的）高密度区域，失真保持近似常数，从而确保了在采样关键区域的准确近似。

核心贡献

免训练组合： 一种在推理时组合预训练 GFlowNet 以实现任意目标集和多样化组合方案（线性与非线性）的方法，无需任何额外的训练或微调。
理论保证： 提供了线性标量化的精确恢复证明，并通过失真因子量化了非线性算子的近似质量。
统一框架： 一个能够同时处理基于偏好条件的标量化和逻辑算子（合取/减法）的单一方法，克服了以往文献的碎片化问题。
高效性： 与分类器引导的基准相比，该方法显著降低了逻辑算子的推理时间，因为它避免了为了计算引导项而必须枚举并评估所有后继状态的过程。

实验结果

该框架在合成 2D 网格和真实分子生成任务（基于片段和基于原子/QM9）上进行了评估。

合成 2D 网格：
- 标量化： 在 2 到 5 个目标的情况下，该方法实现的 L1 误差明显低于基于偏好条件的基准方法 (MOGLFN, HN-GFN)。与基准方法不同，随着目标数量的增加，性能保持稳定。
- 逻辑算子： 该方法在调和平均值和差集运算方面表现出与分类器引导基准相当的性能，且无需额外训练。它显著优于通过混合策略而不使用到达概率权重的“集成 (ensemble)”基准。
分子生成：
- 标量化： 该方法达到了或超过了需要为每个目标组合进行联合训练的基准方法的样本质量（平均奖励和多样性）以及超体积。
- 逻辑算子： 该方法在调和平均值和差集运算中实现了极高的目标命中率，通常优于分类器引导。至关重要的是，它保持了与基础模型相当的分子有效性。
- 推理成本： 对于标量化，该方法产生的开销极小（每个样本 8–40ms）。对于逻辑算子，由于避免了分类器引导所需的穷举状态搜索，其速度比分类器引导快 30–65 倍。

意义与主张

论文声称，“通过到达进行路由”使得预训练的 GFlowNet 能够作为可重用的构建模块。通过在推理时组合这些模型，从业者可以快速适应多样化的目标组合，并在无需高昂重训成本的情况下探索帕累托前沿 (Pareto front)。

作者强调，虽然该方法在理论上对于线性标量化是精确的，但在高奖励区域能为复杂的非线性算子提供准确的近似。其主要意义在于将单个目标的训练与组合阶段解耦，从而促进了在药物设计等需求经常动态变化的科学发现领域中进行灵活的多目标探索。这项工作并不声称引入了根本性的新生成能力，而是提供了一种高效利用现有已训练模型来处理复杂多目标任务的机制。