🤖 machine learning

Constrained Flow Optimization via Sequential Fine Tuning for Molecular Design

本文介绍了约束流优化（Constrained Flow Optimization, CFO），这是一种通过将问题简化为生成流模型的序列化微调，从而在分子设计中平衡奖励最大化与约束满足的具有可证明收敛性的算法。

原作者： Sven Gutjahr, Riccardo De Santi, Luca Schaufelberger, Kjell Jorner, Andreas Krause

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Sven Gutjahr, Riccardo De Santi, Luca Schaufelberger, Kjell Jorner, Andreas Krause

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：教一位厨师如何在规则内烹饪

想象一下，你有一位世界级的厨师（预训练模型），他通过研读大量的食谱，已经学会了如何烹饪美味且真实的佳肴。这位厨师非常擅长做出看起来和吃起来都像真实料理的食物。

然而，在现实世界中，你不仅仅想要一份“好吃的”饭菜。你有特定的目标：

奖励（The Reward）： 你希望这顿饭味道极其鲜美（例如：药物具有高结合亲和力）。
约束（The Constraints）： 这顿饭绝不能含有毒素（毒性）、必须使用你能买到的食材（可合成性），或者必须能装进特定的便当盒里（分子大小）。

问题在于，如果你只是告诉厨师：“尽可能做得好吃。”他们可能会发明出一道美味无比但含有氰化物的菜肴。如果你告诉他们：“不要使用毒素。”他们可能会做出一份平淡无味、虽然安全但没人想吃的食物。

在不进行反复试错的情况下，寻找“极致美味”与“零毒性”之间的完美平衡，正是这篇论文所解决的挑战。

问题所在：“手动调优”陷阱

以前，科学家们尝试通过给厨师一张手动食谱卡来解决这个问题，上面标明了风味的“权重”和安全的“权重”。

“让风味得分达到 100，但保持毒素得分在 50 以下。”
问题在于： 如果你设置的权重不对，厨师要么会做出一个致命的杰作，要么会做出一个安全但索然无味的“砖头”。你必须不断猜测正确的数字，这既耗时又经常失败。这就像是在试图通过猜测天平两端的重量来平衡跷跷板，而直到结果出来之前，你永远无法看到实际情况。

解决方案：CFO（约束流优化）

作者引入了一种名为 CFO 的新方法。你可以把 CFO 不仅仅看作是一张静态的食谱卡，而是一位在练习过程中站在厨师身边的聪明且具有适应性的教练。

以下是这位教练（CFO）的工作步骤：

练习赛： 厨师尝试通过最大化风味来烹饪美食，但如果厨师过于接近“毒素区域”，教练会增加一个“惩罚”。
检查： 菜肴完成后，教练会品尝味道。
- 是否有毒？ 如果有，教练会说：“喔！刚才太危险了！下次我会把毒素的惩罚力度加大很多。”
- 是否安全？ 如果安全，教练会说：“太棒了！我们可以稍微放宽一点惩罚，让你更专注于风味。”
调整： 教练根据结果自动更新“惩罚得分”。
重复： 厨师根据新的惩罚规则再次尝试。教练不断调整规则，直到厨师找到了那个完美的点：极致美味且百分之百安全。

论文将此称为“序列微调”（Sequential Fine-Tuning）。与其一次性猜测规则，不如让教练在厨师烹饪的过程中学习规则，通过不断微调平衡点直到达到完美。

背后的“魔法”

论文使用了高级数学（称为增广拉格朗日法/Augmented Lagrangian），但你可以将其理解为一个自我修正系统。

“对偶变量”（The Dual Variables）： 这些是教练的内部笔记。一份笔记记录了安全规则应该有多严格，另一份笔记则记录了厨师违反规则的情况。
保证： 作者从数学上证明了，这位教练最终一定会找到一个既满足安全规则，又能尽可能接近最大风味的解决方案。这不仅仅是运气好，而是一个通往解决方案的保证路径。

他们测试了什么

作者通过两种方式测试了这位“教练”：

简单测试（地图）：
- 想象一张地图，上面有两个安全区（红色三角形）和一个“危险区”（红色区域）。目标是在保持在安全区内的前提下，找到“奖励”最高的地方（白色十字）。
- 结果： 旧的方法（仅仅尝试到达十字处）直接冲进了危险区。而 CFO 教练引导厨师在保持在安全三角形内部的同时，成功到达了十字处。
现实世界测试（分子设计）：
- 在这里，“厨师”是一个旨在创造新药物分子的 AI。
- 目标： 创建一个具有强“偶极矩”（一种对药物有用的特定电学性质）的分子。
- 约束： 分子必须具有低能量（以保证化学稳定性）。
- 结果： 没有教练的情况下，AI 创建的分子虽然功能强大但极不稳定（就像一辆拥有强劲引擎却没刹车的车）。有了 CFO，AI 创建的分子在保持强大功能的同时，始终处于安全限制之内。

为什么这很重要

论文声称 CFO 比以往的方法更好，因为它：

无需猜测： 你不需要手动调节安全与奖励之间的“权重”。系统会自动搞定。
可靠性： 它能稳定地找到既高性能又安全的解决方案，而其他方法经常无法满足安全约束。
灵活性： 即使“规则”（约束）非常复杂或难以计算，它依然有效。

总结类比

想象你正在开车前往目的地（奖励）。

旧方法： 你将定速巡航设定为“快速”，然后祈祷不要撞墙。如果你撞墙了，你就减速，然后重试。
CFO 方法： 你有一位副驾驶，他时刻观察着路况。如果你离墙太近，他会轻轻踩下刹车并转向；如果路况良好，他会让你加速。他会实时调整转向和速度，确保你在绝不撞墙的前提下，以最快的速度到达目的地。

这篇论文为那个完美的副驾驶提供了数学证明和算法。

技术摘要：通过序列微调实现分子设计的受限流优化

1. 问题陈述

本文探讨了将生成式基础模型（特别是流模型和扩散模型）适配于分子设计和蛋白质工程等现实世界科学发现应用中所面临的挑战。虽然这些模型擅长捕捉复杂的分布，但标准采样不足以应对发现任务，因为这类任务的目标是在严格满足特定领域约束（如合成可及性、毒性边界或能量稳定性）的同时，最大化特定奖励（如结合亲和力、偶极矩）。

现有的微调方法（通常基于强化学习或控制理论）通常在 KL 正则化下优化奖励函数，以防止分布漂移。然而，它们难以可靠地处理硬约束。一些朴素方法（例如将约束作为加权项纳入目标函数）被认为是不可靠的，因为奖励与约束之间的最优权重在不同任务和训练阶段会发生变化，这需要低效的试错调整。此外，这些方法无法保证生成的样本一定满足显式约束，往往会产生虽然具有高奖励但违反关键物理或化学性质的样本。

核心问题在于：如何微调预训练的流或扩散模型，使其能够可靠且可预测地在奖励优化与约束满足之间进行权衡？

2. 方法论

作者提出了一个形式化的框架及针对该问题的算法解决方案。

受限生成优化框架：
该问题被形式化为寻找一个策略 $\pi^*$ ，在满足期望约束 $c(x) \leq B$ 的同时，最大化期望奖励 $r(x)$ 。该过程需相对于预训练模型 $\pi_{pre}$ 进行 KL 正则化。目标函数为：
$\max_{\pi} \mathbb{E}_{x \sim p^{\pi}_1}[r(x)] - \alpha D_{KL}(p^{\pi}_1 || p^{pre}_1) \quad \text{s.t.} \quad \mathbb{E}_{x \sim p^{\pi}_1}[c(x)] \leq B$
该公式泛化了奖励引导优化（reward-guided optimization）和受限生成（constrained generation，其中 $r$ 为常数）两种情况。

受限流优化 (CFO)：
为了解决这一问题，作者引入了基于增广拉格朗日 (Augmented Lagrangian, AL) 方案的 受限流优化 (Crained Flow Optimization, CFO) 算法。CFO 将受限问题转化为一系列无约束的、熵正则化的微调子问题。该算法通过以下迭代步骤运行：

构建增广目标函数： 在每次迭代 $k$ 时，构建一个增广目标函数 $f_k(x)$ 。该函数结合了奖励 $r(x)$ 与由拉格朗日乘子 $\lambda_k$ 和惩罚参数 $\rho_k$ 调节的约束违规项：
$f_k(x) = r(x) - \frac{\rho_k}{2} \left[ \max\left(0, c(x) - B - \frac{\lambda_k}{\rho_k}\right) \right]^2$
微调步骤： 使用标准的微调求解器（例如 Adjoint Matching 或 DiffusionNFT）针对增后的目标函数 $f_k$ 来优化策略 $\pi_k$ ，并受限于相对于预训练模型的 KL 散度。
对偶变量更新：
- 拉格朗日乘子 ( $\lambda$ )： 根据经验约束间隙 $G_k = \mathbb{E}[c(x)] - B$ 进行更新。如果违反约束（ $G_k > 0$ ），则减小 $\lambda$ 以加强惩罚；如果满足约束，则放宽限制。
- 惩罚参数 ( $\rho$ )： 根据收缩统计量 $V_k$ 进行更新。如果约束间隙没有充分收缩，则增加 $\rho$ 以强制执行更严格的可行性。

这种序列化方法允许算法在无需手动调整权重的情况下，自动平衡奖励最大化与约束满足。

3. 核心贡献

本文做出了四个主要贡献：

形式化框架： 它通过流微调构建了受限生成优化框架，捕捉了在任意约束下进行奖励引导适配的实际任务。
CFO 算法： 它引入了 CFO，一种基于增广拉格朗日的方法，通过序列微调可证明地解决受限问题。
理论保证： 在近似求解器和特定预言机条件的现实假设下，作者提供了收敛保证。他们证明了 CFO 能返回一个使不可行性最小化的策略，并且在更强的条件（消失的近似误差）下，能达到全局最优。
实证验证： 该方法在低维说明性设置和高维分子设计任务上均得到了评估，展示了其有效权衡奖励与约束的能力。

4. 实验结果

作者从两个主要方面评估了 CFO：

低维说明性设置：

受限优化： 使用高斯混合模型，CFO 成功地引导模型进入高奖励区域（靠近目标点），同时保持在有效的约束区域内（三角形）。与忽略约束的标准 Adjoint Matching 相比，CFO 在保持高奖励的同时显著降低了约束违规（从 2.47 降至 0.12）。
受限生成： 通过将奖励设为常数，CFO 恢复了受限生成能力。通过改变约束边界 $B$ ，可以实现对约束的受控放宽，证明了该方法的灵活性。
求解器无关性： CFO 在与一阶求解器（Adjoint Matching）和无梯度求解器（DiffusionNFT）结合使用时表现一致，证实了其模块化特性。

分子设计任务：

能量约束下的偶极矩最大化： 使用 GEOM Drugs 数据集上的 FlowMol 模型，CFO 在强制执行总能量上限（约束，作为稳定性的代理）的同时优化了偶极矩（奖励）。
- CFO 将偶极矩从 6.55 D（预训练）提升至 8.39 D，同时满足能量约束（期望能量 -82.28 Ha vs. 边界 -80 Ha）。
- 相比之下，无约束微调（Adjoint Matching）虽然达到了类似的奖励，但违反了能量约束（期望能量 -78.31 Ha）。
与基准方法对比： CFO 优于手动调节固定权重惩罚的基准方法。手动调优需要在 18 个数量级的权重范围内进行穷举搜索，才能找到一个与 CFO 性能相当的配置，这凸显了手动调优的低效性。
有效性与效率： 虽然微调降低了化学有效分子（chemically valid molecules）的百分比（这是生成式设计中的已知挑战），但 CFO 在同等奖励水平下比无约束基准保持了更高的有效性。CFO 还展示了计算效率，仅需一次微调过程，而无需像 DiffOpt 等推理时约束方法那样承担高昂的采样成本。

5. 重要性与主张

本文声称 CFO 提供了一种可靠且可预测的受限生成优化机制。其重要性在于：

自动化权衡： 它消除了手动、低效地进行约束权重试错调整的需求，而这正是当前生成式设计工作流中的主要瓶颈。
理论严谨性： 它为约束满足和奖励最优性提供了收敛保证，将其建立在成熟的优化理论（增广拉格朗日）之上。
实际效用： 通过成功应用于高维分子设计任务，作者证明了该方法可以扩展到约束（如化学稳定性）不可逾越的现实科学问题中。
模块化： 该框架与底层微调求解器无关，可以集成到各种优化策略（基于梯度或无梯度）中，并适用于不同的数据模态（连续、离散或混合）。

作者总结道，CFO 使适配预训练流模型成为可能，从而在强制执行任意约束的同时最大化期望奖励，为科学发现应用提供了一个强大的工具。