技术摘要：Flow-Direct

问题陈述

预训练的扩散模型和流模型在建模复杂的多模态数据分布方面表现出色。然而，许多现实世界的应用（例如蛋白质设计、空气动力学优化）需要从由特定应用目标定义的特定目标分布中采样，而不是从预训练期间学到的广泛分布中采样。这些目标通常通过外部黑盒奖励函数隐式指定，这些函数可能评估成本高昂、不可微分，或在训练期间不可用。

现有的“无需训练”引导方法试图在推理阶段利用这些奖励来引导预训练模型。然而，作者认为当前的方法（如梯度近似、序贯蒙特卡洛或树搜索）是反馈低效的。它们仅在每一步生成时临时利用奖励反馈来做出局部决策（例如估计梯度或选择搜索分支），随后便丢弃已评估的样本及其相关的奖励信息。这导致了昂贵的奖励评估被浪费，并需要海量的样本才能实现准确的引导。

方法论：Flow-Direct

本文提出了Flow-Direct，这是一种无需训练的框架，通过持久的、非参数的引导场来引导流模型。Flow-Direct 不丢弃反馈，而是将所有奖励评估过的样本聚合到一个不断增长的实证数据集中，以构建全局引导场。

理论基础

核心理论见解在于，将基础分布 $p_{base}$ 传输到奖励加权的靶分布 $p_{target}$ 所需的引导，可以通过两个分布之间的对数密度比解析推导得出。

• 引导场定义：引导向量场 $\Delta(x_t)$ 被证明等价于靶分布与基础分布的后验期望之差：
  $$\Delta(x_t) = \frac{1}{1-t} \left( \mathbb{E}_{p_{target}}[x_1 | x_t] - \mathbb{E}_{p_{base}}[x_1 | x_t] \right)$$
• 非参数估计：由于真实的后验期望难以处理，Flow-Direct 使用由有限数据集构建的非参数估计器来实现它们。
  • 对于数据集 $D = \{x_i\}$，后验期望 $\mathbb{E}[x_1 | x_t]$ 被估计为数据点的加权和，其中权重由 softmax 函数确定，该函数基于当前状态 $x_t$ 与数据点 $tx_i$ 的噪声版本之间的距离，并按奖励进行缩放。
  • 具体而言，对于由奖励函数 $r(x)$ 定义的目标分布，估计器将权重偏向高奖励样本：
    $$\hat{\mathbb{E}}[x_1 | x_t] \approx \sum_{i} \text{softmax}_j \left( -\frac{\|x_t - tx_j\|^2}{2(1-t)^2} + r_j \right) x_i$$

优化算法（算法 1）

Flow-Direct 通过迭代方式运行以优化引导场：

1. 初始化：从预训练分布中采样一个基础数据集开始。
2. 迭代生成：在每次迭代 $l$ 中，使用当前的引导场（聚合了之前所有迭代 $0$到$l-1$ 的数据）生成一批样本。
3. 奖励评估：使用外部黑盒奖励函数评估生成的样本。
4. 累积：将新的带标签样本（数据 + 奖励）追加到不断增长的數據集中。
5. 细化：更新引导场以反映扩展后的数据集，从而有效地将分布传输到更接近高奖励的区域。

该过程创建了一个引导场的伸缩和，其中最终场将初始基础分布传输到由累积数据定义的最终目标分布。

可重用性与组合性

Flow-Direct 的一个关键特征是，累积的数据集定义了一个可重用的引导场。

• 重用：一旦为特定目标收集了带标签的数据集，即可用于生成满足该目标的新样本，而无需进一步的奖励评估。
• 组合性：从不同目标学习到的引导场可以线性组合。通过求和引导场（带有可调权重 $\alpha_k$），模型可以生成同时满足多个目标的样本（例如，高美学质量和高压缩性）。

主要贡献

1. Flow-Direct 框架：一种无需训练的方法，利用从基础分布和靶分布的对数密度比推导出的非参数引导场来引导预训练流模型。
2. 反馈效率：该框架具有极高的反馈效率，因为它持久地保留了引导场中的所有奖励信息。没有已评估的样本被丢弃；随着数据集的增长，该场变得越来越准确。
3. 可重用性与组合性：构建的引导场原生可重用，用于生成新样本而无需额外的奖励成本。此外，多个场可以线性组合以实现多目标生成。
4. 采样器无关性：该方法直接修改连续向量场，使其兼容确定性 ODE 和随机 SDE 采样器，不像依赖特定粒子滤波或搜索动态的方法。

实验结果

作者在图像生成（使用 Stable Diffusion 3）和 3D 车辆空气动力学优化（使用 TRELLIS）上评估了 Flow-Direct。

• 基准测试：与四种推理时基线进行了比较：Evolvable、FK-Steering、TreeG 和 DSearch。
• 奖励预算：所有方法均被限制为每次运行 1,600 次奖励评估的固定预算。
• 性能：Flow-Direct 在所有测试任务中始终获得最高的奖励分数，包括美学质量、人类偏好（HPSv3）、文件压缩性、属性对齐和空气动力学阻力最小化。
• 效率：论文报告了显著的效率提升，Flow-Direct 在特定情况下使用比基线少 $3\times$ 到 $100\times$ 的奖励评估，即可达到或超越基线性能。
• 定性结果：可视化表明，Flow-Direct 生成的样本强烈反映了目标奖励，同时保持了结构和视觉质量，而基线方法往往难以在相同预算内收敛。
• 消融实验：该方法随着优化步数和批量大小的增加表现出稳定的改进。它在 ODE 和 SDE 采样器下表现相当。

意义与主张

论文声称，Flow-Direct 解决了现有推理时引导中的一个根本性低效问题：昂贵黑盒反馈的临时使用。通过转向持久、非参数的表述，Flow-Direct 确保每一次奖励评估都有助于对目标分布的全局理解。

作者将这项工作定位为一种可扩展且稳健的解决方案，适用于奖励评估成本高昂的科学和设计应用。他们强调，该框架无需对底层模型进行微调，也不引入复杂的超参数（除批量大小和迭代次数外）。

承认的局限性：

• 计算成本：与单次通过引导方法不同，Flow-Direct 是一个迭代算法，需要多次生成过程，导致神经函数评估（NFEs）的计算成本更高。
• 离散空间：该框架假设连续状态空间和可微分的分数函数，因此不适用于离散扩散模型。
• 安全性：与所有生成模型一样，存在被滥用于创建逼真合成内容的风险。