技术摘要：用于扩散模型测试时扩展的 LiDAR（前瞻样本奖励引导）

问题陈述

扩散模型在图像、视频和语言生成方面取得了卓越的性能；然而，生成的样本往往无法完全符合人类意图。尽管存在捕捉人类偏好的奖励函数，但将其集成到采样过程中仍面临重大挑战。测试时扩展的核心目标是从奖励倾斜分布 $p_\theta^r(x_0|c) \propto p_\theta(x_0|c) \exp(\lambda \cdot r(x_0, c))$ 中进行采样。

实现这一目标需要计算中间粒子 $x_t$ 的期望未来奖励 (Expected Future Reward, EFR)，$r_t^\lambda(x_t, c)$，以引导反向扩散过程。现有方法面临关键局限性：

1. 后向展开 (Backward Rollout)： 直接从 $x_t$ 采样到 $x_0$ 以估计 EFR 在计算上是极其昂贵的，因为这需要在每个时间步进行迭代去噪。
2. 基于 Tweedie 的近似： 诸如梯度引导 (Gradient Guidance) 和顺序蒙特卡洛 (SMC) 等方法依赖于一阶泰勒近似（Tweedie 公式）来估计 EFR。这些方法会引入偏差，尤其是在奖励信号强度 ($\lambda$) 较高时，并且通常需要通过神经网络进行反向传播（梯度引导），或者在处理高维空间时面临样本坍缩问题（SMC）。

方法论：LiDAR 采样

作者提出了 LiDAR (Lookahead Sample Reward Guidance) 框架，该框架解耦了中间粒子 $x_t$ 与 EFR 之间的神经依赖关系，实现了闭式、无需导数的引导。

1. 期望未来奖励的重新表述

论文推导出了一个全新的 EFR 公式（定理 3.1），该公式仅使用预训练扩散模型的边缘样本 (marginal samples) 和前向扰动核来表达奖励期望，而不是通过神经网络对当前粒子 $x_t$ 进行条件化：
$$r_t^\lambda(x_t, c) = \log \mathbb{E}_{p_\theta(x_0|c)} \left[ \frac{p(x_t|x_0)}{\mathbb{E}_{p_\theta(x_0|c)}[p(x_t|x_0)]} \exp(\lambda \cdot r(x_0, c)) \right]$$
这种“前向展开”方法允许利用一组预生成的边缘样本 $\{\hat{x}_0^i\}$ 为任何 $x_t$ 计算 EFR，从而消除了在引导步骤中通过分数网络 $s_\theta$ 或奖励模型进行反向传播的需求。

2. 高效的前瞻采样 (Lookahead Sampling)

为了减轻为每个提示词生成边缘样本的成本，作者引入了一种高效的前瞻采样策略。他们没有使用完整的、缓慢的扩散过程，而是采用快速生成器 $q(x_0|c)$（例如多步 ODE 求解器如 DPM-Solver 或蒸馏模型）来生成一组 $n$ 个前瞻样本 $\{\hat{x}_0^i\}_{i=1}^n$。这些样本会被标注上奖励值 $r(\hat{x}_0^i, c)$。

3. 闭式无导数引导

利用有限的前瞻样本集，作者推导出了经验前瞻奖励梯度的闭式表达式（定理 3.3）。该引导项将当前粒子 $x_t$ 推向高奖励的前瞻样本，并排斥低奖励的样本：
$$\nabla_{x_t} \hat{r}_t^\lambda(x_t, c) = \sum_{i=1}^n (w_i^r - w_i) \frac{\hat{x}_0^i}{\sigma_t^2}$$
其中 $w_i^r$ 和 $w_i$ 是基于奖励值以及 $x_t$ 与前瞻样本 $\hat{x}_0^i$ 之间距离的 softmax 权重。该公式不需要进行神经微分。

4. 理论缩放法则

论文确立了该方法的缩放法则：

• 前瞻准确度 ($\delta$)： 目标分布与 LiDAR 生成分布之间的全变分距离随 $O(1/\sqrt{\delta})$ 减小，其中 $\delta$ 是前瞻求解器的离散步数。
• 样本量 ($n$)： 经验奖励估计的方差随 $O(1/\sqrt{n})$ 减小，这意味着增加前瞻样本的数量可以提高近似精度。

关键结果

实验在 SD v1.5、SDXL、FLUX (flow matching) 和 UDLM (离散扩散) 上进行，并使用 ImageReward、CLIP、HPS 和 GenEval 指标进行评估。

• 性能与效率： 在 SDXL 上，LiDAR 实现的 GenEval 性能与最新的梯度引导方法 (DATE) 相当，但推理时间缩短了 9.5 倍。
• 显存效率： 不同于需要约 3 倍更多显存进行反向传播的梯度引导方法，LiDAR 的显存占用与原生采样几乎一致，因为其目标采样阶段（算法 2）不需要计算梯度。
• 对奖励作弊 (Reward Hacking) 的鲁棒性： 虽然梯度引导方法在优化 ImageReward 时往往会导致 CLIP 和 HPS 等指标下降（即奖励作弊），但 LiDAR 能同时提升所有指标。这归功于前瞻样本中 ImageReward 与其他指标之间的相关性，它能自然地引导采样器向平衡的方向运动。
• 正交改进： 当应用于已通过直接偏好优化 (DPO) 微调的模型时，LiDAR 提供了额外的性能提升，证明了其与基于训练的对齐方法的正交性。
• 可扩展性： 该方法能随前瞻样本数量 ($n$) 和求解器步数 ($\delta$) 有效扩展，并可与其他技术（如 SMC 和 Best-of-N）结合使用。

意义与主张

论文声称 LiDAR 系统地解决了现有测试时扩展方法的效率和奖励作弊限制。通过将 EFR 计算重新表述为依赖于前向展开和边缘样本，作者实现了一种既具有计算效率又具有理论基础的无导数引导。

作者强调，与现有基线相比，LiDAR 实现了更优的效率-性能权衡。具体而言，它避免了神经反向传播的计算开销和 SMC 的样本坍缩问题，同时提供了比基于泰勒近似的方法更准确的 EFR 估计。这项工作表明，解耦奖励信号与中间粒子的神经依赖关系是实现可扩展的人类对齐生成模型的有效路径。