技术摘要：通过基于采样的变分推断摊销对齐少步生成模型

问题陈述

将少步生成模型（例如 GAN、一致性模型、流映射、漂移模型）与特定目标（如奖励函数或人类偏好）对齐构成了重大挑战。现有的对齐框架通常依赖于少步生成器经常违反的严格结构假设：

1. 可处理的似然性：许多方法需要在去噪轨迹上进行显式似然评估，而 GAN 或单步映射等隐式模型无法提供此类评估。
2. 特定求解器：基于随机最优控制（SOC）或强化学习（RL）的方法通常假设特定的常微分方程（ODE）或随机微分方程（SDE）求解器及序列去噪过程。
3. 模型特异性：公式化方案经常针对特定模型族（如扩散模型）量身定制，无法泛化到 VAE 或流映射等多样化的少步架构。

因此，目前缺乏一个通用的对齐框架，能够在保留少步生成器核心优势（快速、单步推理）的同时，对多样化的少步生成器进行微调。

方法论：FAV

作者提出了 FAV（基于样本变分推断的少步生成模型对齐），这是一个将对齐与生成器族及采样动力学解耦的通用框架。FAV 将对齐表述为从锚定参考分布的奖励倾斜分布中进行采样：
$$q^*(x) \propto p_{\text{ref}}(x) \exp(\beta \cdot r(x))$$
其中 $p_{\text{ref}}$ 是参考分布（例如预训练生成器或经验数据），$r(x)$ 是目标函数。

该方法分为三个关键阶段：

1. 基于 SVGD 的样本近似

FAV 使用 Stein 变分梯度下降（SVGD） 来近似目标分布 $q^*$。SVGD 不需要密度评估，而是用粒子表示分布，并迭代地将它们传输至目标。最优 Stein 速度场 $\phi^*$ 被推导出来以最大化 KL 散度的减少：
$$\phi^*_{q_\theta, q^*}(x) = \mathbb{E}_{x' \sim q_\theta} \left[ k(x', x) \nabla_{x'} \log p_{\text{ref}}(x') + \beta \cdot k(x', x) \nabla_{x'} r(x') + \nabla_{x'} k(x', x) \right]$$
该场包含三个组成部分：

• 先验对齐：驱动样本趋向参考分布 $p_{\text{ref}}$。
• 奖励引导：推动样本趋向高奖励区域。
• 多样性强制：通过核梯度项防止模式崩溃。

2. 非参数分数估计（KDE）

一个关键挑战是，对于经验数据或隐式生成器，分数 $\nabla \log p_{\text{ref}}$ 通常是不可处理的。FAV 通过使用 核密度估计（KDE） 非参数地估计分数来解决这一问题。通过将参考分布与高斯核卷积，分数被近似为参考样本与当前粒子之间差异的加权平均，有效地绕过了对显式似然的需求。

3. 通过定点回归进行摊销

为了保留少步模型的快速推理速度，FAV 不在推理时执行迭代 SVGD 更新。相反，它通过定点回归将传输摊销到生成器参数 $\theta$ 中。生成器被训练以最小化其输出与“传输后”目标之间的距离：
$$\mathcal{L}(\theta) = \mathbb{E}_{\epsilon} \left[ \| \text{stopgrad}(f_\theta(\epsilon) + \hat{\phi}^*_{q_\theta, q^*_\sigma}(f_\theta(\epsilon))) - f_\theta(\epsilon) \|_2^2 \right]$$
在此，传输后的样本充当稳定的回归目标。这使得生成器能够在单次前向传播中学习生成对齐样本。

扩展到黑盒奖励：对于不可微的奖励，FAV 采用零阶梯度估计（高斯平滑）来近似 $\nabla r(x)$，从而即使在奖励函数为黑盒时也能实现对齐。

主要贡献

1. 通用对齐框架：FAV 是首个能够对齐多样化少步生成器（包括 VAE、GAN、一致性模型和流映射）的框架，无需可处理的似然性、特定的 ODE/SDE 求解器或多步轨迹。
2. 基于样本的变分推断公式：通过将对齐表述为使用 SVGD 和 KDE 从奖励倾斜分布中采样，FAV 将对齐过程与生成器的内部动力学解耦。
3. 效率保留：通过定点回归进行摊销，FAV 保持了基础生成器的单步推理效率，避免了迭代采样或蒸馏过程带来的计算开销。
4. 黑盒兼容性：零阶梯度估计的集成使 FAV 能够优化任意的黑盒奖励。

实验结果

作者在两个主要领域评估了 FAV：机器人操作和图像生成器对齐。

1. 机器人操作（离线及离线到在线强化学习）

• 基准测试：56 个离线 RL 任务（OGBench 和 D4RL）以及 30 个离线到在线 RL 任务。
• 性能：FAV 在所有任务中均取得了最先进的性能，优于 10 个基线方法，包括重参数化策略梯度、伴随匹配和蒸馏生成策略（如 FQL、IFQL）。
• 关键发现：即使没有辅助生成模型或多步去噪，FAV 也展示了卓越的策略提取能力以及从离线到在线学习的过渡性能。

2. 图像生成器对齐

• 规模：实验范围从 ImageNet-256（256x256）到高分辨率文本到图像合成（1024x1024）。
• 模型：在 StyleGAN-XL、漂移模型、iMeanFlow 和 SANA-Sprint 上进行了测试。
• 指标：根据美学分数、人类偏好分数（HPS）和安全检测器（NSFW）进行评估。
• 性能：
  • FAV 在奖励优化与样本多样性/质量之间始终实现了最佳的帕累托前沿，比 DRaFT 和伴随匹配等基线更好地缓解了奖励过度优化问题。
  • 推理效率：FAV 生成对齐样本的速度比推理时对齐方法（如 Best-of-N、ReNO）快约 180 倍至 280 倍，同时保持了具有竞争力的图像质量。
  • 可扩展性：该方法成功从 256x256 扩展到 1024x1024 分辨率，并泛化到不同的模型架构。

意义与主张

该论文声称 FAV 为少步生成模型的对齐提供了一个统一的、与模型无关的解决方案。其意义在于：

• 消除结构障碍：它消除了对可处理似然性或特定采样轨迹的需求，使对齐适用于更广泛的隐式生成模型类别。
• 平衡效率与质量：它成功调和了高奖励生成与少步推理计算效率之间的权衡，而以往的方法在此挑战中往往会导致性能下降或需要复杂的蒸馏。
• 鲁棒性：该框架展示了从低维控制到高分辨率图像合成等多样化任务的鲁棒性，并能处理可微和不可微的奖励函数。

作者得出结论，FAV 代表了一种强大的通用方法，适用于强化学习中的策略提取和图像生成中的奖励对齐，为更复杂、假设更多的方法提供了一种实用的替代方案。