技术摘要：P-Guide：面向单步 CFG 推理的参数高效先验引导

1. 问题陈述

无分类器引导（CFG）已成为现代基于流的生成模型和扩散模型（例如 Stable Diffusion、FLUX、SDXL）中实现高保真度、语义对齐的条件生成的事实标准。然而，标准 CFG 带来了显著的计算瓶颈：它在每个采样步骤都需要两次前向传播。模型必须评估两次速度场——一次用于条件分支（$v(x_t, t|y)$），另一次用于无条件分支（$v(x_t, t|\emptyset)$）——以计算外推的引导速度。这实际上使推理延迟增加了一倍，阻碍了高保真度生成流在实时或资源受限环境中的部署。虽然现有的缓解策略（如蒸馏或步数截断）存在，但它们通常需要大量的重新训练，或者会损害生成路径的几何一致性。

2. 方法论：P-Guide 框架

作者提出了P-Guide（Prior-Guide），这是一个将引导机制从采样过程中的迭代速度场外推，转变为对先验空间中初始潜在状态进行结构化调制的框架。该框架通过单次推理前向传播实现高质量的条件生成。

2.1 核心概念

P-Guide 不是在每个积分步骤校正速度场，而是将条件信息注入轨迹的起点（$z$）。该框架依赖于轨迹级近似：在一阶假设下，先验空间中的结构化偏移等同于标准 CFG 中使用的速度场外推。通过在 $t=0$ 处锚定全局常微分方程（ODE）路径，模型可以遵循一条确定性的轨迹，该轨迹自然地与目标条件对齐，无需进一步校正。

2.2 先验参数化

该方法将先验分布 $p_0(z|y)$ 参数化为数据依赖型，超越了标准的无信息高斯先验。

• 同方差 P-Guide：条件 $y$ 仅调制先验的均值 $\mu_\phi(y)$，而方差保持固定。初始状态为 $z = \epsilon + \mu_\phi(y)$。
• 异方差 P-Guide（扩展）：条件同时调制均值 $\mu_\phi(y)$ 和尺度 $\sigma_\phi(y)$。初始状态为 $z = \mu_\phi(y) + \sigma_\phi(y) \odot \epsilon$。这使得模型能够捕捉数据依赖的不确定性，并实现自适应损失衰减，在训练期间降低噪声样本的权重。

2.3 训练范式

P-Guide 采用顺序两阶段训练策略：

1. 阶段 1（先验学习）：训练先验模块 $F_\phi(y)$ 以最小化目标数据的条件负对数似然（NLL）。这学习了条件均值和方差，创建了一个编码目标模式的“语义种子”。
2. 阶段 2（流匹配）：使用修改后的流匹配目标训练骨干速度场 $v_\theta$。起始点 $z$ 从冻结的学习到的条件先验中采样。由于 $z$ 在地理上已经更接近目标流形，速度场学习更直、更高效的轨迹。

2.4 推理过程

在推理期间，引导初始状态 $z_{cfg}$ 直接在先验空间中计算，使用学习到的参数的线性组合：
$$z_{cfg} = \mu_\phi(\emptyset) + w(\mu_\phi(y) - \mu_\phi(\emptyset)) + [\sigma_\phi(\emptyset) + w(\sigma_\phi(y) - \sigma_\phi(\emptyset))] \odot \epsilon$$
然后从 $x_0 = z_{cfg}$ 开始单次求解 ODE。这消除了每个步骤进行双重速度评估的需求。

3. 主要贡献

• 轨迹级近似：作者提供了理论推导（定理 1），表明在一阶线性响应假设下，偏移初始潜在状态会产生与速度场外推相同的轨迹扰动。这确立了先验空间引导与标准 CFG 之间的理论等价性。
• 参数高效单次推理：P-Guide 通过调制初始状态实现条件控制，将 CFG 的计算成本降低了约50%（2 倍加速），同时保持单次推理前向传播。
• 异方差建模：该框架引入了同时建模均值和方差的异方差先验公式。这实现了自适应损失衰减，提高了对数据不确定性和噪声条件的鲁棒性。
• 最小开销：先验引导模块的额外参数占用极小（约1.247 MB），使其易于集成到现有架构中，而无需修改骨干网络。

4. 实验结果

作者在 MNIST、CIFAR-10 和 ImageNet-1k（256x256）上评估了 P-Guide，使用了 U-Net 和 Diffusion Transformer (DiT) 骨干网络。

• 效率：与标准的双次前向传播 CFG 相比，P-Guide 在每张图像生成中始终实现了 GFLOPs 的 2 倍减少，因为它只需要一次前向传播。
• 质量：
  • 在 MNIST 和 CIFAR-10 上，P-Guide 实现了与标准 CFG 具有竞争力的 Fréchet 初始距离（FID）和分类准确率。异方差变体通常优于固定方差版本。
  • 在 ImageNet-1k 上，P-Guide 表明增加引导尺度 $w$（例如从 1.0 增加到 1.1 或 1.2）可以锐化语义结构并降低 FID（例如，U-Net 的 FID 在 $w=1.1$ 时从 27.78 改善到 22.33）。
• 鲁棒性：虽然 P-Guide 对引导尺度 $w$ 的选择更敏感（表现出比标准 CFG 更窄的有效范围），但它在该范围内保持了高保真度。
• 视觉证据：轨迹可视化证实，初始偏移充当了方向锚点，导致轨迹从 $t=0$ 开始立即集中在目标模式上，验证了轨迹级近似。

5. 意义与主张

该论文声称，P-Guide 为流匹配和扩散模型中的双次前向传播瓶颈提供了一种原则性且参数高效的解决方案。通过将引导重新定位到轨迹原点，该方法将条件控制与迭代采样过程解耦。

作者强调，P-Guide：

1. 保持保真度：它保持了与标准双次前向传播基线具有竞争力的样本质量和提示对齐。
2. 实现可扩展性：推理延迟降低 50%，使高保真度生成流在实时和大规模应用中更具可行性。
3. 补充现有系统：该框架完全兼容标准 CFG 动力学，可被视为一种互补增强，它在初始分布上运行，而不是破坏底层的 ODE 流。

这项工作表明，控制源空间（先验）是控制整个生成过程中速度场的一种可行且高效的替代方案，为未来高分辨率生成系统提供了可扩展的基础。