🤖 machine learning

PG-MAP: Joint MAP Optimization for Inference-Time Alignment of Diffusion and Flow-Matching Models

该论文介绍了 PG-MAP，这是一个无需训练的框架，它通过将过程建模为对条件变量和隐变量的联合 Gibbs-MAP 优化，增强了扩散模型和流匹配模型的推理时对齐，从而在各项指标和人类评估中相比现有的单轴方法实现了更优越的性能。

原作者： Ruolan Sun, Pawel Polak

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Ruolan Sun, Pawel Polak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一位试图根据顾客订单烹饪完美佳肴的大厨。在 AI 图像生成的世界里，“大厨”是一个复杂的模型（如 Stable Diffusion），“订单”是文本提示词（例如“一只红熊猫宇航员”），而“佳肴”则是最终生成的图像。

通常情况下，当大厨出错时，你只能一次只能用一种方式进行修正：

修改订单： 你重写文本提示词，使其更具体（比如告诉大厨，“确保这只熊猫是红色的”）。
调整食材： 你在烹饪过程中调整原始混合物，以修复纹理或光影（比如增加盐量或调整火力）。

现有的方法会迫使你在其中一条路径中做出选择。如果你修正了文本，可能会破坏纹理；如果你修正了纹理，可能会丢失提示词的含义。

PG-MAP 是一个全新的“超级大厨助手”，它能在烹饪过程中同时、动态地完成这两件事。

核心理念：一场动态的舞蹈

该论文引入了 PG-MAP（偏好引导的自适应 MAP）。PG-MAP 不再是在开始时做一个单一的决定，也不是在结束时进行一次性的调整，而是将图像生成过程视为一段连续的旅程。

把图像生成过程想象成一场漫长且蜿蜒的公路旅行，从一个雾气缭绕的起点（随机噪声）到目的地清晰可见的终点（最终图像）。

问题所在： 在这条路上，“雾气”（噪声）在开始时很浓，在结束时才会消散。现有的方法试图通过静态地图或单次调整来驾驶汽车。
PG-MAP 的解决方案： PG-MAP 就像一个 GPS，它会不断地进行分步式路径重新计算。它会同时观察图像的当前状态并询问两个问题：
1. “文本描述是否仍与我们所看到的相符？”（条件控制，即 c-side）。
2. “视觉质量看起来好吗？”（潜空间状态，即 z-side）。

它同时调整“文本描述”和“视觉食材”，确保两者和谐共处，而不是互相冲突。

它是如何运作的：“前向一致性”规则

论文使用了一个高级术语——“前向一致性耦合”。这里有一个简单的类比：

想象你正在黑暗的森林中行走（生成过程）。你有一把手电筒（AI 模型），它能照亮你此时此刻所处的位置。

旧方法会说：“我知道我从哪里出发，所以我只需一直直线走下去，”或者“我会在最后调整一次路径。”
PG-MAP 则说：“让我们看看手电筒现在正指向哪里。如果光线显示我们正偏离路径，我们将同时微调我们的方向（文本）和脚步（图像细节），以回到正轨。”

它通过为旅程中的每一步计算一个“分数”（奖励）来实现这一点。如果图像看起来像一只“红熊猫”，但毛发看起来很模糊，它就会锐化毛发；如果毛发看起来很棒，但动物看起来像个人类，它就会调整文本嵌入，以强制回归熊猫的形态。

两种不同的道路

论文提出了一个有趣的发现：最好的驾驶方式取决于你所处的道路类型。

扩散模型（颠簸、多雾的道路）： 在较旧的模型（如 SD 1.5 或 SDXL）上，道路充满了噪声。PG-MAP 在此表现最佳的方式是在过程早期（即雾气浓厚时），同时调整文本和图像细节。
流匹配模型（平滑、笔直的高速公路）： 在更新、更快的模型（如 SD3.5）上，道路要平滑得多。在这里，PG-MAP 意识到调整文本是不必要的（道路非常稳定）。相反，它专注于在旅程的最后阶段完全精细化图像细节。

这种适应性是其独特之处；大多数其他工具都试图对这两种类型的道路使用相同的策略。

结果：更好的图片，更少的猜测

作者在数千个提示词上进行了测试。

视觉质量： 图像更加锐利，光影更好，细节也更准确（例如剑柄的握感或羽毛的纹理）。
提示词准确度： 图像更好地匹配了文本描述（例如，“红熊猫”看起来确实像熊猫，而不是人类）。
人类偏好： 当真实的人被要求在旧方法和 PG-MAP 之间做出选择时，他们大约有 60% 到 67% 的时间选择了 PG-MAP。

“先知”的秘密

论文还进行了一个“假设”实验。他们问道：“如果我们能够神奇地知道针对每一个特定提示词的完美修复方式，我们能做得多好？”
他们发现，不同类型的提示词需要不同的修复方式。

短小、具体的提示词（如“一个红色的立方体”）需要更多关于文本方面的帮助。
氛围类提示词（如“海面上的日落”）需要更多关于视觉纹理方面的帮助。

PG-MAP 是一个能同时处理这两者的单一工具，但论文指出，在未来，一个智能的“交通控制器”可以自动为每个特定的请求选择最佳设置，从而可能让图像变得更加完美。

总结

PG-MAP 是一个无需训练的工具，它通过让 AI 图像生成器在创建图像的过程中，同时、分步地调整含义（提示词）和外观（图像），从而使 AI 变得更聪明。它能根据所使用的 AI 模型类型来调整其策略，从而产生既符合文本描述又更具美感的图像。

技术摘要：PG-MAP：用于扩散与流匹配模型推理时对齐的联合 MAP 优化

问题陈述
当前的预训练文本生成图像模型（扩散模型与流匹配模型）的推理时对齐方法通常仅沿单一控制轴进行操作。侧重于调节侧的方法（例如注意力编辑、提示词嵌入学习）修改条件变量 $c$ ，而侧重于潜变量侧的方法（例如基于奖励引导的潜变量扰动）则修改潜状态 $z_t$ 。现有的框架未能对条件变量与潜变量之间的联合依赖关系进行建模，将更新视为加性过程而非协同过程。此外，这些方法往往是静态的，在轨迹开始时（ $z_T$ ）或离线阶段固定控制策略，忽略了随着轨迹从高噪声（全局布局）向低噪声（局部细节）演进时，去噪器对动态信息的需求。这种局限性阻碍了对齐技术在不同生成传输机制（扩散 vs. 流匹配）之间的迁移。

方法论：PG-MAP
作者提出了 PG-MAP（偏好引导的自适应 MAP），这是一个将推理时对齐公式化为轨迹级 Gibbs-MAP / 近似能量优化的无需训练的框架。其核心创新在于一种前向一致性耦合，它在每一步去噪过程中联合优化条件 $c$ 和潜状态 $z_t$ 。

目标函数： 该框架定义了一个步长相关的能量函数 $J_t(c, z_t)$ ，包含三个组成部分：
1. 前向一致性残差： 一个项 $\ell_t(c, z_t)$ ，用于惩罚当前潜变量 $z_t$ 与模型自身预测的上一步状态之间的偏差，确保轨迹与去噪器的前向核保持一致。
2. 高斯锚定先验： 项 $R_c(c)$ 和 $R_z(z_t)$ ，将优化后的变量锚定回其未受扰动的原始值（ $c_0$ 和 DDIM 轨迹点 $z^{ddim}_t$ ）。至关重要的是，潜变量先验尺度 $\sigma_z(t)$ 是调度自适应的，通过追踪扩散过程的边际噪声尺度（ $\sigma_z(t) = \gamma\sqrt{1-\bar{\alpha}_t}$ ）来提供一个尺度不变的置信区域，该区域随着轨迹接近数据流形而不断收紧。
3. 偏好奖励倾斜： 一个项 $\lambda Q(\hat{x}_0, y)$ ，根据模型对每步预览的清晰图像的预测，引导优化向人类偏好（如 PickScore、HPS）靠拢。
自适应活跃集： 框架采用了一个步长相关的活跃集 $A_t \subseteq \{c, z_t\}$ 和一个奖励门控 $\lambda_t$ 。
- 扩散模型（SD 1.5, SDXL）： 框架联合细化 $c$ 和 $z_t$ ，主要在高噪声窗口内进行，允许条件变量与潜变量在轨迹展开过程中相互告知。
- 流匹配模型（SD3.5）： 由于 ODE 的确定性特征以及级联文本编码器的高容量，该框架退化为仅限潜变量的变体（UG-FM）。在此情况下，活跃集坍缩为限制在数据侧窗口（低噪声）的 $\{z_t\}$ ，因为研究发现条件更新效果不佳，且噪声侧的扰动会被 ODE 动力学过度放大。
优化： 通过少量的联合上升步骤（通常 $K=2$ ）获得细化后的对 $(c^\star_t, z^\star_t)$ ，这些步骤源自能量函数的梯度。该过程可与现有方法（如分类器自由引导 CFG）组合使用，因为 CFG 修改的是向量场，而 PG-MAP 是在固定的向量场下移动查询点。

核心贡献

联合 ( $c, z_t$ ) MAP 框架： 首个通过去噪器前向核将条件变量与潜变量耦合的推理时框架，同时解决了组合失败（ $c$ 侧）和纹理失败（ $z$ 侧）的问题。
统一目标函数： 目标函数 $J_t$ 在解析上将先前的单轴方法（MAP- $c$ , Reward- $z$ ）作为特例进行恢复，而 CFG 仍作为一个可组合的外部机制存在，而非特例。
调度自适应优化： 引入了随时间变化的置信区域和活跃集，以适应噪声调度，在高噪声时放宽约束，并在接近数据端时收紧约束。
传输依赖性分析： 证明了最优活跃集取决于生成传输方式。扩散模型受益于高噪声时的联合细化，而流匹配模型则受益于数据端的仅限潜变量细化，这一假设得到了局部扰动分析和实证验证的支持。

结果

扩散骨干网络（SD 1.5, SDXL）： PG-MAP 一致地提升了对齐指标。在 SDXL 上，相比静态基线，它实现了 56.4% 的 PickScore 胜率和 56.2% 的 Aesthetic 胜率。将 PG-MAP 与调优后的 CFG 结合使用可获得最强的整体性能，达到 64.6% HPS 和 56.5% Aesthetic。
流匹配骨干网络（SD3.5-medium）： 仅限潜变量的变体（UG-FM）相对于静态基线实现了 91.9% 的 PickScore 和 75.7% 的 HPS 胜率。对照实验排除了噪声相关伪影的影响，确认增益源于结构化的低频潜变量扰动。
人类评估： 在 SDXL 上，在成对人类评估中，PG-MAP 优于静态基线、调优后的 CFG 以及计算量相当的 Universal Guidance（胜率 60–67%）。
预言机路由（Oracle Routing）： 预言机分析显示，不同的提示词类型（例如属性绑定型 vs. 氛围场景型）受益于不同的优化变体。一个针对每条提示词的筛选器理论上可以额外提升 5–14 个百分点 的指标，这表明未来路由机制仍有显著的提升空间。

意义与主张
本文声称，PG-MAP 代表了一种从静态、单轴引导启发式向动态、轨迹感知优化的设计原则转变。通过将对齐公式化为具有前向一致性耦合的近似能量优化，该框架实现了跨模态的协调更新，并与扩散及流匹配传输机制兼容。作者强调，“承载核心”的要素是联合耦合与非平稳调度，而非仅仅是更大的步长或更强的奖励信号。这项工作为理解条件变量与潜变量在生成过程中的交互提供了统一的理论与实证基础，为提升生成模型的对齐提供了一种灵活且无需训练的方法。

核心理念：一场动态的舞蹈

它是如何运作的：“前向一致性”规则

两种不同的道路

结果：更好的图片，更少的猜测

“先知”的秘密

总结

类似论文