技术摘要：通过动态引导缓解扩散模型幻觉

问题定义

扩散模型虽然在高质量图像生成领域占据主导地位，但仍面临“幻觉”问题——即生成的样本包含结构性不一致（例如，错误的解剖结构，如多余的手指或缺失的身体部位），这些内容位于真实数据分布的支持集之外。作者将这些幻觉归因于模式插值（mode interpolation）。

最近的研究表明，去噪扩散概率模型（DDPMs）中学习到的分数函数（score function）在数据模式之间的低密度区域过于平滑。而真实的分数函数在这些中间区域应当是尖锐的，以迫使采样器采取更大的纠正步长；然而，学习到的平滑性导致去噪过程“困住”了样本，从而产生了语义无效的模式间插值。

现有的引导方法（如分类器引导 Classifier Guidance、分类器自由引导 Classifier-Free Guidance）通常根据采样开始时提供的固定条件，将样本引导向高似然区域。作者认为，如果该固定条件与初始噪声或演化的轨迹不匹配，引导可能会将样本推向需要大幅度纠正步骤的区域，导致目标模式的过冲或欠冲，进而产生幻觉。此外，目前的方法通常将幻觉视为一种事后过滤问题或文本-图像对齐问题，而不是将其视为采样轨迹本身的根本缺陷。

方法论：动态引导 (Dynamic Guidance, DG)

本文提出了动态引导 (DG)，这是一种通过在采样过程中自适应地锐化分数函数来缓解幻觉的方法，而非依赖静态条件或生成后的过滤。

核心机制

DG 不再从一开始就致力于单一的引导目标（类别 $c$），而是在每个去噪时间步识别当前噪声样本 $x_t$ 最可能的模式 $c^*$。随后，引导将朝着这个动态选择的模式进行。

算法通过以下方式近似一个更尖锐的分数函数 $\hat{s}_\theta(x_t)$：
$$\hat{s}_\theta(x_t) := \sum_{c} \mathbb{1}_{c^*}(c) \nabla_{x_t} \log p_\theta(x_t | c)$$
其中 $c^* = \arg \max_{c \in C} \log p(c | x_t)$。

通过在每一步重新计算最可能的类别，引导信号能够与局部分数方向保持一致，防止轨迹被锁定在需要进行大规模、易引发幻觉的插值路径上。

实现变体

1. 离散条件化（分类器引导）： 对于具有离散标签的数据集（如 ImageNet 类别、形状类型），DG 使用分类器预测 $p(c|x_t)$，并向最可能的类别 $c^*$ 应用梯度。
2. 伪类别（聚类）： 该方法不需要预定义的语义类别。作者展示了通过聚类数据分布中语义连贯的邻域（例如使用 DINOv2 特征）来创建“伪类别”是足够的。这使得 DG 能够在不映射到可解释概念的情况下，隔离易产生幻觉的方向。
3. 文本生成图像（分类器自由引导）： 对于文本调节的模型，DG 通过动态调整文本提示词（prompt）进行了扩展。视觉语言模型（VLM）观察中间去噪的预测结果，如果图像符合某个提示词分支（由 LLM 生成以解决歧解歧义），则将提示词更新为该特定分支。这有效地沿着已解决歧义的方向锐化了分数函数。

选择性锐化

一个关键的理论见解是，DG 实现了选择性锐化。它仅沿着与所选引导模式相关的方向（即发生幻觉的方向）增加梯度幅度，而对其他方向（例如有效的语义变化，如肤色）保持不变。这在抑制无效生成的过程中，保留了样本的多样性。

核心贡献

1. 动态引导算法： 一种新型采样策略，通过在每个时间步自适应选择引导目标，以避开低概率的插值区域。
2. 选择性分数锐化： 证明了 DG 通过专门针对诱发幻觉的方向进行分数锐化来缓解幻觉，同时在其他方向保留多样性。
3. 首个生成时缓解方案： 第一个在采样过程中解决幻觉问题的方案，而非通过事后检测/拒绝或训练后处理。
4. 伪类别扩展： 一种原则性的方法，通过使用数据驱动的聚类，将 DG 扩展到没有显式类别标签的场景中。
5. 文本生成图像适配： 利用 VLM 和 LLM 进行动态提示词调整，将 DG 扩展到潜在扩散模型（Latent Diffusion Models）。

实验结果

受控数据集

作者在幻觉定义严格的合成数据集上评估了 DG：

• 单形状（Single Shapes）： 包含 1-3 个相同形状实例的图像。幻觉表现为混合形状。
  • 结果： DG 实现了 74.21% 的幻觉率（HR）降低，显著优于方差过滤（11.58%）和分类器引导（11.05%）。
• 混合形状（Mixed Shapes）： 包含最多一个各形状实例的图像。幻觉表现为多个相同形状的实例。
  • 结果： DG 实现了 72.97% 的 HR 降低，而分类器引导反而增加了幻觉（-1.92%）。
• Hands-11k： 人手图像。幻觉表现为解剖学错误。
  • 结果： DG 实现了 45.12% 的 HR 降低，优于方差过滤和分类器引导。

大规模基准测试 (ImageNet-1k)

由于幻觉在 ImageNet 中难以定义，作者使用了代理指标：精确度（Precision，即样本处于真实数据支持范围内的比例）和 Inception 分数（IS）。

• 性能： 在各种引导尺度下，DG 始终优于分类器引导。
• 指标： 在最佳配置下，相比基线，DG 将精确度提高了 8 个点，将 Inception 分数提高了 5 个点，同时并未显著降低多样性（召回率 Recall 未明显下降）。
• 消融实验： 作者发现，仅在中间时间步 $[T_1, T_2]$（在其实验设置中为 800 到 400）应用 DG 效果最好，避免了全轨迹引导的僵化性。

文本生成图像

应用于 Stable Diffusion 2.1，并进行了 18 名参与者的用户研究：

• 幻觉减少： DG 使 100% 的参与者 感知到的幻觉率下降，平均降低了 14.1%（从 52.7% 降至 45.3%）。
• 偏好： 参与者更倾向于 DG 生成的图像而非基线（偏好率分别为 38.7% vs 27.3%）。

意义与主张

论文声称，动态引导代表了应对扩散模型幻觉的一个根本性转变。通过直接干预生成过程，DG 防止了幻觉的产生，避免了生成并丢弃缺陷样本所带来的计算浪费。

作者强调，其方法是有原则的：它依赖于在低密度区域锐化分数函数的数学必要性，以防止模式插值。至关重要的是，他们证明了这可以在不牺牲有助于样本多样性和泛化能力的“有效”插值的情况下实现。利用伪类别和动态提示词调整的能力表明，DG 是处理复杂、现实世界生成任务（其中僵化的类别定义不足以应对）的可扩展解决方案。

该工作总结道，DG 为实现更可靠的扩散模型提供了途径，提供了一种控制保真度与多样性权衡的机制，其目标直指导致结构性不一致的学习分数函数的特定几何特性。