🤖 AI

Initialization is Half the Battle: Generating Diverse Images from a Guidance Potential Posterior

本文介绍了多样性诱导初始化（Diversity-inducing Initialization, DivIn），这是一种通过利用朗之万动力学从引导势后验中采样初始噪声，从而增强生成模型多样性的方法，该方法能有效引导轨迹远离模式崩塌，同时与现有的基于轨迹的干预手段保持兼容并互为补充。

原作者： Xiang Li, Dianbo Liu, Kenji Kawaguchi

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiang Li, Dianbo Liu, Kenji Kawaguchi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试烤一批曲奇饼干。你有一个完美的食谱（即 AI 模型），可以做出美味的曲奇。然而，每次你烤出一批曲奇时，它们看起来都完全一样。它们的形状、颜色甚至巧克力豆的分布都一模一样。在 AI 艺术领域，这被称为**“模式崩塌”（mode collapse）**。AI 陷入了某种惯性，不断重复制作同一种“主导型”曲奇，而忽略了它本可以制作出的所有其他美味变化。

大多数人试图通过在曲奇烘烤过程中调整烘焙过程来解决这个问题（比如改变温度、以不同的方式搅拌面团）。但本文认为，真正的核心问题发生在烘烤开始之前：这完全取决于你放入碗中的生面团。

问题所在：“标准面团”太乏味了

通常，AI 模型从“标准面团”（数学上称为高斯分布）开始。你可以把它想象成从一个普通的袋子里抓了一把面粉。问题在于，这种普通的面粉往往会落在厨房柜台上的某个特定位置，导致每次做出的曲奇形状都完全相同。

作者发现，“厨房柜台”（数学景观）是有山丘和山谷的。

高山（High Hills）： 这些是 AI 会变得非常兴奋并把一切都拉向某一个特定、主导曲奇形状的区域。如果你从这里开始放置面团，就会导致曲奇崩塌。
平坦的山谷（Flat Valleys）： 这些是平静、宽阔的区域，面团可以在许多不同方向展开，从而产生多样化的曲奇形状。

标准方法盲目地将面团扔到“高山”上，注定了会得到一个乏味的结果。

解决方案：DivIn（多样性诱导初始化）

作者创建了一种名为 DivIn 的新方法。DivIn 不再是盲目地抓取面粉，而是像一个聪明的厨房助手，会先对柜台进行侦察。

侦察地形： 在烘焙之前，DivIn 会观察“潜在景观”，寻找那些可以让多样化曲奇生长的平坦、宽阔的山谷。
“朗之万”（Langevin）漫步： 为了让面团到达这些安全的山谷，DivIn 使用了一种名为朗之万动力学的技术。想象一下你在黑暗中拿着手电筒走路。你不是直接走直线（这可能会让你掉下悬崖），而是小心翼翼地迈出小步，感受地面。如果你感觉到一个陡峭的山坡（一个坏地方），你就退后一步。如果你感觉到一个平坦、安全的地方，你就停留在那里。
结果： 现在，面团被放置在一个“平坦的山谷”中，它有足够的空间展开。当烘焙过程（AI 生成）开始时，曲奇会自然而然地演变成许多不同且独特的形状，而不是坍缩成一种。

为什么这很特别

论文强调了该方法之所以成为游戏规则改变者的三个主要点：

它是“预烘焙”修复： 与其他试图在曲奇烘烤过程中进行修复的方法（这可能既混乱又复杂）不同，DivIn 在烤箱开启之前就解决了问题。它从一开始就为多样性奠定了基础。
它适用于一切： 无论你使用的是较旧的烘焙方法（扩散模型/Diffusion models）还是较新的方法（流匹配/Flow Matching），DivIn 都能完美运行。它就像一个通用的适配器，可以适配任何烤箱。
它是一个团队协作者： 最棒的部分是，DivIn 并不是要取代其他方法；它与其它技术协同工作。如果你使用 DivIn 将面团放在正确的位置，然后再使用其他技术来微调烘焙过程，你就能获得两全其美。你既能获得极大的多样性（多样性），又不会牺牲口感或质地（质量）。

核心结论

论文声称，通过仅仅改变你开始的过程（初始化）而不是仅仅如何完成它，你可以释放 AI 巨大的创造力。它阻止了 AI 陷入重复制作同一事物的循环，并鼓励它去探索所有的可能性，同时保持图像的高质量和真实感。

简而言之：不要只修复烘焙过程；要修复面团的放置位置。

技术摘要：初始化是成功的一半：从引导势后验生成多样化图像

1. 问题陈述

尽管现代生成模型（包括扩散模型和流匹配模型）具有极高的保真度，但它们经常遭受**模式崩塌（mode collapse）**的问题。即使使用不同的随机种子，生成的样本往往也会收敛到刻板的输出，从而限制了创造潜力，在极端情况下甚至会导致训练数据的精确记忆。

现有的旨在增强多样性的无训练策略主要侧重于干预生成轨迹（例如，操纵引导尺度或使轨迹相互排斥）。作者指出，这些方法存在一个关键的忽视：标准的各向同性高斯初始化（ $x_T \sim \mathcal{N}(0, I)$ ）通常对**引导势能景观（guidance potential landscape）**是不感知的。从几何角度看，具有高条件引导势能的区域会诱导生成流产生高体积收缩率。因此，初始化在高势能区域中的不同随机轨迹会被吸引到单一的主导模式中，导致崩塌。相反，作者假设，从低势能盆地进行初始化可以让轨迹自然发散，从而保持多样性。

2. 方法论：多样性诱导初始化 (DivIn)

本文提出了 DivIn，这是一种无训练、推理时的方法，它将初始噪声的选择重新定义为不再是从固定先验中采样，而是从一个**引导势能后验（guidance potential posterior）**中采样。

2.1. 理论公式化

作者定义了一个目标分布 $p_{\text{diverse}}(x_T | c)$ ，该分布通过对标准高斯先验进行重加权，使其向多样性丰富的区域倾斜：
$p_{\text{diverse}}(x_T | c) \propto \exp(-\tau \cdot U(x_T, c)) \cdot p(x_T)$
其中：

$p(x_T)$ 是标准的各向同性高斯先验。
$\tau$ 是一个温度超参数，用于控制先验遵循度与多样性最大化之间的权衡。
$U(x_T, c)$ 是一个引导势能，作为初始化阶段条件引导强度的代理指标。

2.2. 引导势能代理

为了确保在不同推理调度（如不同的步数）和架构（如扩散模型 vs 流匹配模型）下的鲁棒性和即插即用兼容性，势能 $U(x_T, c)$ 在估计的数据空间中使用广义 Tweedie 势能来定义：
$U(x_T, c) = \|\hat{x}_0(x_T, c) - \hat{x}_0(x_T, \emptyset)\|^2$
这里， $\hat{x}_0$ 代表单步去噪估计的清洁数据。该指标衡量了条件去噪估计与无条件去噪估计之间的欧氏距离。最小化该势能可以惩罚那些使条件引导在初始化时产生过度强力吸引力的初始状态，从而使初始化偏向于景观中更平坦的区域。

2.3. 通过 Langevin 动力学进行采样

由于直接从 $p_{\text{diverse}}$ 进行采样是难以实现的，DivIn 采用 Langevin 动力学来迭代地将样本从初始高斯先验过渡到目标后验。第 $k$ 次迭代中潜变量 $x_T$ 的更新规则为：
$x_T^{(k+1)} = x_T^{(k)} - \eta \left( \tau \nabla_{x_T^{(k)}} U(x_T^{(k)}, c) + x_T^{(k)} \right) + \sqrt{2\eta}\xi^{(k)}$
该机制平衡了三种力量：

多样性力量 ( $-\tau \nabla U$ )： 将潜变量从高势能盆地驱动到更平坦的区域。
先验约束 ( $-x_T$ )： 将潜变量锚定在原始正态分布的有效流形内，防止偏离流形的漂移。
随机噪声 ( $\sqrt{2\eta}\xi$ )： 注入噪声以逃离浅层局部极小值并鼓励探索。

与寻求单一最优种子的确定性优化方法（如锐度感知初始化，SAIL）不同，DivIn 执行的是分布后验采样，从而保留了熵并实现了真正的多样性。

3. 核心贡献

识别出初始化是关键因素： 本文揭示了模式崩塌在很大程度上是由初始化景观的几何特性驱动的，特别是条件引导定义的向高势能区域的吸引作用。
引导势能后验公式化： 作者将最优初始化表述为一个多样性加权的后验分布，该分布通过利用广义 Tweedie 势能对标准先验进行重加权，该势能对推理步数变化具有鲁棒性，并统一了扩散模型和流匹配架构。
DivIn 算法： 一种利用 Langevin 动力学从该后验分布中采样的高效、无训练、即插即用的算法。它与现有的基于轨迹的多样性方法是正交的。
理论证明： 本文提供了理论分析（定理 A.3），将高条件锐度（曲率）与反向过程期间的快速熵损失联系起来，证明了从低势能区域采样可以保留分布体积。

4. 实验结果

在 ImageNet-1K（类别到图像）和 通用提示词数据集（文本到图像）上，使用 Stable Diffusion v1.4 和 Stable Diffusion 3.5 Medium（流匹配）进行了广泛的实验。

多样性提升： DivIn 在 Vendi Score、Recall 和 Coverage 等多样性指标上一致优于基准初始化方法（如 SAIL）和基于轨迹的方法（如 Particle Guidance, CADS, Interval Guidance）。
- 在 ImageNet (SD v1.4) 上，DivIn 实现了 4.688 的 Vendi Score（基准模型为 4.265），超过了 SAIL (4.549) 及各类轨迹方法。
- 在文本到图像 (SD v3.5) 上，DivIn 将基准模型的 Vendi Score 从 1.803 提升至 1.864。
质量保持： 与许多以牺牲质量换取多样性的方法不同，DivIn 保持甚至提升了图像保真度。它在 ImageNet 上实现了所有独立基准方法中最低的 FID (16.158)，并在文本到图像任务中保持了高水平的 CLIP 和美学评分。
正交性与帕累托前沿： 一个关键发现是 DivIn 与基于轨迹的干预手段是正交的。将 DivIn 与 PG、CADS 或 IG 等方法结合使用，可以显著扩展多样性-质量的帕累托前沿，在达到相同保真度水平时实现比单一方法更高的多样性。
效率： DivIn 的计算开销极小。仅通过单次 Langevin 步骤 ( $K=1$ )，它为每张图像增加的实际运行时间仅约 3%（例如，从 0.754s 增加到 0.779s），而像 SAIL 这样的确定性优化方法通常需要更复杂的拒绝采样或二阶近似。
稳定性： 与容易对早期停止阈值敏感并可能因偏离流形的潜变量导致高频伪影的 SAIL 不同，DivIn 保持稳定并保留了潜变量空间的高斯性。

5. 重要性与主张

本文声称，初始化是“成功的一半”。通过将关注点从生成轨迹转向初始化景观，DivIn 解决了轨迹类方法所忽略的模式崩塌根源问题。

作者强调：

DivIn 是一种通用的、即插即用的策略，兼容标准的扩散模型和现代流匹配模型。
它提供了一个独特的、不同于轨迹干预的多样性来源，能够发现标准采样所遗漏的多样化模式。
该方法有效地平衡了多样性与质量之间的权衡，在不损害语义对齐或图像保真度的前提下，推动了帕累托前沿向外扩张。
相比于确定性的种子优化（如 SAIL），它通过随机采样维持了分布熵，提供了一种更鲁棒的替代方案。

论文总结道，虽然 DivIn 目前依赖于温度超参数且增加了极小的推理开销，但它代表了增强生成多样性方式的一个根本性转变，为现有的采样机制提供了一个强大的正交工具。