🤖 machine learning

It's Never Too Late: Noise Optimization for Collapse Recovery in Trained Diffusion Models

本文提出了一种噪声优化方法，通过利用简单的目标函数和多样化的基于频率的噪声初始化来缓解训练后扩散模型中的模式崩溃问题，从而在不牺牲保真度的情况下实现更优的生成质量和多样性。

原作者： Anne Harrington, A. Sophia Koepke, Shyamgopal Karthik, Trevor Darrell, Alexei A. Efros

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Anne Harrington, A. Sophia Koepke, Shyamgopal Karthik, Trevor Darrell, Alexei A. Efros

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一台魔法艺术机器（即“扩散模型”），它能根据你的文字绘制图片。你告诉它：“画一张猫的照片。”它画出了一只漂亮的猫。你再次说：“画一张猫的照片。”它画出的却是……完全相同的猫，以完全相同的姿势坐着，拥有完全相同的毛发纹理。你第三次尝试，它画的仍然是同一只猫。

这就是论文中所称的模式崩溃。机器陷入了一种死胡同，反复输出相同的答案，尽管你要求的“一张猫的照片”本可以是一千种不同的样子。

这篇论文的作者表示：“为时未晚”，完全可以解决这个问题。你无需重建机器或教它新技巧，只需调整它使用的第一个要素：噪声。

“静电”类比

将图像生成过程想象成调谐一台老式收音机。

噪声：机器从一个充满“静电”（随机视觉噪声）的屏幕开始，就像老式电视在没有信号时看到的白色噪点。
提示词：你给它一个指令（“画一只猫”）。
过程：机器慢慢清理静电，将噪点转化为一只清晰的猫的图片。

通常，人们只是随机选取一片静电（就像将旋钮随机转到某个位置），希望得到一张独特的图片。如果机器反复画出同一只猫，那是因为它总是落在同一个“噪点”起始点上。

论文的解决方案：“优化静电”

作者们提出，与其仅仅指望一个幸运的随机起点，不如主动寻找最佳的起始静电。

他们将初始静电视为一组可以调节的旋钮，而非随机猜测。他们利用计算机微调这些旋钮，不断询问：“如果我在这里改变这一点点静电，最终生成的猫是否会与我刚才画的那只不同？”

他们持续调整静电，直到得到一批各不相同的猫：有的在睡觉，有的在奔跑，有的是橙色，有的是黑色——同时它们看起来仍然是真实的猫。

他们发现的两个关键技巧

1. “粉红噪声”的秘密

通常，机器使用的是“白噪声”。想象白噪声是一种所有频率音量都相同的声音（像刺耳的嘶嘶声）。
作者们发现，自然图像（如真实猫的照片）并不像刺耳的嘶嘶声，而更像粉红噪声。粉红噪声在高音部分更柔和，在低音部分更响亮（像轻柔的隆隆声或雨声）。

通过让机器从“粉红噪声”（具有更多低频“隆隆声”和更少高频“嘶嘶声”）开始，他们发现机器自然产生了更多样化的结果。这就像给艺术家提供了更好的调色板作为起点，使其更容易描绘出不同的场景。

2. “集合级”目标

在尝试让一组图像多样化时，你可以尝试让每张图像都与前一张不同。但作者们发现了一种更好的方法：一次性考虑整个集合。

他们使用了一种数学工具（称为“行列式点过程”或“文迪分数”），它就像一位严格的艺术策展人。这位策展人审视整组 4 只猫，并说：“不，这两只太相似了，把它们分开！”这确保了整个集合感觉像是一个多样化的收藏，而不仅仅是几个随机的变体。

结果

该论文在 SDXL-Turbo 和 Flux.1 等流行的艺术机器上测试了这种方法。

未使用他们的方法：机器吐出 4 只几乎相同的猫。
使用他们的方法：机器吐出 4 只独特且高质量的猫（不同的姿势、颜色、风格）。

关键在于，他们没有改变机器的“大脑”或用户的提示词。他们只是优化了最初阶段的“静电”。他们还证明，即使对于非常复杂的提示词（如“一幅带有小屋的如画秋景”），这种方法也有效，而机器通常会在这些情况下陷入死胡同。

一句话总结

这篇论文的核心在于认识到：AI 艺术生成器起始的“随机噪声”不仅仅是一次抛硬币。它是一个控制旋钮。通过仔细转动这个旋钮，并以特定类型的“噪声”（粉红噪声）作为起点，你可以唤醒机器从重复的沉睡中苏醒，让它向你展示隐藏在单个提示词背后的完整、多样的可能性世界。

以下是论文《为时不晚：训练后扩散模型崩溃恢复的噪声优化》的详细技术总结。

1. 问题陈述

当代文本到图像扩散模型（如 SDXL-Turbo、Flux.1）存在模式崩溃问题。当使用不同的随机种子（即独立同分布噪声）从同一文本提示采样多张图像时，模型往往产生几乎相同的输出，视觉变化极小。

当前局限性： 现有解决方案依赖于：
- 引导机制： 通过修改条件（如粒子引导、DPP）来引导模型，但这通常以牺牲质量为代价来换取多样性。
- 基于搜索的方法： 生成大量候选池并进行剪枝（例如“最佳 N 选”），计算成本高且内存占用大。
- 提示工程： 修改文本输入，但这难以轻易捕捉输出空间中的所有变化。
核心问题： 我们能否直接优化初始噪声（ $x_0$ ）以从模式崩溃中恢复，并在不改变预训练模型或用户提示的情况下生成多样化的高质量图像？

2. 方法论

作者提出了一种端到端噪声优化框架，将初始噪声向量视为可学习参数。该过程涉及：

A. 噪声优化目标

给定固定提示 $c$ 和冻结的扩散模型 $g_\theta$ ，该方法优化一批初始噪声样本 $\{x_0^{(i)}\}_{i=1}^B$ 。目标函数最小化由三项组成的损失 $\mathcal{L}$ ：

质量奖励（ $r_s$ ）： 确保单张图像符合提示并保持高保真度（例如使用 CLIPScore 或 HPSv2）。
多样性指标（ $v_\mathcal{B}$ ）： 最大化批次内图像之间的差异。论文探讨了多种指标：
- 成对指标： DINOv2 补丁特征、DreamSim、LPIPS、颜色直方图。
- 集合级指标： 行列式点过程（DPP） 和 Vendi 分数，用于衡量集合中独特项的有效数量。
正则化（ $\text{reg}$ ）： 防止优化后的噪声偏离先验分布 $N(0, I)$ 过远。这是通过对噪声范数的 $\chi_d$ 分布偏差进行惩罚来实现的。

优化过程通过冻结的采样器 $g_\theta$ 进行反向传播执行。

B. 噪声初始化策略（粉红噪声）

论文的一个关键洞察是对噪声演化的分析。在优化过程中，作者观察到最显著的变化发生在噪声谱的低频分量中，而高频分量保持相对稳定。

假设： 自然图像遵循 $1/f$ 功率谱（低频分量功率更高）。标准白噪声在频谱上是平坦的。
解决方案： 作者引入了粉红噪声初始化。他们通过快速傅里叶变换（FFT）将白噪声转换到频域，应用 $f^{-\alpha/2}$ 的功率缩放因子（其中 $\alpha \approx 0.2$ ），然后再变换回时域。
优势： 这种初始化使起始噪声与自然图像的统计特性及优化动力学保持一致，从而带来更快的收敛速度和更高的多样性。

C. 优化模式

批处理优化： 联合优化一组图像（例如 4 张），以最大化集合级多样性。
序列优化： 逐张生成图像，优化每张图像使其与之前生成的输出不同。这降低了内存开销，并允许生成大量多样化的集合。

3. 主要贡献

用于多样性的噪声优化： 证明了直接优化初始噪声是恢复模式崩溃的优于基于引导或基于搜索的策略。
集合级多样性目标： 指出DPP和Vendi 分数比简单的成对指标在优化多样化集合时更有效，因为它们防止了通过使一张图像非常不同而保持其他图像相似来“欺骗”“平均成对”指标的情况。
粉红噪声初始化： 提出了一种简单、无参数的策略（使用粉红噪声），即使在无需进一步优化的情况下，也能在不同模型（SDXL-Turbo、Flux.1）和基线中持续提高多样性。
质量 - 多样性权衡： 表明该方法可以在不牺牲图像质量或提示遵循度的情况下增加多样性，克服了基于引导方法中常见的权衡。

4. 实验结果

该方法在 GenEval、DPG-Bench（复杂提示）和 T2I-CompBench 上进行了评估，使用的模型包括 SDXL-Turbo 和 Flux.1 [schnell]。

定量性能：
- 多样性： 在所有指标（DINO、DreamSim、LPIPS、Vendi 分数）上均优于独立同分布采样和最先进的搜索方法 [Parmar et al., 2025]。
- 质量： 与基线相比，保持或略微提高了图像质量分数（HPSv2、CLIPScore）。
- 效率： 使用粉红噪声初始化后，该方法在显著更少的迭代次数下（例如 6–8 次迭代，而白噪声为 9–12 次）达到了比基线搜索方法更高的多样性分数。
定性结果：
- 在严格遵循复杂提示的同时，生成了物体姿态、颜色、风格和背景方面的多样化变体。
- 成功处理了复杂提示（例如“一幅如画的秋日场景……"），而独立同分布采样未能产生变化。
用户研究： 人类评估者在 85–91% 的案例中更偏好所提出方法的输出（尤其是经过 DPP/Vendi 优化的输出），优于独立同分布采样和搜索基线。

5. 意义

这项工作将扩散模型中多样性生成的范式从采样策略（等待好的种子）或引导（修改生成路径）转变为输入优化。

通用适用性： 该方法与模型无关，既适用于步数蒸馏（快速）模型，也适用于标准扩散模型。
效率： 通过直接优化噪声，避免了生成和存储数百个候选项以供剪枝的巨大内存开销。
对潜在空间的洞察： 发现低频噪声分量驱动多样性，提供了对扩散模型如何解释初始噪声的新理解，表明“结构”是在频域早期建立的。

总之，该论文提出了一种稳健、高效且高质量的解决方案来解决模式崩溃问题，证明了“为时不晚”，通过优化输入噪声可以释放训练后扩散模型的完整多样性潜力。