💻 computer science

Colored Noise Diffusion Sampling

本文介绍了彩色噪声采样（CNS），这是一种无需训练、即插即用的推理时求解器，它通过将均匀白噪声替换为与模型固有频谱偏差更契合的动态频率相关噪声调度方案，从而在多种架构上显著降低 FID 分数，以改进扩散模型的图像合成。

原作者： Hadar Davidson, Noam Issachar, Sagie Benaim

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Hadar Davidson, Noam Issachar, Sagie Benaim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比，对论文《彩色噪声扩散采样》（Colored Noise Diffusion Sampling）进行的解释。

宏观图景：用错误的画笔绘制杰作

想象你是一位艺术家，正试图绘制一幅逼真的风景画。你拥有一支神奇的画笔（AI 模型），它完全知道如何作画。然而，你正在使用一种名为扩散采样（Diffusion Sampling）的特定技术。

在这种技术中，你从一块布满静态噪声（就像电视雪花）的画布开始。一步步地，你要求 AI“清理”噪声，将其转化为图像。

早期步骤：AI 勾勒出大的形状（山脉、天空、树木）。
后期步骤：AI 添加微小的细节（树上的叶子、草的纹理、鸟的羽毛）。

该论文认为，当前的方法正在浪费能量。它们以相同的方式处理绘画的每一个部分，这导致细节模糊或纹理怪异。作者提出了一种管理注入图像以进行修复的“噪声”的新方法，称之为彩色噪声采样（CNS）。

问题所在：“白噪声”的错误

要理解这个问题，想象你注入画布的噪声就像喷漆。

标准方法（白噪声）：想象你有一罐喷漆，它均匀地向各处喷洒白色油漆。你同时向山脉、天空和微小的树叶喷洒。
- 问题所在：当你开始处理微小的树叶（高频细节）时，山脉（低频结构）已经完成了。在已经完成的山脉上喷洒更多油漆是油漆的浪费。与此同时，微小的树叶仍然缺乏油漆。
- 结果：山脉被“过度喷涂”（变得模糊或扭曲），而树叶得不到足够的细节，导致图像看起来柔和或模糊。

论文将这种现象称为“频谱偏差”。AI 自然地先完成大的形状，最后完成微小的细节。但标准的“白噪声”喷漆并不尊重这一时间表；它在已经完成的事情上浪费了能量。

解决方案：“彩色噪声”（CNS）

作者引入了彩色噪声采样（CNS）。将其想象为一个智能的、可变色的喷漆罐。

这种罐子不是到处喷洒白色油漆，而是根据你正在画什么以及何时在画，改变其颜色。

过程早期：喷漆是“红色”（低频）。它将所有能量集中在构建大的形状（山脉、天空）上。
过程后期：随着山脉完成，喷漆自动切换为“蓝色”（高频）。它停止在山脉上浪费油漆，并将所有能量重新导向微小的细节（树叶、皮毛、羽毛）。

黄金法则：你拥有的油漆总量是固定的。你不能只是买更多的油漆。你必须重新分配你已有的油漆。CNS 将原本会浪费在已完成部分上的油漆，转移到仍需工作的部分。

工作原理（幕后的“魔法”）

论文通过几个关键概念解释了这一点：

“能量预算”：想象你有一个严格的 100 美元预算来修复图像。标准方法无论图像的每个部分是否需要修复，都花费 1 美元。CNS 观察图像，看到山脉已经修复，于是说：“好吧，我们不再需要在那里花钱了。让我们把那 1 美元拿过来，花在鸟的羽毛上吧。”
无需重新训练：这是最好的一点。你不需要重新教导 AI 如何作画。你只需要在 AI 工作时改变喷漆的方式（采样方法）。这就像给同一位艺术家一套更好的指令，而不改变他们的技能水平。
“频谱间隙”：论文表明，标准方法在现实世界和 AI 图像之间留下了一个“间隙”。真实照片具有大形状和微小细节的特定平衡。标准的 AI 图像往往大形状过多，微小细节不足。CNS 通过将能量精确移动到所需之处来填补这一间隙。

结果：更清晰、更逼真的图像

作者在几个著名的 AI 图像生成器（如 SiT、JiT 和 FLUX）上测试了这种方法。

之前（标准 SDE）：图像还不错，但有时看起来有点模糊或具有怪异的纹理。
之后（CNS）：图像变得显著更清晰。微小的细节（如狮子的皮毛或鸟的羽毛）变得更加清晰突出。
得分：他们使用了一种称为 FID 的指标（衡量 AI 图像与真实照片的接近程度）。分数越低越好。
- 在一次测试中，分数从 8.26 降至 6.27。
- 在另一次测试中，分数从 32.39 降至 26.69。
- 用通俗的话说：图像变得更加逼真，更接近人类用相机拍摄的效果。

总结

将 AI 图像生成器想象成一支正在建造房屋的施工队。

旧方法：即使地基（大结构）已经完成，施工队仍继续敲打地基，而屋顶（细节）仍然只是一堆木材。他们在屋顶完工前就耗尽了能量。
CNS 方法：施工队观察进度。一旦地基坚固，他们立即停止敲打地基，并立即将所有工具和能量发送到屋顶。

通过动态地将“噪声”（能量）转移到图像中尚未完成的部分，彩色噪声采样在不重新训练 AI 模型的情况下，生成了更清晰、更逼真的图像。这是一种更聪明地利用 AI 现有能量的方法。

技术摘要：彩色噪声扩散采样（CNS）

问题陈述

扩散模型已在图像合成领域确立了最先进的性能，但其生成轨迹表现出一种根本性的频谱偏差：它们在采样过程的早期解析低频全局结构，而在后期解析高频细节。传统的随机微分方程（SDE）求解器未能考虑到这一动态特性。它们在整个生成过程中天真地注入均匀白噪声，平等地对待所有频段。这种方法误用了随机过程的有限“能量预算”，将噪声能量分配给已经结构解析的频段，而忽视了那些滞后的频段。因此，标准 SDE 往往无法完美恢复真实数据流形的功率谱密度（PSD），导致生成图像与真实图像之间存在“频谱间隙”。

现有解决方案要么改变训练框架（需要昂贵的重新训练），要么应用推理时的修改，将底层随机求解器视为静态黑盒（例如，频域解耦操作或步长调整）。这些方法仍受限于其对频谱均匀求解器的依赖。

方法论：彩色噪声采样（CNS）

作者提出了彩色噪声采样（CNS），这是一种新颖的、无需训练的随机求解器，能够主动利用模型固有的频谱偏差。核心见解在于，SDE 推理可以被重构为一种针对性的、频域解耦的能量转移。

1. 数学框架

作者确立了扩散推理作为一种信号保持的转移机制。虽然初始噪声在一定程度上被保留，但 SDE 求解器在整个轨迹中注入的随机增量也被直接映射到最终图像的空间特征中。关键在于，这种映射是频域解耦的：特定频段注入的噪声映射到该频段的空间特征。

作者证明，经典朗之万方程对均匀白噪声的要求可以安全放宽。通过确保每一步注入的总能量保持归一化（全局方差守恒约束），即使噪声的频谱成分发生变化，中间状态也不会偏离分布。

2. CNS 算法

CNS 用动态的、依赖于时间步和频率的调度方案取代了均匀白噪声注入。

进度追踪：该方法利用有界进度指数 $\gamma(f, t)$ ，衡量在时间步 $t$ 时网络已解析特定频段最终结构的程度。低频早期解析（ $\gamma \to 1$ ），而高频晚期解析。
动态分配：CNS 计算每个频段的缩放权重 $\beta_f(t)$ $β_{f} (t)$ 。该权重与频段的结构解析度成反比。具体而言，方差乘数与结构赤字（ $1 - \gamma(f, t)$ $1 - γ (f, t)$ ）成正比。
- 完全解析的频段（ $\gamma \approx 1$ ）接收较少的注入能量（衰减）。
- 结构未解析的频段（ $\gamma \approx 0$ ）接收更多的注入能量（放大）。
全局约束：为了维持稳定性，缩放权重被归一化，使得所有维度上的平均注入能量保持恒定： $\frac{1}{D}\sum \beta_f^2(t) = 1$ 。这将噪声注入视为零和博弈，将能量从“已解决”的频段重新分配给“滞后”的频段。

3. 实现

CNS 作为标准 SDE 求解器（如 Euler-Maruyama、Heun、SRK）的即插即用替代品进行实现。它不需要模型重新训练，且完全在推理时运行。该算法根据当前状态的频谱特征，在每一步动态地对噪声增量进行着色。

主要贡献

理论框架：本文建立了一个数学框架，将 SDE 噪声注入重构为针对性的能量转移。它证明了严格的频谱均匀白噪声要求可以被放宽，以解决频谱间隙，而不会将中间状态推离分布。
新颖求解器（CNS）：引入彩色噪声采样，这是一种无需训练的随机求解器，它动态地将注入的噪声能量分配给结构未解析的频段，主动利用模型的频谱偏差。
实证验证：在多种架构（SiT、JiT、FLUX）和模态（像素空间、潜在空间、文本到图像）上的广泛实验表明，CNS 显著优于标准的 ODE 和 SDE 基线。

实验结果

作者在 ImageNet-256 和文本到图像基准（FLUX）上评估了 CNS，通过 Fréchet 初始距离（FID）、空间 FID（sFID）、初始分数（IS）和人类偏好指标来衡量性能。

类别条件生成（ImageNet-256）：
- SiT-XL/2：CNS 将无引导 FID 从 8.26（SDE）降低至 6.27。
- JiT-B/16：CNS 将无引导 FID 从 32.39（SDE）降低至 26.69。
- JiT-H/16：CNS 将无引导 FID 从 11.88（SDE）降低至 8.31。
- 当与无分类器引导（CFG）结合使用时，CNS 也能带来一致的相对 FID 改进，相比基线提升约 8% 至 50%。
文本到图像生成（FLUX）：
- 集成到 FLUX.1-dev 和 FLUX.2-klein 中，提高了自动人类偏好评分（ImageReward）和美学评分，同时保持了语义对齐（CLIPScore）。
鲁棒性：CNS 在各种离散化步长和求解器阶数（1 阶至 5 阶）下均 consistently 优于标准采样。
正交性：即使应用于使用替代噪声分布（例如用于扩散模型的蓝噪声）训练的模型，CNS 也能提供改进，证实了其通用性。

意义与主张

本文主张，CNS 解决了标准扩散 SDE 求解器中的一个根本性低效问题：白噪声的浪费性均匀注入。通过将推理重新概念化为针对性的能量转移，CNS 系统地将生成分布引导至真实数据流形。

作者强调，CNS 是一个严格的即插即用解决方案。它在无需任何模型重新训练或修改底层网络架构的情况下，增强了生成保真度和视觉质量。这项工作表明，生成图像中的“频谱间隙”不仅仅是数值误差，而是能量分配错位的结果，可以通过动态对噪声进行着色以匹配模型的结构学习曲线来纠正。

局限性：作者指出，CNS 依赖于 SDE 框架，因此与确定性 ODE 求解器不兼容，后者在超快速、低步数推理中仍然更受青睐。未来的工作建议探索将频域依赖的能量路由扩展到确定性范式，并将该方法应用于视频生成。