📊 statistics

Antithetic Noise in Diffusion Models

本文介绍了一种无需训练且与模型无关的框架，该框架利用对立初始噪声来利用扩散模型中普遍存在的负相关性，从而通过提出的对称性猜想显著改善不确定性量化并增强图像生成的多样性。

原作者： Jing Jia, Sifan Liu, Bowen Song, Wei Yuan, Liyue Shen, Guanyang Wang

发布于 2026-02-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Jing Jia, Sifan Liu, Bowen Song, Wei Yuan, Liyue Shen, Guanyang Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图猜测一个拥挤房间里所有人的平均身高。你可以随机询问 100 个人，但由于你可能碰巧遇到了一些异常高或异常矮的人，你的答案可能会有些波动。

现在，想象一种更聪明的方法：你询问一个人，然后立即询问他们的“镜像”双胞胎（即一个人比平均值高出多少，另一个人就正好比平均值矮多少）。如果你将这两者取平均值，它们的误差就会完美地相互抵消。你只需付出一半的努力，就能得到一个更稳定、更准确的答案。

这篇论文就在讲述这样一个发现：扩散模型（Diffusion Models，即 DALL-E 和 Midjourney 等工具背后的 AI 引擎）的行为表现得就像那个挤满了人的房间一样。

以下是他们发现的简单解读：

1. “魔镜”式的发现

扩散模型的工作原理是从一个随机的噪声云（static/noise）开始，通过逐步清理噪声来显现出一幅图像。通常，如果你想看 AI 可能生成什么，你会选择一团随机噪声并让它运行。

作者们发现了一个简单的技巧：如果你取一团随机噪声及其“镜像图像”（将所有的正数翻转为负数），得到的两幅图像在细节上是强烈的“相反”关系。

类比： 把噪声想象成给厨师的指令。如果你给厨师一个食谱说“加入 10 克盐”，那么镜像食谱就会说“减去 10 克盐”。论文发现，当 AI 遵循这些相反的指令时，生成的“菜肴”（图像）在细节上始终是截然相反的。
结果： 这并非偶然。无论是在他们测试的哪种类型的 AI 模型中（无论是生成人脸、风景还是抽象艺术），甚至是对于较旧类型的生成模型，这一现象都普遍存在。这是这些模型所生活的宇宙中的一条普遍规则。

2. 为什么这很重要：“降噪”效应

在统计学领域，当两个事物互为相反数（负相关）时，取它们的平均值是一种超能力。

问题： 通常，为了精确了解 AI 的行为（例如，“它生成的图像的平均亮度是多少？”），你必须生成数千张图像。这既慢又昂贵。
解决方案： 因为“镜像”图像是相反的，它们的误差会相互抵消。如果一张图像太亮，它的镜像双胞胎很可能就太暗。当我们取平均值时，我们能立即得到完美的亮度。
收益： 论文表明，这个技巧可以让你的计算精确度提高 90%；或者反过来说，让你能以少 100 倍的图像数量达到同样的精度。这就像是用模糊缩略图的成本，换取了一张高清照片。

3. “为什么”：隐藏的对称性

作者们并非仅仅靠运气发现了这一点；他们试图弄清楚为什么会发生这种情况。他们提出了一个理论：这些 AI 模型内部的“大脑”（称为分数网络/score network）学习到了一种隐藏的对称性。

类比： 想象 AI 的大脑是一个完美平衡的跷跷板。如果你按下左边（正噪声），右边（负噪声）就会以一种可预测的、镜像的方式升起。论文表明，AI 学习了如何像一个“奇函数”（围绕中心点对称）那样运作，尽管没有人明确教它这样做。

4. 现实应用（这篇论文实际做了什么）

论文不仅讨论理论，还将其应用于实际任务：

更好的不确定性检查： 当科学家使用 AI 解决难题（如重建模糊的医学扫描图像或修复受损的照片）时，他们需要知道结果有多可靠。使用这种“镜像噪声”技巧，他们可以更快、以更少的计算资源计算出答案的可靠性。
免费获得更多多样性： 如果你想根据同一个文本提示词（例如“一只猫”）生成两幅非常不同的图像，使用镜像噪声技巧可以保证你得到两只截然不同的猫，而使用随机噪声则可能得到两只非常相似的猫。
图像编辑： 他们展示了使用此技巧可以帮助更有效地编辑图像，使修改更符合用户的意图。

它【不是】什么

它不是一种新的训练方法： 你不需要重新训练 AI 或更改其代码。它适用于你现有的任何模型。
它不是解决一切问题的万能药： 虽然它能让统计估计变得更好，但它并不一定会让图像看起来“更有艺术感”，也不会修复糟糕的提示词。它是一个用于测量和提高效率的工具，而不是一种创意升级。

简而言之： 作者们发现扩散模型内置了“镜像对称性”。通过利用这种对称性，我们可以在不改变模型本身的情况下，获得更可靠的答案并节省大量的计算能力。这是我们衡量和使用这些 AI 方式的一次免费升级。

技术摘要：扩散模型中的对偶噪声（Antithetic Noise）

问题陈述

扩散模型在生成任务中取得了最先进的性能，然而，相比于架构改进或去噪调度，初始高斯噪声在塑造模型输出方面的作用仍未得到充分探索。尽管先前的研究已经针对特定任务（如生成质量或可控性）优化了噪声，但对于噪声本身如何影响生成样本统计特性的系统性理解仍然匮 manera。此外，扩散模型中的不确定性量化（UQ）通常依赖于标准的蒙特卡洛（MC）采样，由于高方差的存在，为了获得可靠的置信区间，这往往会导致极高的计算成本。

方法论

作者提出了一种对**对偶噪声（antithetic noise）**的系统性研究，该技术将每一个初始噪声样本 $z \sim \mathcal{N}(0, I)$ 与其负值 $-z$ 配对。这种方法利用了如果 $z$ 是高斯的，则 $-z$ 具有相同的边缘分布这一特性。

核心机制

本文研究了由对偶对生成的样本（记作 $DM(z) $和$ DM(-z) $）之间的相关性，其中$ DM$ 代表扩散模型映射。

经验观察： 作者观察到，$DM(z) $和$ DM(-z)$ 在多种架构（U-Net, DiT）、数据集（CelebA-HQ, CIFAR-10, LSUN）以及调节方案（文本生成图像、类别条件生成）下，始终表现出强负相关性。
对称性猜想： 为了解释这一现象，作者提出了一个对称性猜想：学习到的分数函数（score function） $\epsilon_\theta^{(t)}(x)$ $ϵ_{θ}^{(t)} (x)$ 近似于仿射反对称（affine antisymmetric）（即在常数偏移下的奇对称）。具体而言，对于固定的时间步 $t$ $t$ ， $\epsilon_\theta^{(t)}(x) + \epsilon_\theta^{(t)}(-x) \approx 2c_t$ $ϵ_{θ}^{(t)} (x) + ϵ_{θ}^{(t)} (- x) \approx 2 c_{t}$ 。
- 这得到了理论分析的支持，该分析表明在高噪声阶段（大 $t$ 时），分数函数收敛于高斯分数 $-x$ ，这是一个线性和反对称的函数。
- 通过“仿射反对称得分”进行的经验验证证实，分数网络输出的行为在不同时间步和不同坐标下均表现为近似仿射反对称函数。
向 QMC 扩展： 该框架被扩展到**拟蒙特卡洛（QMC）和随机化拟蒙特卡洛（RQMC）**设计中，通过构建具有负相关性的确定性噪声样本集来进一步降低方差。

核心贡献

发现普遍的负相关性： 本文确立了将初始噪声与其负值配对会产生强负相关样本的现象。这一现象在无条件和有条件扩散模型、一致性模型（consistency models），甚至是非扩散生成模型（如 VAE 和 Normalizing Flows）中均具有普适性。
理论洞察： 作者提供了一个将这种相关性与学习到的分数函数具有强隐式对称性（仿射反对称）相关的理论解释，为这些通常被视为黑盒的扩散模型提供了新的结构性见解。
无需训练的方差缩减： 该方法是无需训练、与模型无关且不增加运行时开销的。它仅需要修改噪声采样策略。
改进的不确定性量化： 通过利用对偶对作为控制变量，该方法显著降低了像素级统计量和逆问题评估的方差。

实验结果

作者在多个任务上评估了该方法，将对偶蒙特卡洛（AMC）和 RQMC 与标准蒙特卡洛（MC）进行了对比。

不确定性量化（像素级统计量）：
- 任务包括估计像素均值、亮度、对比度和图像质心。
- 结果： 与 MC 相比，AMC 和 RQMC 实现了高达 90% 的置信区间缩窄。
- 效率： 相对效率增益在 3.1 倍至 136 倍之间，这意味着 AMC/RQK 达到与 MC 相同的精度所需的样本量显著减少。例如，在 CelebA-HQ 上，亮度的 CI 宽度从 1.77（MC）降至 0.15（使用 $k=8$ 的 AMC），效率提升了 130 倍。
扩散逆求解器（Diffusion Inverse Solvers）：
- 在扩散后验采样（DPS）和分解扩散采样器（DDS）等任务上进行了评估，包括图像修复、超分辨率和医学图像重建。
- 结果： AMC 在保持一致的重建质量（L1 和 PSNR 指标差异小于 0.2%）的同时，减少了 34% 至 84% 的评估成本。
多样性提升：
- 与独立的随机噪声相比，对偶噪声对产生的图像具有更高的多样性（较低的 SSIM，较高的 LPIPS），且不会降低图像质量。
- 多样性指标的提升是一致但适度的（例如，无条件模型在 LPIPS 上提升约 6-15%）。
图像编辑：
- 应用于 FlowEdit 算法，其中对偶噪声在成对比较中提高了文本-图像对齐度（CLIP score）和结构保持度（LPIPS）。

重要性与主张

本文将初始噪声的操作定位为一种简单、即插即用的工具，用于推动生成模型的进步。其主要意义在于：

成本效率： 大幅降低了不确定性量化和扩散逆求解器基准测试的计算成本，使大规模评估变得更加可行。
结构洞察： 揭示了扩散分数网络学习到的函数具有强大的隐式对称性（仿射反对称），这解释了观察到的稳健负相关性。
通用性： 该方法适用于广泛的生成模型和任务，无需重新训练或改变架构。

作者也谦虚地指出了局限性：虽然对称性猜想得到了强力支持，但在更广泛的意义上仍是一个开放性问题。此外，虽然像素级统计量获得了巨大收益，但感知指标（如 MUSIQ）或文本对齐得分的提升较小，这可能是由于 Transformer 解码器的非线性削弱了负相关性。未来的工作包括系统性地研究这种对称性，并将对偶噪声与现有的噪声优化方法相结合。