Is Monotonic Sampling Necessary in Diffusion Models?
本文系统性地研究了非单调噪声调度能否改善扩散模型的生成效果，发现尽管此类调度普遍无法超越单调基线，但由于去噪器收敛的结构差异，其导致的性能惩罚严重程度在不同架构（DDPM、流匹配和 EDM）间存在显著差异，这一现象由新提出的调度敏感性系数进行了量化。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图擦拭一扇布满泥污、雾气弥漫的窗户，以便看清隐藏在后面的美丽图画。在过去的六年里，所有构建此类机器的人都遵循一条严格的规则：你只能朝一个方向擦拭窗户，且每一次擦拭都要让窗户变得更干净一些。 你从一扇非常脏的窗户开始，擦一点，再擦多一点，一直持续直到它变得清晰。没有人想过在完成任务之前反向擦拭（让窗户再次变得稍微脏一些）。
本文提出了一个简单的问题：这条“单向”规则真的必要吗？还是说，这仅仅是我们陷入的一种习惯？
实验：尝试“重新弄脏”窗户
研究人员决定测试打破这条规则会发生什么。他们构建了四种不同类型的“反向”清洁计划：
- 单次重加热（Single Reheat）： 在过程中间进行一次大幅度的反向擦拭。
- 锯齿状（Sawtooth）： 像锯子一样来回擦拭。
- 阻尼振荡（Damped Oscillation）： 来回擦拭，但随着接近终点，反向的摆动幅度越来越小。
- 自适应重加热（Adaptive Reheat）： 一个智能系统，仅当它认为图画变得“不稳定”时，才决定反向擦拭。
他们在三种截然不同的“清洁机器”（AI 模型）上，使用标准数据集（CIFAR-10，就像一个包含 32x32 像素图像的小型图书馆）测试了这些奇怪的计划。
重大发现：反向总是有害
结果出乎意料地清晰：反向操作从未带来帮助。
事实上，每次他们尝试“重新弄脏”窗户时，最终生成的图画都比仅仅单向擦拭要差。
- 惩罚： 他们尝试反向的次数越多，图画就越差。
- 意外： 虽然所有模型的表现都变差了，但变差的程度各不相同。
- 模型 A（DDPM）： 这个模型非常脆弱。即使让它反向一点点，图画也会显著变差。它严重依赖“单向”规则。
- 模型 B（Flow Matching）： 这个模型对此尚可接受；图画变得稍微差了一些，但并非糟糕透顶。
- 模型 C（EDM）： 这个模型极其稳健。让它反向几乎对最终图画毫无影响。它如此擅长清洁，以至于路径稍微混乱也无伤大雅。
“调度敏感性系数”（SSC）
作者意识到这种差异并非随机噪声，而是机器本身的特性。他们发明了一种新工具，称为调度敏感性系数（Schedule Sensitivity Coefficient, SSC）。
可以将 SSC 想象成对清洁机器的**“压力测试”**。
- 如果你摇晃机器（通过让它反向），而它分崩离析，那么它具有高 SSC。这意味着该机器尚未学会完美的清洁方式；它只是死记硬背了一条特定路径。
- 如果你摇晃机器，而它甚至毫无察觉，那么它具有低 SSC。这意味着该机器已经掌握了图画的真实本质，无论采取何种路径都能将其清洁干净。
本文声称，高 SSC 是 AI 尚未发挥其全部潜力的标志。这是一种廉价、快速的方法，用于在不等待数天以查看最终图画的情况下，检查 AI 模型是否“优秀”。
为什么有些人认为反向操作有帮助？
本文澄清了 AI 社区中的两个常见误解：
- 随机性（Stochasticity）： 有些人认为，既然随机“噪声”在某些 AI 模型中有帮助，那么“反向操作”一定也有帮助。作者指出，随机性之所以有帮助，是因为它向侧面探索（寻找新角度），而不是因为它向后走。
- RePaint（修复特定部分）： 另一种称为"RePaint"的方法似乎通过反向操作起作用。但作者发现，这之所以有效，仅仅是因为它将图像中某些已知的特定部分作为锚点保留了下来。如果你移除这些锚点（如在正常的生成任务中），反向操作只会让情况变得更糟。
结论
在过去的六年里，AI 领域一直痴迷于完善“单向清洁路径”。本文证实，他们这样做是正确的。
试图耍小聪明去反向操作是行不通的。“单向”规则不仅仅是一种传统；它是这些模型当前运作方式的结构性必需。然而，本文也为我们提供了一项新工具（SSC），用于衡量模型的“完美”程度：如果一个模型在被迫反向时感到困惑，说明它尚未完全准备好；如果它毫不在意，那它就是一个顶尖模型。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。