Revisiting Classifier-Free Guidance Methods in Latent Diffusion Models
本文重新评估了基于现代整流流（rectified-flow）Transformer 且根植于无分类器指导（Classifier-Free Guidance）的八种无需训练的推理阶段质量增强方法，发现这些方法在组合对齐和语义基准测试中，均未能一致地优于标准的 CFG，其中许多方法仅提供了微小的增益或导致了性能退化。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在人工智能领域，一种特定类型的软件最近已经学会了如何根据简单的文本描述创建令人惊叹的图像。这些被称为扩散模型（diffusion models）的系统，其工作原理是从充满随机视觉噪声的屏幕开始，通过逐步细化，将其转化为清晰的图像，并由用户输入的文字进行引导。为了让这些机器理解用户的意图，它们依赖于一种被称为“无分类器指导”（classifier-free guidance）的标准控制机制。可以将这种机制想象成一个方向盘，它能让图像生成过程牢牢行驶在用户请求的路径上；如果没有它，计算机可能会生成一张看起来很漂亮但与提示词毫无关系的图片。然而，把这个方向盘转得太猛会导致问题。如果指导强度设置得过高，生成的图像可能会变得过度饱和、失去自然的多样性，或者出现奇怪的结构性错误。这促使研究人员寻找替代的引导方式，试图在不要求对底层软件进行大规模、昂贵重训的情况下，避免这些陷阱。
来自高等经济学院（HSE University）和 Yandex 的一个研究小组决定对这些替代转向方法进行测试。他们专注于之前提出的八种不同技术，其中大多数最初是为旧一代图像生成软件设计的。该团队想要观察，当这些方法应用于目前最强大、最新的模型——特别是名为 Stable Diffusion 3.5 和 FLUX.2 的两个大型系统时，是否仍然有效。为了确保比较的公平性，他们不仅仅是看图像在一般意义上是否好看。相反，他们使用了一系列严格的测试，旨在检查图像是否真正遵循了文本给出的具体指令。这些测试检查的内容包括：例如，一个要求“三只长颈鹿”的提示词是否真的产生了三只长颈鹿，或者一个关于“领带右侧有一只狗”的要求是否将动物放置在了正确的空间关系中。他们还测量了图像渲染文本的能力以及处理复杂推理任务的能力，运行了数千次模拟，以解释生成过程中固有的随机性。
这一广泛比较的结果出人意料地明确：没有任何一种替代方法能够持续优于它们试图取代的标准“方向盘”。虽然一些技术在针对旧模型的特定测试中显示出轻微的改进，但这些增益通常非常微小，以至于落在了误差范围内，这意味着它们无法与随机偶然性进行可靠区分。在更新、更先进的模型上，情况甚至更加严峻；替代方法未能表现出比标准方法任何有意义的改进。事实上，几种新技术的表现反而让图像变差了，导致软件丢失物体、计数错误，或者忽略了标准方法能够正确处理的部分文本提示。研究人员发现，虽然这些替代方法偶尔可以修复单张图像中的特定错误，但它们也同样频繁地在其他图像中引入新错误，导致从整体结果来看并无净收益。
这项研究还强调了这些方法在原始测试方式与实际表现之间的关键差异。许多替代技术在推出时，声称基于衡量通用图像质量或相似度的指标有所改进，而非基于对文本提示的严格遵循。当研究人员将相同的方法应用于新模型并使用严格的提示词遵循测试时，这些改进便消失了。这表明，一张图像可以看起来美观大观或与参考照片相似，但实际上并不遵守用户给出的具体指令。研究人员得出结论，对于当前这一代强大的图像生成模型而言，标准的指导方法仍然是最可靠且最具成本效益的选择。那些曾经被视为极具前景升级方案的复杂替代方案，并没有提供普遍的解决方案，并且可能取决于具体的模型和任务而降低性能。
最终，这项研究为这个发展极其迅速的领域提供了一次现实层面的审视。它证明了随着底层人工智能模型变得越来越强大和高效，通过简单的引导过程微调来寻求提升的空间正在缩小。尽管标准方法存在已知缺陷，但它仍然是一个难以被超越的具有竞争力的基准。这项研究并不是说指导本身不重要；相反，它阐明了其他研究人员提出的那些复杂的变体并不是他们所希望的那种“灵丹妙药”。目前，生成高质量、遵循指令图像的最有效方法仍然是那套既定且直接的方法，这也使得寻找更好替代方案的探索随着技术的演进而继续进行。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。