🤖 machine learning

ROMS-IMLE: A Minimalist Approach to Competitive Single-Step Generative Modelling

本文介绍了 ROMS-IMLE，这是一种极简的单步生成模型，通过将简单的卷积网络与隐式最大似然估计（Implicit Maximum Likelihood Estimation）相结合，在 ImageNet 256 上实现了具有竞争力的性能（FID 2.56），挑战了复杂迭代去噪过程的必要性。

原作者： Chirag Vashist, Ke Li

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chirag Vashist, Ke Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机可以构思出如此逼真、让你觉得像是用相机拍摄的图像的世界。这就是**生成式人工智能（Generative AI）**的魔力，它是计算机科学的一个分支，致力于教机器如何从零开始创造新的数据，比如图像。长期以来，实现这一目标的最佳方法就像试图通过一块大理石雕刻出塑像，通过一次次凿掉微小的碎片来实现。这种被称为“扩散（diffusion）”或“迭代采样（iterative sampling）”的方法，其原理是从纯粹的静态噪声（就像电视雪花一样）开始，通过一步步缓慢地进行细化，最终形成清晰的图像。这就像是一层一层剥开洋葱以到达核心。虽然这种方法能产生令人惊叹的效果，但它既慢又耗费计算资源，需要计算机进行数百次微小的调整才能让图像达到完美。科学家们长期以来一直认为，这种缓慢、渐进的过程是获得高质量艺术作品的唯一途径。但是，如果你可以跳过剥洋葱的过程，直接一刀将洋葱切成两半呢？这正是这篇论文所探讨的核心问题：我们能否构建一个能在单次、闪电般快速的步骤中就创造出完美图像的计算机，而不需要进行数百个微小的步骤？

这项研究背后的研究人员 Chirag Vashist 和 Ke Li，决定通过构建他们能想到的最简单的生成模型版本来测试这个“单步”想法。他们将他们的创造物称为 ROMS-IMLE。他们没有使用当今该领域占据主导地位的复杂、多层架构，而是采用了一种“精简版”的方法。他们选择了一种名为**隐式最大似然估计（Implicit Maximum Likelihood Estimation, IMLE）**的训练方法，这本质上是一种教计算机通过在其自身生成的图像堆中寻找最接近的匹配项来猜出正确答案的方法，而不是使用复杂的数学或对抗博弈。

团队意识到，那些缓慢、多步模型的“秘方”其实并不在于其缓慢本身，而在于它们是如何被教导的。他们发现，这些慢速模型所使用的两个关键技巧可以应用于快速的单步模型。首先，他们使用了分阶段监督（per-stage supervision）。想象一位画家，他不仅观察完成后的画布，还会在每一层油漆涂抹时都获得反馈。慢速模型就是这样做的；它们在每一个细化阶段都会检查图像。研究人员构建的单步模型是一个模仿这一过程的层级堆栈，在每一个细节水平上（从粗略的草图到精细的线条）都为计算机提供一个“检查点”信号。其次，他们应用了谱专业化（spectral specialization）。这就像是意识到模型的早期层应该只关注大的形状和颜色（低频），而后期层则添加纹理和锐利边缘等微小细节（高频）。通过强制模型按特定顺序学习这些层，他们确保了图像构建过程的逻辑性。

然而，出现了一个障碍。由于该模型只有一次机会生成图像，有时它会意外地将一张真实的相片与一张看起来完全不像它的生成图像配对。如果计算机尝试从这种错误的匹配中学习，它就会感到困惑。为了解决这个问题，作者引入了一个鲁棒损失函数（robust loss function）（具体为 Geman-McClure 损失）。把这想象成老师的“智能过滤器”。如果一名学生给出了完全错误的答案，普通的老师可能会生气并让学生重考整个测试。但这个智能过滤器会说：“好吧，那个答案完全偏离了，让我们忽略这种混乱，只专注于那些接近正确答案的学生。”这防止了模型被它自身的错误所干扰。

结果非常有效。论文显示，这种极简主义的单步模型可以在 CIFAR-10、CelebA-HQ 和 ImageNet 256 等主要数据集上生成高质量的图像。在 ImageNet 256 上，该模型的得分（FID）达到了 2.56，足以与需要数百步才能完成的最佳多步模型相媲美。更令人印象深刻的是，它实现的参数量减少了 54%（使其更小、运行成本更低），且函数评估次数减少了 250 倍（意味着它速度极快）。该模型还表现出了卓越的精确度（precision）和召回率（recall），这意味着它创造的图像既真实又具有多样性，涵盖了广泛的可能性，而不会仅仅局限于某一种类型的图像。

简而言之，作者表明，现代人工智能中复杂、缓慢的机制对于取得出色结果并非绝对必要。通过剥离不必要的步骤，并专注于几个核心训练技巧——在每个阶段进行检查、按细节水平组织学习以及忽略错误的匹配——他们证明了一个简单的单步生成器确实可以与那些巨头竞争。这提醒我们，有时最强大的工具并非最复杂的那个，而是那个知道如何在单次、自信的行动中精准完成任务的工具。

技术摘要：ROMS-IMLE

问题陈述

生成模型已从变分自编码器（VAE）和生成对抗网络（GAN）演进到随机插值（Stochastic Interpolant, SI）模型，例如扩散模型和流匹配（flow matching）。虽然 SI 模型定义了图像合成的前沿水平，但它们依赖于复杂的机制：复杂的架构（如 Transformer）、精密的采样方案以及迭代数值积分。普遍观点认为，高质量的生成需要将从噪声到数据的转换分解为许多细小的、连续的步骤。然而，这种迭代过程在计算上是昂贵的，生成单个样本需要多次前向传递（高函数评估次数，NFA）。

作者质疑这种迭代分解是否真的是必要的。他们认为，SI 模型的成功可能并非源于迭代采样过程本身，而是源于特定的训练特性——即逐阶段监督（per-stage supervision）和频谱特化（spectral specialization）——这些特性可以被适配到一种极简的单步框架中。其目标是设计一种具有竞争力的生成模型，能够在单次前向传递中产生高质量样本，而无需迭代去噪的计算开销。

方法论：ROMS-IMLE

所提出的方法——鲁棒多阶段 IMLE（ROMS-IMLE）——构建于**隐式最大似然估计（IMLE）**之上。IMLE 是一种单步生成器，通过最小化真实图像与其在生成样本集中的最近邻之间的距离，将先验分布映射到数据分布。作者保留了 IMLE 的简洁性（避开了变分界限、对抗训练和 Transformer），但引入了两个关键的训练目标修改，以模拟 SI 模型的优势。

1. 频谱感知逐阶段监督

作者采用了对 SI 模型的“以测试为中心”的视角。他们不将扩散视为一个迭代去噪过程，而是将采样器视为函数的复合： $h_\theta = g^1_\theta \circ g^2_\theta \circ \dots \circ g^T_\theta$ 。在这种视角下，SI 模型提供逐阶段监督：每一个中间层（对应于特定的噪声水平或时间步）都会接收到直接的训练信号。此外，这种监督是频谱结构化的；早期阶段（高噪声）学习粗糙的低频结构，而后期阶段（低噪声）学习精细的高频细节。

为了将此适配到单步 IMLE 生成器 $f_\theta$ 中，作者采取了以下措施：

架构支架： 将生成器构建为上采样块的堆叠（ $f_\theta = f_{\\theta_L} \circ \dots \circ f_{\\theta_1}$ ），其中每个阶段在逐渐提高的分辨率下运行。
逐阶段损失： 在每一个阶段 $l$ 引入输出头。训练目标会对所有阶段的损失进行求和，将第 $l$ 阶段的输出（ $\tilde{x}_l$ ）与降采样至该阶段分辨率的真实图像（ $K_l(x_i)$ ）进行比较。
频谱特化： 通过使用下采样核（低通滤波器）作为目标，模型被隐式地迫使在早期阶段学习粗糙结构，并在后期阶段学习高频细节，从而模仿扩散模型的频谱演进。

2. 针对不匹配对的鲁棒损失

在单步 IMLE 中，模型将真实图像与最近的生成样本进行匹配。由于采样的随机性，一张真实图像可能会匹配到一个实际上并不代表正确模态的生成样本（即“不匹配对”）。标准的平方 $\ell_2$ 损失对这些离群值非常敏感，因为巨大的残差会产生不成比例的大梯度，从而可能导致训练不稳定。

作者使用鲁棒损失函数（具体为 Geman-McClure）取代了标准的距离度量。该函数随残差呈亚二次方增长，降低了不匹配对的影响，并允许匹配良好的对在梯度更新中占据主导地位。这确保了即使在最近邻匹配不完美的情况下也能实现稳定的训练。

3. 回路拒绝（潜空间）

对于高分辨率生成（ImageNet 256），模型在冻结的自动编码器的潜空间中运行。为了解决生成器可能产生解码效果较差的潜变量这一分布失配问题，作者引入了回路拒绝（round-trip rejection）。在推理过程中，生成的图像会被再次编码和解码；如果原始生成的图像与重新解码后的图像之间的距离（回路成本）过高，则丢弃该样本。这起到了过滤作用，以确保只输出高保真度的样本。

核心贡献

极简单步设计： 本文证明了可以使用简单的基于 ConvNeXt 的架构和单步前向传递构建具有竞争力的生成模型，避免了 Transformer 和迭代采样的复杂性。
IMLE 中的逐阶段监督： 作者成功地将迭代式 SI 模型中的中间监督概念转化为单步 IMLE 框架，表明在多个分辨率下进行直接监督对于提升质量至关重要。
鲁棒训练目标： 集成鲁棒损失函数（Geman-McClure）有效地缓解了由 IMLE 中最近邻不匹配引起的训练不稳定问题。
高效性： 与基于扩散的基准模型相比，所得模型以显著更少的参数和函数评估次数实现了最先进的性能。

实验结果

模型在三个数据集上进行了评估：CIFAR-10、CelebA-HQ 和 ImageNet 256。

CIFAR-10（无条件）： ROMS-IMLE 在单次 NFE 下实现了 4.01 的 FID。值得注意的是，它在**精确度（Precision, 0.91）和召回率（Recall, 0.80）**方面均取得了最高值，在覆盖度和保真度上均优于 100 步 DDIM 基准模型。
CelebA-HQ（无条件）： 该模型实现了 6.70 的 FID，并在单步方法中取得了最佳的精确度（0.96）和召回率（0.61），在两项指标上均超过了多步基准模型 Shortcut（128 步）。
ImageNet 256（类条件）： 在拥有 310M 参数的潜空间中运行（少于 DiT-XL/2 的 675M），该模型在单次前向传递且无需分类器自由引导（classifier-free guidance）的情况下，达到了 2.56 的 FID。这足以与多步扩散模型（如 250 步的 SiT-XL/2）相媲美，并且效率显著更高（减少了 250 倍的函数评估次数）。

意义与主张

本文声称，现代生成模型的高质量并非本质上取决于迭代采样，而是取决于频谱感知、逐阶段的监督。通过将这些特定的训练信号注入到极简的 IMLE 框架中，作者证明了单步生成器可以达到复杂迭代模型的样本质量和多样性。

其意义在于使图像生成变得更廉价、更简单。ROMS-IMLE 在没有迭代推理计算成本的情况下，实现了具有竞争力的 FID、精确度和召回率，挑战了将生成过程分解为渐进式转换的必要性。作者总结道，当使用正确的目标进行训练时，简单的单步模型可以保留流行 SI 模型的优势。