💻 computer science

SSDD: Single-Step Diffusion Decoder for Efficient Image Tokenization

该论文介绍了 SSDD，一种无需 GAN 且单步生成的扩散解码器，它通过在无需对抗损失的情况下实现更优的重建质量和更快的采样速度，超越了传统的 KL-VAE 分词器。

原作者： Théophane Vallaeys, Jakob Verbeek, Matthieu Cord

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Théophane Vallaeys, Jakob Verbeek, Matthieu Cord

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是对 SSDD 论文的解释，通过简单的概念、类比和隐喻进行了拆解。

大局观： “翻译官”问题

想象你正试图将一幅巨大的、高分辨率的油画通过一条狭窄的小隧道发送出去。

油画： 这是你的原始图像（充满了像素、色彩和细节）。
隧道： 这是“潜空间”（Latent Space，即现代 AI 生成器为了高效工作而使用的压缩版、微缩版的图像）。
翻译官： 这就是 Tokenizer（分词器）。它的任务是将油画缩小以适应隧道（编码），然后在另一端将其重建（解码）。

长期以来，最好的翻译官（被称为 KL-VAE）就像是严谨的会计师。它们非常擅长保持精确的像素颜色（低失真），但由于过于害怕猜测可能缺失的细节，往往会让重建后的画作看起来有些模糊或带有“塑料感”。此外，它们还依赖一个“裁判”（GAN 判别器）来告诉它们画作看起来是否真实，这使得它们的训练过程既缓慢又不稳定。

新方案：SSDD（单步扩散解码器）

作者引入了 SSDD，一种新型的翻译官，它解决了三个主要问题：

太慢了： 旧的扩散模型需要 50 步以上才能重建图像（就像走过一个房间需要走 50 个细小的碎步）。
不稳定： 它通常需要那个“裁判”（GAN）才能正常工作，这导致了训练时的头疼问题。
太模糊： 在进行重度压缩时，它很难保持图像的锐利度。

SSDD 是第一个既快（单步完成）、又稳（不需要裁判）、还清晰（高质量）的翻译官。

SSDD 的工作原理：创意类比

1. “大厨”与“学徒”（蒸馏）

想象一位大厨（多步解码器），他需要花 8 个小时来烹饪一道完美且复杂的菜肴。他不断品尝、调整香料、检查质地并反复精炼。成品非常美味，但对于忙碌的餐厅来说太慢了。

作者创造了一位学徒（单步解码器）。

我们不是教学徒从零开始烹饪，而是让学徒在实时观看大厨烹饪整道菜的过程。
学徒学会了模仿大厨最终呈现出的结果，但只需一个跨步即可完成。
神奇之处在于： 学徒不仅仅是复制最后的盘中餐；他们学会了大厨技巧的精髓。他们能端出一道味道与 8 小时版本同样出色的菜肴，但只需几秒钟。

2. “流动的河流”对比“楼梯”（流匹配）

旧的扩散模型就像是在爬楼梯。你必须向上迈一步，停顿一下，再向上迈一步，再停顿一下，重复 50 次才能到达顶端（得到清晰的图像）。

SSDD 使用的是 流匹配（Flow Matching）。想象一条河流从高山平滑地流向大海。与其走台阶，不如让水流淌。SSDD 计算出了水流从“噪声”变为“图像”所需的精确路径，只需一次平滑的运动。这使得它极其迅速。

3. “艺术评论家”对比“人类肉眼”（感知损失）

旧的模型试图进行逐像素匹配（就像计算机对比两份电子表格）。如果一个像素偏离了，它们就会惊慌失措。

SSDD 使用 感知损失（Perceptual Loss/LPIPS） 和 REPA。你可以把这想象成雇佣了一位艺术评论家，而不是一份电子表格。艺术评论家并不在意某个特定像素是否略有偏差，他们在意的是图像对人类视觉而言是否具备真实的“神韵”、纹理和“感觉”。这使得 SSDD 能够创造性地填补缺失的细节，让图像看起来更锐利、更逼真，即使它并不是原始像素的 1:1 完美复制。

4. “共享蓝图”（共享编码器）

以前，如果你想为不同尺寸的隧道设计一个新的翻译官，你必须从头开始构建整个团队。

SSDD 使用了 共享编码器（Shared Encoder）。想象一位大师级建筑师为隧道入口绘制了一份完美的蓝图。SSDT 可以使用这份相同的蓝图来构建各种不同尺寸的解码器（小、中、大）。这节省了大量的时间和金钱，因为你不需要在每次改变“出口”时都重新训练“入口”。

结果：为什么它很重要

论文声称 SSDD 是一个“即插即用型替换方案”，这意味着你可以将其更换到现有的 AI 系统中而不会破坏任何东西。以下是他们取得的成就：

速度： 它比当前最优秀的方法快 1.4 倍到 3.8 倍。如果旧方法生成一张图像需要 10 秒，SSDD 只需要 3 秒。
质量： 它生成的图像在人类看来更加逼真。
- 衡量指标： 他们使用了一个名为 rFID（重建 Fréchet Inception Distance）的分数。数值越低越好。
- 结果： 他们将分数从旧方法的 0.87 降低到了 SSDD 的 0.46。这是一个巨大的质量飞跃。
稳定性： 他们在没有“裁判”（GAN）的情况下训练了它。这意味着训练过程更加稳定，不太容易崩溃或失控。

总结类比

如果生成图像就像是重建一个破碎的花瓶：

旧方法 (KL-VAE)： 仔细地将每一块碎片完美地粘回去。它很精确，但花瓶看起来有点暗淡，而且耗时较长。
旧的扩散模型： 通过猜测形状，然后再次猜测，再进行 50 次尝试来重建花瓶。最终看起来不错，但速度很慢。
SSDD： 一位大师级的陶艺师，他一眼看穿了破碎的碎片，瞬间在脑海中构思出完美的瓶身，并以一次流畅的动作将其塑成。它看起来更像一个真实的瓶子，而且瞬间完成。

核心结论： SSDD 是一种更快、更智能的方式，将压缩数据转化为高质量的美丽图像，使下一代 AI 图像生成器既更快，也更好看。

技术摘要：SSDD：用于高效图像标记化的单步扩散解码器

问题陈述

最先进的生成式图像模型依赖于标记器（tokenizer）将高维视觉信号压缩为紧凑的潜表示。虽然目前的标准标记器（如 KL 正则化变分自编码器 KL-VAE）非常有效，但它们面临着失真度（像素级相似度）与分布偏移（感知真实感与多样性）之间的根本权衡。确定性解码器可以最小化失真，但往往无法建模真实图像的复杂分布，导致输出模糊。相反，生成式解码器可以建模这种分布，但通常需要迭代采样（推理速度慢）或依赖对抗损失（GAN），而后者难以扩展且难以稳定训练。

现有的基于扩散的解码器为建模给定潜变量的图像条件分布提供了一种原则性的方法，但存在两个主要局限性：

推理速度慢： 它们需要多个去噪步骤，这为下游生成模型造成了瓶颈。
训练不稳定： 为了达到最先进的效果，通常需要使用 GAN 损失，这难以扩展且可能导致训练过程发散。

方法论

作者引入了 SSDD（单步扩散解码器），这是一种旨在通过结合可扩展的混合架构、无 GAN 训练和单步蒸馏策略来克服上述局限性的新颖架构。

1. 可扩展混合架构

SSDD 没有仅仅依赖卷积 U-Net（在像素空间扩散中很常见）或纯 Transformer（在潜空间建模中很常见），而是采用了基于 U-ViT 的架构。

结构： 它采用一个具有四层卷积 ResNet 块的 U-Net 主干，但将中间的注意力块替换为处理代表 $8 \times 8$ 像素块的 Token 的 Transformer。
条件化： 模型通过上采样潜网格并将其与噪声输入拼接来对潜表示 $z$ 进行条件化。它还通过在 ResNet 和 Transformer 块内使用自适应组归一化（AdaGN）和自适应层归一化（AdaLN）来增强条件化效果。
扩展性： 该架构通过增加通道宽度和 Transformer 深度，实现了从 13.4M（SSDD-S）到 153.8M（SSDD-XL）参数的高效扩展。

2. 无 GAN 训练方案

SSDD 通过结合三种特定的损失函数消除了对抗训练的需求：

流匹配损失（Flow Matching Loss）： 主要目标使用最优传输流匹配来预测噪声与数据之间的速度场（ $v = x - \epsilon$ ），并使用 $L_2$ 损失进行训练。
感知损失（LPIPS）： 用于引导生成向感知正确的区域靠拢，使高层特征保持一致。
REPA 损失： 一种使用 DINOv2-B 特征的特征正则化损失，用于稳定 Transformer 表示并加速训练。
多阶段训练： 模型分阶段训练：首先在 $128 \times 128$ 的裁剪图像及随机缩放增强上进行训练，随后在目标分辨率（ $256 \times 256$ ）下进行微调。

3. 单步蒸馏

为了解决推理速度瓶颈，SSDD 采用了蒸馏策略：

教师-学生设置： 一个多步教师解码器（经过 8 步训练）生成高质量、多样化的重建图像。随后，学生解码器被微调以在单步内复现这些输出。
损失保留： 与仅依赖 $L_2$ 回归的标准蒸馏不同，SSDD 蒸馏保留了完整的训练目标。学生模型最小化针对教师多步输出计算的流匹配损失和 LPIPS 损失。
结果： 这使得模型能够在保持单步模型吞吐量的同时，继承多步教师的感知和生成特性。

4. 共享编码器

作者证明了 SSDD 解码器可以配合共享编码器（具体为 Rombach 等人 2022 年提出的标准 KL 正则化编码器）进行训练。这使得 SSDD 可以作为现有 VAE 解码器的即插即用替代方案，而无需重新训练编码器或为每个解码器尺寸创建新的潜空间。

核心贡献

首个无 GAN 的单步扩散解码器： SSDD 是第一个在无需对抗损失的情况下实现最先进连续标记化的架构，确保了跨规模的训练稳定性。
混合架构： 在像素空间解码器中集成卷积归纳偏置与 Transformer 生成能力，与纯 U-Net 相比，展现出了更优越的扩展特性。
高效蒸馏： 所提出的蒸馏方法成功地将多步扩散行为压缩至单步，且几乎没有质量下降，显著提高了吞吐量。
共享潜空间兼容性： 其能够使用标准预训练编码器的能力，使其能够立即应用于现有的生成流水线。

实验结果

在 ImageNet-1k (256 $\times$ 256) 和 COCO 上进行的评估显示，SSDD 相比 KL-VAE 和其他扩散解码器有显著改进：

重建质量 (f8c4 设置)：
- SSDD-S (13.4M 参数) 将重建 FID (rFID) 从 0.87 (KL-VAE) 提升至 0.46。
- SSDD-M (48M 参数，与 KL-VAE 大小相似) 实现了 0.39 的 rFID。
- SSDD 在感知指标（LPIPS, DreamSim）方面优于所有基准模型，同时保持了具有竞争力的低级指标（PSNR, SSIM），尽管它优先考虑感知质量而非像素级的精确失真。
吞吐量：
- SSDD-S 的吞吐量比 KL-VAE 高出 1.4 倍，同时提供了更好的质量。
- 与多步扩散解码器（如 $\epsilon$ -VAE）相比，SSDD 在达到相似 rFID 水平时，解码速度快达 10 倍。
下游生成：
- 当用于训练 Diffusion Transformers (DiT) 时，SSDD 相比 KL-VAE 提升了生成 FID (gFID)。
- 使用更高的压缩率 (f16c4)，SSDD 使 DiT 模型的采样速度提升了 3.8 倍，同时保持了生成质量。
泛化能力： SSDD 模型在无需从头开始训练的情况下，能很好地泛化到 COCO 和更高分辨率（高达 $1024 \times 1024$ ），并且可以解码来自 DiTo 和 DC-AE 等冻结编码器的潜变量。

重要意义

本文声称 SSDD 通过解决速度、稳定性与生成保真度之间的紧张关系，为图像标记化建立了新标准。通过移除对 GAN 的依赖和迭代采样，SSDD 为 KL-VAE 提供了一个可扩展的、即插即用的替代方案，能够支持训练更高质量且更快的生成模型。这项工作证明了基于扩散的标记化可以兼具高效性与稳定性，为未来大规模生成建模铺平了道路，且无需承担多步推理或对抗训练带来的计算开销。