🤖 machine learning

VFM-VAE: Vision Foundation Models Can Be Good Tokenizers for Latent Diffusion Models

该论文提出了一种名为 VFM-VAE 的新方法，通过直接利用冻结的视觉基础模型（VFM）作为潜在扩散模型（LDM）的编码器并设计新型解码器，避免了传统蒸馏带来的表征鲁棒性损失，从而在显著加速训练进程的同时实现了卓越的图像生成性能。

原作者： Tianci Bi, Xiaoyi Zhang, Yan Lu, Nanning Zheng

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Tianci Bi, Xiaoyi Zhang, Yan Lu, Nanning Zheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 VFM-VAE 的新方法，旨在让 AI 画图的效率更高、质量更好。为了让你轻松理解，我们可以把生成高质量图片的过程想象成**“一位画家（扩散模型）在画布上创作一幅杰作”**。

在这个比喻中，论文解决的核心问题可以拆解为三个角色：

1. 核心角色与比喻

画家（扩散模型/LDM）： 这是真正负责“画画”的 AI。它非常聪明，但需要一个清晰的草图才能开始创作。如果草图太乱，画家就会画得很慢，或者画出来的东西很模糊。
翻译官（Tokenizer/VAE）： 这是论文的主角。它的任务是把画家看不懂的“高清照片”（像素），翻译成画家能看懂的“抽象草图”（潜在空间 Latent）。
- 以前的做法： 以前的翻译官是“学徒”。它们试图通过死记硬背（蒸馏）来模仿一位“大师”（视觉基础模型 VFM）的思维方式。但问题是，学徒学得再像，也总会漏掉大师的一些精髓，导致翻译出来的草图不够精准，画家画起来很吃力。
- 这篇论文的做法： VFM-VAE 直接把“大师”请来做翻译官！ 它不再让学徒去模仿，而是直接冻结（固定）那位“大师”（预训练的视觉基础模型，如 SigLIP2），让它直接负责翻译。

2. 遇到的挑战：大师的“特长”与“短板”

虽然直接请“大师”做翻译官是个好主意，但这里有个大麻烦：

大师的特长： 他非常擅长理解**“这是什么”**（语义，比如这是一只猫，那是蓝天）。
大师的短板： 他不太擅长**“怎么画出来”**（像素级的细节还原）。如果直接让他翻译，画出来的草图可能概念很对，但细节全是马赛克，画家根本没法下笔。

论文的解决方案（VFM-VAE 的魔法）：
作者设计了一个**“超级解码器”（Decoder），就像给大师配了一位“神笔马良”**。

多尺度融合（Multi-Scale Latent Fusion）： 就像画家作画时，先画大轮廓，再画五官，最后画毛发。这个解码器能同时利用大师提供的“宏观概念”和“微观细节”，把草图修补得完美无缺。
渐进式重建（Progressive Reconstruction）： 就像盖房子，先打地基，再砌墙，最后装修。解码器分步骤把模糊的草图一步步变成高清照片。

3. 为什么这样做更好？（双重对齐的奇迹）

论文发现了一个有趣的“化学反应”：

以前的困境： 如果翻译官（Tokenizer）和画家（扩散模型）各说各话，画家就需要花很长时间去适应翻译官的“方言”，导致训练很慢，画得也不好。
现在的突破：
1. 翻译官更懂大师： 因为直接用了大师（VFM），翻译出来的草图保留了最纯正的“语义精华”。
2. 画家更懂翻译官： 因为草图质量极高，画家能迅速理解意图。
3. 双向奔赴： 论文还提出了一种新的训练策略，让画家在画的过程中，也时刻参考大师的标准。

结果就是： 画家（扩散模型）的学习速度快了 10 倍！

以前可能需要画 800 个 epoch（训练轮次）才能达到的效果，现在只需要 80 个 epoch 就能达到，甚至最终效果（640 个 epoch）比以前的方法还要好得多。

4. 一个生动的测试：抗干扰能力

论文做了一个有趣的实验（图 2）：

给图片加一点点噪点、旋转一下或者改变一下亮度（就像给翻译官一点小干扰）。
旧翻译官（VA-VAE）： 一受干扰，翻译就乱了，画出来的东西就变了味（CKNNA 分数大幅下降）。
新翻译官（VFM-VAE）： 无论怎么干扰，它都能稳稳地翻译出核心意思，画出来的东西依然精准（CKNNA 分数几乎不变）。

总结

这篇论文的核心思想就是：不要试图让 AI 去模仿大师，直接把大师请进团队，再给它配个好助手（解码器）。

以前： 学徒模仿大师 -> 学得不够好 -> 画家画得慢且差。
现在： 大师直接翻译 + 神笔马良辅助 -> 翻译精准且稳健 -> 画家画得飞快且完美。

这不仅让 AI 画图变得更快（效率提升 10 倍），而且画得更好（图像质量更高），为未来的 AI 绘画技术打下了坚实的基础。

1. 研究背景与问题 (Problem)

背景：
潜在扩散模型（Latent Diffusion Models, LDMs）是目前视觉合成领域的 dominant 范式。其核心在于两阶段训练：首先训练一个视觉 Tokenizer（通常是变分自编码器 VAE），将像素空间图像压缩为紧凑的潜在空间（Latent Space），然后在该潜在空间内学习扩散过程。

现有痛点：

Tokenizer 质量瓶颈： LDM 的性能高度依赖于 Tokenizer 生成的潜在表示的质量。
蒸馏方法的缺陷： 近期工作（如 VA-VAE, REPA-E）尝试通过**蒸馏（Distillation）**将视觉基础模型（Vision Foundation Models, VFMs，如 DINOv2）的语义知识对齐到 VAE 的潜在空间中。
核心发现： 作者通过实证研究发现，基于蒸馏的对齐方法不可避免地会削弱原始 VFM 表示的鲁棒性。在语义保持的变换（如噪声、旋转、缩放）下，蒸馏后的表示会出现显著的“脆性”（Brittleness），导致关键信息丢失。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 VFM-VAE，一种更直接的方法：直接冻结预训练的 VFM 作为 VAE 的编码器前端，并设计了一个新的解码器来从 VFM 的语义丰富表示中重建真实图像。

2.1 编码器设计 (Encoder)

冻结 VFM： 不使用可训练的编码器去模仿 VFM，而是直接冻结一个预训练的 VFM（默认使用 SigLIP2-Large）作为编码器 $\Phi$ 。
多尺度特征提取： 从 VFM 的不同深度（浅层、中层、深层）提取特征 $\{f_{shallow}, f_{middle}, f_{final}\}$ ，以捕获从细粒度空间细节到高层语义的信息。
轻量级投影： 将多尺度特征在通道维度拼接，并通过一个轻量级的可学习投影网络 $\mathcal{C}$ ，输出高斯分布的参数（均值 $\mu$ 和方差 $\log \sigma^2$ ），从而得到压缩后的潜在变量 $z$ 。
优势： 这种方法保留了 VFM 原始的丰富语义，避免了蒸馏过程中的信息退化。

2.2 解码器设计 (Decoder)

由于 VFM 特征主要优化于语义理解而非像素级重建，且空间分辨率较粗，作者设计了专门的解码器架构：

多尺度潜在融合 (Multi-Scale Latent Fusion)： 将潜在变量 $z$ 分解为全局分量 $z_g$ （捕获整体风格）和空间分量 $\{z_s^{(i)}\}$ （捕获空间布局）。
渐进式分辨率重建块 (Progressive Resolution Reconstruction Blocks)：
- 解码器由一系列块 $\{B_i\}$ 组成，逐步从低分辨率（如 8x8）上采样到高分辨率（256x256）。
- 全局控制： 全局分量 $z_g$ 通过调制卷积（Modulated Convolution）注入到每一个块中，确保整体风格的一致性。
- 空间注入： 空间分量仅在低分辨率阶段（前几个块）注入，用于建立基础布局，让后续高分辨率块专注于细节合成。
- 核心模块： 使用改进的 Modulated ConvNeXt Block，结合自注意力机制，实现细粒度的风格控制。
多尺度监督： 每个重建块都连接一个轻量级的 ToRGB 头，生成中间分辨率的图像，并施加多分辨率的像素重建损失，防止模式坍塌并加速收敛。

2.3 训练目标 (Training Objectives)

总损失函数 $L_{total}$ 平衡了语义保持和重建保真度：
$L_{total} = \lambda_{rep}L_{rep} + \sum \lambda_i L_{recon}^{(i)} + \lambda_{GAN}L_{GAN} + \lambda_{LPIPS}L_{LPIPS}$

表示正则化损失 ( $L_{rep}$ )： 包含 KL 散度和 VF Loss（计算与原始 VFM 特征的余弦相似度），确保潜在空间 $z$ 保留 VFM 的语义。
多分辨率重建损失： 对每个阶段的输出施加 L1 损失。
对抗与感知损失： 使用基于 DINOv2 的判别器进行对抗训练，并加入 LPIPS 损失以提升感知质量。

2.4 评估指标：SE-CKNNA

为了更准确地评估 Tokenizer 与 VFM 的对齐鲁棒性，作者提出了 语义等变 CKNNA (SE-CKNNA)。

原理： 传统的 CKNNA 仅在干净图像上计算。SE-CKNNA 通过在一系列语义保持的变换（加噪、缩放、旋转）下计算 CKNNA 的平均值，来衡量表示在扰动下的稳定性。
发现： 蒸馏方法在扰动下 CKNNA 分数大幅下降（脆性），而 VFM-VAE 的分数保持稳定甚至略有提升。

3. 关键贡献 (Key Contributions)

架构创新 (VFM-VAE)： 提出直接利用冻结 VFM 作为 LDM Tokenizer 编码器的框架，摒弃了导致性能退化的蒸馏过程，并通过专门设计的解码器实现了高保真重建。
诊断指标 (SE-CKNNA)： 提出了 SE-CKNNA 指标，揭示了现有蒸馏方法在语义保持变换下的鲁棒性缺陷，为评估 Tokenizer 质量提供了更可靠的工具。
双重对齐策略 (Dual-Side Alignment)： 发现高质量的 Tokenizer 表示能促进扩散模型内部的表示学习。通过结合 Tokenizer 端的 VFM 对齐和扩散模型端的浅层对齐（如 REG 方法），实现了协同效应，显著提升了生成性能。
效率与性能突破： 在 ImageNet 256x256 任务上，VFM-VAE 仅需 80 个 Epoch 即可达到 gFID 2.22（比之前的 Tokenizer 快 10 倍），训练至 640 个 Epoch 时达到 gFID 1.62。

4. 实验结果 (Results)

重建质量： 在 ImageNet 上，VFM-VAE 的重建 FID (rFID) 为 0.52，IS 为 214.1，优于 SD-VAE 和 VA-VAE。
鲁棒性： 在 SE-CKNNA 测试中，VA-VAE 的分数在扰动下下降了 33.2%，而 VFM-VAE 仅增加了 1.6%，证明了其表示的稳定性。
生成性能 (ImageNet 256x256)：
- VFM-VAE + REG： 640 Epochs 达到 gFID 1.62 (w/o CFG)，优于所有现有基线。
- 训练速度： 达到同等性能所需的训练步数大幅减少，实现了 10 倍 的加速。
- 对比： 即使不使用扩散模型的对齐（仅用 LightningDiT），VFM-VAE 也显著优于 VA-VAE 基线。
文本到图像 (Text-to-Image)： 在 DPG-Bench 和 MJHQ-30K 数据集上，结合 BLIP3-o 的 VFM-VAE 也优于 VA-VAE 变体，证明了其在多模态任务中的通用性。
兼容性： 实验表明 VFM-VAE 可以适配多种 VFM（如 DINOv2, EVA-CLIP, SigLIP2），具有广泛的适用性。

5. 意义与影响 (Significance)

范式转变： 该工作挑战了“必须通过蒸馏将 VFM 知识注入 VAE"的传统观念，证明了直接冻结 VFM 作为编码器不仅可行，而且能带来更优的语义表示和训练效率。
加速 LDM 训练： 通过提供更高质量的潜在空间，VFM-VAE 显著加速了扩散模型的收敛过程，降低了计算成本。
理论洞察： 揭示了 Tokenizer 的表示质量直接决定了扩散模型内部特征学习的上限，强调了在 Tokenizer 设计阶段保持原始 VFM 语义完整性的至关重要性。
实用价值： 为构建下一代高效、高质量的生成式模型提供了新的架构蓝图和训练策略。

总结： VFM-VAE 通过“冻结编码器 + 专用解码器”的巧妙设计，成功解决了 VFM 在 LDM 中作为 Tokenizer 的语义保持与重建保真度之间的矛盾，实现了性能与效率的双重突破。