💻 computer science

Laminating Representation Autoencoders for Efficient Diffusion

本文介绍了 FlatDINO，这是一种变分自编码器，它将冗余的 DINOv2 补丁特征压缩为紧凑的 32 个 token 序列，使扩散模型能够以显著降低的计算成本，实现高质量的图像生成，相比于在未压缩特征上进行操作。

原作者： Ramón Calvo-González, François Fleuret

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Ramón Calvo-González, François Fleuret

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图给朋友发送一段城市的高清视频，但你的互联网连接非常慢。

旧方法（像素扩散）：
传统上，AI 图像生成器就像一位盯着画布上每一寸平方英寸（像素）进行观察的画家来重构图像。这既缓慢又需要海量的数据。

“聪明”的方法 (DINOv2)：
最近，研究人员发现了一个捷径。他们不再观察像素，而是使用一个“智能相机”（称为 DINOv2），它能观察图像并瞬间理解不同部分的“含义”。它能将“狗”、“树”和“天空”识别为不同的信息块。这比单纯看到颜色要聪明得多。

问题所在：
然而，这个“智能相机”太爱唠叨了。对于一张标准图像，它会将图像分解为 256 个独立的信息块。这就像是通过列出每一个单独的街道地址来描述一座城市。虽然这些信息质量很高，但却极其冗余。“狗”的信息块和“狗耳朵”的信息块说的是几乎相同的内容。发送所有 256 个信息块仍然对缓慢的网络（计算机处理器）来说过于沉重。

解决方案：FlatDINO
作者们创造了一个名为 FlatDINO 的新工具。你可以把它想象成一个超级高效的翻译官或“总结者”。

压缩： FlatDINO 将那 256 个唠叨的信息块压缩成仅有的 32 个微小标记（tokens）。
- 类比： 想象你有一本 256 页的书在描述一座城市。FlatDINO 阅读了整本书，并写出了一份完美的 32 页摘要，既保留了所有重要细节，又删减了重复内容。
形状改变： 原本的信息块是排列在一个二维网格（像国际象棋棋盘一样）中的。FlatDINO 将其压平为一个由 32 个项目组成的单一直线序列。这就像是将一张折叠的地图展开成一条长条，以便于携带。

为什么这很重要（结果）
因为 AI 只需要处理 32 个项目而不是 256 个，它变得异常快速且高效：

速度： 计算机生成图像所需的计算量减少了 8 倍。
质量： 尽管体积大幅缩小，但由于摘要非常出色，AI 仍然能够绘制出精美、高质量的图像（特别是在 ImageNet 数据集上）。
效率： 与之前尝试使用完整的 256 个信息块的方法相比，它消耗的能量和计算能力显著降低。

它是如何工作的（魔术技巧）
论文解释说，AI 学会了将相近的事物组合在一起。

在旧有的 256 块系统中，许多块仅仅是说着同样内容的邻居。
FlatDINO 学会了说：“我不需要 8 个块来描述这一片天空；我可以用一个标记来描述整片天空。”
有趣的是，如果他们尝试过度压缩（缩减到 16 个标记），AI 就会产生混乱，开始以奇怪的水平条纹形式来描述图像。但在 32 个标记时，它找到了那个既能保持图像自然外观，又能保持体积微小的“甜点位（平衡点）”。

底线
FlatDINO 是一种压缩图像生成器“大脑”的新方法。它将一份臃肿、冗余的图像描述转化为一个精简的、由 32 个项目组成的列表。这使得 AI 生成图像的速度更快、成本更低，同时不会丧失创作高质量艺术的能力。作者指出，这项工作仍在进行中，但初步结果表明，这是向使 AI 图像生成更加高效迈出的极具前景的一步。

技术摘要：用于高效扩散的层叠表示自编码器 (FlatDINO)

问题陈述

最近在图像生成领域的进展表明，扩散模型可以直接在自监督学习（SSL）补丁特征（例如来自 DINOv2 的特征）上运行，而不是在像素空间潜变量上运行。这种方法以 RAE (Zheng et al., 2025) 为代表，通过利用已经编码在 SSL 特征中具有语义意义的结构，规避了像素训练 VAE 中固有的“重建-生成”权衡问题。

然而，一个显著的计算瓶颈仍然存在。标准的 SSL 编码器（如 DINOv2）会产生高维补丁嵌入的密集二维网格（例如，对于 256×256 的图像，包含 256 个 768 维的补丁）。这种表示形式的大小与原始信号相当，无法为像素空间扩散提供计算优势。由于相邻补丁共享大量的语义内容，该密集网格存在显著的空间冗余，使得在这些特征上进行扩散在 FLOPs 和内存方面都显得过于昂贵。

方法论

作者提出了 FlatDINO，这是一种变分自编码器（VAE），旨在将密集的二维 DINOv2 补丁嵌入压缩为紧凑的一维连续标记（tokens）序列。

1. 架构

编码器 (Encoder)： 一个视觉 Transformer (ViT-B)，接收来自冻结的 DINOv2 ViT-B/14（带有寄存器/registers）的 256 个补丁嵌入作为输入。编码器在补丁序列前添加了 $T$ 个可学习的寄存器标记。处理完成后，仅保留这 $T$ 个寄存器标记作为潜在表示，丢弃原始的二维空间结构。
解码器 (Decoder)： 一个 ViT-L，使用可学习的寄存器标记作为查询（queries）来关注压缩后的潜在序列，并重建原始的 256 个 DINOv2 补丁嵌入。
训练目标： 模型使用标准的 VAE 目标进行训练，包括均方误差（MSE）重建损失和 KL 散度惩罚。KL 权重 ( $\beta$ ) 通过总潜在维度 ( $T \times d$ ) 进行归一化，以确保在不同配置下具有一致的正则化压力。
潜在生成： 一个生成模型（具体为使用流匹配/flow matching 的 DiT-XL）在压缩后的 FlatDINO 潜在空间上进行训练。该模型学习一个速度场，将样本从标准高斯先验沿直线路径传输到数据分布。

2. 关键设计选择

1D 压缩： 受 TiTok (Yu et al., 2024a) 的启发，该方法将二维网格压缩为一维序列。作者发现，32 个标记在重建保真度和序列长度之间提供了理想的权衡。
特征维度缩减： 虽然标记数量从 256 减少到 32（减少了 8 倍），但每个标记的特征维度也被压缩（例如，从 768 降至 128），以进一步降低总维度。
流匹配 (Flow Matching)： 生成模型利用流匹配而非标准扩散，直接在带有学习位置嵌入的一维潜在序列上运行。

核心贡献

FlatDINO： 第一个将自监督补丁特征压缩为一维潜在表示的方法，有效地丢弃了原始的二维空间结构，同时保留了语义内容。
效率提升： 证明了在 FlatDINO 潜在空间上训练的扩散模型在实现竞争力的生成质量的同时，显著降低了计算成本。具体而言，序列长度的 8 倍缩减导致每次前向传播的 FLOPs 减少了 8 倍，并且与在未压缩 DINOv2 特征上进行扩散相比，每次训练步的 FLOPs 最高减少了 4.5 倍。
标记化分析： 通过标记消融研究，作者展示了模型为大多数标记学习到了局部的、类似“斑块”（blob-like）的感受野，从而有效地对图像进行空间划分。他们发现了一个“相变”现象：当减少标记数量低于某个阈值（例如从 32 减至 16）时，模型会被迫采用效率较低的编码策略（水平条纹），导致质量大幅下降。

结果

实验在 ImageNet 256×256 上使用 DiT-XL 架构进行。

生成质量： 在 FlatDINO 潜在空间（32×128）上训练的 DiT-XL 在使用分类器自由引导（CFG）时达到 1.85 的 gFID，在不使用 CFG 时为 3.34。尽管进行了显著压缩，这仍能与 RAE（在未压缩特征上使用 CFG 时达到 1.41 gFID）以及其他最先进的潜在扩散模型相媲美。
计算效率：
- 推理： 与在完整的 DINOv2 补丁上操作相比，FlatDINO 每次前向传播大约需要 8 倍更少的 FLOPs。
- 训练： 由于减少了序列长度并计入了编码器开销，与 RAE 基准相比，FlatDINO 在 DiT-XL 模型上的每次训练步需要 4.5 倍更少的 FLOPs。
重建： 32×128 配置实现了 0.77 的 rFID（相比之下，未压缩的 RAE 基准为 0.62），表明其对特征空间具有高保真度的重建能力。
标记消融： 研究表明，32 个标记足以维持局部的感受野。将标记减少到 16 个会导致编码方式发生质变，转变为水平条纹编码，并导致重建质量显著下降。

意义与主张

论文将 FlatDINO 定位为迈向高效、语义驱动的图像合成的一步。作者声称，通过利用二维补丁网格中固有的空间冗余，可以在不牺牲在语义组织潜在空间中运行的收敛优势的情况下，实现 8 倍的标记数缩减。

这项工作表明，在压缩的语义表示上进行扩散是资源受限环境下的实用方法。作者承认目前的结果是初步的，模型尚未完全收敛（训练了 600 个 epoch，而 RAE 为 800 个）。他们将剩余的质量差距归因于训练时长不足以及需要专门为压缩语义潜在空间定制的扩散方案。未来的工作建议研究扩展的训练计划和优化的 SSL 自编码器，以缩小这一差距。