🤖 AI

Variable-Length Tokenization via Learnable Global Merging for Diffusion Transformers

本文介绍了一种用于扩散 Transformer 的新型变长分词器，该分词器通过采用可学习的全局合并来实现数据无关的跨长度表示对齐，从而在实现卓越的质量-计算权衡的同时，克服了传统基于截断的方法所固有的语义失配问题。

原作者： Dong Hoon Lee, Seunghoon Hong

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Dong Hoon Lee, Seunghoon Hong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图给朋友发送一部高清电影。如果你发送未经压缩的完整文件，下载会耗费极长时间并占用大量数据；如果你压缩得太厉害，画面就会变得模糊且充满颗粒感。

长期以来，AI 图像生成器（例如那些根据文本创建图片的 AI）一直面临着这个难题。它们使用一种“分词器”（tokenizer）——即一种将图像分解为被称为“标记”（tokens）的小块的翻译器。

高压缩（少量标记）= 快速且廉价，但图像质量差。
低压缩（大量标记）= 画质极佳，但速度慢且昂贵。

以前，如果你想在速度和质量之间取得不同的平衡，你必须为每种设置训练一个完全不同的 AI 模型。这就像为了以每小时 10 英里的速度减速行驶，就必须更换一个全新的汽车引擎一样。

“裁剪”的问题

一些研究人员尝试通过创建“可变长度”的分词器来解决这个问题。他们的想法很简单：“如果我们想节省空间，就直接把标记列表的末尾切掉。”

这就像一本书，最重要的情节都在第 1 页，而微小的细节都在第 100 页。如果你想要一个简短的版本，你只需撕掉最后 50 页。

代价是： 这改变了故事。 “短版本”只关注大局，而 “长版本”则包含微小的细节。因为内容如此不同，AI 会感到困惑。这就像试图让一个学生用同一本教科书去阅读短篇小说和长篇小说，但两者的章节却完全不同。AI 难以同时学习两者，从而导致图像模糊或出现异常。

解决方案：“合并”而非“裁剪”

该论文的作者提出了一个更聪明的方法：合并而非裁剪。

想象你有一组 100 个人（标记）排成一队。

旧方法（裁剪）： 如果你需要更少的人，你只需让最后 50 个人回家。剩下的 50 个人仍然站在完全相同的位置。
新方法（合并）： 如果你需要更少的人，你要求长相相似的人聚在一起，组成一个“超级个体”。如果两个人穿着同样的红衬衫，他们就会合并成这个群体的代表。

为什么这种方法更好？

一致性： 无论你有 100 个人还是 10 个“超级个体”，这些“群体”都代表了相同的底层结构。“红衬衫群体”依然存在，只是被浓缩了。这为 AI 保持了连贯的“故事”，无论你使用多少个标记。
对齐： 因为这些群体是基于相似性（而非位置）形成的，所以 AI 可以学习一个适用于短列表和长列表的单一模型。

核心秘诀：“可学习的全局合并”

这里有一个巨大的障碍。通常，为了决定谁与谁合并，你需要观察特定的图像（例如，“这两个像素看起来像猫的耳朵，所以把它们合并”）。但当 AI 从头开始创建 一张新图像时，它还没有图像！它无法通过观察图像来决定如何合并。

作者通过 “可学习的全局合并” 解决了这个问题。

你可以把它想象成一套预设的规则手册或“总体计划”。AI 在训练期间学习的不是观察图像来决定合并，而是使用一个固定的、学习到的模式（就像一份通用的说明书），上面写着：“标记 1 总是与标记 2 合并，标记 3 总是与标记 4 合并”，无论最终图像是什么样子。

尽管这个规则手册是固定的（不会随图像而改变），但 AI 对其进行了充分的训练，使其能够自然地将相似的事物归为一组。这使得 AI 即使在生成图片之前，也能准确知道如何处理这些“合并后”的标记。

结果

研究人员在 ImageNet（一个庞大的图像数据库）上测试了该方法。他们发现：

他们的这种方法允许单个 AI 模型在不同的速度和质量下生成图像，而无需为每种设置重新训练。
与之前仅仅“裁剪”标记的方法相比，他们生成的图像质量更高，数学运算也更高效。
他们甚至添加了一个微小的“微调”步骤（使用名为 LoRA 的技术），这能让 AI 在几乎不增加额外成本的情况下，在特定标记数量下表现得更好。

简而言之： 他们找到了让 AI 图像生成器变得灵活的方法。他们没有强迫 AI 在“快速型”模型和“高质量型”模型之间做出选择，而是构建了一个聪明的翻译器，可以通过智能地将相似部分分组，从而实现图像数据的缩放，在保持高质量的同时降低成本。

技术摘要：通过可学习全局合并实现扩散 Transformer 的变长分词

1. 问题陈述

潜在扩散模型（LDMs）依赖分词器（tokenizers）将图像压缩到潜在空间，这在生成质量与计算成本之间存在权衡。传统的分词器使用固定压缩率，导致需要多个模型变体来适应不同的计算预算或质量需求。

变长分词器（Variable-Length Tokenizers, VLTs）被提出来解决这一问题，通过根据特定条件（如计算预算）自适应调整 token 数量。主流方法是嵌套丢弃（nested dropout），该方法训练模型从有序序列中丢弃尾部 token，将高层语义置于早期 token，将低层细节置于后期 token。

然而，作者指出，当嵌套丢弃应用于扩散 Transformer（DiTs）时存在一个关键缺陷：

跨长度偏移（Cross-Length Shift）： 截断有序序列会改变潜在空间的成对相似性结构（表示对齐）。较短的序列侧重于核心语义，而较长的序列则包含残差细节。
分布不匹配（Distributional Mismatch）： 这种偏移导致不同 token 长度下的潜在分布和相应的评分函数（score function）发生显著变化。因此，在不同长度上进行联合训练的单一扩散模型无法有效泛化，通常表现得比针对特定长度训练的模型更差。
现有解决方案的局限性： 标准的表示对齐损失要求匹配 token 维度（N = M），这在维度不同的变长设置中是不可能的。

2. 方法论

本文提出了一种新型的基于合并的分词器，通过组合 token 而非截断 token 来调节长度。其核心创新是可学习全局合并（Learnable Global Merging, LGM），旨在确保不同 token 数量之间的表示对齐，同时保持与生成模型的兼容性。

A. 基于合并的长度调节
该方法不是丢弃 token，而是基于分配矩阵 $\Gamma$ 来合并 token。

比例注意力（Proportional Attention）： 为了处理合并后的 token，解码器和扩散 Transformer 使用比例注意力，其中注意力分数根据每个合并 token 的有效簇大小（ $m_j$ ）进行调整。
全长等效表示： 作者证明，使用比例注意力处理调制后的潜在变量，在数学上等同于使用标准注意力处理投影后的全长潜在变量（$Wz $）。这种等价性允许直接测量并最小化原始潜在变量（$ z $）与合并潜在变量（$ Wz$）之间的差异，从而通过鼓励相似 token 的合并来有效地最小化表示偏移。

B. 可学习全局合并 (LGM)
由于标准的合并（例如聚合聚类）是依赖于数据的，即从输入图像中导出合并模式，这与扩散生成不兼容（因为目标图像在生成阶段是不可用的），因此产生了一个挑战。

数据独立性： 作者引入了与输入数据无关的可学习全局嵌入（Learnable Global Embeddings, $e$ ）。这些嵌入决定了给定目标缩减下的合并模式。
优化： 合并模式通过对可学习嵌入进行聚合聚类来导出。由于聚类涉及离散操作，因此应用了**直通技巧（straight-through trick）**以实现基于梯度的嵌入优化。
对齐损失： 引入了对齐损失（ $L_{align}$ ），以确保可学习全局嵌入（ $e$ ）的相似性结构与实际潜在变量（ $z$ ）的相似性结构相匹配。这引导全局合并模式去分组相似的 token，从而最小化合并目标中定义的表示偏移。

C. 扩散 Transformer 集成

位置嵌入： 该方法采用合并后的位置嵌入，其计算方式与潜在变量相同，以处理聚合 token 的位置信息。
后训练： 引入了一个轻量级的 LoRA（低秩自适应） 后训练步骤。在跨长度联合训练后，通过训练几个 epoch 的长度特定 LoRA 参数，使模型进一步适应特定的 token 数量，且开销极小。

3. 核心贡献

基于合并的分词： 一种新型 VLT 架构，通过 token 合并来调节长度，通过最小化原始潜在变量与合并潜在变量之间的偏移，实现直接的表示对齐。
可学习全局合并： 一种数据无关的合并机制，解决了数据依赖型合并与扩散生成之间的不兼容问题，确保合并模式在推理阶段是可获取的。
改进的质量-计算权衡： 将该分词器与扩散 Transformer 集成，在平衡生成质量（gFID）和计算成本方面，比现有的 VLT 方法表现出更优越的性能。

4. 实验结果

实验在 ImageNet 256×256 类条件生成任务上进行。

表示对齐： 与嵌套丢弃相比，所提方法在不同 token 长度下均实现了显著更高的中心化核最近邻对齐（CKNNA）分数。值得注意的是，其对齐度通常高于独立训练的固定长度分词器。
联合训练性能：
- 嵌套丢弃： 在跨长度联合训练的模型与单独训练的模型之间表现出较大的性能差距（0.8–1.7 gFID）。
- 所提方法： 将该差距缩小到 0.3 gFID 以下。通过 LoRA 后训练，联合模型的性能可达到与单独训练模型仅 0.05 gFID 的差距。
系统级比较：
- 在 gFID–计算量权衡方面，该方法优于现有的 VLTs（Semanticist, FlexTok）和固定长度基线（SoftVQ, MAETok）。
- 在高压缩率（例如 32 个 token）下，它实现了具有竞争力的生成质量，且不需要像某些基线那样使用基于扩散的分词器解码器。
重建质量： 分词器在不同 token 长度下（特别是在高压缩率下）保持了较强的重建指标（rFID, PSNR, SSIM）。

5. 意义与主张

本文认为，有效变长扩散模型的主要障碍是由传统截断方法导致的潜在分布中的跨长度偏移。通过转向基于合并且具有数据无关、可学习模式的方法，作者成功地维持了表示对齐。

其意义在于能够使单一扩散模型在多种 token 数量下高效运行，从而实现灵活的质量-计算控制，而无需多个模型变体。作者将其定位为向更高效部署生成模型迈进的一步，适用于各种计算约束不同的场景；同时指出，尽管 1D 和 2D 分词器之间仍存在差距，但其方法为混合架构提供了一个有前景的方向。该工作被界定为一种效率改进而非新的生成能力，未声明任何伦理问题。