💻 computer science

VibeToken: Scaling 1D Image Tokenizers and Autoregressive Models for Dynamic Resolution Generations

本文介绍了 VibeToken，这是一种与分辨率无关的一维图像分词器及其对应的自回归生成器（VibeToken-Gen），它能够实现高效、动态分辨率的图像合成，与现有的扩散模型和固定分辨率自回归模型相比，其计算成本显著降低且性能更优。

原作者： Maitreya Patel, Jingtao Li, Weiming Zhuang, Yezhou Yang, Lingjuan Lv

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Maitreya Patel, Jingtao Li, Weiming Zhuang, Yezhou Yang, Lingjuan Lv

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图将一张城市天际线的高清照片发送给朋友。

旧方法（传统 AI 模型）：
大多数当前的 AI 图像生成器运作起来就像一个非常字面化、僵化的翻译器。如果你想发送一张小明信片（256x256 像素），翻译器会将图像分解为 256 个微小的拼图块。如果你想发送一块巨大的广告牌（1024x1024 像素），同一个翻译器会将其分解为4,096个拼图块。

问题出在哪里？AI 必须逐个读取并写入每一个拼图块。

小照片： 256 步。快速且便宜。
大照片： 4,096 步。缓慢、昂贵，且计算机变得疲惫（它消耗多得多的能量）。
结果： 要制作大照片，你通常需要一个单独的、重型“超分辨率”机器仅仅用来拉伸小照片，这增加了更多的成本和复杂性。

新方法（VibeToken）：
这篇论文的作者是 Maitreya Patel 及其在索尼 AI（SonyAI）和亚利桑那州立大学的团队，他们发明了一种名为VibeToken的新翻译器。

将 VibeToken 想象成一个智能摘要器，而不是一个逐块翻译器。

1. 神奇的“氛围”摘要

无论你向 AI 输入的是微小的缩略图还是巨大的 4K 广告牌，VibeToken 都不在乎像素数量。相反，它会观察图像并说：“我只需要用64 个词（或 token）就能描述整张图片。”

类比： 想象描述整部电影。旧方法是阅读每一帧。VibeToken 则像是写出一份完美的 64 字剧情摘要，捕捉电影的精髓。无论电影是 10 分钟还是 3 小时长，摘要的长度保持不变。

2. “动态”解码器

一旦 AI 拥有了这 64 个“氛围词”，它就需要将它们还原成图像。

旧 AI： 如果你想要更大的图片，AI 必须猜测更多的词，这需要更多时间。
VibeToken： 它拥有一个特殊的解码器，可以将这相同的 64 个词拉伸以适配任何形状或尺寸。你可以要求正方形、宽矩形或高海报，它会将“氛围”完美拉伸以适配，而无需重新学习任何内容。

3. 为什么这很重要（“效率”主张）

该论文声称，这在两个主要方面改变了游戏规则：

恒定的能量成本： 使用旧方法，生成一张 1024x1024 的图像大约需要11 万亿次计算机计算（FLOPs）。使用 VibeToken，它所需的工作量与生成微小图像相同：仅需1790 亿次计算。这意味着效率提高了63 倍。
- 类比： 这就像步行去商店（旧方法）与使用传送装置（VibeToken）之间的区别。距离（分辨率）无关紧要；能量成本是相同的。
速度： 因为它如此高效，VibeToken 可以在0.46 秒内生成一张高质量的 1024x1024 图像。顶级竞争对手（扩散模型）完成相同任务需要1.08 秒，而且质量实际上略差。

4. 他们是如何做到的（秘密武器）

团队意识到问题不在于图像生成器本身，而在于“分词器”（将图像分解为块的部分）。他们通过以下方式修复了它：

动态定位： 他们教导 AI 理解图像的形状，而不管尺寸如何，而不是说“像素 1 在这里，像素 2 在那里”。
可变长度： 他们训练 AI 适应从 32 到 256 个“描述词”的范围，让用户选择他们想要的细节程度。
原生超分辨率： 因为 AI 如此深刻地理解“氛围”，它可以自然地将低分辨率图像转换为高分辨率图像，而无需单独的“超分辨率”工具。

结论

这篇论文介绍了VibeToken-Gen，这是一个允许 AI 使用相同数量的计算能力生成任何尺寸或形状图像的系统（从微小图标到巨大海报）。

他们在 ImageNet 数据集（一个庞大的照片集合）上进行了测试，发现：

它生成高质量的图像（优于一些当前的顶级模型）。
它运行起来极其快速且便宜。
它不需要为每个新分辨率重新训练；它直接就能工作。

简而言之，他们构建了一个“分辨率无关”的引擎，使得高质量图像生成变得像发送短信一样简单高效，无论图片有多大。

以下是论文《VibeToken：扩展 1D 图像 Tokenizer 与自回归模型以实现动态分辨率生成》的详细技术总结。

1. 问题陈述

自回归（AR）图像生成模型（如 LlamaGen）虽展现出具有竞争力的性能，但相较于扩散模型，其在生产环境中的采用面临显著障碍。主要瓶颈在于针对分辨率和长宽比的扩展性：

Token 爆炸：传统 2D Tokenizer（如 VQGAN）生成的 Token 序列随图像分辨率线性增长。对于 1024×1024 的图像，这将产生数千个 Token（例如 4,096 个 Token）。
二次方计算成本：AR 模型依赖自注意力机制，其复杂度为 $O(T^2)$ ，其中 $T$ 为序列长度。随着分辨率增加，推理所需的浮点运算次数（FLOPs）呈二次方增长，使得高分辨率生成在计算上变得不可行。
僵化性：大多数 AR 模型在固定分辨率（如 256×256）下训练，难以在不重新训练或采用复杂超分辨率流程的情况下泛化到任意长宽比或更高分辨率。
扩散模型的主导地位：扩散模型天然支持任意分辨率，导致 AR 模型在灵活、生产级的应用场景中落后。

2. 方法论

作者提出了一种两部分解决方案：VibeToken（一种新型 Tokenizer）和VibeToken-Gen（一种 AR 生成器）。

A. VibeToken：分辨率无关的 1D Tokenizer

VibeToken 是一种基于 1D Transformer 的图像 Tokenizer，旨在将任意分辨率的图像编码为固定且用户可控数量的 Token（例如 32–256 个），从而将 Token 数量与空间分辨率解耦。

关键架构创新包括：

动态网格位置嵌入：VibeToken 不使用固定的绝对位置嵌入，而是使用可学习的嵌入网格，通过双线性/双三次插值进行差异化调整，以匹配输入补丁网格（ $T_H \times T_W$ ）。这使得模型能够在不降低质量的情况下处理任意长宽比。
自适应补丁嵌入：受 FlexiViT 启发，该模型在训练和推理期间支持可变补丁大小（ $k$ ）。权重调整算子将基础投影权重映射到当前补丁大小，使模型能够适应不同分辨率而无需重新参数化。
自适应解码器分辨率：解码器以固定的高分辨率（补丁大小的 4 倍）预测像素，并使用可学习的 2D 卷积下采样层映射到目标分辨率。这实现了原生超分辨率，无需单独的放大模块。
动态长度 Tokenization：模型在潜在长度 $L \in [32, 256]$ 的均匀采样下进行训练。编码器恰好生成 $L$ 个 Token，解码器恰好消耗 $L$ 个 Token，消除了对填充或固定长度约束的需求。
量化：使用多向量量化（MVQ）配合 8 个码本，实现 32,768 的词汇表大小，在压缩与重建质量之间取得平衡。

B. VibeToken-Gen：高效 AR 生成器

VibeToken-Gen 是一种基于 LlamaGen 架构的类条件 AR 模型，它在 VibeToken 生成的短小且分辨率无关的 Token 序列上运行。

恒定计算预算：由于 Token 序列长度 $L$ 是固定的（例如 64 个 Token），无论输出分辨率如何，推理 FLOPs 保持恒定。
条件控制：模型根据目标分辨率 $(H, W)$ 和长宽比以及类别标签进行条件控制，以防止几何拉伸伪影。
训练：在 ImageNet-1k 数据集上训练，混合了多种分辨率（256×256 至 512×512）和长宽比，使用的 Token 预算与固定分辨率基线相当。

3. 主要贡献

分辨率无关的 Tokenization：首个原生支持任意分辨率和长宽比，同时保持短小、动态 Token 预算（32–256 个 Token）的 1D Transformer Tokenizer。
计算效率：将 AR 推理成本与图像分辨率解耦。VibeToken-Gen 对任何分辨率保持恒定的179 GFLOPs，而 LlamaGen 等基线模型在 1024×1024 图像上则扩展至约 11 TFLOPs（效率提升63.4 倍）。
原生超分辨率：该架构支持从低分辨率输入（或任意目标）生成高分辨率图像，无需单独的放大模块。
最先进性能：尽管使用的 Token 数量显著更少，但在重建质量（rFID）和生成质量（gFID）方面，与 2D Tokenizer 和扩散模型相比均具有竞争力。

4. 实验结果

论文在 ImageNet-1k 和 FFHQ 数据集上评估了 VibeToken 和 VibeToken-Gen，涵盖了多种分辨率（256×256 至 1024×1024）和长宽比。

重建质量：
- VibeToken-LL 在 256×256 分辨率下达到0.40 rFID，在 1024×1024 分辨率下达到2.40 rFID。
- 它在分辨率泛化方面优于其他 1D Tokenizer（如 TiTok、One-D-Piece），在压缩效率方面达到或超过了 2D Tokenizer（如 IBQ、MAGViT）。
生成质量：
- VibeToken-Gen (XXL) 仅使用64 个 Token合成 1024×1024 图像，gFID 为 3.94。
- 对比：
  - vs. 扩散模型 (NiT)：在 1024×1024 分辨率下，VibeToken-Gen 速度快2.35 倍（0.46 秒 vs 1.08 秒），且质量更优（3.94 gFID vs 5.87 gFID）。
  - vs. AR 基线 (LlamaGen)：LlamaGen 处理 1024×1024 图像需要约 11 TFLOPs，而 VibeToken-Gen 仅使用恒定的 179 GFLOPs。
效率：
- 对于 1024×1024 图像，Token 数量从 2D Tokenizer 的约 4,096 个减少至64 个。
- 高分辨率生成的推理速度为亚秒级（0.46 秒），而类似分辨率下的基线 AR 模型则需要 32 秒以上。

5. 意义

这项工作弥合了自回归模型与扩散模型在灵活性和效率方面的差距。

生产可行性：通过使 AR 模型能够以恒定计算量处理任意分辨率，VibeToken 使得 AR 生成在输入/输出维度变化的现实世界应用（如移动应用、多样化的显示格式）中变得可行。
可扩展性：它证明了 AR 模型可以在不引发二次方计算爆炸的情况下扩展到高分辨率，挑战了“扩散是通往高分辨率生成式 AI 的唯一路径”这一观念。
未来方向：该方法为统一多模态模型（文本、图像、视频）打开了大门，这些模型可以在固定的、用户可控的计算预算下运行，无论生成内容的空间复杂度如何。

总之，VibeToken通过将分辨率适应的负担从生成模型转移到一个灵活、分辨率无关的 Tokenizer，解决了 AR 生成中的“分辨率扩展”问题，从而构建了一个比当前最先进替代方案更快、更便宜且更灵活的系統。