BitDance: Scaling Autoregressive Generative Models with Binary Tokens

BitDance 是一种可扩展的自回归图像生成模型，它通过预测高熵二进制令牌并结合二进制扩散头与“下一块扩散”解码策略，在显著减少参数量和提升推理速度的同时，实现了 ImageNet 上自回归模型的最优生成质量。

要点

这篇论文介绍了一个名为 BitDance 的新 AI 模型，它能让计算机像“跳舞”一样，用一种极其高效、精准的方式“画”出照片。

为了让你轻松理解，我们可以把生成图片的过程想象成用乐高积木搭建一座宏伟的城堡。

1. 以前的困境：积木太少，或者积木太乱

在 BitDance 出现之前，AI 画画主要有两种流派，但都有缺点：

• 离散派（像数数）： 以前的模型把图片切成很多小块，每一块用一个“编号”代表（比如 1 号是蓝天，2 号是草地）。
  • 问题： 如果编号太少，画出来的东西就很模糊（像低像素）；如果编号太多（比如几亿种），AI 记不住，而且每次只能猜一个编号，速度极慢。
• 连续派（像调颜料）： 另一种模型把图片块变成连续的数值（像调色盘上的颜色）。
  • 问题： 虽然颜色很丰富，但因为是连续的，AI 在画长序列（比如画整张图）时，容易“记错步”，导致最后画歪了，或者细节丢失。

2. BitDance 的绝招：二进制“超能力”积木

BitDance 发明了一种全新的积木玩法，它把图片块变成了二进制代码（只有 0 和 1，或者 +1 和 -1）。

• 超大的词汇量（2^256）：
  想象一下，普通的积木只有 10 种颜色，而 BitDance 的积木有 2 的 256 次方 种状态！这是一个天文数字，比宇宙中的原子还多。
  • 比喻： 以前 AI 只能用“红、黄、蓝”三种颜色画画，BitDance 却能调配出宇宙中所有可能的颜色。这让它既能保留照片的极致细节（像连续派），又因为只有 0 和 1 两种状态，非常稳定，不会画着画着就“飘”了（像离散派）。

3. 核心挑战与解决方案：如何从“大海”里捞针？

既然有这么多状态，AI 怎么知道该选哪一个呢？这就好比让你从整个银河系里随机挑出一颗特定的星星，太难了。

• 旧方法（分类头）： 就像让 AI 把银河系里的每一颗星星都列个清单，然后一个个猜。这太慢了，而且电脑内存会爆炸。
• BitDance 的新方法（二进制扩散头）：
  作者没有让 AI 直接“猜”编号，而是让 AI 玩一个**“去噪游戏”**。
  • 比喻： 想象你手里有一团模糊的云雾（全是噪音），你的任务是慢慢把云雾吹散，直到它变成清晰的二进制积木（0 或 1）。
  • 这种方法非常聪明，它不需要记住所有可能的编号，而是学习“如何从混乱变清晰”。这让 AI 能轻松驾驭那巨大的词汇量，既快又准。

4. 速度大提速：从“单步走”到“跳方块舞”

传统的 AI 画画是一步一步来的：先画左上角，再画它右边的，再画下面的……就像一个人走迷宫，必须走完一步才能走下一步。如果画一张高清大图，需要走几万步，非常慢。

• BitDance 的“下一块补丁”（Next-Patch Diffusion）：
  BitDance 发现，图片里相邻的积木（比如天空的一小块区域）通常是有关联的。
  • 比喻： 以前是“一个人走一步”，现在 BitDance 是**“一群人跳方块舞”。它一次能同时预测并生成一整块区域**（比如 4x4 的积木块）的 16 个部分。
  • 因为它能同时处理这一整块，并且通过上面的“去噪游戏”保证它们之间配合默契，所以速度提升了30 倍以上！

5. 成果如何？

• 画得更好： 在 ImageNet 数据集上，它的画质（FID 分数）达到了 1.24，是目前所有“自回归”（一步步生成）模型里的世界第一，甚至超过了那些参数大得多的模型。
• 算得更快： 它用很少的算力（2.6 亿参数），就打败了那些需要 14 亿参数的模型，而且速度快了 8.7 倍。
• 文字生成图片： 当它用来根据文字描述画图时（比如“一只在雨中跳舞的猫”），它不仅能听懂文字，还能画出高分辨率、细节丰富的照片，速度比以前的同类模型快 30 多倍。

总结

BitDance 就像是一个精通二进制舞蹈的超级建筑师。
它不再笨拙地数数（传统离散方法），也不再漫无目的地调色（传统连续方法），而是利用巨大的二进制词汇库和去噪游戏，能够成群结队地、极速地搭建出令人惊叹的视觉世界。

这篇论文不仅展示了 AI 画画的新高度，还证明了：只要方法对，用更少的资源（参数和算力），也能做出更棒的效果。

技术摘要

这是一份关于论文 BitDance: Scaling Autoregressive Generative Models with Binary Tokens 的详细技术总结。

1. 研究背景与核心问题 (Problem)

尽管自回归（Autoregressive, AR）模型在语言处理中取得了巨大成功，但将其应用于视觉生成（图像生成）仍面临三大主要挑战：

1. Token 设计的权衡：
   • 离散 Token（如 VQ）：虽然能限制误差累积，但传统的向量量化（VQ）难以扩展词表大小，导致重建质量下降，且难以捕捉丰富的图像细节。
   • 连续 Token（如 VAE）：虽然重建质量高，但无约束的潜在空间容易导致长序列生成中的**误差累积（Error Accumulation）**和表示漂移，从而降低高分辨率图像的质量。
2. 超大词表的采样瓶颈：
   • 为了获得高保真度，需要极大的词表（高熵）。对于二进制 Token，若词表大小为 $2^d$（例如 $d=256$），传统的基于 Softmax 的分类头需要 $O(2^d)$ 的参数，这在计算上是不可行的。
   • 若假设比特位独立（Bit-wise independence）来减少参数，则会破坏比特间的复杂相关性，导致采样精度下降和生成质量变差。
3. 推理效率瓶颈：
   • 传统的 AR 模型是逐个 Token 生成的，随着图像分辨率和序列长度的增加，推理速度极慢。现有的并行 AR 方法（如 MaskGIT, VAR 等）往往在并行采样时无法有效建模 Token 间的联合分布，导致结构不一致或伪影。

2. 核心方法论 (Methodology)

BitDance 提出了一种简单但可扩展的自回归框架，由三个关键组件构成：

A. 大规模二进制 Tokenizer (Large-Vocabulary Binary Tokenizer)

• 原理：受二进制量化（Binary Quantization）启发，将图像编码为紧凑且高表达力的二进制潜在空间。
• 扩展词表：通过查找无关量化（Lookup-Free Quantization, LFQ）的改进版，将词表大小扩展至 $2^{256}$。
• 优势：这种高熵表示使得离散 Token 的重建质量（PSNR/SSIM）能够媲美甚至超越连续 VAE，同时保留了离散性带来的正则化效果，有助于抑制长序列生成中的误差累积。
• 训练技巧：采用分组 LFQ 策略（Group-wise LFQ），将通道分组计算熵损失，以平衡计算效率与优化精度，避免内存爆炸。

B. 二进制扩散头 (Binary Diffusion Head)

• 解决采样瓶颈：为了解决 $2^{256}$ 超大词表的采样问题，BitDance 摒弃了传统的分类头，转而使用连续空间的扩散模型来生成二进制 Token。
• 机制：
  • 将二进制 Token 视为连续空间中超立方体（Hypercube）的顶点（值为 -1 或 1）。
  • 利用 Rectified Flow 和 x-prediction 目标，在连续空间中建模所有二进制通道的联合分布。
  • 推理时，从噪声初始化，通过欧拉积分器去噪，最后应用硬二值化约束（$sign(x)$）将结果投影回二进制超立方体。
• 优势：这种方法既避免了参数爆炸，又通过联合建模捕捉了比特间的相关性，实现了高精度的采样。

C. Next-Patch Diffusion (下一块扩散)

• 并行预测策略：为了加速推理，提出了一种新的解码范式。利用图像的空间相关性，将序列划分为 $p \times p$ 的Patch，并行预测整个 Patch 内的所有 Token。
• 联合分布建模：
  • 不同于以往并行方法（如 PAR, RandAR）在训练和推理时假设 Token 独立，BitDance 将二进制扩散头扩展用于多 Token 联合预测。
  • 在训练目标中，直接优化整个 Patch 的联合分布（Eq. 7），确保并行生成的 Token 在结构上的一致性。
• 架构细节：在 AR Transformer 中使用块级因果掩码（Block-wise Causal Mask），允许同一 Patch 内的 Token 互相可见，同时保持 Patch 间的自回归依赖。

3. 主要贡献 (Key Contributions)

1. BitDance 框架：首个成功将视觉 Token 词表扩展至 $2^{256}$ 的自回归模型，证明了通过扩展 Token 熵可以实现高保真视觉生成。
2. 二进制扩散头：提出了一种新颖的采样机制，解决了超大离散空间下的采样难题，实现了参数可控且高精度的联合分布采样。
3. Next-Patch Diffusion：将扩散思想引入并行 AR 生成，通过联合建模多 Token 分布，显著提升了并行预测的准确性和效率。
4. 开源与复现：开源了代码和模型，推动了 AR 基础模型的研究。

4. 实验结果 (Results)

A. 图像重建与分类条件生成 (ImageNet 256x256)

• 重建质量：BitDance 的 Tokenizer 在 $2^{256}$ 词表下，PSNR 达到 25.29，SSIM 达到 0.74，优于连续 VAE（如 DC-AE）和现有离散 Tokenizer。
• 生成质量 (FID)：
  • 1B 参数量的 BitDance-H 模型达到 FID 1.24，是目前自回归模型中的最佳成绩。
  • 在并行生成设置下，仅用 2.6 亿 (260M) 参数的 BitDance-B-4x 模型，在 FID (1.69) 上超越了参数量大 5.4 倍 (1.4B) 的 SOTA 并行模型 (RandAR-XXL, FID 2.15)。
• 速度：相比标准 Next-Token 预测，实现了 8.7 倍 的推理加速。

B. 文生图 (Text-to-Image)

• 模型规模：基于 Qwen3-14B 进行扩展，训练至 14B 参数量。
• 基准测试：
  • GenEval: 0.86 (SOTA AR 模型)。
  • DPG-Bench: 88.28 (SOTA AR 模型)。
  • OneIG-EN/ZH: 在中文和英文指令遵循上均表现优异。
• 效率：在生成 1024x1024 高分辨率图像时，相比之前的 AR 模型（如 NextStep-1, Emu3.5），实现了超过 30 倍 的加速。
• 数据效率：仅使用少于 4.5 亿图文对进行训练（远少于商业模型的数十亿数据），却能达到与顶级商业模型（如 Seedream, GPT Image 1）相当的性能。

5. 意义与影响 (Significance)

• 范式转变：BitDance 证明了离散二进制表示结合扩散采样是解决自回归视觉生成中“重建质量”与“误差累积”矛盾的有效途径。
• 效率突破：通过 Next-Patch Diffusion，打破了 AR 模型推理速度慢的瓶颈，使其在高分辨率生成任务中具有与扩散模型甚至更快的竞争力。
• 可扩展性：展示了通过增加 Token 熵（词表大小）并配合适当的模型架构（扩散头），可以显著提升生成质量，为未来更大规模的 AR 基础模型设计提供了新的方向。
• 实用价值：在保持高生成质量的同时大幅降低了计算成本和训练数据需求，使得高性能文生图模型在资源受限场景下的部署成为可能。

总结：BitDance 通过“高熵二进制 Token + 扩散采样头 + 并行 Patch 预测”的三位一体设计，成功解决了自回归图像生成中的质量、稳定性和效率难题，确立了其在当前生成式 AI 领域的领先地位。