🤖 AI

Balancing Image Compression and Generation with Bootstrapped Tokenization

本文介绍了 SelfBootTok，一种通过自引导学习将视觉信息分解为全局和局部组的新型图像标记化方法，使生成器能够更高效地实现具有最先进生成质量且显著降低计算量和标记数量的效果。

原作者： Haozhe Chi, Jinghan Li, Hao Jiang, Wu Sheng, Yi Ma, Jing Wang, Yadong Mu

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Haozhe Chi, Jinghan Li, Hao Jiang, Wu Sheng, Yi Ma, Jing Wang, Yadong Mu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图给朋友发送一张高清的猫咪照片，但你的互联网连接非常慢。你需要将图像压缩成一个极小的包裹（即 token）进行发送，但当你的朋友收到它时，他们需要能够完美地还原出这张图片，包括胡须和毛发纹理。

长期以来，AI 研究人员试图通过在每一个“包裹”（token）中都塞进所有内容来解决这个问题。他们把大图（猫是一只猫）与微小细节（胡须）混合在一起，放入每一份数据中。这就像是试图把一整个图书馆装进一个背包里；这让背包变得沉重、处理缓慢且难以组织。

这篇论文介绍了一种名为 SelfBootTok 的新方法，它改变了游戏规则。以下是它的工作原理，使用简单的类比进行说明：

1. “蓝图与砖块”策略 (全局-局部分解)

与其将所有东西混在一起，SelfBoot-Tok 将这项工作分成了两个截然不同的团队：

全局团队 (蓝图)： 这个团队创建一组紧凑的小型 token，用以描述大局——猫的形状、姿势和大致颜色。可以将其想象为一份粗略的建筑蓝图。
局部团队 (泥瓦匠)： 这个团队负责处理精细细节——毛发纹理、眼睛颜色、胡须。

创新之处： 在旧的方法中，“生成器”（绘制图片的 AI）必须同时搞定“蓝图”和“砖块”。而在 SelfBootTok 中，分词器 (Tokenizer)（压缩工具）承担了繁重的任务。它学会了直接从“蓝图”（全局 token）中预测出“砖块”（局部细节），而无需依赖生成器来完成。

2. “自学成才”的学徒 (自举学习/Self-Bootstrapped Learning)

分词器是如何仅凭蓝图就预测出细节的呢？它使用了一个叫做自举 (Self-Bootstrapping) 的技巧。

想象一名美术生（分词器），他得到了一张粗略的草图（全局 token），并被要求完成这幅画。他并没有在每画一笔时都向老师请教，而是观察了成千上万幅他已经看过的画作。他学会了一条规则：“如果草图显示出一个圆形的轮廓和尖尖的耳朵，我就知道该如何绘制毛发纹理。”

该模型利用无标签图像来学习这种关系，实现自我教学。它学会了说：“从这个简单的全局 token 出发，我可以自动生成复杂的局部细节。”这意味着生成器不需要成为细节方面的天才，它只需要擅长把握大局即可。

3. “通用翻译官” (2D 到 1D 的对齐)

论文还解决了一个几何问题。模型学习到的“局部细节”自然存在于 2D 网格中（就像一张照片），但“全局 token”是一个 1D 线条（就像一句话）。为了让它们能够匹配，作者使用了一个数学工具——最优传输 (Optimal Transport)。

你可以把它想象成一个通用翻译官。它将 2D 细节网格平滑地重新排列成一条 1D 线条，使其与全局 token 完美契合，确保在翻译过程中不会丢失任何信息。

为什么这很重要？

根据实验，该论文声称取得了三大胜利：

超高效率： 由于生成器只需要产生“蓝图”（全局 token）而非“砖块”（局部细节），因此它变得更快、更轻量。作者表示，这减少了大约 40% 的计算工作量。
更好的质量： 即便使用更少的 token（仅 64 个），重建的图像看起来也比使用更多 token 的以往方法更清晰、更逼真。他们在标准图像测试中达到了顶尖水平（gFID 为 1.56）。
易于扩展： 通常，如果你想让 AI 变得更聪明，你必须从头开始重新训练整个模型。有了 SelfBootTok，你可以通过扩大“局部团队”（细节预测器）的规模使其变得更强大，而无需重新训练“生成器”。这就像是在不重建整个底盘的情况下升级汽车的发动机。

总结： SelfBootTok 就像是一个智能压缩系统，它将“大意”与“微小细节”分离。它教会了压缩工具自动填充细节，从而让生成工具能够专注于把握大局。这使得创建高质量图像变得更快、更便宜且更具扩展性。

技术摘要：SelfBootTok —— 平衡图像压缩与生成的自举式标记化技术

1. 问题陈述

目前的图像标记化（tokenization）方法在压缩效率与生成质量之间面临着根本性的权衡。标准方法通常通过将全局语义和局部细节混合在每个标记中来编码冗余信息。这种“混合”造成了标记间的冗余，并增加了生成模型训练的难度，因为生成器必须同时学习高层语义和细粒度的视觉细节。此外，现有的 1D 标记器虽然提供了高压缩率，但在有限的标记预算内，往往难以在不牺牲重建保真度或生成性能的情况下，同时捕捉全局上下文和局部结构细节。其挑战在于如何清晰地分解视觉信息，以减少标记级的冗余，并实现可扩展的训练和高效的生成。

2. 方法论：SelfBootTok

作者提出了 SelfBootTok，这是一种通过**全局-局部分解（global-local decomposition）策略结合自监督自举学习（self-supervised bootstrapped learning）**来解决上述问题的 1D 图像标记器。该框架由三个核心组件组成：

A. 全局-局部分解

SelfBootTok 不再对所有标记进行统一处理，而是将视觉信息分解为不同的组：

全局标记 ( $z_G$ )： 通过视觉 Transformer (ViT) 编码器提取的高层语义表示。
局部标记 ( $z_{L1}, z_{L2}$ )： 通过两个并行分支捕获的细粒度视觉细节：
- 局部 1D 标记： 通过从全局标记预测得到的 MLP 生成。
- 局部 2D 标记： 通过从全局标记预测得到的因果 Transformer 生成。
  该模型采用多码本设计 ( $C_{global}, C_{local1D}, C_{local2D}$ ) 配合软向量量化（soft vector quantization）以确保可微性，使每个组都能专注于其特定的粒度。

B. 自监督自举学习

一个关键的创新是自举范式（self-bootstrapping paradigm）。模型学习仅通过全局标记来预测局部细节，且仅使用无标签图像进行学习。

训练： 标记器被训练为基于全局标记的表示来重建局部特征（与 DINOv2、SigLIP 或 I-JEPA 等预训练编码器对齐）。
生成： 在生成阶段，生成器仅产生全局标记 ( $z_G$ )。局部标记 ( $z_{L1}, z_{L2}$ ) 会由冻结的局部对齐器（MLP 和 Transformer）基于生成的全局标记自动预测。
益处： 这将学习视觉细节的负担从生成器转移到了标记器。生成器只需专注于高层语义，从而显著降低了其复杂度和数据需求。

C. 通过最优传输实现 2D 到 1D 的对齐

为了将 2D 结构先验集成到 1D 标记序列中，该方法利用了最优传输 (Optimal Transport, OT) 框架。

局部 2D 对齐器预测出一个与 2D VAE 潜特征对齐的 1D 序列。
该对齐过程最小化了熵正则化的最优传输损失（通过 Sinkhorn 算法求解），从而有效地将 2D 空间分布映射到紧凑的 1D 序列，同时保留结构信息。

D. 并行优化与扩展

该框架支持一种独特的训练策略，即标记器和生成器可以并行优化。

训练标记器以生成全局标记并预测局部细节。
一旦全局标记组件学习完成，将其冻结。
随后，可以并行扩展并训练生成器和更大的局部对齐器，而无需重新训练生成器。这种方式实现了标记器规模与生成器的解耦，从而实现高效扩展。

3. 核心贡献

清晰的信息分解： SelfBootTok 通过将全局语义和局部细节分离为不同的标记组，解决了冗余问题，简化了生成器的任务。
自举式预测： 模型利用无标签数据，直接从全局标记预测细粒度的局部细节，消除了对大量文本-图像对进行细节学习的需求，并将部分生成过程移入压缩管线中。
高效生成： 通过仅要求生成器产生全局标记，该方法相比于需要重训生成器的扩展方法，降低了约 40% 的计算成本并缩短了 54% 的训练时间。
可扩展架构： 该框架允许在重复使用相同训练好的生成器的同时，扩展局部对齐器的规模（从 10M 到 600M 参数），从而在不重新训练生成模型的情况下达到新的最先进性能。

4. 实验结果

实验在 ImageNet-256 ( $256 \times 256$ ) 上进行，标记预算为 64 个标记。

重建质量： SelfBootTok 实现了 0.66 的重建 FID (rFID)，优于其他 1D 标记器（如 SoftVQ 为 0.88，TiTok-B 为 1.70），并与使用 256 个标记的方法（如 SD-VAE）表现相当。
生成性能： 在 1D 标记器中，该方法达到了 1.56 的生成 FID (gFID) 的领先水平。尽管使用的标记数显著减少，但其表现足以媲美顶尖的 2D 标记器 (VA-VAE: 1.35) 和自回归模型 (MAR-H: 1.55)。
效率： 并行训练策略将总计算成本从 4.9B 参数/60K GFLOPs 降至 2.95B/36.6K GFLOPs，并将训练时间从 28 天缩短至 13 天。
消融研究： 结果证实，包含 1D 和 2D 局部分支以及使用 I-JEPA 进行对齐能获得最佳性能。自举式设计在所有指标（rFID, PSVM, SSIM）上均显著提升了重建效果。

5. 重要性与主张

本文声称 SelfBootTok 建立了一种平衡压缩与生成的图像标记化新范式。通过通过自举学习将视觉细节的学习转移给标记器，该方法实现了：

卓越的效率： 生成器变得更加高效，仅需通过全局标记即可产生高质量图像。
可扩展性： 能够利用更多数据或参数来扩展局部表示学习，而无需重新训练生成器。
最先进的性能： 仅用 64 个标记就实现了顶尖的生成质量 (gFID 1.56)，证明了当全局和局部信息得到正确分解时，紧凑的潜表示仍能保留足够的细节以进行高保真生成。

作者强调，这种方法验证了自举学习在图像标记化中的潜力，为当前困扰 1D 标记化方法的冗余和可扩展性问题提供了解决方案。