Thicker and Quicker: A Jumbo Token for Fast Plain Vision Transformers

该论文提出了一种名为“Jumbo"的新型大令牌机制，通过减少普通令牌宽度并增加一个共享参数的全局大令牌，在保持纯 Vision Transformer 架构通用性与灵活性的同时，显著提升了模型在速度、精度及多种下游任务中的表现。

要点

这篇论文介绍了一种名为 "Jumbo"（巨无霸） 的新方法，旨在让计算机视觉中一种叫做 ViT（视觉 Transformer） 的模型变得更快、更聪明，同时保持简单。

为了让你轻松理解，我们可以把训练一个 AI 模型想象成指挥一支庞大的交响乐团来演奏一首复杂的乐曲（比如识别一张图片）。

1. 现状：乐团有点“头重脚轻”

目前的 ViT 模型（就像现在的乐团）是这样工作的：

• 乐谱（图片）：被切成了很多小块（比如 196 个 16x16 的小方块），每个小块就是一个“乐手”（Token）。
• 指挥（CLS Token）：还有一个专门的“指挥家”Token，负责把所有乐手的信息汇总，最后告诉 AI 这张图是什么（比如“这是猫”）。
• 问题：在这个乐团里，有 196 个普通乐手，却只有1 个指挥家。指挥家虽然很重要，但他只有和单个乐手一样的“大脑容量”（宽度）。这就好比让一个普通的小学生去指挥整个交响乐团，他忙不过来，导致乐团要么跑得太慢（为了快，就得把指挥家变弱，结果指挥不好），要么跑得太慢（为了强，就得让所有乐手都变强，结果太费资源）。

2. 解决方案：引入"Jumbo 巨无霸”指挥

作者提出了一种新架构，叫 Jumbo。它的核心思想是：给指挥家换个超级大脑，但别让他干太多杂活。

• 更宽的指挥（Jumbo Token）：
  作者把那个唯一的“指挥家”Token 变得超级宽（比如是普通乐手的 6 倍宽）。想象一下，这个指挥家现在戴着一个超级智能的“外置大脑”，能处理极其复杂的信息。
• 独特的“分身”技巧：
  虽然这个指挥家很宽，但在和乐手们交流（注意力机制）时，他会把自己拆分成几个小分身，像普通乐手一样去听大家说话。交流完后，他又合体变回那个超级宽的大指挥家。
• 专属的“超级大脑”（Jumbo FFN）：
  合体后，这个超级指挥家会进入一个专属的、更强大的处理室（FFN 层）去消化信息。这个处理室是专门为他设计的，而且所有层级的指挥家都共用这一套处理室（参数共享），这大大节省了内存。

3. 为什么这很厉害？（三大优势）

🚀 速度更快，效率更高

• 比喻：以前的做法是，如果想让乐团更强，就得把所有196 个乐手都升级成超级乐手，这太费钱了（计算量大）。
• Jumbo 的做法：只把1 个指挥家升级成超级大脑，其他乐手保持原样。因为指挥家只占极小的比例，所以升级他的成本几乎可以忽略不计，但效果却立竿见影。
• 结果：在同样的速度下，Jumbo 模型比以前的模型更准；或者在同样的准确度下，Jumbo 跑得更快。

🧩 保持“原汁原味”的兼容性

• 比喻：很多为了求快而设计的模型（比如 EfficientViT 等），就像把乐团改成了“电子合成器”或者“混合乐队”。虽然快，但原来的乐谱（ViT 的生态）用不了了，很多原本为 ViT 设计的特效（比如自监督学习、时间序列分析）都失效了。
• Jumbo 的做法：它依然是一个标准的“原声乐团”（Plain ViT），只是指挥家变强了。
• 结果：它完全兼容现有的所有 ViT 黑科技。你可以直接用它来做图像分割、视频分析、甚至处理时间序列数据，不需要重新发明轮子。

🌍 全能选手

论文测试了 Jumbo 在各种任务上的表现，它就像那个“超级指挥家”：

• 看图说话（图像分类）：在 ImageNet 数据集上，比之前的记录保持者（Registers）更准、更快。
• 找东西（图像分割）：能更精准地画出物体的轮廓。
• 自学成才（自监督学习）：在没标签的数据上自学时，进步巨大。
• 抗干扰（鲁棒性）：当图片被模糊、加噪点时，它依然能认出物体，比别的模型更“皮实”。
• 甚至能听歌（时间序列）：把这套逻辑用到时间数据上，效果也是第一。

4. 总结

这篇论文的核心贡献就是：我们不需要为了速度而牺牲智能，也不需要为了智能而牺牲速度。

通过给 ViT 模型加一个**“超级宽但参数共享的指挥家（Jumbo Token）”，作者成功打造了一个既快又强、且极其灵活**的新架构。它就像给现有的 AI 模型装了一个“涡轮增压”，让它在保持简单架构的同时，性能直接起飞，甚至超过了那些专门为了快而设计得复杂的“特制模型”。

一句话总结：Jumbo 让 AI 模型在保持“简单、通用”的同时，拥有了“超级大脑”，实现了速度与精度的完美平衡。

技术摘要

以下是论文 《THICKER AND QUICKER: A JUMBO TOKEN FOR FAST PLAIN VISION TRANSFORMERS》 的详细技术总结：

1. 研究背景与问题 (Problem)

• ViT 的困境：视觉 Transformer (ViT) 具有通用性强、准确度高且能处理多种任务（如基础模型、CLIP、SAM 等）的优势。然而，标准 ViT 在效率上存在瓶颈，尤其是在小模型规模下，其速度/吞吐量不如高度专用的架构（如 MobileNet、EfficientViT）。
• 现有方案的局限性：
  • 混合架构：现有的加速方法通常引入混合架构（结合卷积、池化或层级结构），但这牺牲了 ViT 的“通用性”和“简单性”，导致无法直接兼容现有的 ViT 生态（如自监督学习、Token 丢弃、多模态处理等）。
  • 缩小 Token：通过减小 Token 宽度来提升速度通常会牺牲精度。
  • Registers (注册 Token)：虽然 Darcet 等人提出的 Registers 通过增加全局 Token 提升了精度，但它们在速度和容量扩展上仍有提升空间，且未解决“宽窄平衡”的问题。
• 核心痛点：如何在保持 Plain ViT（纯注意力、非层级）架构的完整生态兼容性的同时，显著提升其计算效率和精度？

2. 方法论：Jumbo Token (Methodology)

作者提出了一种名为 Jumbo 的新架构，核心思想是非对称地增加模型容量，即在不显著增加计算成本的前提下，增强全局信息的处理能力。

• Jumbo Token 设计：

  • 宽度不对称：Jumbo 引入一个特殊的“巨型 Token"（Jumbo Token），其宽度是普通 Patch Token 宽度的 $J$ 倍（$J \times D$）。它取代了传统的 CLS Token。
  • 独立且更宽的 FFN：Jumbo Token 拥有自己专属的、更宽的前馈神经网络（FFN），以增强模型容量。
  • 处理流程：
    1. 拆分 (Split)：在自注意力（MHSA）之前，将宽 Jumbo Token 沿特征维度拆分为 $J$ 个宽度为 $D$ 的 Token，以便与 Patch Token 进行注意力交互。
    2. 注意力 (Attention)：拆分后的 Jumbo Token 与 Patch Token 一起通过标准的自注意力层。
    3. 重组 (Concat)：注意力计算后，将 $J$ 个 Token 重新拼接回一个宽 Token。
    4. 独立 FFN：重组后的宽 Token 通过其专属的宽 FFN 进行进一步处理。
  • 层共享 (Layer Sharing)：为了节省显存，Jumbo FFN 的参数在所有层之间共享（而 Patch FFN 不共享）。这不仅减少了参数量，还起到了正则化作用。
  • 计算效率：由于 Jumbo Token 仅有一个（或拆分后数量极少），其 FFN 的计算量相对于大量的 Patch Token 可以忽略不计。因此，模型容量的增加并未显著增加 FLOPs 或降低推理速度。

• 保留 Plain ViT 特性：

  • 纯注意力 (Attention-only)：没有卷积或池化操作。
  • 非层级 (Non-hierarchical)：保持柱状结构，所有层处理相同分辨率的 Token。
  • 生态兼容性：完全兼容现有的 ViT 技术，包括 Token 丢弃（Token Dropping）、自监督学习（MAE）、测试时适应（TTA）以及多模态/非 2D 数据处理。

3. 关键贡献 (Key Contributions)

1. 提出 Jumbo 架构：一种简单、可扩展且高效的 Plain ViT 变体，通过非对称增加全局 Token 宽度来提升容量，同时保持 Patch Token 宽度不变以维持速度。
2. 打破速度 - 精度权衡：证明了在保持 Plain ViT 架构完整性的前提下，可以超越专门设计的计算高效架构（如 EfficientViT, SHViT, MobileNetV4）。
3. 广泛的适用性验证：
   • 不仅适用于图像分类，还验证了其在语义分割、自监督学习（MAE）、测试时适应（TTA）以及时序建模任务上的有效性。
   • 证明了 Jumbo 能更好地处理不同输入形状（如 1D 时序数据），无需修改架构接口。
4. 层共享机制：展示了通过共享 Jumbo FFN 参数，可以在几乎不增加显存占用的情况下，实现显著的精度提升。

4. 实验结果 (Results)

实验在 ImageNet-1K/21K、ADE20K、ImageNet-C 以及时序数据集上进行了广泛评估：

• 图像分类 (ImageNet-1K)：
  • Jumbo 在 Nano 到 Large 各个尺度上均优于 ViT+Registers。
  • 在 Nano 尺度上，精度提升了 13%，同时保持了吞吐量。
  • 在 Pareto 前沿（精度 - 速度权衡）上，Jumbo 超越了 EfficientViT、SHViT 和 MobileNetV4 等专用高效架构。
• 大规模预训练 (ImageNet-21K)：
  • 在 ImageNet-21K 上，Jumbo 比 ViT+Registers 高出 1.2% - 3.1%。
  • 对于相同的精度，Jumbo 速度快 1.9 倍。
• 语义分割 (ADE20K)：
  • 使用标准分割头，mIoU 提升了 1.9% - 3.1%。
• 自监督学习 (MAE)：
  • ViT-Base+Jumbo 在 MAE 预训练后，线性探测精度比标准 ViT-Base 高出 4.9%。
  • 其性能与 ViT-Large 基线持平，但参数量仅为后者的 43%，FLOPs 更少，速度快 3.1 倍。
• 鲁棒性与测试时适应 (TTA)：
  • 在 ImageNet-C 上，Jumbo 比 Registers 更鲁棒。结合 SAR 测试时适应方法，精度提升了 5.2%。
• 时序建模：
  • 在 20 个时序基准测试中，PatchTST+Jumbo 在所有实验中均排名第一，优于 PatchTST+Registers 和原始 PatchTST。
• 消融实验：
  • 证明了 Jumbo 的优势主要来自非对称的宽度设计，而非单纯增加参数量。
  • 层共享策略在保持精度的同时显著降低了显存占用。

5. 意义与影响 (Significance)

• 重新定义高效 ViT：Jumbo 证明了不需要引入卷积、层级结构或混合架构，仅通过优化 Token 的宽度分配和 FFN 设计，就能实现超越专用高效架构的性能。
• 生态系统的守护者：它是首个在保持 Plain ViT 所有优势（如 Token 丢弃、自监督学习兼容性、多模态灵活性）的同时，实现 SOTA 速度 - 精度权衡的架构。这使得研究人员可以在不牺牲通用性的情况下获得更高的效率。
• 通用性：Jumbo 不仅适用于视觉任务，还成功扩展到了时序数据和语言任务，展示了其作为通用 Transformer 组件的潜力。
• 实际部署价值：对于需要高吞吐量、低延迟且依赖自监督学习或复杂后处理（如 TTA）的实际应用场景（如自动驾驶、遥感），Jumbo 提供了比现有专用模型更优的解决方案。

总结：这篇论文提出了一种“更宽、更快”的 Jumbo Token 机制，通过非对称扩展全局处理能力，成功解决了 Plain ViT 效率低下的问题，同时保留了其架构的简洁性和生态兼容性，为构建下一代高效通用视觉模型提供了新的方向。