🤖 machine learning

Accelerating Vision Transformers with Adaptive Patch Sizes

本文提出了自适应补丁 Transformer（APT），通过根据图像内容动态调整补丁大小（在均匀区域使用大补丁、在复杂区域使用小补丁），在保持下游任务性能的同时显著减少了输入令牌数量，从而大幅提升了 ViT 的推理与训练速度。

原作者： Rohan Choudhury, JungEun Kim, Jinhyung Park, Eunho Yang, László A. Jeni, Kris M. Kitani

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Rohan Choudhury, JungEun Kim, Jinhyung Park, Eunho Yang, László A. Jeni, Kris M. Kitani

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 APT (自适应补丁变换器) 的新方法，旨在让计算机视觉模型（特别是 Vision Transformers，简称 ViT）跑得更快、更聪明。

为了让你轻松理解，我们可以把处理图像的过程想象成**“阅读一本书”或“看一幅画”**。

1. 现在的痛点：不管内容，一律“切方块”

想象一下，你正在看一幅画。

传统的 ViT 模型就像是一个死板的读者。不管这幅画是“一片纯白的天空”还是“一只羽毛极其复杂的鸟”，它都坚持用同样大小的方格（比如 16x16 像素）去切割整幅画。
问题出在哪？
- 对于纯白的天空，切得那么细完全是浪费！因为那里什么都没有，切得再细也读不出新东西。
- 对于复杂的鸟头，切得那么细可能还不够，需要更精细的观察。
- 后果：无论图片多简单，模型都要处理成千上万个“小方块”（Token）。这就像让你用显微镜去读整本《百科全书》，哪怕只是看目录，这也太慢了，而且浪费了大量算力。

2. APT 的解决方案：像人类一样“灵活阅读”

APT 的核心思想是：根据内容的复杂程度，动态调整“阅读”的粒度。

我们可以用**“看地图”**来打比方：

在空旷的沙漠或海洋（简单区域）：APT 会拿出一个巨大的望远镜，一眼就能看穿一大片区域。它不需要把沙漠切成无数个小沙粒，而是直接把它当作一个整体（大补丁）。
在繁华的城市或森林（复杂区域）：当遇到细节丰富的地方（比如人脸、建筑物），APT 会立刻切换成放大镜，把区域切得非常小，以便看清每一个像素的细节。

这样做的好处是：

简单区域：用大块拼图，数量少，处理快。
复杂区域：用小块拼图，保留细节，不丢失信息。
结果：整幅图需要的“拼图块”总数大大减少，模型处理起来自然飞快。

3. 它是如何工作的？（三个关键步骤）

智能判断（熵值检测）：
APT 会先快速“扫描”图片，计算每个区域的“混乱程度”（学术上叫熵）。
- 颜色单一、平滑的地方 = 低混乱度 = 用大补丁。
- 纹理复杂、边缘多的地方 = 高混乱度 = 用小补丁。
无缝拼接（零初始化 MLP）：
既然补丁大小不一样，怎么把它们拼在一起给模型看呢？
- 这就好比把大块的乐高积木和小块的乐高积木拼在一起。APT 发明了一种特殊的“连接器”（零初始化的 MLP），它能让模型在刚开始学习时，先忽略大积木带来的细节差异（因为连接权重是 0），等模型慢慢适应后，再逐渐把大积木里的高清细节融合进去。
- 神奇之处：这意味着你可以直接把一个已经训练好的旧模型拿来用 APT，只需要重新训练 1 个 epoch（甚至更少），就能让它变快，而且准确率几乎不掉。
打包处理（序列打包）：
因为每张图片切出来的块数不一样，APT 像打包行李一样，把不同图片的“块”整齐地排成一列，让显卡能一次性高效处理，不会因为大小不一而卡顿。

4. 实际效果有多好？

论文中的实验数据非常亮眼：

速度提升：在高分辨率图片和大模型上，推理和训练速度提升了 40% 到 50%。
- 比喻：以前跑完一个任务要 10 分钟，现在只要 5-6 分钟。
质量不变：虽然切得少了，但在识别物体、回答问题（视觉问答）、分割图像等任务上，准确率没有下降，甚至有时候还更好。
通用性强：不仅适用于简单的图片分类，连**自动驾驶（目标检测）和医学影像分析（语义分割）**这种需要看清细节的任务也能胜任。

5. 总结

APT 就像给 AI 模型装上了一双“智能眼镜”：

以前，AI 看世界是“一视同仁”的，不管哪里都死盯着看，累得半死。
现在，AI 学会了**“抓大放小”**：在平淡无奇的地方一眼带过，在精彩复杂的地方细细品味。

这不仅让 AI 跑得更快、更省电，还让它在处理超高清图片时更加游刃有余。对于未来的 AI 应用（比如手机上的实时翻译、自动驾驶），这意味着更低的成本和更快的响应速度。

1. 研究背景与问题 (Problem)

核心痛点：
现有的视觉 Transformer (ViT) 在处理图像时，无论图像内容的复杂度如何，都采用固定大小的补丁（Patch）将图像切分。

冗余问题： 对于高分辨率图像，这种均匀切分导致输入序列长度（Token 数量）过长。图像中大量均匀、简单的区域（如天空、墙壁）与复杂区域（如人脸、纹理）被赋予了相同的计算资源，造成了巨大的计算冗余。
现有方案的局限：
- 固定比例合并/剪枝： 许多现有工作（如 Token Merging 或 Pruning）试图合并或剪除固定比例的 Token。但这无法适应不同图像的复杂度（例如，纯白图像合并一半可能不够，而繁忙的城市景观合并一半则有害）。
- 推理效率低： 许多动态剪枝方法在推理过程中引入填充（Padding）或不规则形状，导致无法利用高效的注意力机制（如 FlashAttention），从而在实际中无法获得预期的加速效果。
- 训练成本高： 现有的自适应补丁方法通常需要从头训练或进行大量的微调，且难以直接应用于预训练模型。

2. 方法论 (Methodology)

作者提出了 自适应补丁 Transformer (Adaptive Patch Transformer, APT)，其核心思想是根据图像内容动态调整补丁大小，类似于自然语言处理中的自适应分词（如 Byte-Pair Encoding）。

2.1 自适应补丁分配 (Adaptive Patch Sizing)

基于熵的决策： APT 使用熵 (Entropy) 作为衡量图像区域可压缩性的指标。
- 低熵区域（平滑、同质，如蓝天）：分配大补丁（例如 $64 \times 64$ ），减少 Token 数量。
- 高熵区域（复杂、细节丰富，如人脸）：分配小补丁（例如 $16 \times 16$ ），保留细节信息。
层级化构建： 采用类似四叉树（Quadtree）的结构。从最粗粒度开始计算熵，如果某区域的熵低于预设阈值 $\tau$ ，则保留该大补丁；否则将其细分为更小的补丁，直到达到最小补丁尺寸。

2.2 补丁聚合与嵌入 (Patch Aggregation & Embedding)

为了将不同大小的补丁映射到统一的 Token 嵌入空间，APT 设计了一种混合策略：

子补丁嵌入： 将大补丁分解为多个基础尺寸（ $p \times p$ ）的子补丁，使用标准的线性层 $E$ 进行嵌入。
卷积聚合： 使用卷积层（Conv2d）将子补丁的嵌入聚合回基础尺寸。
零初始化 MLP (Zero-initialized MLP)：
- 将聚合后的嵌入与直接对大补丁进行下采样（Resize）后的嵌入相加。
- 关键创新：连接大补丁下采样嵌入的 MLP 层初始化为零权重。
- 作用： 这使得模型在初始阶段完全依赖下采样信息（即保持与原始 ViT 一致），随着微调进行，逐渐学习引入高分辨率细节。这保证了 APT 可以直接应用于任何预训练的 ViT，且仅需1 个 epoch 的微调即可收敛并恢复性能。

2.3 动态输入处理 (Dynamic Input Handling)

序列打包 (Sequence Packing)： 由于每张图像的 Token 数量不同，APT 采用序列打包技术，将不同长度的序列拼接成一个大序列，并使用块对角掩码（Block-diagonal mask）确保注意力机制仅在同一个样本内部进行。这原生支持 FlashAttention，避免了填充带来的开销。
位置编码插值： 借鉴 NaViT 的方法，通过插值处理不同尺寸补丁的位置编码，保持空间一致性。
下游任务适配： 对于密集预测任务（如目标检测、分割），通过将大补丁的 Token 重复 $2^{2i}$ 次来恢复特征图的分辨率，使其能够无缝对接现有的检测头（如 ViTDet）和分割头（如 UperNet）。

3. 主要贡献 (Key Contributions)

提出 APT 架构： 首次提出在单张图像内使用多种补丁大小，通过内容感知（Content-aware）的切分策略，显著减少了输入 Token 数量。
即插即用的加速方案： 设计零初始化 MLP，使得 APT 可以直接加载预训练的 ViT 权重（如 MAE 预训练或 ImageNet 微调权重），仅需极少的微调（1 epoch）即可达到原始模型性能，无需从头训练。
广泛的适用性： 证明了 APT 不仅适用于图像分类，还能在视觉问答 (VQA)、目标检测和语义分割等密集预测任务中保持性能，同时大幅加速。
高效的工程实现： 通过序列打包和 FlashAttention 的兼容，解决了动态长度序列带来的推理效率问题。

4. 实验结果 (Results)

实验在 ImageNet 分类、VQA (LLaVA)、目标检测 (COCO) 和语义分割 (ADE20K) 等多个任务上进行。

图像分类 (ImageNet)：
- 速度提升： 在 ViT-L 上推理速度提升 40%，在 ViT-H 上提升 50%。
- 训练加速： 在高分辨率下，训练吞吐量提升显著（例如 448x448 分辨率下提升 86%）。
- 性能保持： 在仅微调 1 个 epoch 后，APT 的准确率与原始 ViT 持平甚至略高（例如 ViT-L 在 336 分辨率下 Acc 88.1 vs 88.2）。
视觉问答 (VQA)：
- 在 LLaVA-1.5 模型上，通过减少视觉 Token，整体吞吐量提升 22-26%，且在多个基准测试（GQA, VQAv2 等）上性能与基线持平或更优。
密集预测任务：
- 目标检测 (COCO)： 在 1536x1536 高分辨率下，减少约 30% 的输入 Token，mAP 和 AP50 与基线持平，推理速度提升 30%。
- 语义分割 (ADE20K)： 在保持 mIoU 不变的情况下，推理速度提升 11%。
消融实验：
- 验证了零初始化 MLP 对于快速收敛的重要性。
- 验证了熵阈值对速度 - 精度权衡的影响，发现存在一个最佳阈值（如 $\tau \approx 5.75$ ），超过该值精度会急剧下降。

5. 意义与结论 (Significance & Conclusion)

计算效率革命： APT 打破了 ViT 必须使用固定补丁大小的限制，通过“简单区域大补丁、复杂区域小补丁”的策略，从根本上减少了高分辨率图像处理的计算冗余。
降低训练门槛： 其“即插即用”和“快速收敛”的特性，使得研究人员和工程师可以低成本地将现有的预训练大模型加速，无需昂贵的重新训练成本。
通用性强： 证明了自适应分词思想在视觉领域的有效性，为未来高效视觉 Transformer 的设计提供了新范式，特别是在处理高分辨率图像和密集预测任务时具有巨大潜力。
局限性： 目前仍依赖手工设计的熵阈值启发式规则，尚未完全自适应下游任务偏好；且目前主要应用于图像理解，尚未扩展到图像生成领域。

总结： APT 是一种高效、通用且易于集成的 ViT 加速方案，它通过动态调整补丁大小，在保持甚至提升模型性能的同时，显著降低了计算成本和推理延迟，特别适用于高分辨率和大规模模型场景。