🤖 AI

Accelerating Vision Transformers on Brain Processing Unit

本文提出了一种在针对 CNN 优化的脑处理单元（BPU）上加速视觉 Transformer 的新方法，该方法通过重构模型以使用卷积算子替换线性层，从而在无需重新训练的情况下实现权重继承，并在仅造成极小精度损失的同时实现显著的推理加速。

原作者： Jinchi Tang, Yan Guo

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Jinchi Tang, Yan Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一名超高效、专业化的工厂工人，被称为 BPU（脑处理单元）。这位工人是组装 4D 乐高积木（代表标准图像数据：高度、宽度、颜色通道和批次）的大师。在人工智能的世界里，他们是构建 CNN（卷积神经网络）的专家，而 CNN 是传统的“筑墙者”。

然而，一位全新的、革命性的建筑师——视觉 Transformer (ViT) 到来了。ViT 不再使用 4D 乐高积木进行建造，而是使用 3D 纸张堆叠（序列数据）进行工作。它非常聪明，且通常能产生更好的结果，但它说着一种不同的语言。当你试图雇佣 BPU 工人来建造 ViT 时，他们会感到困惑。该工人被设计为堆叠积木，而不是处理纸张堆叠。因此，ViT 必须由一个更慢的通用型工人（CPU）来构建，导致超快的 BPU 只能闲置。

纸张的解决方案：“变形”技巧

本文的作者 Jinchi Tang 和 Yan Guo 想出了一个聪明的变通方法。他们并没有尝试教 BPU 如何阅读纸张堆叠（这很难，且需要重新训练整个系统），而是将纸张堆叠重新排列，使其看起来像乐高积木。

以下是他们如何实现的，使用了简单的类比：

线性层问题： 在标准的 ViT 中，大脑使用“线性层”来处理信息。你可以把这些层想象成一个翻译员，他阅读一份单词列表并输出一份新的列表。BPU 看不懂列表；它只理解 4D 网格。
- 修复方法： 作者将这个“翻译员”及其指令进行了重塑，使其看起来像一个 1x1 的乐高积木。在数学上，它做着完全相同的工作，但现在它完美地契合了 BPU 的工厂。这就像是将一张平面地图卷成圆柱体，仅仅是为了让它能塞进特定的管子里，而没有改变地图的内容。
层归一化问题： ViT 还使用了一个称为“层归一化”（Layer Normalization）的步骤，用以保持数据平衡（就像恒温器保持房间温度适中一样）。但 BPU 并没有内置恒温器。
- 修复方法： 作者利用 BPU 现有的乐高积木搭建了一个“恒温器”。他们创建了一串特殊的微型积木（1x1 卷积），通过计算平均值和方差，有效地利用 BPU 已有的工具模拟出了恒温器的功能。

“无需重新训练”的魔力

通常，如果你改变了一座建筑的蓝图，你就必须拆除它并从头开始重建。但由于作者非常小心地确保他们的“乐高积木”在数学上与原始的“纸张堆叠”完全一致，因此原始蓝图（权重）仍然可以完美运行。

他们不需要重新训练模型或教它新知识。他们只是采用了预训练好的 “DeiT” 模型（一种流行的、高效的 ViT 版本），应用了他们的变形技巧，然后将其交给了 BPU。BPU 立即识别出了新的格式，并开始全速运转。

结果：速度 vs. 准确率

团队在两个不同的任务上进行了测试：识别数千种物体（ImageNet）和对花卉进行分类。

权衡： 当你转换模型以在专门硬件上运行时，你通常会损失一点精度（就像从高清照片切换到略微压缩过的 JPEG 图片）。
- 在大型 ImageNet 测试中，DeiT-Base 模型的准确率仅下降了 1.4%（从 81.8% 降至 80.4%）。
- 在花卉测试中，下降幅度甚至更小，仅为 0.5%。
回报： 作为那微小精度损失的交换，模型变得快得多。
- 最大的模型（DeiT-Base）在 BPU 上的运行速度比在标准 CPU 上快了 3.8 倍。
- 较小的模型也看到了加速效果，增幅在 1.3 倍至 2.1 倍之间。

一个有趣的发现

在测试过程中，作者注意到了一些有趣的事情。有时，测试图像上的官方标签是错误的（例如，一张“狮子”的照片被标记成了“猴子”）。原始的 DeiT 模型正确识别出了狮子，但系统却将其标记为错误，因为标签不对。作者的新型快速模型同样正确识别出了狮子。这表明该模型实际上比官方得分所显示的更加聪明，因为它能够看穿测试数据中的“拼写错误”。

总结

本文首次成功地将视觉 Transformer（“纸张堆叠”建筑师）转化为可以在专门的脑处理单元（“乐高”工厂）上高效运行的模型，且无需从头重建架构。通过巧妙地重塑数学逻辑以适配硬件，他们在几乎不损失智能的情况下实现了 3.8 倍的加速，证明了这些先进的 AI 模型终于可以在专门的嵌入式芯片上高效运行。

技术摘要：加速脑处理单元（BPU）上的视觉 Transformer

问题陈述
本文探讨了专门的神经处理硬件与现代视觉 Transformer (ViT) 模型之间存在的关键架构不匹配问题。具体而言，Horizon 脑处理单元 (BPU) 针对典型的卷积神经网络 (CNN) 中常见的四维卷积操作（INT8 量化）进行了优化。然而，诸如 Data-efficient Image Transformer (DeiT) 之类的 ViT 模型高度依赖于处理三维数据流的线性层和层归一化 (LayerNorm)。这种差异导致 BPU 无法加速 ViT 的核心计算，迫使这些模型在通用 CPU 上运行，从而丧失了硬件加速能力。

方法论
为了在无需重新训练模型的情况下解决这种不兼容性，作者提出了对 DeiT 架构进行结构化重构。其核心方法是将非卷积算子替换为数学等价的卷积算子，以便 BPU 进行加速：

线性层转换： 通常处理 3D 数据 $(B, N, C)$ 的线性层被转换为逐点卷积 (point-wise convolutions)。这是通过使用 unsqueeze 操作将权重矩阵 $W \in \mathbb{R}^{O \times I}$ 重塑为 4D 张量 $W' \in \mathbb{R}^{O \times I \times 1 \times 1}$ 来实现的。输入张量同样从 $(B, N, C)$ 转置为 $(B, C, 1, N)$ ，以符合 BPU 的 4D 数据流要求。
层归一化 (LayerNorm) 重构： 层归一化操作被分解为一系列 $1 \times 1$ 卷积操作序列。均值通过权重设置为 $1/H$ （其中 $H$ 是隐藏维度）的卷积来计算，方差则通过减去均值、对结果求平方并应用第二次卷积来计算。可学习参数 $\gamma$ 和 $\beta$ 被重塑以匹配输入维度。
权重继承： 该方法的一个关键方面是，重构后的模型不需要重新训练或微调。标准 DeiT 检查点中的原始预训练权重直接由重构后的卷积层继承。
量化： 修改后的模型通过 Horizon BPU 算法工具链进行处理，利用带有最大最小策略 (min-max strategy) 和校准数据集的后训练量化 (PTQ)，将其转换为 INT8 精度。

主要贡献

首次成功部署： 作者声称这是首次在 BPU 平台上成功部署视觉 Transformer，并充分利用了其硬件加速能力。
架构适配： 他们提出了一种通过将线性层和 LayerNorm 层替换为等效卷积算子来重构 DeiT 的新方法，从而在不损失架构性能的情况下实现 INT8 加速。
无需重训练的部署： 该方法允许直接继承预训练权重，消除了为适配新算子结构而进行重新训练或微调的计算成本和复杂性。
广泛验证： 该方法在两个不同的数据集上得到了验证：大规模的 ImageNet 数据集和较小的花卉分类数据集。

实验结果
论文报告了原始 DeiT 模型与所提出的 BPU 优化量化版本之间的广泛对比实验：

ImageNet 性能：
- 准确率： 量化后的 DeiT-Base 模型在 ImageNet 上实现了 80.4% 的 Top-1 准确率，较原始的 81.8% 仅下降了 1.4%。蒸馏变体表现出更强的韧性，DeiT-Base Dist. 保持了 81.7% 的准确率（下降 1.7%）。
- 异常检测： 作者观察到，原始模型和量化模型都正确预测了 ImageNet 验证集中若干在官方标注中已知标签错误的图像，这表明模型的真实准确率可能略高于报告的指标。
花卉分类性能：
- 在一个包含 5 类花卉的数据集上，量化后的 DeiT-Small 模型实现了 97.4% 的准确率，与全精度版本相比仅下降了 0.3%。
推理加速：
- 量化模型在 BPU 硬件上的推理速度明显快于浮点版本。
- DeiT-Base： 实现了 3.82× 的加速。
- DeiT-Small： 实现了 2.16× 的加速。
- DeiT-Tiny： 实现了 1.30× 的加速。
- 结果表明，量化和硬件加速带来的收益在较大的模型架构中更为显著。

意义与主张
本文将这项工作定位为弥合基于 Transformer 的计算机视觉模型与专用嵌入式硬件之间差距的关键一步。通过证明 ViT 可以在保持极小准确率损失并获得大幅速度提升的前提下部署在 BPU 上，作者认为他们的方法为现实世界的边缘侧部署场景提供了切实可行的解决方案。能够利用预训练权重而无需重新训练是其强调的主要效率增益，这使得向硬件加速 Transformer 的过渡对于资源受限的环境变得可行。作者谦虚地表示，这代表了首次尝试充分利用 BPU 加速 DeiT 模型的成功尝试。

技术摘要：加速脑处理单元（BPU）上的视觉 Transformer

类似论文