💻 computer science

FTerViT: Fully Ternary Vision Transformer

本文介绍了 FTerViT，这是一种完全三值化的视觉 Transformer，它将所有权重和归一化参数量化，以实现显著的内存压缩，使微控制器上的设备端高效部署成为可能，同时保持具有竞争力的 ImageNet-1K 准确率。

原作者： Szymon Ruciński, Pietro Bonazzi, Engin Türetken, Simon Narduzzi, Michele Magno, Nadim Maamari

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Szymon Ruciński, Pietro Bonazzi, Engin Türetken, Simon Narduzzi, Michele Magno, Nadim Maamari

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位才华横溢、受过高等教育的图书管理员（即视觉 Transformer或ViT），他能够查看图片并准确告诉你它是什么。这位图书管理员极其聪明，但他脑海中携带着海量的书籍。如果你试图将这位图书管理员塞进一个微型背包（例如智能手表或廉价相机中的微控制器），背包会被撑破，因为书籍太重且占用空间太大。

通常，为了将智能 AI 适配到微型设备中，工程师们会尝试压缩这些“书籍”。他们可能会将文本转换为更短的代码，但往往将最重要、最精细的页面（如封面、目录和最终摘要）保留在原本庞大笨重的格式中。该论文指出，这就像试图通过仅压缩百科全书的中间章节来将其塞进口袋；封面和目录仍然过重。

以下是FTerViT的作者为解决这一问题所采取的方法：

1. “三色”字典

作者没有使用复数（如 3.14159...）来存储信息，而是强制 AI 仅使用三个简单符号：-1、0 和 +1。

这就像一本字典，其中每个单词都被替换为红、绿或蓝点。
通过仅使用这三种选项，他们可以将信息极其紧密地打包。这就像将一张巨大的地图折叠成一个小方块。
他们将此称为三值（意为“三”）。

2. “脆弱”部分

此前尝试压缩这些 AI 模型的努力都未能彻底完成。他们压缩了主脑（即“编码器”），但保留了Patch Embedding（AI 首次瞥见图像的方式）、LayerNorm（AI 平衡其思考的方式）和Classifier（最终决策者）的沉重、全尺寸格式。

作者意识到，在微型设备中，这些剩余的“沉重”部分实际上占据了最大空间，尽管它们的数量很少。
FTerViT是首个将所有部分（包括这些脆弱部分）压缩为简单的 -1、0、+1 格式的模型。

3. “导师与学生”技巧

将巨大的大脑压缩成微小的通常会导致其忘记如何思考，从而犯下愚蠢的错误。为了解决这个问题，作者使用了一种称为知识蒸馏的技术。

想象一位大师级厨师（原始、庞大的 AI）正在教导一位初级厨师（微小、压缩后的 AI）。
大师级厨师不仅仅告诉初级厨师“这是一只猫”，而是向他们展示如何看到这只猫。“看看耳朵、胡须、形状。”
初级厨师通过模仿大师的思维过程来学习，而不仅仅是最终答案。这使得微小的 AI 即使在被压缩到绝对最小尺寸后，仍能保持智能。

4. 结果：10 美元相机中的智能 AI

作者在一种非常廉价、常见的微控制器芯片ESP32-S3（用于约 10 美元的设备）上测试了这种方法。

之前：原始 AI 大小为 88.3 MB。它太大，甚至无法放入芯片。
之后：他们的新FTerViT模型仅为5.81 MB。它完美适配。
性能：尽管它非常微小，但仍然非常智能。它正确识别图像的比例约为79.6%。这远优于此前压缩 AI 的尝试，那些尝试的准确率往往降至 74% 或更低。

5. 这对你的口袋意味着什么

该论文表明，你不需要超级计算机来运行智能视觉。你可以在仅有8 MB 内存（约等于一个小文本文件的大小）的设备上运行它。

速度：由于数据非常小，设备无需费力获取信息。它运行更快，耗电更少。
效率：作者构建了一个自定义“引擎”（软件），可在芯片上完全运行这个微小的 AI，无需连接互联网或云服务器。

总结：该论文提出了一种方法，将最先进的图像识别 AI 模型压缩到微小鹅卵石的大小，使它们能够在以前因太弱而无法处理的廉价、电池供电设备上运行。他们通过将数学简化为仅三个数字，并利用“导师”教导微小模型如何正确思考，实现了这一目标。

技术摘要：FTerViT：全三值视觉 Transformer

问题陈述

视觉 Transformer（ViT）是强大的图像分类器，但由于其巨大的内存占用，通常不适用于微控制器类设备。一个标准的紧凑型 ViT（如 DeiT-Small）在 FP32 精度下需要约 88.3 MB 的内存，而典型的微控制器单元（MCU）仅提供几兆字节的片外 RAM。这种不匹配导致无法在不依赖云端卸载的情况下，在边缘设备上部署始终在线的低功耗视觉应用。

虽然三值量化（将权重限制在 $\{-1, 0, +1\}$ ）理论上能提供相对于 FP32 的 16 倍压缩，但现有的最先进方法仅对 Transformer 编码器层进行三值化。它们将补丁嵌入（patch embedding）、LayerNorm 参数和分类头保留在完整精度（FP32）或低位整数（INT8）。在紧凑型模型中，这些剩余的高精度组件成为主要瓶颈，尽管它们代表的参数比例很小，却消耗了高达 38% 的模型大小。此外，先前尝试完全三值化这些敏感组件（例如 TerViT）导致了显著的准确率下降（高达 22.4 个百分点），这主要是由于第一层和最后一层对量化的已知敏感性所致。

方法论

作者提出了 FTerViT，这是第一个全三值化的视觉 Transformer，其中所有权重矩阵和归一化参数均被限制在 $\{-1, 0, +1\}$ 。该方法由两个主要支柱组成：新颖的三值算子和专门的训练协议。

1. 三值原语

为了消除 FP32 瓶颈，作者用专用的三值模块替换了标准组件：

TernaryBitLinear：用于全连接层。它使用基于张量绝对均值（$absmean $）的缩放和钳位舍入，将权重量化为$ {-1, 0, +1}$。激活值使用基于令牌的绝对最大值缩放量化为 8 位整数。
TernaryBitConv2d：专为补丁嵌入层设计。它应用逐通道缩放来处理异构滤波器幅度，解决了先前工作确定为最关键组件的补丁嵌入层的敏感性。
TernaryLayerNorm：使用相同的 $absmean$ 方案将 LayerNorm 的可学习仿射参数（ $\gamma$ 和 $\beta$ ）三值化。基于令牌的统计量（均值和方差）和偏置保留在 FP32，因为它们的参数数量可忽略不计，但将它们三值化会破坏位置信息。

2. 训练协议

该模型采用**两阶段知识蒸馏（KD）**策略进行训练：

阶段 1（训练）：三值学生模型从预训练的 FP32 教师模型初始化，并使用量化感知蒸馏（QAD）进行训练，学习率为 $10^{-4}$ （余弦衰减），持续 250 个 epoch。损失函数仅利用学生与教师 logits 之间的前向 KL 散度项，避免使用可能与低位网络中的 KL 散度冲突的交叉熵。
阶段 2（恢复）：一个轻量级的微调阶段，学习率重置为 $10^{-5}$ （余弦衰减），持续 10 个 epoch。此阶段允许重新校准缩放比例，并恢复阶段 1 初始饱和期间损失的准确率。

主要贡献

首个全三值 ViT：作者证明，当使用知识蒸馏进行训练时，ViT 中最脆弱的组件（补丁嵌入、LayerNorm 和分类头）可以成功三值化为 $\{-1, 0, +1\}$ ，从而拓展了此前被认为可量化的边界。
新颖算子：引入了具有逐通道缩放的 TernaryBitConv2d 和 TernaryLayerNorm，以处理非编码器层的特定敏感性。
训练策略：一种简单而有效的两阶段训练策略（高学习率训练 followed by 低学习率恢复），与先前的三值 ViT 方法相比，实现了更快的收敛速度和显著更高的最终准确率。
设备端实现：首个在资源受限的双核 ESP32-S3 微控制器（8 MB PSRAM）上独立运行的三值视觉 Transformer C 语言实现。

实验结果

该方法在 ImageNet-1K 和其他基准测试上进行了评估：

准确率和压缩率：
- FTerViT-DeiT-III-S (384 $\times$ 384)：在 6.09 MB（14.6 倍压缩）下实现了 82.43% 的 top-1 准确率，与其 FP32 教师模型相比仅损失 2.42 个百分点。这比先前的三值 ViT 方法（如 TerViT）高出多达 8 个百分点。
- FTerViT-DeiT-III-S (224 $\times$ 224)：在 5.81 MB 下实现了 79.64% 的 top-1 准确率。
- FTerViT-DeiT-S (224 $\times$ 224)：在 5.81 MB 下实现了 77.47% 的 top-1 准确率，比 TerViT-DeiT-S 高出 3.27 个百分点。
- CIFAR 基准测试：DeiT-Tiny 变体在仅需 1.53 MB 存储空间的情况下，在 CIFAR-10 上达到 97.43%，在 CIFAR-100 上达到 86.01%。
组件敏感性分析：
- 泰勒一阶和 Hessian 迹分析证实，LayerNorm 和补丁嵌入主导了模型的重要性（分别为 34–39% 和 4.6%），尽管它们占用的参数比例小于 0.2%。这解释了为何先前的方法将它们保留在更高精度，以及为何它们成功的三值化至关重要。
设备端部署（ESP32-S3）：
- 5.81 MB 的模型完全适配于 ESP32-S3 的 8 MB PSRAM，剩余约 4.5 MB 供摄像头和 LCD 缓冲区使用。
- 性能：一次前向传播耗时 21.06 秒。
- 效率：与 FP32 相比，打包的 2 位三值推理速度快 1.71 倍（特定层为 804 毫秒 vs. 1376 毫秒），并将空闲以上的能耗降低了 55%（59 毫焦耳 vs. 130 毫焦耳）。

意义

该论文声称，FTerViT 显著缩小了标准 ViT 准确率与微控制器规模部署的严格内存限制之间的差距。通过成功三值化整个架构，包括此前“不可触碰”的补丁嵌入和归一化层，作者使得在廉价、低成本的（10 美元）MCU 上部署高精度视觉模型成为可能。这项工作验证了，通过正确的训练策略（同架构 KD 和两阶段恢复），可以管理这些组件的敏感性，使全三值 ViT 成为边缘 AI 的实际现实。作者指出，与 FP32 的准确率差距与模型容量成反比，较大的模型（DeiT-III-S384）比小模型遭受的相对准确率损失更小。