🤖 AI

I-Segmenter: Integer-Only Vision Transformer for Efficient Semantic Segmentation

该论文介绍了 I-Segmenter，这是首个全整数化的视觉 Transformer 语义分割框架，它采用了诸如 $\lambda$ -ShiftGELU 和仅整数解码器操作等新技术，在保持竞争力的准确度的同时，即使在极端的单次后训练量化下，也能显著降低模型大小和推理延迟。

原作者： Jordan Sassoon, Michal Szczepanski, Martyna Poreba

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jordan Sassoon, Michal Szczepanski, Martyna Poreba

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢的高级大厨（一个Vision Transformer），他看一眼照片就能完美地描述出其中的每一个物体。这位大厨在“语义分割”方面表现卓越——基本上，他能为每一辆车、每一棵树和每一个人画出完美的轮廓。

然而，这位大厨有两个主要问题：

他是个贪吃鬼： 他需要一个巨大的厨房（巨大的内存）和大量的能量来烹饪。
他太讲究了： 他只知道用精确的液体计量单位（浮点数）来烹饪。如果你试图给他简单的整数计量单位，他会感到困惑，从而弄掉食材并毁掉整道菜。

这篇论文介绍了一种名为 I-Segmenter 的新方法，旨在训练这位大厨，让他能在微小的、资源受限的厨房里（比如智能手机或小型机器人）工作，同时又不丢失他的烹饪技能。

以下是他们如何实现的，通过简单的类比进行解释：

1. “仅限整数”的厨房

大多数 AI 模型说的是“浮点语”（比如 3.14159...）。这种语言很精确，但很沉重。这篇论文想要强迫模型只说“整数语”（像 1, 2, 3 这样的整数）。

问题所在： 当你强行将复杂的食谱转化为整数时，会产生微小的误差。在普通的厨房里，微小的误差没关系。但在 Vision Transformer 中，这些微小的误差会像滚雪球一样越滚越大，最终摧毁最终的图像。
解决方案： 作者重建了整个“厨房”（模型的架构），使得每一个步骤——混合、切碎、加热——都只使用整数。他们甚至改变了模型存储“食谱”（权重）的方式，使其占用的空间更小。

2. “神奇调料”（λ-ShiftGELU）

厨房里最大的麻烦制造者是一种叫做 GELU 的特殊香料。在原始模型中，这种香料的形状很奇怪：大部分时候它只是极小的一撮，但偶尔会出现一大块巨大的、罕见的块状物（即“长尾分布”）。

旧方法： 当你尝试用一把简单的尺子（均匀量化）来测量这种香料时，你要么会漏掉那一小撮，要么会压碎那块大块头。这样味道就毁了。
新方法： 作者发明了一种新工具，叫做 λ-ShiftGELU。你可以把它想象成一个特殊的、可调节的量杯。它拉伸了刻度，以便同时处理微小的香料和巨大的块状物而不出错。这使得模型即使在被迫使用简单的整数时，也能保持准确性。

3. 简化“摆盘”（解码器改进）

在大厨烹饪好食物后，他必须完美地进行摆盘，以匹配原始照片。原始模型使用了基于液体的精细工具来进行平滑处理（双线性插值），以及一个复杂的比例尺来平衡盘中食物（L2 归一化）。

变化： 作者将这些工具替换成了更简单的工具。他们没有使用液体平滑，而是使用了最近邻法（Nearest-Neighbor），这就像是将照片对齐到最近的网格方块上。虽然看起来更“块状”，但它能完美适配整数。他们还完全去除了复杂的比例尺。
权衡： 图像的边缘会变得稍微“粗糙”一些（就像像素化的图像），但由于模型运行速度极快且占用内存极少，这种交换是非常值得的。

4. 结果：快速、轻量且出奇地出色

论文在两个大型数据集（ADE20K 和 Cityscapes）上测试了这个新的“I-Segmenter”。以下是他们的发现：

体积： 模型缩小了 3.8 倍。就像把一个大型行李箱缩减到了登机箱的大小。
速度： 在优化后的硬件上，运行速度提升了高达 1.2 倍。
准确度： 尽管我们强迫它使用简单的数学运算，但与超级精确的原始模型相比，它仅损失了约 5% 的准确度。对于能够让它在微型设备上运行而言，这是一个很小的代价。
“单样本”奇迹： 通常，要教会一个模型使用简单的数学，你需要展示数百个示例来进行校准。作者发现，凭借他们的新型“神奇调料”，我们只需使用一张图片进行校准，就能获得极好的结果。

总结

这篇论文不仅仅是在说“我们把它做小了”。他们构建了一个全新的系统（I-Segmenter），这个系统使用简单的整数语言进行交流。他们修复了那些在简化时通常会出错的“辛辣”数学部分，并将精细的厨房工具更换成了坚固的、适合整数操作的工具。

其结果是一个 Vision Transformer，它终于可以在我们每天使用的微型、电池供电的设备上运行，而不需要依赖云端的超级计算机。

技术摘要：I-Segmenter：用于高效语义分割的全整数视觉 Transformer

问题陈述

视觉 Transformer (ViTs) 已在语义分割领域取得了最先进的结果，但由于高内存占用和计算成本，其在资源受限的边缘设备上的部署面临重大障碍。虽然量化提供了一条实现高效性的路径，但基于 ViT 的分割模型在低精度约束下表现得极其脆弱。与图像分类不同，语义分割需要密集的像素级预测，这会导致量化误差在深层编码器-解码器流水线中不断累积。

具体挑战包括：

非线性敏感性： 如 Softmax 和 GELU 等操作对精度损失高度敏感。Logits 的微小误差会导致注意力权重发生巨大偏移，而 GELU 的长尾激活分布难以通过均匀量化进行有效处理。
解码器复杂度： 涉及多尺度聚合和插值（例如双线性上采样）的解码器头的加入，进一步放大了从骨干网络传播的误差。
算子异构性： ViTs 包含多种不同的算子（Linear、MatMul、LayerNorm、GELU、Softmax），它们具有截然不同的分布形状，使得统一的纯整数策略难以实施。
现有局限性： 当前的量化方法通常依赖于针对关键算子的混合精度回退（FP32），或者在仅使用极少量校准数据的情况下，无法在后训练量化 (PTQ) 设置中保持精度。

方法论

作者引入了 I-Segmenter，这是首个全整数（integer-only）的 ViT 分割框架。该方法基于 Segmenter 架构，系统地将所有浮点 (FP32) 操作替换为纯整数对应的算子，以实现端到端的整数执行。

1. 核心量化框架

对称均匀量化： 所有参数（权重、偏置、嵌入）和激活值均采用对称均匀量化。
二进算术 (Dyadic Arithmetic)： 缩放因子被近似为整数与 2 的幂的比值 ( $S \approx b/2^c$ )，从而允许通过整数乘法和位移操作来实现缩放运算，避免了浮点除法。
精度管理：
- Linear 层使用 INT8 权重和偏置，并在 INT32 中进行累加。
- 残差连接保持 INT16 精度，以保留信号保真度。
- 最敏感的操作——Shiftmax（整数 Softmax）在 INT16 下执行。

2. 新型激活函数： $\lambda$ -ShiftGELU

作者发现标准的整数近似 GELU（如 ShiftGELU）会引入显著误差，特别是在处理负值和离群值时。他们提出了 $\lambda$ -ShiftGELU，一种改进的激活函数，其特点是：

引入了一个可调标量参数 $\lambda$ ，通过在指数近似过程中放宽输入分布的下界来优化性能。
防止了以往方法中存在的对信息丰富的负值进行过度限制性截断的问题。
优化的参数（ $\lambda=6, k_{inter}=23$ ）在精度和计算效率之间取得了平衡，与基准 ShiftGELU 相比，显著降低了均方根误差 (RMSE)。

3. 面向纯整数执行的架构适配

为了确保整个计算图保持纯整数状态，作者对 Segmenter 解码器进行了修改：

移除 L2 归一化： 移除了需要复杂非线性近似的 L2 归一化层。其平滑分布的功能由投影矩阵的对称均匀量化所取代。
最近邻上采样： 将依赖浮点运算的双线性插值替换为最近邻上采样。虽然这会引入一些离散化伪影，但它确保了严格的整数兼容性。
嵌入量化： 与以往的一些工作不同，I-Segmenter 对类别和位置嵌入也进行了量化，确保模型存储和执行过程中不存在任何浮点数据。

核心贡献

I-Segmenter 框架： 首个端到端纯整数 ViT 分割框架，支持在针对整数运算优化的硬件（如 ARM Cortex-M, Google Edge TPU）上部署。
$\lambda$ -ShiftGELU： 一种新型激活函数，缓解了均匀量化在长尾分布上的局限性，使量化感知训练 (QAT) 和后训练量化 (PTQ) 更加稳定。
系统性的架构重设计： 通过对 ViT 组件进行全面适配（移除 L2 Norm，替换双线性插值），实现了真正的纯整数推理，无需混合精度回退。
单样本 PTQ 能力： 证明了该框架即使在仅使用一张校准图像的情况下也能获得具有竞争力的精度，大幅降低了部署成本。

实验结果

实验在 ADE20K 和 Cityscapes 数据集上使用 ViT-Tiny, Small, Base, Large 骨干网络进行。

精度：
- PTQ： 借助 $\lambda$ -ShiftGELU，I-Segmenter 在精度上与 FP32 基准保持在合理的差距内（平均下降约 5.1%）。值得注意的是，单样本 PTQ ( $S=1$ ) 的结果与使用 500 个校准样本的结果相当。
- QAT： 进一步缩小了精度差距，在 ADE20K 上的下降不超过 3.5 mIoU 点。
- 对比： $\lambda$ -ShiftGELU 的表现显著优于基准 ShiftGELU，后者在 PTQ 条件下会出现精度崩溃。
效率：
- 模型大小： 与 FP32 模型相比，体积减少高达 3.8 $\times$ 。
- 推理速度： 在优化后的运行时（TensorRT, TVM）上，推理速度提升高达 1.2 $\times$ 。
- 内存带宽： 关键操作的总比特读写量减少了 2.3 $\times$ –3.3 $\times$ 。
部署：
- TVM 后端： 唯一一个能够强制执行严格纯整数执行直至内核计算的后端。虽然 TVM 编译由于转换细微差别导致了 1–2 mIoU 的轻微下降，但模型依然保持了竞争力。
- 校准成本： PTQ 校准在单样本设置下大约耗时 1 秒，而 QAT 则需要数小时。

重要性与主张

论文声称 I-Segmenter 代表了将视觉 Transformer 部署到边缘设备上的关键一步。通过证明全整数推理在不产生灾难性精度损失的情况下，对于密集预测任务是可行的，这项工作解决了 AI 部署中的主要瓶颈。

作者强调，其方法对于以下方面具有重要意义：

实际部署： 能够在受限硬件（NPU、微控制器）上部署，且无需复杂的混合精度硬件支持。
效率： 大幅降低了模型大小和内存带宽需求。
鲁棒性： 证明了通过精心的架构适配（特别是 $\lambda$ -ShiftGELU 和移除依赖浮点数的层）可以克服 ViT 在低比特量化下的固有脆弱性。

论文总结道，尽管仍需进一步研究如何改进整数上采样和归一化近似以弥补剩余的精度差距，但 I-Segmenter 已成功开启了纯整数部署对于语义分割的潜力。