🤖 AI

CPUBone: Efficient Vision Backbone Design for Devices with Low Parallelization Capabilities

本文针对缺乏高并行处理能力的 CPU 设备，通过优化卷积分组和减小核尺寸来平衡计算量与硬件执行效率，提出了名为 CPUBone 的新型视觉骨干网络，实现了在各类 CPU 设备上速度与精度的最优权衡。

原作者： Moritz Nottebaum, Matteo Dunnhofer, Christian Micheloni

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Moritz Nottebaum, Matteo Dunnhofer, Christian Micheloni

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 CPUBone 的新模型家族，它的核心目标是：让手机、电脑等普通设备上的 CPU 也能跑得飞快、看得很准的 AI 视觉模型。

为了让你更容易理解，我们可以把 AI 模型想象成一家**“超级厨房”，而 CPU 就是“厨师”**。

1. 背景：为什么现在的 AI 在普通电脑上跑不动？

现状： 过去几年，科学家设计 AI 模型（比如识别图片）时，主要盯着GPU（图形处理器，像 NVIDIA 的显卡）优化。
- GPU 厨师： 拥有成千上万个助手，可以同时切几千个土豆（高并行度）。所以，以前的模型设计得像“大工厂流水线”，追求一次处理海量数据。
- CPU 厨师： 我们手机或电脑里的 CPU，通常只有几个到几十个核心。它更像是一个**“精干的小厨师”**，一次只能切几个土豆，但切得很细致。
问题： 如果把给“大工厂”设计的模型强行交给“小厨师”做，虽然总工作量（论文里叫 MACs，即乘加运算次数）可能不多，但因为小厨师没法同时开工，导致排队等待的时间太长，效率极低。这就好比你让一个厨师同时切 1000 个土豆，他只能一个个切，累得半死还慢得要命。

2. 核心发现：两个“偷懒”但聪明的技巧

作者发现，要适应“小厨师”（CPU），不能只减少总工作量，还要让工作更顺手。他们提出了两个修改标准卷积（Convolution）的方法：

技巧一：分组切菜（Grouped Convolutions）

传统做法： 厨师要把所有 100 种食材混在一起切，最后再混合。
CPUBone 做法： 把食材分成两堆（比如蔬菜一堆，肉类一堆），让厨师分别处理，最后再合起来。
比喻： 就像把一个大任务拆成两个小任务，虽然总工作量少了，但更重要的是，厨师不需要在脑子里同时处理所有复杂的交叉关系，思维负担小了，切得更快。
关键点： 作者发现，分成2 组（Groups=2）是最佳平衡点。分太多组（比如 8 组），虽然工作量更少，但厨师切换任务太频繁，反而变慢了。

技巧二：换把小刀（Reducing Kernel Size）

传统做法： 厨师用一把3x3 的大刀切菜，一刀下去覆盖 9 个格子。
CPUBone 做法： 换成2x2 的小刀，一刀覆盖 4 个格子。
比喻： 虽然小刀切一次覆盖的面积小，但因为刀轻、动作快，而且不需要像大刀那样在脑子里规划那么大的范围，切菜的速度（每秒切多少刀，即 MACpS）反而提升了。
关键点： 在 CPU 上，用小刀不仅总工作量少了，而且因为更符合 CPU 的“内存访问习惯”，跑得比用大刀还快。

3. 成果：CPUBone 模型家族

基于以上两个技巧，作者造出了 CPUBone 这个新家族。

它的特点：
- 专为 CPU 设计： 它不像以前的模型那样为了 GPU 的“大并行”而设计，而是专门为 CPU 的“单兵作战”优化。
- 混合模式： 在模型的不同阶段，它聪明地切换策略。在数据量小的阶段用“融合版”（Fused），在数据量大的阶段用“分组版”（Grouped），就像厨师根据食材多少灵活换工具。
- 去掉了累赘： 它把一些在 CPU 上很慢的操作（比如转置卷积）换成了更快的操作（最近邻插值）。

4. 效果如何？（实测数据）

作者把 CPUBone 放在各种设备上测试（从树莓派这种小开发板，到 Pixel 手机，再到 Intel 电脑）：

速度： 在同样的识别准确率下，CPUBone 比现有的其他模型快得多。
- 比喻： 以前识别一张图，其他模型可能需要厨师切 10 分钟，CPUBone 只要 3 分钟。
通用性： 它不仅能在“看图”（图像分类）上表现好，还能直接用在找物体（目标检测）和分割画面（语义分割）的任务上，而且依然很快。
对比： 即使是那些号称“为手机优化”的模型，在 CPU 上跑起来也比 CPUBone 慢。

5. 总结：这篇论文说了什么？

简单来说，这篇论文告诉我们要**“因地制宜”**：

以前我们总想着怎么让模型更“聪明”（减少计算量），却忽略了它怎么在“小厨师”（CPU）手里干活。
CPUBone 证明了，只要稍微调整一下切菜的方式（分组）和换把小刀（减小核大小），就能让 AI 在普通的电脑和手机上跑得飞快，而且不用牺牲太多准确度。

一句话总结： CPUBone 就是给 CPU 量身定做的“快手厨师”，让你的手机和电脑也能瞬间看懂图片，不再卡顿。

CPUBone：面向低并行能力设备的视觉骨干网络高效设计

1. 研究背景与问题 (Problem)

近年来，视觉骨干网络（Vision Backbone）的研究主要致力于优化在高并行处理能力硬件（如 GPU、移动端 AI 加速器、NVIDIA Jetson 等）上的效率。然而，中央处理器（CPU） 在许多实际应用场景（如资源受限的边缘设备、通用服务器）中仍然被广泛使用。

核心矛盾：现有的高效模型（如 MobileNet 系列、RepViT 等）通常依赖深度卷积（Depthwise Convolution）或高并行度设计来减少计算量（MACs）。但在 CPU 上，由于并行化能力有限，单纯减少 MACs 并不一定能降低延迟。
瓶颈：CPU 的并行度低，导致高 MACs 的操作成为性能瓶颈。此外，现有的针对 CPU 优化的模型往往未能平衡“计算量（MACs）”与“硬件执行效率（MACs per second, MACpS）”之间的关系。
现有缺陷：许多在 GPU 上高效的架构（如使用深度卷积或特定注意力机制）在 CPU 上表现不佳，因为它们的 MACpS（每秒处理的乘加运算数）较低，无法充分利用 CPU 的串行处理能力。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 CPUBone，这是一个专为 CPU 推理优化的视觉骨干网络家族。其核心设计哲学是在保持高硬件执行效率（高 MACpS）的同时，显著降低总计算量（MACs）。

2.1 核心设计策略

作者对标准的卷积操作进行了两项关键修改，并验证了它们在 CPU 上的有效性：

分组卷积（Grouped Convolutions, groups=2）：
- 将标准卷积的 groups 参数设置为 2（而不是 1 或深度卷积的 Cin）。
- 理论收益：根据公式 $M \propto 1/groups$ ，将 groups 设为 2 可将 MACs 减少约 50%。
- 实验发现：在 CPU 上，分组卷积（GrMBConv）虽然比标准卷积的 MACpS 略低（约低 5%），但由于总 MACs 大幅减少，整体延迟显著降低。
减小卷积核尺寸（Kernel Size Reduction, 3×3 → 2×2）：
- 将常用的 3×3 卷积核替换为 2×2。
- 理论收益：根据公式 $M \propto K^2$ ，将 3×3 替换为 2×2 可将 MACs 减少约 56%。
- 实验发现：在 CPU 上，2×2 卷积核不仅减少了计算量，而且在某些融合块（Fused Blocks）中甚至提高了 MACpS，从而进一步降低了延迟。

2.2 架构组件：改进的 MBConv

作者基于 MobileNet 的倒瓶颈块（MBConv）设计了两种新变体：

GrMBConv (Grouped MBConv)：在扩展卷积中使用 groups=2。
GrFuMBConv (Grouped Fused MBConv)：结合了融合卷积（Fused Convolution）和分组策略（groups=2）。
- 策略选择：实验表明，融合变体（Fused）在通道数 < 256 时效率更高，而非融合变体在通道数 ≥ 256 时表现更好。CPUBone 根据通道维度动态选择使用哪种变体。

2.3 CPUBone 宏观架构

受 LowFormer 启发，但在最后两个阶段集成了 LowFormer Attention。
关键调整：
- 仅在后两个计算密集阶段使用 2×2 卷积核（早期阶段保留 3×3 以维持感受野和精度）。
- 将 LowFormer Attention 中的转置卷积（Transpose Convolution）替换为最近邻上采样（Nearest Neighbour Upsampling），以消除 CPU 上的延迟瓶颈。
- 提供了 B0 到 B3 四种不同规模的模型变体。

3. 关键贡献 (Key Contributions)

提出了两种高效的 MBConv 变体：
- GrFuMBConv 和 GrMBConv。它们通过 groups=2 和融合策略，成功实现了低 MAC 计数与高硬件执行效率（高 MACpS）的平衡。
深入分析了硬件效率（MACpS）：
- 在多种 CPU（Raspberry Pi 5, Pixel 4, Snapdragon 8）和 GPU 上进行了详尽的基准测试。
- 揭示了分组卷积和小卷积核在 CPU 上能保持甚至提升 MACpS，但在 GPU 上可能导致 MACpS 下降（即 GPU 上小核并不总是更快）。
- 证明了深度卷积（DWConv）在 CPU 上存在严重的 MACpS 瓶颈，而分组策略是更好的替代方案。
推出了 CPUBone 模型家族：
- 在广泛的 CPU 设备上实现了速度 - 精度权衡（SAT） 的 SOTA（State-of-the-Art）性能。
- 证明了该架构在下游任务（目标检测、语义分割）中的有效迁移性。

4. 实验结果 (Results)

4.1 ImageNet-1K 图像分类

对比对象：MobileNetV4, RepViT, FasterNet, EfficientMod 等。
硬件环境：Raspberry Pi 5 (ARM), Pixel 7 Pro (ARM), Intel Xeon (x86)。
性能表现：
- CPUBone-B0：在保持 77.6% Top-1 精度的同时，在 Pi5 上延迟仅为 24.2ms，比同精度的 EffFormerV2-S0 快得多（后者延迟 36.3ms）。
- CPUBone-B3：在 83.1% 精度下，比 RepViT-M2.3 在所有 CPU 设备上都快，且精度高出 0.6%。
- 总体而言，CPUBone 在各类 CPU 上均展现出极低的延迟和优异的精度。

4.2 下游任务

语义分割 (ADE20K)：
- CPUBone 在 mIoU 和延迟之间取得了最佳平衡。例如，CPUBone-B2 在 mIoU 42.1% 时，延迟仅为 338.2ms，比同精度的 LowFormer-B2 快约 2.4 倍。
目标检测 (COCO)：
- 使用 RetinaNet 头，CPUBone 在 AP 指标上优于或持平于对比模型，同时推理速度提升显著（最快可达 4 倍）。

4.3 消融实验

Groups 设置：groups=2 是最佳平衡点。groups=4 或 8 虽然进一步减少了 MACs，但导致 MACpS 显著下降（ARM CPU 上下降 5%-13%），且精度损失较大。
转置卷积：在 Attention 模块中使用转置卷积虽然略微提升精度（+0.2%），但显著增加了 CPU 延迟并降低了 MACpS，因此被替换为最近邻上采样。
原始 MBConv：不使用分组策略的原始 MBConv 在相同 MACs 下，延迟更高且精度更低，证明了 CPUBone 设计在优化 MACpS 方面的巨大优势。

5. 意义与结论 (Significance & Conclusion)

填补了 CPU 优化设计的空白：大多数现有工作针对 GPU 或移动端 NPU，CPUBone 是首个系统性地针对通用 CPU 低并行特性进行优化的视觉骨干网络。
重新定义了 CPU 上的效率指标：论文强调，在 CPU 上，MACpS（硬件执行效率） 与 MACs（总计算量） 同样重要，甚至更重要。单纯减少计算量若牺牲了并行度或增加了内存访问开销，反而会导致延迟增加。
实用价值：CPUBone 为在资源受限、无专用 AI 加速器的 CPU 设备上部署高性能视觉模型提供了新的解决方案，适用于边缘计算、物联网及通用服务器推理场景。
开源：模型和代码已开源，促进了社区在 CPU 高效推理领域的进一步发展。

总结：CPUBone 通过引入分组融合卷积和小尺寸卷积核，成功解决了 CPU 并行能力弱导致的效率瓶颈，在多种 CPU 设备上实现了速度与精度的最佳平衡，是面向 CPU 推理的里程碑式工作。